本文共 2872 字，大约阅读时间需要 9 分钟。

当activeQuery数量增加时，查看GPCC看到page in/out频繁。

通过查询内存页换入换出的定义：

当系统内存不足时，系统会将最近最不常用的内存段交换到交换空间，出现page out；

当程序要读的文件在内存中没有找到，这时候出现page fault，则从磁盘中读取到内存，其实也产生了page in；

看到这里其实我有一个疑问？

active query数量增加没有导致gp master的内存增加，却会出发page in/out？对于这点不慎了解。

需要学习一下，此为何因？

--------------------------------------------2019年4月17日21:08:17-------------------------------------------------------------

1>.什么是虚拟内存

　　如果物理内存不够用时，可以将那些最近很少使用的页面数据（Page）置换出去，即切换到硬盘上，但是要注意的是内存文件的格式和硬盘中文件的格式是不一样的，所以这个分区必须格式化成跟内存兼容的模式不能转换成文件的格式。以便把内存的page直接存入这个分区，方便内存直接调用。而这个页面（page）数据对于32位的操作系统一个page大概是4K左右，对于64位操作系统这个page大小是可变的，4k-2M的大小都是比较常见的。事实上到底能使用多大的页面（page）取决于CPU而不取决于内存哟！这就是虚拟内存的概念。在linux上我们称之为交换分区。记住，虚拟内存必须是一个单独的分区。

2>.虚拟内存能代替物理内存运行程序吗？

　　答案是否定的，只是使用虚拟内存暂时保存数据，而不是代替物理内存运行程序。 

3>.虚拟内存的作用

　　当运行某个大程序、大游戏，需要的内存超过空闲内存但小于物理内存总量时，会暂时把内存里这些数据放到磁盘上的虚拟内存里，空出物理内存运行游戏。等退出游戏后，又会把虚拟内存里的东西读出来，放回物理内存。所以，虚拟内存，并不是用来虚拟物理内存的，而是暂存数据的。如果对内存的需求大于物理内存总量，那虚拟内存设多大都不管用。电脑内存太低，根本的方法还是增加物理内存，才能流畅。虚拟内存机制上就不管用，即使管用，比物理内存低100倍的速度，也管不上什么实际的作用。所以，虚拟内存大了是没用的，反而白占用磁盘空间。

swappiness参数在内存与交换分区之间优化作用

　　swappiness的值的大小对如何使用swap分区是有着很大的联系的。先前，人们建议把vm.swapiness设置为0，它意味着“除非发生内存益处，否则不要进行内存交换”。直到Linux内核3.5-rcl版本发布，这个值的意义才发生了变化。这个变化被一直到其他的发行版本上，包括RedHat企业版内核2.6.32-303。在发生变化之后，0意味着“在任何情况下都不要发生交换”。所以现在建议把这个值设置为1。swappiness＝100的时候表示积极的使用swap分区，并且把内存上的数据及时的搬运到swap空间里面。

1>.linux的swappiness参数的默认设置为60（[root@yinzhengjie ~]# cat /proc/sys/vm/swappiness）

也就是说，你的内存在使用到100-60=40%的时候，就开始出现有交换分区的使用。大家知道，内存的速度会比磁盘快很多，这样子会加大系统io，同时造的成大量页的换进换出，严重影响系统的性能，所以我们在操作系统层面，要尽可能使用内存，对该参数进行调整。

调整方式详见：

使用vm.dirty_ratio和vm.dirty_background_ratio更好的Linux磁盘缓存和性能 

1>.脏页对概念

　　脏页是linux中的概念，因为的读写速度远赶不上内存的速度，系统就把读写比较频繁的数据事先放到中，以提高读写速度，这就叫高速缓存，linux是以页作为的单位，当进程修改了高速缓存里的数据时，该页就被内核标记为脏页，内核将会在合适的时间把脏页的数据写到磁盘中去，以保持高速缓存中的数据和磁盘中的数据是一致的。

vm.dirty_background_ratio :    是内存可以填充“脏数据”的百分比。这些“脏数据”在稍后是会写入磁盘的，pdflush/flush/kdmflush这些后台进程会稍后清理脏数据。举一个例子，我有32G内存，那么有3.2G的内存可以待着内存里，超过3.2G的话就会有后来进程来清理它。vm.dirty_ratio：    是绝对的脏数据限制，内存里的脏数据百分比不能超过这个值。如果脏数据超过这个数量，新的IO请求将会被阻挡，直到脏数据被写进磁盘。这是造成IO卡顿的重要原因，但这也是保证内存中不会存在过量脏数据的保护机制。vm.dirty_background_bytes和vm.dirty_bytes是    指定这些参数的另一种方法。如果设置_bytes版本，则_ratio版本将变为0，反之亦然。vm.dirty_expire_centisecs ：    指定脏数据能存活的时间。在这里它的值是30秒。当 pdflush/flush/kdmflush 进行起来时，它会检查是否有数据超过这个时限，如果有则会把它异步地写到磁盘中。毕竟数据在内存里待太久也会有丢失风险。vm.dirty_writeback_centisecs：    指定多长时间 pdflush/flush/kdmflush 这些进程会起来一次。

调整内核对脏页对处理方式可以让我们从中获益

 　　脏页会被冲刷到磁盘上，调整内核对脏页的处理方式可以让我们从中获益。Kafka依赖I/O性能为生产者提供了快速的响应。这就是为什么日志片段一般要保存在快速磁盘上，不管是单个快速磁盘（如SSD）还是具有NVRAM缓存的磁盘子系统（如RAID）。这样一来，在后台刷新进程将脏页写入磁盘之前，可以减少脏页的数量，这个可以通过vm.dirty_backgroud_ratio设置为小于10的值来实现。改值指的是系统内存的百分比，大部分情况下设置为5就可以来。它不应该被设置为0，因为那样会促使内核频繁地刷新页面，从而降低内核为底层设备的磁盘写入提供缓冲的能力。

　　通过设置vm.dirty_ratio参数可以增加被内核进程刷新到磁盘之前的脏页数量，可以将它设置为大于20的值（这也是系统内存的百分比），这个值可设置的范围很广，60～80是个比较合理的区间。不过调整这个参数会带来一些风险，包括未刷新磁盘操作的数量和同步刷新引起的长时间I/O等待。如果篡改参数设置了较高的值，建议启用Kafka的复制功能，避免因系统崩溃造成数据丢失。

　　为了给这些参数设置合适的值，最好是在Kafka集群运行期间检查脏页的数量，不管是在生产环境还是在模拟环境。可以在“/proc/vmstat”文件里查看当前脏页的数量。

转载地址：http://nkeqj.baihongyu.com/