前序文章：

郝健: Linux内存管理学习笔记-第1节课

郝健: Linux内存管理学习笔记-第2节课

郝健: Linux内存管理学习笔记-第3节课

郝健: Linux内存管理学习笔记-第4节课

摘要

DMA和cache一致性

MemoryCGroup

脏页写回

水位控制：内存何时开始回收

swappiness大小的设定需要根据具体情况

getdelays调试工具

vmstat（分析硬盘和swap压力的工具）

 

 

0.    课前阅读

---

宋宝华：关于DMA ZONE和dma_alloc_coherent若干误解的彻底澄清

http://mp.weixin.qq.com/s/5K7rlPXo2yIcoIXXgqqLfQ

 

宋宝华：swappiness=0究竟意味着什么？

http://mp.weixin.qq.com/s/BixMISiPz3sR9FDNfVSJ6w

 

1.    DMA和cache一致性

---

DMA一般没有MMU，访问不到CPU内部的cache，所以在做DMA编程时会遇到cache一致性问题。

如下图：假设MEMORY里面有一块红色的区域，并且CPU读过它，于是红色区域也进CACHE。

但是，假设现在DMA把外设的一个白色搬移到了内存原本红色的位置，如下图：

这个时候，内存虽然白了，CPU读到的却还是红色，因为CACHE命中了，这就出现了cache的不一致。

当然，如果是CPU写数据到内存，它也只是先写进cache（不一定进了内存），这个时候如果做一个内存到外设的DMA操作，外设可能就得到错误的内存里面的老数据。也会造成另一个方向的cache不一致。

所以最简单方法，自然是让CPU访问DMA buffer的时候也不带cache。

 

当硬件上不带硬件cache同步单元时，cache一致性的解决方法，在Linux中主要有两类API，如下图：

Coherent DMA buffers的原理是，当编写驱动代码时，可以先申请用作DMA传输的内存，再把内存映射成不带cache的。事实上，缺省情况下，dma_alloc_coherent()申请的内存是进行uncache配置的。

 

一般在做嵌入式驱动编程，用dma_alloc_coherent申请内存时，都会映射到CMA区域。下图中__alloc_from_contiguous函数就是调用dma_alloc_coherent时，最终从CMA区域申请内存的代码。arch/arm/mm/dma-mapping.c

但是，由于现代SoC特别强，有一些SoC里面可以用硬件做CPU和外设的cache coherence，如图中的cache coherent interconnect：

这些SoC的厂商就可以把内核的通用实现overwrite掉，变成dma_alloc_coherent()申请的内存也是可以带cache的。全部由硬件的cache coherent interconnect来做硬件的cache一致性同步。此时，DMA可以直接访问带cache的内存。

 

硬件上如果有IOMMU，dma_alloc_coherent()则不再需要从CMA区域申请连续的内存。IOMMU会把零散的物理页建立一个和CPU里一样的页表，然后再把这些零散的物理页映射成对于DMA引擎看起来连续的虚拟页。DMA引擎就可以访问非连续的物理地址。

流式DMA映射，适用于在写驱动时，用作DMA的内存不是由自己分配，而是上层接口提供。比如TCP/IP的报文，直接让你去做DMA。再比如文件系统提供一个地址，让你把硬盘里的东西直接搬移到提供的地址中，文件系统提供的内存肯定是带cache且不带cache同步，不具备cache一致性的。此时，在做DMA操作之前必须调用dma_map_sg或dma_map_single（区别是看DMA引擎是否支持散列操作，如果支持可以用dma_map_sg）。

dma_map_sg和dma_map_single函数都有一个表明方向的参数，代表从内存到外设，还是从外设到内存。当从内存到外设时，一般Linux内核会自动做cache flush，以保证做DMA传输时可以从内存中取到最新的数据。相反，当从外设到内存时，会做cache的invalid动作。

dma_map_single与dma_unmap_single之间只允许DMA传输，不允许CPU干预。原因是比如调用dma_map_single从内存到外设，Linux内核已经完成cache flush动作，此时如果允许CPU参与，则有可能CPU将cache写得再次比memory新。

 

简单来说，做内核开发的原则是，若用作DMA的内存是自己申请，不是上层提供，则只调用前端的dma_alloc_coherent，不用太考虑底层具体操作，如下图所示：

如果是上层提供，则调用dma_map_sg或着dma_map_single。各个IC公司会帮你搞定底层具体实现，底层的具体实现细节每个芯片都不一样。

 

附注：

i.          cache写机制：

Write-through（直写模式）在数据更新时，同时写入cache和memory。此模式的优点是操作简单；缺点是因为数据修改需要同时写入memory，性能差。

Write-back（回写模式）在数据更新时只写入cache。只在数据被替换出cache时（cpu内部硬件采用LRU算法），被修改的cache数据才会被写到memory。此模式的优点是数据写入速度快，因为不需要写memory；缺点是一旦更新后的数据未被写入memory时出现系统掉电的情况，数据将无法找回。

ii.          页表中除了有虚拟地址到物理地址的对应关系，RWX权限，user/kernel权限，还会记录cache特性。

 

2.    Memory CGroup

---

首先，Linux在进行内存回收（memory reclaim）时，/proc/sys/vm/swappiness设置的越大，越倾向于回收匿名页；swappiness越小，越倾向于回收file-backed的页面。算法都是LRU。

在使能Memory CGroup的情况下，每个memory group可以设置自己的swappiness值。在/sys/fs/cgroup/memory中创建目录，然后把一些进程加入group，就可以通过修改group的swappiness值，控制一组进程的内存回收倾向。

还可以控制一个group的最大内存消耗，达到最大消耗则发生OOM。演示如下：

在/sys/fs/cgroup/memory目录下创建子目录A，目录中自动生成配置文件。echo 20M到内存最大消耗限制配置文件中，编译oom.c程序，将其放入group A中执行：

申请到20M时即被杀死，可以dmesg查看具体信息。

3.    脏页写回

---

Linux中脏页不能太多也不能存在太久，原因有突然掉电丢失，给后面的硬盘操作带来很大压力等。Linux中有一个机制可以控制脏页写回。

从时间和空间（比例）两方面控制：

时间，dirty_expire_centisecs，dirty_writeback_centisecs（centisecs，百分之一秒）

Linux有一个后台的kernel flusher线程，这个线程会以dirty_writeback_centisecs的周期自启动。当脏页时间到达dirty_expire_centisecs就写回（只看脏页时间，不看脏页数量）。

 

空间，dirty_ratio，dirty_background_ratio

当脏页在内存中的比例到达一定程度，就必须要写回。

dirty_background_ratio一旦达到，后台的线程就开始写脏页了，但可能来不及写，因为在写脏页的时候，应用程序可能也在疯狂的调用write，这时候如果达到dirty_ratio门限，前台的进程就会被直接堵住，必须要等脏页写回。脏页数量在dirty_background_ratio和dirty_ratio之间，应用程序则不会被堵住。

 

附注：

脏页－linux内核中的概念，因为硬盘的读写速度远赶不上内存的速度，系统就把读写比较频繁的数据事先放到内存中，以提高读写速度，称为高速缓存。linux是以页作为高速缓存的单位，当进程修改了高速缓存里的数据时，该页就被内核标记为脏页，内核将会在合适的时间把脏页的数据写到磁盘中去，以保持高速缓存中的数据和磁盘中的数据是一致的。

 

4.    水位控制：内存何时开始回收

---

min,low,high三个水位，都是由/proc/sys/vm/min_free_kbytes文件控制。min_free_kbytesde 默认值如上图中的计算公式所示。

一般内存越大预留的内存也越多。预留内存的原因是系统中需要预留一些紧急内存给某些进程，比如回收内存的线程kswapd也是需要内存的，这类进程会设置PF_MEMALLOC标志。

min_free_kbytes决定了最低水位min，low=min * 5/4，high=min * 6/4。

当一个ZONE里的内存达到low，linux就开始后台回收内存，直到ZONE里的内存达到high水位。但应用程序可能在更快的申请内存，这时空闲内存就有可能达到min水位，一旦达到，应用程序的写内存操作就会被阻塞，直接在应用程序的进程上下文中进行回收（direct reclaim）。如下图所示：

5.    swappiness大小的设定需要根据具体情况

---

 

6.    getdelays调试工具

---

Documentation/accounting/getdelays.c工具，测量调度，I/O，SWAP，Reclaim的延迟：

注意需要打开CONFIG_TASK_DELAY_ACCT=y，CONFIG_TASKSTATS=y的内核编译选项。

如上图所示，程序在不停的写申请内存时，出现内存回收，发生swap out；后面不停的读时，发生swap in。

编译上图swap.c程序，打开swap分区，并使用getdelays工具运行，生成报告：

./getdelays -d -c ./swap

CPU：getdelays会显示调度延迟，即进程平均等了多久才被CPU调度到。

IO：IO延迟。

SWAP：swap in延迟，如上图一共发生了29827次swap in，由于delaytotal的单位是纳秒，所以delay total/count 再转换为毫秒反而变为0ms。

RECLAIM：程序在不停的写申请内存时，内存快被耗尽，所以发生了141次的内存回收。

 

综上，getdelays可以分析出调度延迟以外（不占用CPU）的延迟花费。

 

附注：

When you load a file or program, the file is stored in therandom access memory (RAM). Since RAM is finite, some files cannot fit on it.These files are stored in a special section of the hard drive called the"swap file". swapping is a mechanism in which a process can beswapped temporarily out of memory to a backing store (Swap Out) and then brought back into memory for continuedexecution(Swap In). In other words,when the amount of physical memory (RAM) is full. If the system(say oneprocess) needs more memory resources and the RAM is full, inactive pages inmemory are moved to the swap space(part of hard disk) & these inactivepages will be brought back for further execution.

 

7.    vmstat（分析硬盘和swap压力的工具）

---

vmstat可以展现给定时间间隔的服务器的状态值，包括Linux的CPU使用率，内存使用，虚拟内存交换情况，IO读写情况。

将swap.c程序修改为死循环读写，编译运行，并且用vmstat观察状态：

vmstat 5 周期5秒：

可以看出5秒一个周期中，有很多si(swap in),so(swapout)，以及bi(block in),bo(block out)硬盘读写。

另外，还可以看出5秒内有多个中断(in)，多少个上下文切换(cs)等。

---

内存管理报名

报名：《Linux的任督二脉》之《内存管理》微课(连续5晚)

---