1.文件页高速缓存机制Page Cache1.1.核心概念Page Cache 是 Linux 内核在 RAM 中缓存文件数据的机制。当应用程序读取文件时内核将数据从磁盘读入内存页后续读取直接从内存返回避免重复磁盘 I/O。速度差距决定了缓存的必要性存储层级延迟带宽RAM~100ns~100 GB/sNVMe SSD~100µs~7 GB/sHDD~10ms~200 MB/s1.2.核心数据结构1.2.1.struct address_spacestructaddress_space{structinode*host;/* 所属 inode */structxarrayi_pages;/* 缓存页索引XArray */unsignedlongnrpages;/* 缓存页数量 */conststructaddress_space_operations*a_ops;/* 操作回调 */};页通过文件偏移量索引到 XArray 中实现 O(log n) 级别的快速查找。1.2.2.XArrayv4.20替代 Radix TreeXArray 是页缓存的索引结构相比旧的 Radix Tree 提供更清晰的 API 和相同的性能。1.3.读文件流程read(fd,buf,4096)│ ▼ 在 XArray 中查找页 ├── Yes ──► 直接拷贝到用户缓冲区~100ns │ └── No ──► 分配新页 │ ▼ 从磁盘读取到页 │ ▼ 加入 XArrayLRU │ ▼ 拷贝到用户缓冲区1.4.写文件与 WritebackLinux 采用 Write-Back回写 策略数据先写入 Page Cache标记为 Dirty由后台线程异步刷盘。write(fd,buf,4096)│ ▼ 查找/分配缓存页 │ ▼ 从用户缓冲区拷贝到页 │ ▼ 标记页为 DirtySetPageDirty │ ▼ 立即返回用户态write完成 │ ▼稍后异步 pdflush/kworker 刷写到磁盘Dirty Page 生命周期Clean → Dirty → Writeback → Clean1.5.Readahead预读内核检测顺序访问模式提前预取后续页// 默认预读窗口大小KBcat/sys/block/sda/queue/read_ahead_kb #128默认值// 顺序读取时内核自动扩展窗口// 首次读 page 0 → 预取 page 1,2,3,4...// 应用读 page 1 时已命中缓存1.6.mmap vs read()方式机制适用场景read()从缓存拷贝到用户缓冲区顺序读取、简单场景mmap()将缓存页直接映射到进程地址空间随机访问、大文件mmap(MAP_SHARED) 实现真正的零拷贝——页缓存页直接映射到进程虚拟地址空间。此时修改会直接影响到磁盘文件。mmap(MAP_PRIVATE) 读操作零拷贝写操作触发 COW。此时修改会引发写时复制针对内存复制页修改对磁盘文件无影响。2.页框回收机制Page Frame Reclaiming2.1.PFRA 概述页框回收算法Page Frame Reclaiming Algorithm, PFRA的目标是在内存紧张时选择合适的页框回收。Linux 将页分为四类类型说明回收方式Unreclaimable内核数据结构、pinned 页不可回收Swappable匿名页堆、栈写入 swap 分区Syncable脏文件页写回磁盘后回收Discardable干净文件页直接丢弃磁盘有副本2.2.回收触发条件回收由两类机制触发kswapd后台守护线程当 zone 的 pages_free pages_low 时唤醒异步、预防性回收Direct Reclaim__alloc_pages() 分配失败时当前进程直接调用 try_to_free_pages()同步、会阻塞应用2.3.传统 LRU 机制Linux 将页按类型和活跃度组织为 4 个 LRU 链表┌─────────────────┐ │ Active File │ ← 最近访问的文件页 ├─────────────────┤ │ Inactive File │ ← 回收候选文件页 ├─────────────────┤ │ Active Anon │ ← 最近访问的匿名页 ├─────────────────┤ │ Inactive Anon │ ← 回收候选匿名页→ swap └─────────────────┘2.4 MGLRUMulti-Gen LRU—— 现代替代方案传统 LRU 的痛点扫描精度低大量页被扫描但无法回收CPU 开销高频繁遍历链表内存压力下容易抖动thrashingMGLRU 将页按代Generation组织通常 0~3 代代含义Gen 3最新访问的页Gen 2近期访问的页Gen 1较早访问的页Gen 0最老的页 →优先回收优势扫描精度更高老代的页更可能可回收CPU 开销更低通过页表遍历page table walk检测访问位而非遍历整个链表内置 PID 控制器动态平衡扫描开销与回收收益减少抖动更准确地识别工作集2.5 核心回收流程shrink_lruvec()// mm/vmscan.cstaticvoidshrink_lruvec(structlruvec*lruvec,structscan_control*sc){// 1. MGLRU 路径if(lru_gen_enabled()!root_reclaim(sc)){lru_gen_shrink_lruvec(lruvec,sc);return;}// 2. 传统 LRU 路径get_scan_count(lruvec,sc,nr);// 计算各 LRU 扫描数量while(nr[LRU_INACTIVE_ANON]||nr[LRU_ACTIVE_FILE]||nr[LRU_INACTIVE_FILE]){for_each_evictable_lru(lru){nr_reclaimedshrink_list(lru,nr_to_scan,lruvec,sc);}cond_resched();}}回收优先级从高到低Inactive File干净文件页直接丢弃成本最低Active File需先降级到 InactiveInactive Anon需 swap outActive Anon最后手段2.6.回收页的处理在 shrink_folio_list() / shrink_page_list() 中页类型处理方式干净文件页直接丢弃PTE Present 位清 0脏文件页先写回磁盘再丢弃匿名页写入 swap 分区PTE 改为 swap 标识符被引用的页无法回收放回 LRU3.性能优化3.1.Page Cache 层面优化3.1.1. Readahead 调优# 查看当前预读大小 cat/sys/block/sda/queue/read_ahead_kb #128默认值KB # 顺序大文件读取场景如日志分析、视频流可增大 echo4096/sys/block/sda/queue/read_ahead_kb3.1.2.使用 posix_fadvise / madvise// 告知内核访问模式posix_fadvise(fd,0,0,POSIX_FADV_SEQUENTIAL);// 顺序访问posix_fadvise(fd,0,0,POSIX_FADV_WILLNEED);// 预加载到缓存posix_fadvise(fd,0,0,POSIX_FADV_DONTNEED);// 使用完后释放缓存// 内存建议madvise(ptr,len,MADV_SEQUENTIAL);// 顺序访问允许激进预读madvise(ptr,len,MADV_WILLNEED);// 预填充madvise(ptr,len,MADV_DONTNEED);// 释放缓存3.2.Writeback 层面优化控制脏页回写的关键参数参数默认值说明vm.dirty_ratio40%脏页占总内存比例达到此值时阻塞写操作强制回写vm.dirty_background_ratio10%脏页达到此值时后台线程开始回写vm.dirty_expire_centisecs3000 (30s)脏页在缓存中最长存活时间vm.dirty_writeback_centisecs500 (5s)回写线程唤醒间隔调优建议高吞吐写入如日志系统提高 dirty_ratio 到 60~80减少刷盘频率低延迟要求如数据库降低 dirty_background_ratio 到 5加快回写数据安全优先降低 dirty_expire_centisecs 到 1000 (10s)减少崩溃丢失数据量# 高吞吐场景示例 sysctl-w vm.dirty_ratio80sysctl-w vm.dirty_background_ratio10sysctl-w vm.dirty_expire_centisecs6000#60s3.3.Reclaim 层面优化3.3.1.Swappiness# 控制匿名页 vs 文件页的回收倾向0-100 cat/proc/sys/vm/swappiness #60默认值 # 数据库/缓存服务器降低 swappiness优先保留匿名页 sysctl-w vm.swappiness10# 桌面环境保持默认值或略高3.3.2.启用 MGLRU# 检查是否启用 cat/sys/kernel/mm/lru_gen/enabled #0x0007表示启用fileanon页表遍历 # 动态启用 echo y/sys/kernel/mm/lru_gen/enabled3.3.3.水位线调优# 最小保留内存KB用于紧急回收 cat/proc/sys/vm/min_free_kbytes # 默认值通常较小高负载服务器可适当增大 # 水位线缩放因子 cat/proc/sys/vm/watermark_scale_factor # 控制 kswapd 的激进程度3.4.应用层优化技术适用场景效果mmap(MAP_SHARED)大文件随机读零拷贝减少内核态拷贝O_DIRECT数据库MySQL/PostgreSQL绕过 Page Cache避免双缓冲sync_file_range()大文件部分同步精确控制刷盘范围避免全局 syncfallocate()预分配文件空间减少写时分配开销3.5.监控与诊断#1.查看缓存整体状态 cat/proc/meminfo|grep-ECached|Buffers|Dirty|Writeback|AnonPages#Cached:8765432kB(Page Cache)#Dirty:1234kB(待回写脏页)#Writeback:567kB(正在回写)#AnonPages:3456789kB(匿名页)#2.缺页与交换统计 cat/proc/vmstat|grep-Epgpgin|pgpgout|pswpin|pswpout|pgscan|pgsteal#pgpgin/pgpgout:磁盘读写页数#pswpin/pswpout:swap 换入/换出#pgscan/pgsteal:扫描/回收页数#3.查看单个文件的缓存状态 vmtouch-v/path/to/large_file#Files:1#Directories:0#Resident Pages:50000/50000195MB/195MB100%#Elapsed:0.1seconds#4.ftrace 追踪页缓存事件 echo1/sys/kernel/debug/tracing/events/filemap/mm_filemap_add_to_page_cache/enable echo1/sys/kernel/debug/tracing/events/writeback/writeback_dirty_page/enable cat/sys/kernel/debug/tracing/trace_pipe #5.查看 zone 水位线 cat/proc/zoneinfo|grep-ENode|zone|pages free|pages min|pages low|pages high3.6.关键权衡总结优化方向收益代价/风险增大 dirty_ratio更高写吞吐崩溃时更多数据丢失启用 MGLRU更低 CPU 开销、更高回收精度状态切换存在竞态已修复使用 O_DIRECT避免双缓冲、精确 I/O 控制失去内核缓存加速、需应用自己管理缓存增大 read_ahead_kb顺序读更快随机读浪费带宽和缓存降低 swappiness减少 swap 使用文件页被过度回收I/O 增加生产环境最佳实践数据库服务器swappiness1~10 O_DIRECT 禁用 THP 适当 dirty_ratioWeb 服务器保持默认 启用 MGLRU 监控 Cached 和 Dirty大数据/批处理增大 read_ahead_kb posix_fadvise(POSIX_FADV_SEQUENTIAL)容器环境配置 memcg memory.high / memory.max 限制配合 cgroup v2 的 memory.reclaim 主动回收接口 深入理解linux内核--文件页高速缓存，页框回收，性能优化
1.文件页高速缓存机制Page Cache1.1.核心概念Page Cache 是 Linux 内核在 RAM 中缓存文件数据的机制。当应用程序读取文件时内核将数据从磁盘读入内存页后续读取直接从内存返回避免重复磁盘 I/O。速度差距决定了缓存的必要性存储层级延迟带宽RAM~100ns~100 GB/sNVMe SSD~100µs~7 GB/sHDD~10ms~200 MB/s1.2.核心数据结构1.2.1.struct address_spacestructaddress_space{structinode*host;/* 所属 inode */structxarrayi_pages;/* 缓存页索引XArray */unsignedlongnrpages;/* 缓存页数量 */conststructaddress_space_operations*a_ops;/* 操作回调 */};页通过文件偏移量索引到 XArray 中实现 O(log n) 级别的快速查找。1.2.2.XArrayv4.20替代 Radix TreeXArray 是页缓存的索引结构相比旧的 Radix Tree 提供更清晰的 API 和相同的性能。1.3.读文件流程read(fd,buf,4096)│ ▼ 在 XArray 中查找页 ├── Yes ──► 直接拷贝到用户缓冲区~100ns │ └── No ──► 分配新页 │ ▼ 从磁盘读取到页 │ ▼ 加入 XArrayLRU │ ▼ 拷贝到用户缓冲区1.4.写文件与 WritebackLinux 采用 Write-Back回写 策略数据先写入 Page Cache标记为 Dirty由后台线程异步刷盘。write(fd,buf,4096)│ ▼ 查找/分配缓存页 │ ▼ 从用户缓冲区拷贝到页 │ ▼ 标记页为 DirtySetPageDirty │ ▼ 立即返回用户态write完成 │ ▼稍后异步 pdflush/kworker 刷写到磁盘Dirty Page 生命周期Clean → Dirty → Writeback → Clean1.5.Readahead预读内核检测顺序访问模式提前预取后续页// 默认预读窗口大小KBcat/sys/block/sda/queue/read_ahead_kb #128默认值// 顺序读取时内核自动扩展窗口// 首次读 page 0 → 预取 page 1,2,3,4...// 应用读 page 1 时已命中缓存1.6.mmap vs read()方式机制适用场景read()从缓存拷贝到用户缓冲区顺序读取、简单场景mmap()将缓存页直接映射到进程地址空间随机访问、大文件mmap(MAP_SHARED) 实现真正的零拷贝——页缓存页直接映射到进程虚拟地址空间。此时修改会直接影响到磁盘文件。mmap(MAP_PRIVATE) 读操作零拷贝写操作触发 COW。此时修改会引发写时复制针对内存复制页修改对磁盘文件无影响。2.页框回收机制Page Frame Reclaiming2.1.PFRA 概述页框回收算法Page Frame Reclaiming Algorithm, PFRA的目标是在内存紧张时选择合适的页框回收。Linux 将页分为四类类型说明回收方式Unreclaimable内核数据结构、pinned 页不可回收Swappable匿名页堆、栈写入 swap 分区Syncable脏文件页写回磁盘后回收Discardable干净文件页直接丢弃磁盘有副本2.2.回收触发条件回收由两类机制触发kswapd后台守护线程当 zone 的 pages_free pages_low 时唤醒异步、预防性回收Direct Reclaim__alloc_pages() 分配失败时当前进程直接调用 try_to_free_pages()同步、会阻塞应用2.3.传统 LRU 机制Linux 将页按类型和活跃度组织为 4 个 LRU 链表┌─────────────────┐ │ Active File │ ← 最近访问的文件页 ├─────────────────┤ │ Inactive File │ ← 回收候选文件页 ├─────────────────┤ │ Active Anon │ ← 最近访问的匿名页 ├─────────────────┤ │ Inactive Anon │ ← 回收候选匿名页→ swap └─────────────────┘2.4 MGLRUMulti-Gen LRU—— 现代替代方案传统 LRU 的痛点扫描精度低大量页被扫描但无法回收CPU 开销高频繁遍历链表内存压力下容易抖动thrashingMGLRU 将页按代Generation组织通常 0~3 代代含义Gen 3最新访问的页Gen 2近期访问的页Gen 1较早访问的页Gen 0最老的页 →优先回收优势扫描精度更高老代的页更可能可回收CPU 开销更低通过页表遍历page table walk检测访问位而非遍历整个链表内置 PID 控制器动态平衡扫描开销与回收收益减少抖动更准确地识别工作集2.5 核心回收流程shrink_lruvec()// mm/vmscan.cstaticvoidshrink_lruvec(structlruvec*lruvec,structscan_control*sc){// 1. MGLRU 路径if(lru_gen_enabled()!root_reclaim(sc)){lru_gen_shrink_lruvec(lruvec,sc);return;}// 2. 传统 LRU 路径get_scan_count(lruvec,sc,nr);// 计算各 LRU 扫描数量while(nr[LRU_INACTIVE_ANON]||nr[LRU_ACTIVE_FILE]||nr[LRU_INACTIVE_FILE]){for_each_evictable_lru(lru){nr_reclaimedshrink_list(lru,nr_to_scan,lruvec,sc);}cond_resched();}}回收优先级从高到低Inactive File干净文件页直接丢弃成本最低Active File需先降级到 InactiveInactive Anon需 swap outActive Anon最后手段2.6.回收页的处理在 shrink_folio_list() / shrink_page_list() 中页类型处理方式干净文件页直接丢弃PTE Present 位清 0脏文件页先写回磁盘再丢弃匿名页写入 swap 分区PTE 改为 swap 标识符被引用的页无法回收放回 LRU3.性能优化3.1.Page Cache 层面优化3.1.1. Readahead 调优# 查看当前预读大小 cat/sys/block/sda/queue/read_ahead_kb #128默认值KB # 顺序大文件读取场景如日志分析、视频流可增大 echo4096/sys/block/sda/queue/read_ahead_kb3.1.2.使用 posix_fadvise / madvise// 告知内核访问模式posix_fadvise(fd,0,0,POSIX_FADV_SEQUENTIAL);// 顺序访问posix_fadvise(fd,0,0,POSIX_FADV_WILLNEED);// 预加载到缓存posix_fadvise(fd,0,0,POSIX_FADV_DONTNEED);// 使用完后释放缓存// 内存建议madvise(ptr,len,MADV_SEQUENTIAL);// 顺序访问允许激进预读madvise(ptr,len,MADV_WILLNEED);// 预填充madvise(ptr,len,MADV_DONTNEED);// 释放缓存3.2.Writeback 层面优化控制脏页回写的关键参数参数默认值说明vm.dirty_ratio40%脏页占总内存比例达到此值时阻塞写操作强制回写vm.dirty_background_ratio10%脏页达到此值时后台线程开始回写vm.dirty_expire_centisecs3000 (30s)脏页在缓存中最长存活时间vm.dirty_writeback_centisecs500 (5s)回写线程唤醒间隔调优建议高吞吐写入如日志系统提高 dirty_ratio 到 60~80减少刷盘频率低延迟要求如数据库降低 dirty_background_ratio 到 5加快回写数据安全优先降低 dirty_expire_centisecs 到 1000 (10s)减少崩溃丢失数据量# 高吞吐场景示例 sysctl-w vm.dirty_ratio80sysctl-w vm.dirty_background_ratio10sysctl-w vm.dirty_expire_centisecs6000#60s3.3.Reclaim 层面优化3.3.1.Swappiness# 控制匿名页 vs 文件页的回收倾向0-100 cat/proc/sys/vm/swappiness #60默认值 # 数据库/缓存服务器降低 swappiness优先保留匿名页 sysctl-w vm.swappiness10# 桌面环境保持默认值或略高3.3.2.启用 MGLRU# 检查是否启用 cat/sys/kernel/mm/lru_gen/enabled #0x0007表示启用fileanon页表遍历 # 动态启用 echo y/sys/kernel/mm/lru_gen/enabled3.3.3.水位线调优# 最小保留内存KB用于紧急回收 cat/proc/sys/vm/min_free_kbytes # 默认值通常较小高负载服务器可适当增大 # 水位线缩放因子 cat/proc/sys/vm/watermark_scale_factor # 控制 kswapd 的激进程度3.4.应用层优化技术适用场景效果mmap(MAP_SHARED)大文件随机读零拷贝减少内核态拷贝O_DIRECT数据库MySQL/PostgreSQL绕过 Page Cache避免双缓冲sync_file_range()大文件部分同步精确控制刷盘范围避免全局 syncfallocate()预分配文件空间减少写时分配开销3.5.监控与诊断#1.查看缓存整体状态 cat/proc/meminfo|grep-ECached|Buffers|Dirty|Writeback|AnonPages#Cached:8765432kB(Page Cache)#Dirty:1234kB(待回写脏页)#Writeback:567kB(正在回写)#AnonPages:3456789kB(匿名页)#2.缺页与交换统计 cat/proc/vmstat|grep-Epgpgin|pgpgout|pswpin|pswpout|pgscan|pgsteal#pgpgin/pgpgout:磁盘读写页数#pswpin/pswpout:swap 换入/换出#pgscan/pgsteal:扫描/回收页数#3.查看单个文件的缓存状态 vmtouch-v/path/to/large_file#Files:1#Directories:0#Resident Pages:50000/50000195MB/195MB100%#Elapsed:0.1seconds#4.ftrace 追踪页缓存事件 echo1/sys/kernel/debug/tracing/events/filemap/mm_filemap_add_to_page_cache/enable echo1/sys/kernel/debug/tracing/events/writeback/writeback_dirty_page/enable cat/sys/kernel/debug/tracing/trace_pipe #5.查看 zone 水位线 cat/proc/zoneinfo|grep-ENode|zone|pages free|pages min|pages low|pages high3.6.关键权衡总结优化方向收益代价/风险增大 dirty_ratio更高写吞吐崩溃时更多数据丢失启用 MGLRU更低 CPU 开销、更高回收精度状态切换存在竞态已修复使用 O_DIRECT避免双缓冲、精确 I/O 控制失去内核缓存加速、需应用自己管理缓存增大 read_ahead_kb顺序读更快随机读浪费带宽和缓存降低 swappiness减少 swap 使用文件页被过度回收I/O 增加生产环境最佳实践数据库服务器swappiness1~10 O_DIRECT 禁用 THP 适当 dirty_ratioWeb 服务器保持默认 启用 MGLRU 监控 Cached 和 Dirty大数据/批处理增大 read_ahead_kb posix_fadvise(POSIX_FADV_SEQUENTIAL)容器环境配置 memcg memory.high / memory.max 限制配合 cgroup v2 的 memory.reclaim 主动回收接口