Neon pageserver layer文件

Pageserver Layer 文件完整分析一、Layer 文件类型1. 按内容分类类型说明文件命名格式示例ImageLayer单个 LSN 的完整页面快照key_start-key_end__LSN000000067F...70B6-000000067F...80B6__00000000346BC568DeltaLayerLSN 范围内的增量修改key_start-key_end__start_LSN-end_LSN000000067F...20B6-000000067F...30B6__000000578C6B29-0000000057A500512. 按 Key 范围分类L0 vs L1// pageserver/src/tenant/layer_map.rs:793 pub fn is_l0(key_range: RangeKey, is_delta_layer: bool) - bool { is_delta_layer key_range (Key::MIN..Key::MAX) }类型Key 范围LSN 范围特征L0 Delta全量Key::MIN ~ Key::MAX窄范围新冻结的层churn 快L1 Delta部分范围宽范围compaction 后生成Image Layer部分范围单点 LSN快照作为重建终止点Key 结构18 字节spcnode(4) dbnode(4) relnode(4) forknum(1) segno(5) 18 bytes二、Layer 的生命周期状态状态机┌─────────────────────────────────────────────────────────────────────────────┐ │ Layer 状态转换 │ │ │ │ ┌──────────┐ WAL 写入 ┌──────────┐ 冻结 ┌──────────┐ │ │ │ Open │───────────────│ InMemory │───────────│ Frozen │ │ │ │ (活跃) │ │ (内存) │ │ (只读) │ │ │ └──────────┘ └──────────┘ └────┬─────┘ │ │ ▲ _FLUSH │ │ │ │ │ │ │ │ ┌──────────┐ ▼ │ │ │ │ OnDisk │──────────────────┐ │ │ │ │ (本地) │ │ │ │ │ └────┬─────┘ │ │ │ │ ┌─────────────────┘ │ │ │ │ │ 上传完成 │ │ │ │ ▼ │ │ │ │ ┌──────────┐ │ │ │ │ │ Resident │──────────────────────────────┘ │ │ │ │ (驻留) │ 读取时保持 │ │ │ └────┬─────┘ │ │ │ │ 驱逐磁盘压力 │ │ │ ▼ │ │ │ ┌──────────┐ │ │ │ │ Evicted │── 按需下载 ──Resident │ │ │ │ (已驱逐) │ │ │ │ └──────────┘ │ │ │ │ │ │ GC 删除 │ │ └──────已删除 │ │ │ └─────────────────────────────────────────────────────────────────────────────┘状态说明状态说明是否可读取是否可写入Open/InMemory活跃内存层接受 WAL 写入✅✅Frozen已冻结的内存层只读✅❌OnDisk (Resident)已刷新到本地磁盘驻留✅❌Evicted已从本地磁盘驱逐文件已删除⚠️需先下载❌Deleted被 GC 删除❌❌三、Layer 文件在磁盘上的组织目录结构.neon/ └── tenants/ └── tenant_id/ └── timelines/ └── timeline_id/ ├── 00000001...Image_0000000160 # Image Layer ├── 00000001...Delta_0000000150-0000000160 # L1 Delta Layer ├── 00000001...Delta_0000000160-0000000170 # L1 Delta Layer ├── 00000000...Delta_0000000170-0000000180 # L0 Delta全 key 范围 ├── 00000000...Delta_0000000180-0000000190 # L0 Delta全 key 范围 └── ...文件命名解析Image LayerImage Layer: ┌─────────────────────────────────────────────────────────────────────┐ │ 000000067F000032BE0000400000000070B6-000000067F000032BE0000400000000080B6__00000000346BC568 │ │ └───────────────────────┬───────────────────────┘ └────────────────┘ │ │ │ │ │ Key 范围 │ LSN │ │ (部分范围) │ │ └─────────────────────────────────────────────────────────────────────┘Delta LayerDelta Layer: ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ 000000067F000032BE0000400000000020B6-000000067F000032BE0000400000000030B6__000000578C6B29-0000000057A50051 │ │ └───────────────────────┬───────────────────────┘ └──────────────────┬──────────────────┘ │ │ │ │ │ │ Key 范围 │ LSN 范围 │ │ │ (全量L0, 部分L1) │ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘四、Layer 的读取流程GetPageLSN 请求处理// pageserver/src/tenant/storage_layer/layer.rs pub(crate) async fn get_or_maybe_download(self) - ResultResidentLayer, ... { // 1. 检查是否已驻留 // 2. 如果已驱逐从 S3 下载 // 3. 返回 ResidentLayer 保护对象 }读取路径GetPageLSN(key, lsn) 请求 │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 1. 检查 InMemory Layer最快 │ │ ·如果命中 →直接返回 │ │ ·如果未命中 →继续 │ └───────────────────┬─────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 2. 遍历 LayerMap从新到旧 │ │ ·查找包含 (key, lsn) 的 Layer │ │ ·优先查找 Image Layer终止点 │ │ ·收集 Delta Layer 中的 WAL 记录 │ └───────────────────┬─────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 3. 检查 Layer 是否驻留 │ │ ·如果 Resident →直接读取 │ │ ·如果 Evicted →从 S3 下载on-demand │ └───────────────────┬─────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ 4. WAL Redo页面重建 │ │ ·从 Image Layer 获取基础页面 │ │ ·按 LSN 顺序重放 Delta Layer 中的 WAL 记录 │ │ ·返回重建后的页面 │ └─────────────────────────────────────────────────────────────┘五、Layer 的压缩CompactionL0 → L1 压缩压缩前多个 L0 Delta: ┌─────────────────────────────────────────────────────────────┐ │ L0-1: key全量, lsn100-110 (4MB) │ │ L0-2: key全量, lsn110-120 (4MB) │ │ L0-3: key全量, lsn120-130 (4MB) │ └─────────────────────────────────────────────────────────────┘ │ │ Compaction ▼ 压缩后L1 Delta Image: ┌─────────────────────────────────────────────────────────────┐ │ Image: keyA-B, lsn130 (32MB, 完整快照) │ │ Image: keyC-D, lsn130 (32MB, 完整快照) │ │ L1-1: keyA-B, lsn100-130 (8MB, 合并后增量) │ │ L1-2: keyC-D, lsn100-130 (8MB, 合并后增量) │ └─────────────────────────────────────────────────────────────┘关键参数compaction_threshold: L0 层数量阈值默认 10compaction_target_size: 单个 L1 层的目标大小默认 128MBimage_creation_threshold: Image Layer 生成阈值默认 3六、Layer 的驱逐Eviction驱逐条件// pageserver/src/disk_usage_eviction_task.rs // 驱逐策略LRU 热度感知 fn select_eviction_candidate( candidates: [Layer], heat_scores: HashMapLayerName, f32, min_resident_size: u64, ) - OptionLayer { // 1. 排除必须保留的层热度 ≥0.7 且在最小保留内 // 2. 优先驱逐热度最低且久未访问的层 }驱逐流程磁盘使用率 阈值如 80% │ ▼ ┌─────────────────────────────────────────────────────┐ │ 1. 选择待驱逐层LRU 热度 │ │ ·热度低heat_score 0.3 │ │ ·久未访问 │ │ ·非 Image LayerImage 层更稳定 │ └────────────────────────┬────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ 2. 删除本地文件标记为 Evicted │ │ ·文件从本地磁盘删除 │ │ ·S3 中仍有备份 │ │ ·LayerMap 中仍保留元数据 │ └────────────────────────┬────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ 3. 释放磁盘空间 │ │ ·resident_physical_size 减少 │ │ ·检查是否需要继续驱逐 │ └─────────────────────────────────────────────────────┘七、Layer 的垃圾回收GCGC 条件// GC 可删除层的条件 // 1. 层的所有 LSN GC horizon默认 64MB WAL // 2. 有更新的 Image Layer 覆盖该层 // 3. 没有分支需要该层分支创建点之后GC 流程当前状态 LSN: 0 ───── 100 ───── 200 ───── 300 ───── 400 [Image] [Delta] [Delta] [InMemory] GC Horizon 400 - 150 250 可删除的层 ✅ Image(LSN100) →被 Delta(LSN100-200) Delta(LSN200-300) 覆盖 ✅ Delta(LSN0-100) →早于 GC Horizon ❌ Delta(LSN200-300) →包含 GC Horizon 后的数据 ❌ Delta(LSN300-400) →包含 GC Horizon 后的数据 ❌ InMemory →活跃数据不能删除八、总结Layer 文件全景图┌─────────────────────────────────────────────────────────────────────────────┐ │ Pageserver Layer 全景 │ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ 内存层InMemory │ │ │ │ ·Open: 接受 WAL 写入 │ │ │ │ ·Frozen: 只读等待 flush │ │ │ └─────────────────────────┬───────────────────────────────────────────┘ │ │ │ flush │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ 本地磁盘层OnDisk │ │ │ │ │ │ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ L0 Delta │ │ L1 Delta │ │ Image Layer │ │ │ │ │ │ (全 key 范围) │ │ (部分 key) │ │ (单 LSN) │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ ·新冻结的层 │ │ ·compaction │ │ ·快照 │ │ │ │ │ │ ·churn 快 │ │ 生成 │ │ ·终止点 │ │ │ │ │ │ ·窄 LSN 范围 │ │ ·宽 LSN 范围 │ │ ·部分 key │ │ │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ │ │ │ │ │ │ 状态Resident驻留 / Evicted已驱逐 │ │ │ └─────────────────────────┬───────────────────────────────────────────┘ │ │ │ upload │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ 对象存储S3 │ │ │ │ ·所有层的最终持久化存储 │ │ │ │ ·不可变文件创建后不修改 │ │ │ │ ·本地驱逐后按需下载 │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ LayerMap层映射 │ │ │ │ ·记录所有层的元数据key 范围、LSN 范围、文件大小 │ │ │ │ ·按 (key, lsn) 索引支持快速查找 │ │ │ │ ·不存储层文件内容仅存储索引 │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────────────────┘关键指标指标典型值说明Image Layer 大小16-128 MB取决于 key 范围L1 Delta 大小16-128 MBcompaction 目标大小L0 Delta 大小1-16 MB单个 freeze 产生Key 大小18 bytesspcnodedbnoderelnodeforksegnoLSN 大小8 bytesu64冻结阈值checkpoint_distance默认 128MB WALGC Horizongc_horizon默认 64MB WAL这个分析覆盖了 Layer 文件的类型、状态、命名、读取、压缩、驱逐和 GC 的完整机制。