1. 从“笔记”到“体系”我的LLVM学习心路最近在整理自己过去几年写下的技术笔记翻到了这篇标号为“56”的LLVM学习记录。这个编号本身就很能说明问题——它意味着前面至少有55篇零散的、探索性的记录。从最初面对庞大代码库的茫然到如今能相对清晰地理解其脉络甚至能动手修改优化流程这个过程充满了“踩坑”与“顿悟”。LLVM这个名字对于编译器、编程语言、静态分析乃至AI编译优化领域的开发者来说就像一座绕不开的高山。它早已超越了“Low Level Virtual Machine”的原始含义演变成一个模块化、可重用的编译器与工具链技术的集合。今天我想把这些年积累的、关于LLVM核心架构与中间表示IR的实战理解系统地梳理出来。这不是一篇面面俱到的教科书而是一个实践者视角的“地图”希望能帮你绕过我当年走过的弯路更快地触及LLVM真正强大的内核。学习LLVM很多人会陷入两个极端要么被《龙书》般的理论吓退要么一头扎进源码海洋迷失方向。我的体会是最佳路径是“理论-实践-源码”的螺旋上升。你需要先理解编译器前端、中端、后端的基本概念然后立刻动手用LLVM提供的工具链如Clang、opt、llc去观察、操作一个简单的程序最后带着具体问题去阅读相关模块的源码。这篇笔记将聚焦于LLVM的灵魂——它的中间表示IR以及围绕IR构建的Pass管理器。这是理解LLVM所有高级特性的基石无论是你想做自定义的代码优化、实现一门新语言的前端还是进行深度的程序分析都从这里开始。2. LLVM IR一切魔法的发生地如果把整个LLVM编译器基础设施看作一个现代化工厂那么LLVM IR就是这条流水线上标准化的“工件”或“半成品”。前端如Clang for C/C、Flang for Fortran负责将各种源代码原材料加工成统一的LLVM IR中端的各种优化Pass加工站对IR进行反复的打磨和重塑后端如x86、ARM目标代码生成器则负责将优化后的IR精加工件转换成目标机器码最终产品。这种设计实现了前后端的彻底解耦是LLVM成功的关键。2.1 IR的三种形态与内在逻辑LLVM IR的存在形式并非单一理解这三种形态是灵活运用工具链的前提内存中的IRIn-Memory IR这是LLVM各种库如libCore、libPasses操作的核心数据结构。它是一套丰富的C类层次结构例如Module、Function、BasicBlock、Instruction。当你写一个Pass去遍历函数、修改指令时你就是在直接操作这些内存对象。它的优势是效率高、API丰富但不易于人类阅读和持久化存储。比特码格式Bitcode, .bc文件这是内存IR的一种紧凑的、平台无关的二进制序列化形式。你可以把它想象成IR的“压缩包”。通过llvm-as工具可以将文本IR.ll编译成.bc文件反之用llvm-dis反汇编。Bitcode常用于程序的部分编译如Clang的-emit-llvm -c选项生成.bc、库的分发iOS应用商店曾用其进行后续优化以及链接时优化LTO。它的特点是文件小加载速度快适合机器处理。可读文本格式Textual IR, .ll文件这是人类与LLVM IR交互的主要窗口。它采用类似RISC的汇编语言语法但带有强烈的静态单赋值SSA形式和丰富的类型信息。通过clang -S -emit-llvm命令可以轻松将C代码转换为.ll文件。一个简单的C函数int add(int a, int b) { return a b; }编译后的文本IR大致如下define i32 add(i32 %a, i32 %b) { entry: %result add i32 %a, %b ret i32 %result }这段代码清晰地展示了几个关键元素函数签名define i32 add(i32 %a, i32 %b)、基本块标签entry:、SSA形式的指令%result add i32 %a, %b以及终止指令ret。注意文本IR是学习利器但不要试图手工编写复杂的IR。你的工作流应该是用高级语言C/Rust等或IR生成器API写出逻辑然后通过编译得到IR进行观察和调整。2.2 深入SSA形式与核心指令静态单赋值SSA形式是LLVM IR的基石也是很多优化算法能够高效进行的前提。SSA要求每个变量在IR中表现为%开头的值如%1只被赋值一次。这消除了传统代码中变量值多次变化带来的分析复杂度。当遇到分支如if-else时如何保证一个变量在两个分支后只有一个定义LLVM引入了phi指令来解决这个“交汇点”问题。例如define i32 max(i32 %a, i32 %b) { entry: %cmp icmp sgt i32 %a, %b br i1 %cmp, label %if.then, label %if.else if.then: br label %merge if.else: br label %merge merge: %retval phi i32 [ %a, %if.then ], [ %b, %if.else ] ret i32 %retval }在merge基本块中phi指令根据控制流来自哪个前驱块if.then或if.else选择相应的值%a或%b赋给%retval。理解phi指令是理解LLVM优化器如何推理控制流的关键。除了add、phi、retIR指令集非常丰富主要包括算术与逻辑指令add,sub,mul,udiv/sdiv无符号/有符号除,and,or,xor,shl左移,lshr/ashr逻辑/算术右移。内存访问指令alloca栈上分配,load,store。LLVM对内存操作有严格的别名Alias分析规则。比较与转换指令icmp整数比较产生i1,fcmp浮点比较,trunc截断,zext/sext零/符号扩展,fptoui浮点到无符号整型等。控制流指令br条件/无条件跳转,switch,indirectbr间接跳转用于跳转表。函数调用指令call。LLVM IR支持一等公民的函数指针。聚合类型操作extractvalue,insertvalue用于结构体,getelementptrGEP至关重要且常被误解的指令。其中getelementptrGEP指令值得单独讨论。它用于计算聚合类型数组、结构体中元素的地址而不进行任何内存访问。它的作用是纯地址计算。例如计算数组第i个元素的指针%elem_ptr getelementptr inbounds i32, i32* %base, i64 %index。inbounds关键字是一个给优化器的承诺表示索引在数组边界内这能开启更多优化。2.3 类型系统的精妙设计LLVM IR拥有强大的静态类型系统这是其可靠性和优化能力的保障。所有值都有明确的类型主要分为基本类型iNN位整数如i32,float,double等。指针类型type*如i32*。指针可以有不同的地址空间Address Space用于区分GPU的全局内存、共享内存等。聚合类型[N x type]数组如[10 x i32]表示10个i32的数组。{type1, type2, ...}结构体如{i32, float}。函数类型ret_type (arg_type list)如i32 (i32*, i32)。不透明类型opaque用于表示尚未定义的结构体常在模块间链接时使用。类型系统的一个高级特性是类型等价Type Equivalence的结构化规则。简单来说只有结构完全相同的类型才是等价的。这意味着{i32, float}和{float, i32}是不同的类型。这在链接多个模块时需要特别注意类型不匹配会导致链接错误。3. Pass管理器优化流水线的调度核心理解了IR这个“数据”接下来就要理解操作它的“算法”——Pass。Pass是LLVM中进行分析或转换的工作单元而Pass管理器则负责调度、编排这些Pass的执行。3.1 Pass的生命周期与经典分类一个Pass通常继承自Pass基类旧PM或实现PassInfoMixin新PM并重写runOnFunction、runOnModule等方法。根据其作用Pass可分为几大类分析PassAnalysis Passes它们不修改IR只收集信息。例如DominatorTree计算支配树用于分析控制流。LoopInfo识别循环结构。AliasAnalysis分析内存别名信息判断两个指针是否可能指向同一内存。ScalarEvolutionSCEV分析标量表达式特别是循环归纳变量如何演化。 分析Pass的结果通常被其他转换Pass所依赖。Pass管理器会缓存分析结果避免重复计算。转换PassTransformation Passes它们会修改IR。这是优化器的核心。例如InstCombine指令合并将%y add i32 %x, 0优化为%y %x。DeadCodeEliminationDCE删除不可达的代码。LoopUnroll循环展开。GlobalValueNumberingGVN全局值编号消除冗余计算。工具PassUtility Passes如VerifierPass用于验证IR的合法性例如SSA形式是否被破坏在开发自定义Pass时是必不可少的调试工具。3.2 新旧Pass管理器架构对比与迁移这是LLVM近年来一个重要的架构演进必须理解。旧Pass管理器Legacy Pass Manager基于继承和全局注册表。你需要定义一个类如class MyPass : public FunctionPass然后在.cpp文件中用static RegisterPassMyPass X(...)进行静态注册。它的管理相对简单但存在分析结果生命周期管理复杂、难以并行化等缺点。新Pass管理器New Pass Manager从LLVM 9左右开始引入并成为默认选项。它基于概念Concepts和依赖注入使用PassBuilder来构建Pass管道。新PM的核心优势是更好的性能更精确的分析结果缓存和失效机制。显式的依赖声明Pass通过AnalysisKey声明所需的分析关系更清晰。支持CGSCC调用图强连通分量等新的遍历顺序能进行更激进的跨过程优化。现在LLVM主干代码已全面转向新PM。对于学习者我建议直接从新PM开始。虽然旧资料很多但新PM是未来。使用opt工具时默认就是新PM通过-passes参数指定Pass管道例如opt -passesinstcombine,simplifycfg。而旧PM需要使用-legacy-pass-manager和-enable-new-pm0标志并用-passname的格式如opt -instcombine -simplifycfg。3.3 自定义一个简单的Function Pass理论说再多不如动手写一个。假设我们要写一个“函数签名打印器”Pass它遍历模块中的每个函数打印其名字和参数个数。使用新PM的写法如下// MyPass.cpp #include llvm/Passes/PassBuilder.h #include llvm/Passes/PassPlugin.h #include llvm/IR/Function.h #include llvm/Support/raw_ostream.h using namespace llvm; namespace { class MyFunctionPass : public PassInfoMixinMyFunctionPass { public: PreservedAnalyses run(Function F, FunctionAnalysisManager FAM) { errs() Function: F.getName() , Args: F.arg_size() \n; // 本Pass不修改任何IR也不使任何分析失效 return PreservedAnalyses::all(); } }; } // 这是新PM的插件注册入口 extern C LLVM_ATTRIBUTE_WEAK PassPluginLibraryInfo llvmGetPassPluginInfo() { return { LLVM_PLUGIN_API_VERSION, MyFunctionPass, v0.1, [](PassBuilder PB) { // 注册到默认的优化管道中例如在opt -O1时会运行 PB.registerPipelineParsingCallback( [](StringRef Name, FunctionPassManager FPM, ArrayRefPassBuilder::PipelineElement) { if (Name my-function-pass) { FPM.addPass(MyFunctionPass()); return true; } return false; }); } }; }编译成动态库如libMyPass.so后可以通过opt加载并运行clang -shared -fPIC llvm-config --cxxflags --ldflags --libs core MyPass.cpp -o libMyPass.so opt -load-pass-plugin./libMyPass.so -passesmy-function-pass input.ll -o /dev/null实操心得开发自定义Pass时务必在run方法开始或结束时调用F.verifyFunction()或使用VerifierPass。很多诡异的崩溃都是因为Pass不小心破坏了IR的合法性如SSA形式、支配性关系。另外PreservedAnalyses的返回值至关重要它告诉Pass管理器哪些分析结果仍然有效。如果Pass修改了IR必须准确返回PreservedAnalyses::none()或通过PreservedAnalyses::allInSet...()指定保留的分析集合否则会导致后续Pass基于过时的分析信息做出错误优化。4. 实战构建与调试LLVM Pass的完整流程掌握了基本概念后我们需要一套可重复的、高效的开发环境和工作流。以下是我基于CMake的推荐项目结构它比手动写Makefile更易于管理依赖和与LLVM主代码库协同。4.1 基于CMake的Pass项目结构假设你的项目名为MyLLVMPasses目录结构如下MyLLVMPasses/ ├── CMakeLists.txt # 项目主CMake文件 ├── include/ # 头文件可选 │ └── MyPasses.h ├── lib/ # Pass实现 │ ├── CMakeLists.txt │ ├── HelloWorld.cpp # 示例Pass │ └── MyFunctionPass.cpp # 你写的Pass └── test/ # 测试用例 ├── CMakeLists.txt ├── input.ll # 测试用的IR文件 └── test.sh # 测试脚本主CMakeLists.txt的核心内容是找到LLVM包并添加子目录cmake_minimum_required(VERSION 3.13.4) project(MyLLVMPasses) # 寻找LLVM安装路径要求最低版本13.0 find_package(LLVM 13.0 REQUIRED CONFIG) message(STATUS Found LLVM ${LLVM_PACKAGE_VERSION}) message(STATUS Using LLVMConfig.cmake in: ${LLVM_DIR}) # 设置LLVM相关的头文件、库文件路径和编译选项 include_directories(${LLVM_INCLUDE_DIRS}) add_definitions(${LLVM_DEFINITIONS}) # 将LLVM的CMake模块路径加入以便使用LLVM提供的宏如add_llvm_library list(APPEND CMAKE_MODULE_PATH ${LLVM_CMAKE_DIR}) # 添加lib和test子目录 add_subdirectory(lib) # add_subdirectory(test) # 可选的测试目录lib/CMakeLists.txt负责将你的Pass代码编译成插件库# 使用LLVM提供的宏来创建库它会自动处理LLVM的依赖和链接 add_llvm_library(MyPasses MODULE HelloWorld.cpp MyFunctionPass.cpp # 列出所有Pass的源文件 ) # 在非Windows系统上插件通常需要-fPIC和动态链接 if(UNIX) target_link_options(MyPasses PRIVATE -Wl,-undefined,dynamic_lookup) endif()编译命令mkdir build cd build cmake -DLLVM_DIR/path/to/your/llvm/install/lib/cmake/llvm .. make -j$(nproc)编译成功后会在build/lib目录下生成MyPasses.soLinux或MyPasses.dylibmacOS等插件文件。4.2 集成与测试让Pass跑起来有了插件库可以通过几种方式使用它通过opt工具最常用# 使用新PM opt -load-pass-plugin./build/lib/MyPasses.so -passesmy-function-pass test.ll -o optimized.ll -S # 使用旧PM如需兼容旧代码 opt -load ./build/lib/MyPasses.so -legacy-pass-manager -my-function-pass test.ll -S -o optimized.ll在Clang编译时使用链接时优化LTO这需要将Pass注册到PassBuilder的管道中如前文示例代码所示然后使用Clang的-fpass-plugin标志。clang -fpass-plugin./build/lib/MyPasses.so -O2 your_program.c -o your_program编写独立的驱动程序用于复杂工具有时你需要一个独立的程序来加载IR、运行一系列Pass并输出结果。这需要你链接LLVM的核心库并手动初始化LLVM上下文、解析IR文件、创建Pass管理器等。这是更高级的用法适合构建自定义的静态分析工具或编译器。4.3 调试技巧与常见问题排查开发LLVM Pass调试是家常便饭。以下是我总结的几个最有效的技巧使用llvm::errs()和llvm::dbgs()这是LLVM内部的输出流。errs()是标准错误流dbgs()是调试流默认不输出需通过-debug命令行参数启用。在Pass中插入errs() Debug: Visiting instruction: *I \n;是快速打印调试信息的首选。善用-debug和-debug-onlyLLVM有很多模块自带详细的调试输出。运行opt时加上-debug可以打印海量信息。更精准的是-debug-onlydebug-type例如-debug-onlyinstcombine只打印指令合并Pass的调试信息。你需要确保LLVM编译时开启了-DLLVM_ENABLE_ASSERTIONSON和-DLLVM_ENABLE_DUMPON。GDB/LLDB调试对于段错误或逻辑复杂的问题源码级调试必不可少。因为opt本身就是一个程序你可以直接调试它gdb --args opt -load-pass-plugin./MyPasses.so -passesmy-pass crash.ll -S (gdb) break MyFunctionPass::run (gdb) run验证器Verifier是你的朋友在Pass的run方法开头和结尾或者在你认为可能破坏IR的地方调用assert(!verifyFunction(F, errs()))或直接使用VerifierPass。它能帮你快速定位违反IR规则的操作。常见问题速查表 | 问题现象 | 可能原因 | 排查思路 | | :--- | :--- | :--- | |opt加载插件失败| 插件与当前LLVM版本ABI不兼容依赖库未找到。 | 1. 检查LLVM版本是否一致。2. 在Linux上用ldd MyPasses.so查看动态库依赖。3. 确保编译时LLVM_DIR指向正确的CMake配置路径。 | |Pass运行后IR验证失败| Pass错误地修改了IR破坏了SSA形式、类型系统或支配关系。 | 1. 在Pass中开启-verify-each旧PM或在管道中加入verify新PM。2. 逐步注释掉Pass中的修改代码定位破坏点。3. 检查对BasicBlock、Instruction的插入/删除操作是否正确更新了Instruction的use-def链和BasicBlock的前驱后继。 | |优化效果不符合预期| Pass执行顺序不对分析结果失效但未声明。 | 1. 使用opt -print-pipeline-passes查看默认优化管道顺序。2. 检查你的Pass返回的PreservedAnalyses是否正确。如果Pass修改了CFG通常需要返回PreservedAnalyses::none()。3. 使用-debug-passStructure旧PM查看Pass执行流。 | |编译Pass时链接错误| 缺少LLVM库链接C符号名改编mangling问题。 | 1. 确保使用add_llvm_library宏或正确设置target_link_libraries。2. 检查函数声明与定义是否一致特别是extern C插件接口。 |5. 超越基础LLVM在现代技术栈中的角色掌握了IR和Pass开发你其实已经拿到了打开LLVM宝库的钥匙。现代软件开发的许多前沿领域都活跃着LLVM的身影。5.1 静态分析与符号执行LLVM IR是进行程序分析的绝佳载体因为它标准化、且包含了丰富的类型和控制流信息。基于LLVM的著名静态分析工具包括Clang Static AnalyzerC/C的路径敏感分析器能发现空指针解引用、内存泄漏等问题。SVF一个开源的价值流静态分析框架基于LLVM实现过程间的指针分析和数据依赖分析。KLEE经典的符号执行引擎。它使用LLVM IR作为输入通过将程序变量替换为符号值并利用约束求解器如STP、Z3探索所有可能的执行路径用于生成高覆盖率的测试用例和发现深藏的错误。如果你想入门程序分析基于LLVM写一个简单的数据流分析如活跃变量分析、到达定义分析是一个极好的练手项目。你需要实现一个FunctionPass遍历基本块应用迭代算法直到数据流方程到达不动点。5.2 领域特定语言DSL与JIT编译LLVM提供了从源码或内存中IR直接生成机器码并执行的JITJust-In-Time编译能力。这通过llvm::ExecutionEngine和llvm::orcLLVM的下一代JIT API实现。这使得LLVM成为实现高性能DSL解释器/编译器的热门后端。例如一个简单的计算器DSL其前端将表达式(12)*3解析并生成对应的LLVM IR函数然后通过JIT立即编译执行得到结果9。这个过程完全在内存中完成无需生成目标文件、链接、再加载。Python的科学计算库Numba以及机器学习框架TensorFlow和PyTorch的即时编译TorchScript, XLA部分都深度依赖LLVM JIT技术来实现高性能。5.3 与高级语言及AI编译器的联动Rust语言最初使用LLVM作为其后端获得了强大的优化能力和多平台支持。Swift、Julia等现代语言也做出了同样的选择。对于AI领域Google的XLAAccelerated Linear Algebra编译器将TensorFlow的计算图编译成LLVM IR进而针对CPU、GPU等硬件进行优化。MLIRMulti-Level Intermediate Representation是LLVM项目下的一个子项目它旨在解决“编译器基础设施的碎片化”问题为领域特定编译器如AI、数据库提供可扩展的IR基础设施。MLIR可以生成LLVM IR从而复用LLVM成熟的后端工具链。这意味着深入理解LLVM IR是通向这些更高级、更专业编译技术的一块坚实的跳板。当你看到MLIR中那些代表张量操作的linalg算子最终被 lowering 成LLVM IR中的循环和内存操作时你会对整个编译栈有更通透的理解。学习LLVM是一个典型的“先难后易”的过程。初期面对复杂的C模板、庞大的代码库和抽象的概念确实容易让人望而生畏。我的建议是从一个具体的、微小的目标开始——比如写一个Pass来统计程序中的循环数量或者修改一个现有的简单优化Pass比如HelloWorldPass来观察效果。在动手的过程中不断查阅官方文档LLVM Language Reference Manual, Writing an LLVM Pass、阅读核心类的头文件注释、以及调试、调试、再调试。当你第一次成功运行自己编写的Pass并看到它正确修改了IR时那种成就感会驱动你继续探索这座技术深山中更瑰丽的风景。记住笔记的编号从1到了56这不仅仅是积累更是理解层次不断跃迁的轨迹。 LLVM IR与Pass管理器：编译器优化的核心原理与实践指南
1. 从“笔记”到“体系”我的LLVM学习心路最近在整理自己过去几年写下的技术笔记翻到了这篇标号为“56”的LLVM学习记录。这个编号本身就很能说明问题——它意味着前面至少有55篇零散的、探索性的记录。从最初面对庞大代码库的茫然到如今能相对清晰地理解其脉络甚至能动手修改优化流程这个过程充满了“踩坑”与“顿悟”。LLVM这个名字对于编译器、编程语言、静态分析乃至AI编译优化领域的开发者来说就像一座绕不开的高山。它早已超越了“Low Level Virtual Machine”的原始含义演变成一个模块化、可重用的编译器与工具链技术的集合。今天我想把这些年积累的、关于LLVM核心架构与中间表示IR的实战理解系统地梳理出来。这不是一篇面面俱到的教科书而是一个实践者视角的“地图”希望能帮你绕过我当年走过的弯路更快地触及LLVM真正强大的内核。学习LLVM很多人会陷入两个极端要么被《龙书》般的理论吓退要么一头扎进源码海洋迷失方向。我的体会是最佳路径是“理论-实践-源码”的螺旋上升。你需要先理解编译器前端、中端、后端的基本概念然后立刻动手用LLVM提供的工具链如Clang、opt、llc去观察、操作一个简单的程序最后带着具体问题去阅读相关模块的源码。这篇笔记将聚焦于LLVM的灵魂——它的中间表示IR以及围绕IR构建的Pass管理器。这是理解LLVM所有高级特性的基石无论是你想做自定义的代码优化、实现一门新语言的前端还是进行深度的程序分析都从这里开始。2. LLVM IR一切魔法的发生地如果把整个LLVM编译器基础设施看作一个现代化工厂那么LLVM IR就是这条流水线上标准化的“工件”或“半成品”。前端如Clang for C/C、Flang for Fortran负责将各种源代码原材料加工成统一的LLVM IR中端的各种优化Pass加工站对IR进行反复的打磨和重塑后端如x86、ARM目标代码生成器则负责将优化后的IR精加工件转换成目标机器码最终产品。这种设计实现了前后端的彻底解耦是LLVM成功的关键。2.1 IR的三种形态与内在逻辑LLVM IR的存在形式并非单一理解这三种形态是灵活运用工具链的前提内存中的IRIn-Memory IR这是LLVM各种库如libCore、libPasses操作的核心数据结构。它是一套丰富的C类层次结构例如Module、Function、BasicBlock、Instruction。当你写一个Pass去遍历函数、修改指令时你就是在直接操作这些内存对象。它的优势是效率高、API丰富但不易于人类阅读和持久化存储。比特码格式Bitcode, .bc文件这是内存IR的一种紧凑的、平台无关的二进制序列化形式。你可以把它想象成IR的“压缩包”。通过llvm-as工具可以将文本IR.ll编译成.bc文件反之用llvm-dis反汇编。Bitcode常用于程序的部分编译如Clang的-emit-llvm -c选项生成.bc、库的分发iOS应用商店曾用其进行后续优化以及链接时优化LTO。它的特点是文件小加载速度快适合机器处理。可读文本格式Textual IR, .ll文件这是人类与LLVM IR交互的主要窗口。它采用类似RISC的汇编语言语法但带有强烈的静态单赋值SSA形式和丰富的类型信息。通过clang -S -emit-llvm命令可以轻松将C代码转换为.ll文件。一个简单的C函数int add(int a, int b) { return a b; }编译后的文本IR大致如下define i32 add(i32 %a, i32 %b) { entry: %result add i32 %a, %b ret i32 %result }这段代码清晰地展示了几个关键元素函数签名define i32 add(i32 %a, i32 %b)、基本块标签entry:、SSA形式的指令%result add i32 %a, %b以及终止指令ret。注意文本IR是学习利器但不要试图手工编写复杂的IR。你的工作流应该是用高级语言C/Rust等或IR生成器API写出逻辑然后通过编译得到IR进行观察和调整。2.2 深入SSA形式与核心指令静态单赋值SSA形式是LLVM IR的基石也是很多优化算法能够高效进行的前提。SSA要求每个变量在IR中表现为%开头的值如%1只被赋值一次。这消除了传统代码中变量值多次变化带来的分析复杂度。当遇到分支如if-else时如何保证一个变量在两个分支后只有一个定义LLVM引入了phi指令来解决这个“交汇点”问题。例如define i32 max(i32 %a, i32 %b) { entry: %cmp icmp sgt i32 %a, %b br i1 %cmp, label %if.then, label %if.else if.then: br label %merge if.else: br label %merge merge: %retval phi i32 [ %a, %if.then ], [ %b, %if.else ] ret i32 %retval }在merge基本块中phi指令根据控制流来自哪个前驱块if.then或if.else选择相应的值%a或%b赋给%retval。理解phi指令是理解LLVM优化器如何推理控制流的关键。除了add、phi、retIR指令集非常丰富主要包括算术与逻辑指令add,sub,mul,udiv/sdiv无符号/有符号除,and,or,xor,shl左移,lshr/ashr逻辑/算术右移。内存访问指令alloca栈上分配,load,store。LLVM对内存操作有严格的别名Alias分析规则。比较与转换指令icmp整数比较产生i1,fcmp浮点比较,trunc截断,zext/sext零/符号扩展,fptoui浮点到无符号整型等。控制流指令br条件/无条件跳转,switch,indirectbr间接跳转用于跳转表。函数调用指令call。LLVM IR支持一等公民的函数指针。聚合类型操作extractvalue,insertvalue用于结构体,getelementptrGEP至关重要且常被误解的指令。其中getelementptrGEP指令值得单独讨论。它用于计算聚合类型数组、结构体中元素的地址而不进行任何内存访问。它的作用是纯地址计算。例如计算数组第i个元素的指针%elem_ptr getelementptr inbounds i32, i32* %base, i64 %index。inbounds关键字是一个给优化器的承诺表示索引在数组边界内这能开启更多优化。2.3 类型系统的精妙设计LLVM IR拥有强大的静态类型系统这是其可靠性和优化能力的保障。所有值都有明确的类型主要分为基本类型iNN位整数如i32,float,double等。指针类型type*如i32*。指针可以有不同的地址空间Address Space用于区分GPU的全局内存、共享内存等。聚合类型[N x type]数组如[10 x i32]表示10个i32的数组。{type1, type2, ...}结构体如{i32, float}。函数类型ret_type (arg_type list)如i32 (i32*, i32)。不透明类型opaque用于表示尚未定义的结构体常在模块间链接时使用。类型系统的一个高级特性是类型等价Type Equivalence的结构化规则。简单来说只有结构完全相同的类型才是等价的。这意味着{i32, float}和{float, i32}是不同的类型。这在链接多个模块时需要特别注意类型不匹配会导致链接错误。3. Pass管理器优化流水线的调度核心理解了IR这个“数据”接下来就要理解操作它的“算法”——Pass。Pass是LLVM中进行分析或转换的工作单元而Pass管理器则负责调度、编排这些Pass的执行。3.1 Pass的生命周期与经典分类一个Pass通常继承自Pass基类旧PM或实现PassInfoMixin新PM并重写runOnFunction、runOnModule等方法。根据其作用Pass可分为几大类分析PassAnalysis Passes它们不修改IR只收集信息。例如DominatorTree计算支配树用于分析控制流。LoopInfo识别循环结构。AliasAnalysis分析内存别名信息判断两个指针是否可能指向同一内存。ScalarEvolutionSCEV分析标量表达式特别是循环归纳变量如何演化。 分析Pass的结果通常被其他转换Pass所依赖。Pass管理器会缓存分析结果避免重复计算。转换PassTransformation Passes它们会修改IR。这是优化器的核心。例如InstCombine指令合并将%y add i32 %x, 0优化为%y %x。DeadCodeEliminationDCE删除不可达的代码。LoopUnroll循环展开。GlobalValueNumberingGVN全局值编号消除冗余计算。工具PassUtility Passes如VerifierPass用于验证IR的合法性例如SSA形式是否被破坏在开发自定义Pass时是必不可少的调试工具。3.2 新旧Pass管理器架构对比与迁移这是LLVM近年来一个重要的架构演进必须理解。旧Pass管理器Legacy Pass Manager基于继承和全局注册表。你需要定义一个类如class MyPass : public FunctionPass然后在.cpp文件中用static RegisterPassMyPass X(...)进行静态注册。它的管理相对简单但存在分析结果生命周期管理复杂、难以并行化等缺点。新Pass管理器New Pass Manager从LLVM 9左右开始引入并成为默认选项。它基于概念Concepts和依赖注入使用PassBuilder来构建Pass管道。新PM的核心优势是更好的性能更精确的分析结果缓存和失效机制。显式的依赖声明Pass通过AnalysisKey声明所需的分析关系更清晰。支持CGSCC调用图强连通分量等新的遍历顺序能进行更激进的跨过程优化。现在LLVM主干代码已全面转向新PM。对于学习者我建议直接从新PM开始。虽然旧资料很多但新PM是未来。使用opt工具时默认就是新PM通过-passes参数指定Pass管道例如opt -passesinstcombine,simplifycfg。而旧PM需要使用-legacy-pass-manager和-enable-new-pm0标志并用-passname的格式如opt -instcombine -simplifycfg。3.3 自定义一个简单的Function Pass理论说再多不如动手写一个。假设我们要写一个“函数签名打印器”Pass它遍历模块中的每个函数打印其名字和参数个数。使用新PM的写法如下// MyPass.cpp #include llvm/Passes/PassBuilder.h #include llvm/Passes/PassPlugin.h #include llvm/IR/Function.h #include llvm/Support/raw_ostream.h using namespace llvm; namespace { class MyFunctionPass : public PassInfoMixinMyFunctionPass { public: PreservedAnalyses run(Function F, FunctionAnalysisManager FAM) { errs() Function: F.getName() , Args: F.arg_size() \n; // 本Pass不修改任何IR也不使任何分析失效 return PreservedAnalyses::all(); } }; } // 这是新PM的插件注册入口 extern C LLVM_ATTRIBUTE_WEAK PassPluginLibraryInfo llvmGetPassPluginInfo() { return { LLVM_PLUGIN_API_VERSION, MyFunctionPass, v0.1, [](PassBuilder PB) { // 注册到默认的优化管道中例如在opt -O1时会运行 PB.registerPipelineParsingCallback( [](StringRef Name, FunctionPassManager FPM, ArrayRefPassBuilder::PipelineElement) { if (Name my-function-pass) { FPM.addPass(MyFunctionPass()); return true; } return false; }); } }; }编译成动态库如libMyPass.so后可以通过opt加载并运行clang -shared -fPIC llvm-config --cxxflags --ldflags --libs core MyPass.cpp -o libMyPass.so opt -load-pass-plugin./libMyPass.so -passesmy-function-pass input.ll -o /dev/null实操心得开发自定义Pass时务必在run方法开始或结束时调用F.verifyFunction()或使用VerifierPass。很多诡异的崩溃都是因为Pass不小心破坏了IR的合法性如SSA形式、支配性关系。另外PreservedAnalyses的返回值至关重要它告诉Pass管理器哪些分析结果仍然有效。如果Pass修改了IR必须准确返回PreservedAnalyses::none()或通过PreservedAnalyses::allInSet...()指定保留的分析集合否则会导致后续Pass基于过时的分析信息做出错误优化。4. 实战构建与调试LLVM Pass的完整流程掌握了基本概念后我们需要一套可重复的、高效的开发环境和工作流。以下是我基于CMake的推荐项目结构它比手动写Makefile更易于管理依赖和与LLVM主代码库协同。4.1 基于CMake的Pass项目结构假设你的项目名为MyLLVMPasses目录结构如下MyLLVMPasses/ ├── CMakeLists.txt # 项目主CMake文件 ├── include/ # 头文件可选 │ └── MyPasses.h ├── lib/ # Pass实现 │ ├── CMakeLists.txt │ ├── HelloWorld.cpp # 示例Pass │ └── MyFunctionPass.cpp # 你写的Pass └── test/ # 测试用例 ├── CMakeLists.txt ├── input.ll # 测试用的IR文件 └── test.sh # 测试脚本主CMakeLists.txt的核心内容是找到LLVM包并添加子目录cmake_minimum_required(VERSION 3.13.4) project(MyLLVMPasses) # 寻找LLVM安装路径要求最低版本13.0 find_package(LLVM 13.0 REQUIRED CONFIG) message(STATUS Found LLVM ${LLVM_PACKAGE_VERSION}) message(STATUS Using LLVMConfig.cmake in: ${LLVM_DIR}) # 设置LLVM相关的头文件、库文件路径和编译选项 include_directories(${LLVM_INCLUDE_DIRS}) add_definitions(${LLVM_DEFINITIONS}) # 将LLVM的CMake模块路径加入以便使用LLVM提供的宏如add_llvm_library list(APPEND CMAKE_MODULE_PATH ${LLVM_CMAKE_DIR}) # 添加lib和test子目录 add_subdirectory(lib) # add_subdirectory(test) # 可选的测试目录lib/CMakeLists.txt负责将你的Pass代码编译成插件库# 使用LLVM提供的宏来创建库它会自动处理LLVM的依赖和链接 add_llvm_library(MyPasses MODULE HelloWorld.cpp MyFunctionPass.cpp # 列出所有Pass的源文件 ) # 在非Windows系统上插件通常需要-fPIC和动态链接 if(UNIX) target_link_options(MyPasses PRIVATE -Wl,-undefined,dynamic_lookup) endif()编译命令mkdir build cd build cmake -DLLVM_DIR/path/to/your/llvm/install/lib/cmake/llvm .. make -j$(nproc)编译成功后会在build/lib目录下生成MyPasses.soLinux或MyPasses.dylibmacOS等插件文件。4.2 集成与测试让Pass跑起来有了插件库可以通过几种方式使用它通过opt工具最常用# 使用新PM opt -load-pass-plugin./build/lib/MyPasses.so -passesmy-function-pass test.ll -o optimized.ll -S # 使用旧PM如需兼容旧代码 opt -load ./build/lib/MyPasses.so -legacy-pass-manager -my-function-pass test.ll -S -o optimized.ll在Clang编译时使用链接时优化LTO这需要将Pass注册到PassBuilder的管道中如前文示例代码所示然后使用Clang的-fpass-plugin标志。clang -fpass-plugin./build/lib/MyPasses.so -O2 your_program.c -o your_program编写独立的驱动程序用于复杂工具有时你需要一个独立的程序来加载IR、运行一系列Pass并输出结果。这需要你链接LLVM的核心库并手动初始化LLVM上下文、解析IR文件、创建Pass管理器等。这是更高级的用法适合构建自定义的静态分析工具或编译器。4.3 调试技巧与常见问题排查开发LLVM Pass调试是家常便饭。以下是我总结的几个最有效的技巧使用llvm::errs()和llvm::dbgs()这是LLVM内部的输出流。errs()是标准错误流dbgs()是调试流默认不输出需通过-debug命令行参数启用。在Pass中插入errs() Debug: Visiting instruction: *I \n;是快速打印调试信息的首选。善用-debug和-debug-onlyLLVM有很多模块自带详细的调试输出。运行opt时加上-debug可以打印海量信息。更精准的是-debug-onlydebug-type例如-debug-onlyinstcombine只打印指令合并Pass的调试信息。你需要确保LLVM编译时开启了-DLLVM_ENABLE_ASSERTIONSON和-DLLVM_ENABLE_DUMPON。GDB/LLDB调试对于段错误或逻辑复杂的问题源码级调试必不可少。因为opt本身就是一个程序你可以直接调试它gdb --args opt -load-pass-plugin./MyPasses.so -passesmy-pass crash.ll -S (gdb) break MyFunctionPass::run (gdb) run验证器Verifier是你的朋友在Pass的run方法开头和结尾或者在你认为可能破坏IR的地方调用assert(!verifyFunction(F, errs()))或直接使用VerifierPass。它能帮你快速定位违反IR规则的操作。常见问题速查表 | 问题现象 | 可能原因 | 排查思路 | | :--- | :--- | :--- | |opt加载插件失败| 插件与当前LLVM版本ABI不兼容依赖库未找到。 | 1. 检查LLVM版本是否一致。2. 在Linux上用ldd MyPasses.so查看动态库依赖。3. 确保编译时LLVM_DIR指向正确的CMake配置路径。 | |Pass运行后IR验证失败| Pass错误地修改了IR破坏了SSA形式、类型系统或支配关系。 | 1. 在Pass中开启-verify-each旧PM或在管道中加入verify新PM。2. 逐步注释掉Pass中的修改代码定位破坏点。3. 检查对BasicBlock、Instruction的插入/删除操作是否正确更新了Instruction的use-def链和BasicBlock的前驱后继。 | |优化效果不符合预期| Pass执行顺序不对分析结果失效但未声明。 | 1. 使用opt -print-pipeline-passes查看默认优化管道顺序。2. 检查你的Pass返回的PreservedAnalyses是否正确。如果Pass修改了CFG通常需要返回PreservedAnalyses::none()。3. 使用-debug-passStructure旧PM查看Pass执行流。 | |编译Pass时链接错误| 缺少LLVM库链接C符号名改编mangling问题。 | 1. 确保使用add_llvm_library宏或正确设置target_link_libraries。2. 检查函数声明与定义是否一致特别是extern C插件接口。 |5. 超越基础LLVM在现代技术栈中的角色掌握了IR和Pass开发你其实已经拿到了打开LLVM宝库的钥匙。现代软件开发的许多前沿领域都活跃着LLVM的身影。5.1 静态分析与符号执行LLVM IR是进行程序分析的绝佳载体因为它标准化、且包含了丰富的类型和控制流信息。基于LLVM的著名静态分析工具包括Clang Static AnalyzerC/C的路径敏感分析器能发现空指针解引用、内存泄漏等问题。SVF一个开源的价值流静态分析框架基于LLVM实现过程间的指针分析和数据依赖分析。KLEE经典的符号执行引擎。它使用LLVM IR作为输入通过将程序变量替换为符号值并利用约束求解器如STP、Z3探索所有可能的执行路径用于生成高覆盖率的测试用例和发现深藏的错误。如果你想入门程序分析基于LLVM写一个简单的数据流分析如活跃变量分析、到达定义分析是一个极好的练手项目。你需要实现一个FunctionPass遍历基本块应用迭代算法直到数据流方程到达不动点。5.2 领域特定语言DSL与JIT编译LLVM提供了从源码或内存中IR直接生成机器码并执行的JITJust-In-Time编译能力。这通过llvm::ExecutionEngine和llvm::orcLLVM的下一代JIT API实现。这使得LLVM成为实现高性能DSL解释器/编译器的热门后端。例如一个简单的计算器DSL其前端将表达式(12)*3解析并生成对应的LLVM IR函数然后通过JIT立即编译执行得到结果9。这个过程完全在内存中完成无需生成目标文件、链接、再加载。Python的科学计算库Numba以及机器学习框架TensorFlow和PyTorch的即时编译TorchScript, XLA部分都深度依赖LLVM JIT技术来实现高性能。5.3 与高级语言及AI编译器的联动Rust语言最初使用LLVM作为其后端获得了强大的优化能力和多平台支持。Swift、Julia等现代语言也做出了同样的选择。对于AI领域Google的XLAAccelerated Linear Algebra编译器将TensorFlow的计算图编译成LLVM IR进而针对CPU、GPU等硬件进行优化。MLIRMulti-Level Intermediate Representation是LLVM项目下的一个子项目它旨在解决“编译器基础设施的碎片化”问题为领域特定编译器如AI、数据库提供可扩展的IR基础设施。MLIR可以生成LLVM IR从而复用LLVM成熟的后端工具链。这意味着深入理解LLVM IR是通向这些更高级、更专业编译技术的一块坚实的跳板。当你看到MLIR中那些代表张量操作的linalg算子最终被 lowering 成LLVM IR中的循环和内存操作时你会对整个编译栈有更通透的理解。学习LLVM是一个典型的“先难后易”的过程。初期面对复杂的C模板、庞大的代码库和抽象的概念确实容易让人望而生畏。我的建议是从一个具体的、微小的目标开始——比如写一个Pass来统计程序中的循环数量或者修改一个现有的简单优化Pass比如HelloWorldPass来观察效果。在动手的过程中不断查阅官方文档LLVM Language Reference Manual, Writing an LLVM Pass、阅读核心类的头文件注释、以及调试、调试、再调试。当你第一次成功运行自己编写的Pass并看到它正确修改了IR时那种成就感会驱动你继续探索这座技术深山中更瑰丽的风景。记住笔记的编号从1到了56这不仅仅是积累更是理解层次不断跃迁的轨迹。