1. 从“大海捞针”到“精准定位”为什么你需要掌握glob在日常的编程工作中尤其是数据清洗、日志分析、自动化脚本编写时我们最常遇到的烦恼之一就是文件管理。想象一下你的项目目录里散落着几百个日志文件命名规则是server_log_20240101.txt,server_log_20240102.txt... 现在你需要快速找出所有2024年1月的日志文件进行处理。或者你需要递归地扫描一个庞大工程下的所有.py和.md文件。如果手动用os.listdir()列出所有文件再写一堆复杂的字符串匹配和循环判断代码不仅冗长而且容易出错效率低下。这正是glob库大显身手的地方。它不是一个功能庞杂的巨型库而是一个精准、高效的文件路径模式匹配工具。它的核心思想借鉴了 Unix shell 的路径名扩展规则让你能用非常简洁的“通配符”语法像在命令行里一样轻松地找到符合特定模式的所有文件和目录。对于 Python 开发者而言glob是os和pathlib模块在处理批量文件查找时的完美补充甚至是更优雅的替代方案。它把“大海捞针”式的文件遍历变成了“按图索骥”式的精准查询。掌握glob意味着你能用一两行代码完成以往需要十几行才能完成的文件筛选任务让脚本更加清晰、健壮也更符合 Python “优雅明确”的哲学。无论是处理本地数据还是构建自动化流水线它都是一个不可或缺的“瑞士军刀”式的小工具。2. glob的核心机制通配符语法深度解析glob模块的威力完全来自于其对通配符模式的支持。理解这些模式是灵活运用的基础。glob支持以下几种核心通配符*匹配任意数量的任意字符包括零个字符。?匹配任意单个字符。[]匹配括号中列出的任意单个字符。例如[abc]匹配a,b, 或c。也支持范围如[0-9]匹配任意数字[a-z]匹配任意小写字母。[!...]或[^...]匹配不在括号中列出的任意单个字符。例如[!0-9]匹配任意非数字字符。这些规则看起来简单但结合路径使用就能产生强大的效果。glob模块处理路径的一个关键特性是路径分隔符/或\不会被通配符匹配。这意味着*无法跨目录匹配它只在当前目录层级内生效。这是它与正则表达式一个重要的区别也保证了匹配行为的清晰和可预测。2.1 基础匹配模式实战让我们通过一些具体的例子来感受一下。假设我们有以下目录结构project/ ├── src/ │ ├── main.py │ ├── utils.py │ ├── config.yaml │ └── old_script.bak ├── data/ │ ├── 20240101.csv │ ├── 20240102.csv │ └── archive_20231215.csv ├── README.md └── requirements.txt示例1匹配当前目录下所有文件import glob # 匹配 project/ 目录下的所有文件和直接子目录 print(glob.glob(*)) # 可能输出: [src, data, README.md, requirements.txt]这里的*匹配了project/下的所有条目。示例2匹配特定扩展名的文件# 匹配所有 .py 文件 print(glob.glob(*.py)) # 输出: []因为 project/ 根目录下没有 .py 文件 # 正确做法是进入 src 目录或使用子目录路径 print(glob.glob(src/*.py)) # 输出: [src/main.py, src/utils.py]示例3使用问号匹配固定长度名称# 匹配 data/ 下类似 ‘20240101.csv’ 的文件即8位数字开头 print(glob.glob(data/202401??.csv)) # 输出: [data/20240101.csv, data/20240102.csv] # 不会匹配 ‘archive_20231215.csv’因为长度和模式不符。示例4使用字符集进行精细匹配# 匹配 src/ 下以 ‘m’ 或 ‘u’ 开头的 .py 文件 print(glob.glob(src/[mu]*.py)) # 输出: [src/main.py, src/utils.py] # 匹配非备份的配置文件排除 .bak 文件 print(glob.glob(src/*[!.]bak)) # 这个模式可能不直观更推荐用两次glob或列表推导式过滤。2.2 递归匹配**与recursiveTrue参数基础通配符无法匹配子目录中的文件这是其设计使然。为了进行递归搜索glob提供了**模式但必须与glob.glob(..., recursiveTrue)参数结合使用。**在recursiveTrue模式下可以匹配任意中间目录包括零个或多个目录。示例5递归查找所有Python文件# 递归查找项目下所有 .py 文件 print(glob.glob(**/*.py, recursiveTrue)) # 输出: [src/main.py, src/utils.py] # 如果还有更深层的子目录也会被匹配到。示例6递归查找所有文件# 递归查找所有文件和目录类似于 find . -type f 但包含目录 all_items glob.glob(**, recursiveTrue) print(all_items) # 会列出所有文件和文件夹的路径注意**单独使用时在recursiveTrue下会匹配所有文件和目录包括目录本身。如果你只想找文件通常需要后续过滤。示例7在特定目录下开始递归# 递归查找 data/ 目录及其子目录下的所有 .csv 文件 print(glob.glob(data/**/*.csv, recursiveTrue)) # 如果 data/ 下还有子文件夹如 data/processed/里面的 .csv 也会被找到。理解并熟练组合这些通配符你就能应对绝大多数基于模式的文件查找需求。glob的模式比完整的正则表达式简单但正因为简单在文件路径匹配这个特定领域反而更加高效和不易出错。3. glob模块的三大核心函数对比与选型glob模块主要提供了三个函数glob.glob(),glob.iglob(), 和glob.escape()。了解它们之间的区别有助于你在不同场景下做出最佳选择。3.1glob.glob()最常用的“收集器”这是最常用的函数。它接受一个模式字符串pathname和一个可选的recursive布尔标志立即返回一个包含所有匹配路径字符串的列表。工作流程解析传入的模式路径。遍历文件系统查找所有匹配项。将所有匹配的路径收集到一个列表中。返回该列表。优点结果直观直接拿到一个列表方便后续处理如循环、排序、筛选。使用简单对于匹配项数量不多的情况代码最简洁。缺点内存压力如果匹配的文件非常多例如成千上万个它会一次性将所有路径字符串加载到内存中可能消耗大量内存。等待时间必须等待所有文件遍历完成才返回结果对于海量文件用户会感到明显的延迟。适用场景已知匹配文件数量不会特别巨大例如几百个以内或者需要立即获得完整结果列表进行后续操作的场景。import glob # 典型用法获取列表后直接处理 py_files glob.glob(src/**/*.py, recursiveTrue) for file in py_files: print(fProcessing {file}) # ... 处理逻辑3.2glob.iglob()处理海量文件的“迭代器”iglob()是glob()的迭代器版本。它的参数完全相同但返回值是一个生成器迭代器。工作流程解析传入的模式路径。返回一个生成器对象。当程序开始迭代这个生成器时例如在for循环中它才会惰性地lazily逐个查找并产出匹配的路径。在任何时刻内存中只保存当前处理的一个或少量路径。优点内存友好非常适合处理巨量文件几乎不增加额外内存开销。响应迅速可以立即开始处理第一个找到的文件无需等待全部搜索完成。缺点不能直接获取列表如果你确实需要完整的列表例如要随机访问或多次遍历需要手动用list()转换但这会抵消其内存优势。注意生成器状态生成器只能迭代一次。迭代耗尽后再次迭代将为空。适用场景需要遍历大量文件如日志归档、全盘搜索并且通常是逐个处理、不需要保留完整路径列表的场景。import glob # 使用 iglob 进行惰性迭代处理十万个日志文件也不怕 log_pattern /var/log/app/**/*.log for log_path in glob.iglob(log_pattern, recursiveTrue): process_large_log(log_path) # 假设这是一个处理单个大文件的函数 # 在处理第一个文件时搜索可能还在后台继续寻找下一个匹配项3.3glob.escape()转义特殊字符的“安全员”这是一个辅助函数用于处理路径中包含通配符本身作为字面量的特殊情况。例如你的文件名就叫report*.txt其中*是文件名的一部分而不是通配符。工作原理escape()函数会对路径字符串中所有可能被解释为通配符的字符*,?,[,]进行转义在它们前面加上[和]? 实际上在类Unix系统是加\但glob.escape的实现是确保它们被放在[]内或直接处理使其失去通配符的特殊含义变成普通字符。适用场景当你的搜索模式或路径片段来自用户输入、配置文件等不可信来源或者已知文件名包含特殊字符时使用escape()可以防止意外的模式匹配确保按字面名称查找文件。import glob import os # 危险用户输入可能包含通配符 user_input data[2024].csv # 用户可能想找这个确切名字但 [ 和 ] 是特殊字符 dangerous_pattern fbackups/{user_input} # 直接使用可能导致非预期的匹配或错误 # 安全对文件名部分进行转义 safe_filename glob.escape(data[2024].csv) safe_pattern fbackups/{safe_filename} matching_files glob.glob(safe_pattern) # 现在只会寻找确切名为 ‘data[2024].csv’ 的文件 # 更常见的场景构建包含变量的路径 base_dir /tmp file_name special?file.txt # 文件名包含问号 # 错误构建 # bad_pattern os.path.join(base_dir, file_name) # 结果会是 ‘/tmp/special?file.txt’?会被当作通配符 # 正确构建 escaped_name glob.escape(file_name) good_pattern os.path.join(base_dir, escaped_name) # 现在 ‘?’ 被转义按字面匹配函数选型决策指南默认用glob()除非有明确理由否则使用glob()最简单。文件多、内存敏感用iglob()当处理未知数量或明显大量文件时优先考虑iglob()。动态构建路径时考虑escape()当模式字符串由字符串拼接而成且部分组件可能包含*,?,[,]这些字符时使用escape()来保证安全。4. 超越基础glob在真实项目中的高阶应用模式掌握了基本语法和函数后我们可以看看glob如何解决实际项目中更复杂的问题。以下是一些常见的进阶模式。4.1 组合多个模式进行复杂筛选glob一次调用只能使用一个模式。但我们可以通过多次调用glob()并合并结果或者利用列表推导式来实现复杂的逻辑筛选。场景找出src目录下所有的.py文件和.yaml配置文件但排除任何以test_开头的文件。import glob import os pattern1 src/*.py pattern2 src/*.yaml pattern3 src/*.yml # 有时扩展名可能是 .yml # 方法1合并列表然后过滤 all_candidates glob.glob(pattern1) glob.glob(pattern2) glob.glob(pattern3) filtered_files [f for f in all_candidates if not os.path.basename(f).startswith(test_)] print(filtered_files) # 方法2使用递归并过滤如果文件在子目录中 all_files glob.glob(src/**/*, recursiveTrue) filtered_files [ f for f in all_files if (f.endswith((.py, .yaml, .yml)) and not os.path.basename(f).startswith(test_)) ] print(filtered_files)4.2 与os.path和pathlib协同工作glob返回的是字符串路径与 Python 强大的路径处理模块是天作之合。与os.path结合用于获取文件信息、修改路径。import glob import os for file_path in glob.glob(data/*.csv): # 获取文件大小、修改时间等 file_size os.path.getsize(file_path) mod_time os.path.getmtime(file_path) # 构建新文件名例如添加 ‘_processed’ 后缀 dir_name, file_name os.path.split(file_path) name_part, ext os.path.splitext(file_name) new_path os.path.join(dir_name, f{name_part}_processed{ext}) print(f{file_path} - {new_path}, Size: {file_size} bytes)与pathlib结合更现代、推荐pathlib.Path对象自身就有一个.glob()和.rglob()方法其行为与glob模块类似但返回的是Path对象提供了更面向对象的操作方式。from pathlib import Path # 使用 Path.glob() - 非递归 project_path Path(.) py_files list(project_path.glob(src/*.py)) # 使用 Path.rglob() - 递归相当于 glob(‘**/*’, recursiveTrue) all_py_files list(project_path.rglob(**/*.py)) for py_file in all_py_files: # py_file 是一个 Path 对象 print(fFile: {py_file}) print(f Stem: {py_file.stem}) # 文件名不带后缀 print(f Suffix: {py_file.suffix}) # 后缀名 print(f Parent: {py_file.parent}) # 父目录 # 可以直接进行读写操作 # content py_file.read_text() # new_path py_file.with_suffix(.json) # 更改后缀pathlib的集成使得路径操作链式调用成为可能代码更加清晰。4.3 实现简单的文件分类与归档脚本结合glob和shutil模块可以快速实现文件自动分类。场景监控一个下载文件夹自动将图片.jpg,.png、文档.pdf,.docx和压缩包.zip,.rar移动到对应的子文件夹中。import glob import shutil import os from pathlib import Path download_dir Path(/path/to/Downloads) # 定义分类规则 categories { Images: [.jpg, .jpeg, .png, .gif], Documents: [.pdf, .docx, .txt, .md], Archives: [.zip, .rar, .7z, .tar.gz] } for category, extensions in categories.items(): # 为每个分类创建目标目录如果不存在 target_dir download_dir / category target_dir.mkdir(exist_okTrue) # 使用 glob 查找当前目录下所有属于该分类的文件 # 注意这里没有用 recursive只处理下载文件夹根目录 for ext in extensions: pattern str(download_dir / f*{ext}) for file_path in glob.glob(pattern, case_sensitiveFalse): # 注意大小写不敏感 file_path Path(file_path) # 避免移动目录 if file_path.is_file(): try: shutil.move(str(file_path), str(target_dir / file_path.name)) print(fMoved: {file_path.name} - {category}/) except shutil.Error as e: print(fError moving {file_path.name}: {e})这个脚本展示了glob如何作为自动化流程的“触发器”和“发现器”与其他库协同完成实际任务。5. 性能优化、常见陷阱与最佳实践即使是简单的工具使用不当也会导致问题。以下是使用glob时需要注意的几个关键点。5.1 性能考量递归与星号的代价**与recursiveTrue这是性能影响最大的操作。递归遍历大型目录树如整个用户主目录、包含数万节点的项目会非常耗时并且可能触发文件系统权限错误。务必谨慎使用最好限定起始目录的深度和范围。例如project/**/*.py比**/*.py要好。过于宽泛的模式像*这样的模式会匹配目录下的所有条目包括子目录。如果你只关心文件这会产生额外开销。有时先匹配再用os.path.isfile()过滤是更清晰的做法但性能需要权衡。最佳实践尽可能使用最精确的模式。如果需要递归尝试用更具体的父目录路径开头而不是直接从根目录开始。5.2 区分文件与目录glob返回的路径既可能是文件也可能是目录。模式本身不区分这两者。例如glob.glob(‘src/*’)会返回src/下的所有文件和文件夹。如果需要专门处理文件或目录必须进行后过滤import glob import os # 只获取文件 all_items glob.glob(src/**/*, recursiveTrue) only_files [p for p in all_items if os.path.isfile(p)] print(fFound {len(only_files)} files.) # 只获取目录 only_dirs [p for p in all_items if os.path.isdir(p)] print(fFound {len(only_dirs)} directories.)使用pathlib时更简洁from pathlib import Path project_path Path(src) # 递归查找所有文件 files [p for p in project_path.rglob(*) if p.is_file()] # 递归查找所有目录 dirs [p for p in project_path.rglob(*) if p.is_dir()]5.3 隐藏文件与符号链接隐藏文件以点.开头的文件在 Unix-like 系统上*默认不匹配以点开头的隐藏文件如.gitignore,.env。这是 shell 通配符的约定。如果你需要匹配它们模式必须显式包含点例如.*或.[!.]*匹配所有隐藏文件但不包括.和..目录。符号链接glob默认会跟随符号链接如果操作系统支持。这意味着如果符号链接指向一个目录**可能会递归到链接指向的目录树中有时这可能导致意外的循环或访问到预期之外的位置。pathlib的.glob()行为类似。在处理不可信的文件系统结构时需要留意。5.4 跨平台路径分隔符问题glob模块的一个巨大优点是它自动处理路径分隔符。在模式字符串中你可以始终使用正斜杠/即使在 Windows 系统上。glob内部会将其转换为当前操作系统适用的分隔符。# 这段代码在 Windows 和 Linux/macOS 上都能正常工作 import glob # 使用 ‘/’ 作为分隔符 files glob.glob(src/**/*.py, recursiveTrue)但是返回的路径字符串会使用当前操作系统的分隔符。在 Windows 上返回的列表可能是[‘src\\main.py’, ‘src\\utils.py’]。如果你需要统一格式可以使用os.path.normpath()或pathlib.Path来处理。5.5 错误处理glob函数在遍历过程中如果遇到没有权限访问的目录通常会默默地跳过而不会抛出异常。这通常是你期望的行为。但是如果起始路径本身不存在或无效glob会返回一个空列表。import glob # 如果 ‘non_existent_dir’ 不存在 result glob.glob(non_existent_dir/*.txt) print(result) # 输出: []而不是报错因此如果你依赖查找结果进行关键操作在glob返回空列表时可能需要额外检查目标目录是否存在。6. 实战构建一个基于glob的简易日志轮转与清理工具让我们综合运用以上知识编写一个有点实用价值的小工具。假设我们有一个应用程序每天生成一个日志文件命名格式为app_YYYYMMDD.log它们堆积在logs/目录下。我们想实现一个功能保留最近7天的日志将7天前到30天前的日志压缩归档.gz并删除30天前的所有日志。import glob import os import gzip import shutil from datetime import datetime, timedelta from pathlib import Path def manage_logs(log_dirlogs, keep_days7, archive_days30): 管理日志文件保留最近N天归档M天前到N天前的删除更早的。 Args: log_dir: 日志目录路径 keep_days: 保留最近多少天的日志不压缩 archive_days: 归档多少天前的日志压缩 log_path Path(log_dir) if not log_path.exists(): print(f日志目录 {log_dir} 不存在。) return today datetime.now() cutoff_keep today - timedelta(dayskeep_days) cutoff_archive today - timedelta(daysarchive_days) # 使用 glob 找到所有 .log 文件 log_files list(log_path.glob(app_*.log)) for log_file in log_files: # 从文件名解析日期例如 ‘app_20240115.log’ try: # 提取 ‘20240115’ 部分 date_str log_file.stem.split(_)[1] # stem 是 ‘app_20240115’ file_date datetime.strptime(date_str, %Y%m%d) except (IndexError, ValueError): print(f跳过无法解析日期的文件: {log_file.name}) continue if file_date cutoff_keep: # 保留不做处理 print(f保留: {log_file.name}) elif file_date cutoff_archive: # 归档压缩 archive_name log_file.with_suffix(.log.gz) try: with open(log_file, rb) as f_in: with gzip.open(archive_name, wb) as f_out: shutil.copyfileobj(f_in, f_out) # 压缩成功后删除原日志文件 log_file.unlink() print(f已归档: {log_file.name} - {archive_name.name}) except OSError as e: print(f归档失败 {log_file.name}: {e}) else: # 删除 try: log_file.unlink() print(f已删除: {log_file.name}) except OSError as e: print(f删除失败 {log_file.name}: {e}) # 可选也清理一下旧的压缩包例如删除一年前的 .gz 文件 old_archives log_path.glob(app_*.log.gz) for arc in old_archives: # 这里简化处理根据文件名判断实际可根据文件修改时间 mtime try: date_str arc.stem.split(_)[1] # stem 是 ‘app_20240115.log’ file_date datetime.strptime(date_str, %Y%m%d) if file_date today - timedelta(days365): arc.unlink() print(f清理旧归档: {arc.name}) except (IndexError, ValueError, OSError): pass if __name__ __main__: # 使用示例 manage_logs(log_dir./logs, keep_days7, archive_days30)这个工具展示了glob如何作为文件批量操作的“发动机”模式匹配使用app_*.log精准定位目标文件。与pathlib结合使用Path对象方便地操作文件名、后缀。流程控制根据解析出的日期决定对每个文件进行保留、归档还是删除操作。错误处理对文件解析、压缩、删除操作进行了基本的异常捕获。你可以通过系统定时任务如 Linux 的 cron 或 Windows 的 Task Scheduler定期运行此脚本实现日志的自动管理。这个例子虽然简单但清晰地体现了glob在自动化运维脚本中的核心价值——快速、可靠地定位需要被处理的文件集合。