最近还是经常能在交流群里看到刚接触Python的朋友问类似的问题“我明明写入了文件为什么重新打开里面是空的”“用read()读一个大文件结果内存爆炸了怎么办”“中文写进去再读出来变成乱码了怎么处理”这些问题背后其实都指向同一个主题——Python文件操作。读取、写入、保存听起来好像是三件再基础不过的事但真正动手写代码时会发现里面全是细节。文件的打开方式、读写模式、编码格式、缓冲机制、关闭时机每个环节都藏着坑。而且这些坑不会在你的学习教程里标注出来只有自己踩过了才知道疼。这篇文章我从实际使用的角度把Python文件操作的完整链路梳理一遍怎么打开文件、怎么读、怎么写、怎么确保数据真正保存到磁盘每一部分都会解释为什么这么做配合可以直接照着写的代码示例。无论你刚装好Python还没写过几行还是已经写过一些脚本但总在文件操作上出问题这篇文章都适合先收藏再看。1. 项目概述与整体思路拆解1.1 文件操作要解决的核心问题是什么程序跑起来之后所有的变量、数据都存在内存里。内存的特点是快但断电就没了。我们做文件操作说白了就是解决一个核心问题让数据在程序退出之后依然能存在下次启动还能重新取回来。举个最直白的例子。你写了一个学生成绩管理系统程序运行的时候用户可以录入成绩这些成绩保存在内存的列表里。一切都很顺利直到你关掉程序再重新打开——成绩没了。要解决这个问题唯一的方式就是在程序运行过程中把数据写入到硬盘上的一个文件里下次启动时再把文件内容读取出来。这就是持久化存储而文件是几乎所有程序最基础、最通用的持久化方案。所以学习文件操作不是单纯学会几个函数调用而是要建立一个完整的数据流转意识内存中的数据如何落到磁盘磁盘上的数据如何回到内存这个过程中间有哪些环节容易出问题。带着这个视角去看下面的内容每个细节才真正有了意义。1.2 初学文件操作最该先理解的一件事Python文件操作的全部核心可以浓缩成三个动作打开文件、操作文件、关闭文件。所有复杂的读写逻辑都是这三个动作的变体。为什么“打开”这一步这么重要因为Python需要你告诉它你要操作哪个文件、你打算怎么操作它。这就是open()函数的两个最核心参数文件路径和打开模式。文件路径告诉Python去哪里找这个文件打开模式告诉Python你准备读取还是写入、文件不存在时是报错还是新建、文件已存在时是覆盖还是保留原有内容继续追加。还有一点很多教程一上来就会讲但新手往往不理解为什么要这样做——操作完之后必须关闭文件。我在后面会专门展开解释关闭文件背后涉及的缓冲区机制。现在你只需要记住一句话文件对象是操作系统资源Python不会因为你创建了就自动帮你清理你不关资源就一直占着而且你写入的数据可能根本没落盘。1.3 本次内容的技术路线整个文章我会按照实际开发中处理文件的自然顺序来组织。先讲环境准备和open()函数的完整用法因为这是绕不开的入口。然后分别讲读取和写入这两类核心操作每种操作都给出对应的代码示例和适用场景。接着专门用一个章节讲“保存”——也就是flush、close、with这些围绕数据真正落盘的关键机制这部分是我认为很多教程讲得最薄弱的环节。最后整理一份常见问题排查表把新手最常踩的坑都列出来。2. 环境准备open函数是文件操作的总入口2.1 三分钟配好运行环境开始写文件操作代码之前先把Python环境准备好。如果你还没装Python去官网下载安装包安装时一定要注意勾选“Add Python to PATH”这个选项否则后面在命令行里敲python会提示找不到命令。装好之后打开命令行Windows是CMD或PowerShellmacOS/Linux是终端输入以下命令验证环境是否正常python --version能正常输出版本号比如Python 3.12.0就说明环境没问题了。后面所有示例代码建议在项目目录下新建一个file_demo.py文件用python命令运行python file_demo.py如果更习惯用IDE推荐直接装PyCharm社区版或者VS Code加Python插件VS Code轻量一些搭配起来也不费劲。2.2 open函数的三要素路径、模式、编码环境准备好之后第一个要掌握的就是open()函数它是整个文件操作的入口。完整调用方式长这样f open(test.txt, r, encodingutf-8)三个参数分别对应三要素。第一个是文件路径可以是相对路径相对于当前工作目录或绝对路径。第二个是打开模式决定了你是要读还是要写、文件不存在时怎么办。第三个是encoding参数指定用哪种编码来读写文本文件中文环境下最常见的坑就是这一项没设对。初学者最需要花时间理解的是打开模式。我用一张表把这几种常用模式整理清楚模式含义文件不存在时文件存在时r只读报错FileNotFoundError正常打开指针在开头w写入自动新建清空原有内容覆盖写入a追加自动新建保留原内容新内容加到末尾x独占创建自动新建报错FileExistsErrorr读写报错FileNotFoundError可读可写指针在开头w读写自动新建清空原内容后读写a读写追加自动新建指针在末尾可读可写rb只读二进制报错FileNotFoundError正常读取wb写入二进制自动新建清空原内容后写入最常见的搭配就是读取用r写入用w追加用a。r这类混合模式我建议新手先不要碰因为读写指针混在一起很容易搞出逻辑混乱等把基础用法练熟了再研究不迟。2.3 路径问题相对路径和绝对路径的选择路径问题看似简单但实际编码中非常容易出错。相对路径是相对于“当前工作目录”的路径这个当前目录不一定是你的代码文件所在的目录。比如你在命令行里从D:\script目录运行python D:\code\demo.py那么当前工作目录是D:\script代码里的相对路径data.txt实际指向的是D:\script\data.txt而不是D:\code\data.txt。要搞清楚当前工作目录在哪可以先运行一段代码输出看看import os print(os.getcwd())如果你希望代码无论从哪里启动都能找到正确的文件最稳妥的方案是使用绝对路径或者基于当前代码文件的位置来构造路径import os # 获取当前代码文件所在目录 base_dir os.path.dirname(os.path.abspath(__file__)) file_path os.path.join(base_dir, data.txt)这里用了os.path.abspath(__file__)获取当前代码文件的绝对路径再取它的目录然后在后面拼上文件名。这样即使在别的目录下执行这个脚本也能准确找到目标文件。os.path.join会自动根据操作系统选择正确的路径分隔符Windows上是反斜杠\macOS/Linux上是正斜杠/用它来拼接路径可以避免硬编码分隔符带来的跨平台问题。2.4 用with语句打开文件省心又安全在实际项目中几乎不会看到直接写open()和close()成对出现的代码因为很容易忘记关闭文件。更推荐的写法是用with上下文管理器with open(test.txt, r, encodingutf-8) as f: content f.read()这段代码结束之后文件会自动关闭哪怕中间出现了异常with也会保证文件被正确关闭。它的原理是Python在进入with语句块时自动调用文件对象的__enter__方法在退出语句块时自动调用__exit__方法并执行关闭操作。不需要手动管理关闭时机代码也更简洁。我这里插一句后文所有代码示例凡是需要打开文件的我都会用with写法。这是目前最推荐的实践方式养成这个习惯可以替你挡掉一大半文件操作相关的坑。3. 读取操作从简单读取到按行处理3.1 三种基础读取方式怎么选文件打开之后读取内容有三种常用方法read()、readline()、readlines()。它们的区别和适用场景完全不同。read()不带参数时一次性读取整个文件内容返回一个字符串with open(novel.txt, r, encodingutf-8) as f: content f.read() print(content)它也可以传入一个数字参数表示读取指定字符数文本模式或字节数二进制模式with open(novel.txt, r, encodingutf-8) as f: head f.read(10) # 先读前10个字符 print(head)readline()每次读取一行返回字符串文件读取到末尾时会返回空字符串with open(novel.txt, r, encodingutf-8) as f: line1 f.readline() line2 f.readline() print(line1) print(line2)readlines()一次性读取所有行返回一个列表列表的每个元素是一行字符串with open(novel.txt, r, encodingutf-8) as f: lines f.readlines() print(len(lines)) # 总行数三种方法的选择逻辑很简单。如果文件不大几MB以内想直接拿到全部内容做处理用read()。如果文件有明确的行结构比如日志、CSV、配置文件需要逐行处理用for line in f直接迭代文件对象或者用readlines()。如果文件非常大千万别用read()和readlines()原因往下看。3.2 读取大文件的正确姿势很多新手踩过这个坑用read()读一个几百MB的文件程序直接卡死或者内存飙升严重的直接把电脑搞到无响应。原因是read()会一次性把所有内容加载到内存文件多大内存就占多大。处理大文件一定不能用“全量加载”的思路要用“流式处理”的思路——每次只处理一小部分处理完了再读下一部分。最简单的方式是直接遍历文件对象with open(big_log.txt, r, encodingutf-8) as f: for line in f: # 处理一行 process(line)这样的写法看起来平平无奇但背后Python做了惰性迭代它不会一次性读取整个文件而是每次从磁盘读取一行到内存处理完再读下一行。无论文件多大同一时刻内存里只有这一行数据内存占用基本恒定。如果你是做数据处理的可能会用到csv模块或pandas库它们读取大文件时也有对应的分批处理方案比如pandas的chunksize参数。但底层思路都是一样的不要一次性把全部数据载入内存。这个思维方式的改变比任何具体的API更重要。3.3 编码问题必须现在就说清楚文本文件在读取时绕不开编码这个话题。简单说编码就是字符和二进制字节之间的对应规则。同一个字UTF-8编码和GBK编码保存到磁盘上字节内容完全不一样。所以打开文件时必须告诉Python用哪套规则去解码否则读出来的就是乱码。open()的encoding参数就是干这个的with open(note.txt, r, encodingutf-8) as f: content f.read()如果你的文件是用GBK编码保存的Windows记事本老版本默认就是GBK/ANSI那么要指定encodinggbkwith open(note.txt, r, encodinggbk) as f: content f.read()如果指定错了编码Python会抛出UnicodeDecodeError。比如说文件是UTF-8的你却用GBK去读很可能遇到类似这样的报错UnicodeDecodeError: gbk codec cant decode byte 0x88 in position 2: illegal multibyte sequence遇到这种情况不要慌把encoding改成文件实际的编码格式就行。如果实在不确定文件编码可以用codecs模块或第三方库chardet来检测但更省心的做法是在你自己创建文件的时候就用UTF-8编码并且坚持统一。UTF-8是目前跨平台兼容性最好的编码方案我的习惯是项目里所有文本文件一律UTF-8没有例外。还有一个容错参数可以了解一下。如果读取一个文件时大部分字节能正常解码、只有个别字节有问题可以加上errors参数with open(messy.txt, r, encodingutf-8, errorsignore) as f: content f.read()errorsignore会静默忽略无法解码的字节而errorsreplace会把它们替换成?字符。这两种方式都会有信息损失所以只适合容忍个别坏字节的场景不能把它当成解决编码问题的万能药。3.4 二进制读取图像、压缩包等非文本文件不是所有文件都能用文本模式读取。图片、压缩包、可执行文件、音频视频这些都是二进制文件它们的内容不是人类可读的文本如果强行用文本模式打开轻则读取出错重则数据被破坏。读取二进制文件只需要把模式从r换成rbwith open(photo.jpg, rb) as f: data f.read() print(len(data), type(data)) # 字节数bytes类型返回的是bytes对象也就是原始的字节序列。二进制读取最常见的应用场景是文件复制——把源文件的内容读出来再写入目标文件with open(source.jpg, rb) as src: with open(dest.jpg, wb) as dst: dst.write(src.read())上面的代码对超大文件同样不友好会一次性把整个文件读进内存。更稳妥的方案是设置一个缓冲区循环读取一小块、写入一小块with open(source.jpg, rb) as src, open(dest.jpg, wb) as dst: while True: chunk src.read(1024 * 1024) # 每次读1MB if not chunk: break dst.write(chunk)4. 写入操作覆盖与追加的取舍4.1 写入与追加用w还是a写入文件的核心方法是write()它接收一个字符串参数把这个字符串写入文件。但很多人没注意write()本身不会自动换行你需要自己把换行符\n加进去。with open(output.txt, w, encodingutf-8) as f: f.write(第一行\n) f.write(第二行\n)如果用w模式打开文件每次执行打开操作时如果文件已存在原内容会被全部清空。这是“覆盖模式”。如果希望保留原有内容在文件末尾追加新内容需要用a模式with open(output.txt, a, encodingutf-8) as f: f.write(追加一行\n)a模式的好处不仅是不清空原内容还给了一个隐性的保证写入时不会影响原来已经存在的内容。这在高频日志记录场景里非常实用。比如你的程序每次运行都往日志文件里追加一段运行记录用a模式是绝对正确的选择而如果用w模式每次运行都会把之前的日志清掉日志文件永远只有最后一次运行的内容。还有一个x模式它是“独占创建”模式。文件不存在时新建并写入文件已存在时直接报错FileExistsError。这在需要确保不要覆盖已有文件的场景下很好用比如生成配置文件如果已经存在就提示用户而不是默默覆盖。4.2 批量写入循环、列表与writelines方法实际开发中很少只写几行内容更多是把一批数据写入文件。最常见的批量写入方式就是用循环配合write()users [张三, 李四, 王五] with open(users.txt, w, encodingutf-8) as f: for name in users: f.write(name \n)这里有个小细节write()方法不会帮你加换行符如果不手动拼接\n所有名字会挤在一行。这是新手非常容易漏掉的点。如果要写入的是一个字符串列表可以用writelines()方法。但注意它同样不会自动添加换行符lines [第一行\n, 第二行\n, 第三行\n] with open(output.txt, w, encodingutf-8) as f: f.writelines(lines)如果你想写入的是带格式的文本比如把数字和字符串混合的内容写入文件推荐用Python 3.6的f-string先把内容格式化好再写入students [(张三, 92), (李四, 85), (王五, 78)] with open(grades.txt, w, encodingutf-8) as f: for name, score in students: f.write(f{name}: {score}分\n)这样写出来的文件每一行格式清晰后面如果需要读取解析也很方便。4.3 把数据保存到CSV和Excel不只是文本这么简单文件操作入门之后你会发现很多场景不满足于纯文本文件。最常见的两个需求就是CSV和Excel。CSV本质上是逗号分隔的文本文件用Python标准库的csv模块处理最规范import csv rows [[name, score], [张三, 92], [李四, 85]] with open(grades.csv, w, newline, encodingutf-8-sig) as f: writer csv.writer(f) writer.writerows(rows)这里的encodingutf-8-sig是为了让Excel能正确识别UTF-8编码的CSV文件。如果你用普通的utf-8编码用Excel打开CSV时中文可能会乱码加-sig会在文件开头写入BOM标记Excel就能正确识别了。这个细节我是在实际导出数据时发现的第一次用Excel打开全是乱码查了半天资料才找到原因。写入Excel文件标准库没有直接支持需要装openpyxl库pip install openpyxlfrom openpyxl import Workbook wb Workbook() ws wb.active ws.append([name, score]) ws.append([张三, 92]) ws.append([李四, 85]) wb.save(grades.xlsx)从文件操作的角度看这些库的本质仍然是写入文件只是它们内部封装了特定格式的序列化逻辑。学好了最底层的open、write、read这些基础再上这些专门库会轻松很多。5. 保存从缓冲区到磁盘的那一步5.1 为什么写完了不等于保存了这是很多新手完全没意识到的关键点你调用f.write()的时候数据其实不一定会立刻写到硬盘上。Python为了性能默认会把写操作放到缓冲区里等缓冲区满了、文件正常关闭、或者你主动刷新时数据才会真正落到磁盘。打个比方write()就像你往一个传输管道里塞东西东西先堆在管道中还没有全部到达终点。flush()相当于把管道里堆积的内容全部推到底close()则是推完内容之后把管道拆掉。flush()方法的作用就是把缓冲区的数据强制写入磁盘f open(output.txt, w, encodingutf-8) f.write(hello) f.flush() # 强制写入磁盘什么场景需要主动调用flush()典型的就是写日志。程序正在运行时你希望别人能实时看到日志内容如果用默认缓冲可能过很久日志文件里还是空的。所以日志系统一般都要靠主动flush保证实时性。5.2 不关闭文件的后果到底有多严重直接不调用close()会发生什么最常见的问题包括文件对象一直占用系统资源如果程序里打开的文件很多文件描述符耗尽。缓冲区中的数据没有刷到磁盘程序异常退出时数据丢失。Windows下文件被占用其他程序无法读取或删除。很多新手以为程序退出了文件自然就关了这个想法在大多数情况下的确成立因为Python解释器退出时会尝试清理资源。但程序异常崩溃时缓冲区里的数据很可能就丢了。我能找到的最典型例子就是程序中途抛异常退出了你打开文件一看内容只有之前的残缺数据甚至完全是空的。正确关闭文件的方式就是之前提过的用withwith open(output.txt, w, encodingutf-8) as f: f.write(hello world) # 离开with块后文件自动关闭如果你想显式管理记住成对写close()但with更省心。5.3 安全保存的进阶操作先写临时文件再替换有一个场景需要特别注意程序崩溃时很容易产生“写了一半的文件”导致文件既不是完整的新内容也不是原来的旧内容数据直接废了。这在配置文件的保存中尤其危险。比较稳妥的保存方式分三步先写入一个临时文件写入成功后刷新并关闭临时文件最后用os.replace()把临时文件替换到目标位置。os.replace()是原子操作要么替换成功要么保持原样不会出现半写状态。import os import tempfile def safe_write(file_path, content): dir_path os.path.dirname(os.path.abspath(file_path)) fd, temp_path tempfile.mkstemp(dirdir_path, suffix.tmp) try: with os.fdopen(fd, w, encodingutf-8) as f: f.write(content) os.replace(temp_path, file_path) except Exception: os.unlink(temp_path) raise这种方案一开始可能觉得多此一举但一旦你写的程序在处理重要的配置数据、需要避免断电或崩溃导致数据损坏的场景这个做法真的能救命。我在做一个自动化工具时程序每天要更新一个配置文件之前直接write覆盖后来有一次更新到一半进程被杀配置文件损坏程序怎么都启动不了。换了临时文件替换的方案后再也没有出现过这个问题。6. 常见问题与排查技巧实录6.1 FileNotFoundError文件不存在还是路径不对报错信息很明确FileNotFoundError: [Errno 2] No such file or directory: test.txt两个常见原因一是文件真的不存在且打开模式是r不支持自动创建二是文件存在但当前工作目录不是文件所在的目录相对路径找不到。排查方法很简单先用绝对路径试试。万一文件确实不应该自动创建但你又希望“没有就新建”那就用w或a模式。如果希望程序预先检查文件是否存在可以这样写import os if os.path.exists(test.txt): print(文件存在) else: print(文件不存在)6.2 PermissionError文件被占用怎么办Windows下最常见的报错是PermissionError: [Errno 13] Permission denied: test.txt这通常意味着文件正被另一个程序打开比如你在Excel里打开了这个文件然后运行Python脚本去写它。Windows对文件的占用锁定很严格不像Linux/macOS那么宽松。解决办法就是先关掉所有正在使用这个文件的程序再运行脚本。还有一种可能是文件被标记为只读或者Python进程没有目录的写入权限。查看文件属性检查目录权限基本都能定位问题。6.3 中文乱码读出来的字全变天了乱码的核心原因是编码不匹配。文件写入用UTF-8读取却用GBK或者反过来就会乱码。解决方案就一句话写入和读取使用相同的encoding。如果文件本身不是标准编码可能需要尝试不同的encoding值。已知的乱码场景里有一种特别有价值用Python的open()写入文件时不指定encoding会使用平台默认编码Windows简体中文版默认是GBKmacOS/Linux默认是UTF-8。这就是为什么同一个脚本在不同机器上运行写出来的文件编码不一样在某些机器上打开就会乱码。解决办法是写代码时永远显式指定encodingutf-8。6.4 只读文件写入报错UnsupportedOperation报错信息io.UnsupportedOperation: not writable原因很简单你用r模式打开文件却调用了write()。需要仔细检查打开模式。如果确实需要同时读写用r但前面提到过新手不推荐用它。6.5 常见问题速查表报错信息可能原因解决方法FileNotFoundError文件不存在或路径错误检查路径改用w/a模式自动创建PermissionError文件被占用或只读关闭占用程序检查文件属性UnicodeDecodeError解码格式不匹配换encoding参数UnicodeEncodeError编码格式不匹配换encoding参数UnsupportedOperation: not writable模式不支持写入改成w/a/r模式FileExistsErrorx模式文件已存在换文件名或改用a模式6.6 一个容易忽略的坑read()后文件指针位置read()读完文件后文件指针停在了末尾如果此时再调用readline()读到的会是空字符串。这是因为文件对象内部维护了一个指针标记下次读取的起始位置。要让指针回到开头可以用seek(0)with open(test.txt, r, encodingutf-8) as f: content f.read() print(content) f.seek(0) # 回到文件开头 line f.readline() print(line)对新手来说最常见的疑惑是“为什么read两次第二次是空的”其实答案就是这个指针问题。实际开发中尽量避免在一次打开中多次读取如果确实需要用seek()控制指针位置。7. 实操经验与个人体会文件操作这块内容我在不同项目里反复用了一年多之后最深的感受是它太基础了基础到很多人不愿意花时间认真对待但恰恰是这些基础环节出了问题反而最让人抓狂。如果你刚开始学Python文件操作我的建议是三件事。第一所有的open()一定要用with写法不要在这个地方省代码。第二在代码里凡是打开文本文件一律显式指定encodingutf-8不管这个脚本是不是只在你自己电脑上跑。第三先学会正确处理小文件再去研究大文件的流式读取和解码问题循序渐进不要一上来就追求所有的优化技巧。最后再分享一个小技巧如果你在写数据分析脚本经常需要把Python的计算结果保存成文件再交给其他程序处理CSV格式是兼容性最好的选择。多花十分钟用csv模块去处理而不是手工拼字符串写CSV——手工拼接一定会遇到转义、逗号、换行这些细节问题。用专门的模块这些坑都被封装在API内部了比自己手搓稳得多。文件操作这门技术往深了研究其实还有很多内容比如tempfile临时文件、pathlib现代化路径处理、mmap内存映射文件、对不同操作系统文件锁的处理这些都是后续可以继续深挖的方向。但先把读取、写入、保存这条主线练扎实你的Python技能就会发现一个明显的提升。根据自己的项目需求慢慢积累有问题的时候就回看这篇文章的排查表多写几次就会越来越顺手。希望这篇整理能帮你少踩几个坑。 Python文件操作完整指南：open、读写、编码与大文件保存实战
最近还是经常能在交流群里看到刚接触Python的朋友问类似的问题“我明明写入了文件为什么重新打开里面是空的”“用read()读一个大文件结果内存爆炸了怎么办”“中文写进去再读出来变成乱码了怎么处理”这些问题背后其实都指向同一个主题——Python文件操作。读取、写入、保存听起来好像是三件再基础不过的事但真正动手写代码时会发现里面全是细节。文件的打开方式、读写模式、编码格式、缓冲机制、关闭时机每个环节都藏着坑。而且这些坑不会在你的学习教程里标注出来只有自己踩过了才知道疼。这篇文章我从实际使用的角度把Python文件操作的完整链路梳理一遍怎么打开文件、怎么读、怎么写、怎么确保数据真正保存到磁盘每一部分都会解释为什么这么做配合可以直接照着写的代码示例。无论你刚装好Python还没写过几行还是已经写过一些脚本但总在文件操作上出问题这篇文章都适合先收藏再看。1. 项目概述与整体思路拆解1.1 文件操作要解决的核心问题是什么程序跑起来之后所有的变量、数据都存在内存里。内存的特点是快但断电就没了。我们做文件操作说白了就是解决一个核心问题让数据在程序退出之后依然能存在下次启动还能重新取回来。举个最直白的例子。你写了一个学生成绩管理系统程序运行的时候用户可以录入成绩这些成绩保存在内存的列表里。一切都很顺利直到你关掉程序再重新打开——成绩没了。要解决这个问题唯一的方式就是在程序运行过程中把数据写入到硬盘上的一个文件里下次启动时再把文件内容读取出来。这就是持久化存储而文件是几乎所有程序最基础、最通用的持久化方案。所以学习文件操作不是单纯学会几个函数调用而是要建立一个完整的数据流转意识内存中的数据如何落到磁盘磁盘上的数据如何回到内存这个过程中间有哪些环节容易出问题。带着这个视角去看下面的内容每个细节才真正有了意义。1.2 初学文件操作最该先理解的一件事Python文件操作的全部核心可以浓缩成三个动作打开文件、操作文件、关闭文件。所有复杂的读写逻辑都是这三个动作的变体。为什么“打开”这一步这么重要因为Python需要你告诉它你要操作哪个文件、你打算怎么操作它。这就是open()函数的两个最核心参数文件路径和打开模式。文件路径告诉Python去哪里找这个文件打开模式告诉Python你准备读取还是写入、文件不存在时是报错还是新建、文件已存在时是覆盖还是保留原有内容继续追加。还有一点很多教程一上来就会讲但新手往往不理解为什么要这样做——操作完之后必须关闭文件。我在后面会专门展开解释关闭文件背后涉及的缓冲区机制。现在你只需要记住一句话文件对象是操作系统资源Python不会因为你创建了就自动帮你清理你不关资源就一直占着而且你写入的数据可能根本没落盘。1.3 本次内容的技术路线整个文章我会按照实际开发中处理文件的自然顺序来组织。先讲环境准备和open()函数的完整用法因为这是绕不开的入口。然后分别讲读取和写入这两类核心操作每种操作都给出对应的代码示例和适用场景。接着专门用一个章节讲“保存”——也就是flush、close、with这些围绕数据真正落盘的关键机制这部分是我认为很多教程讲得最薄弱的环节。最后整理一份常见问题排查表把新手最常踩的坑都列出来。2. 环境准备open函数是文件操作的总入口2.1 三分钟配好运行环境开始写文件操作代码之前先把Python环境准备好。如果你还没装Python去官网下载安装包安装时一定要注意勾选“Add Python to PATH”这个选项否则后面在命令行里敲python会提示找不到命令。装好之后打开命令行Windows是CMD或PowerShellmacOS/Linux是终端输入以下命令验证环境是否正常python --version能正常输出版本号比如Python 3.12.0就说明环境没问题了。后面所有示例代码建议在项目目录下新建一个file_demo.py文件用python命令运行python file_demo.py如果更习惯用IDE推荐直接装PyCharm社区版或者VS Code加Python插件VS Code轻量一些搭配起来也不费劲。2.2 open函数的三要素路径、模式、编码环境准备好之后第一个要掌握的就是open()函数它是整个文件操作的入口。完整调用方式长这样f open(test.txt, r, encodingutf-8)三个参数分别对应三要素。第一个是文件路径可以是相对路径相对于当前工作目录或绝对路径。第二个是打开模式决定了你是要读还是要写、文件不存在时怎么办。第三个是encoding参数指定用哪种编码来读写文本文件中文环境下最常见的坑就是这一项没设对。初学者最需要花时间理解的是打开模式。我用一张表把这几种常用模式整理清楚模式含义文件不存在时文件存在时r只读报错FileNotFoundError正常打开指针在开头w写入自动新建清空原有内容覆盖写入a追加自动新建保留原内容新内容加到末尾x独占创建自动新建报错FileExistsErrorr读写报错FileNotFoundError可读可写指针在开头w读写自动新建清空原内容后读写a读写追加自动新建指针在末尾可读可写rb只读二进制报错FileNotFoundError正常读取wb写入二进制自动新建清空原内容后写入最常见的搭配就是读取用r写入用w追加用a。r这类混合模式我建议新手先不要碰因为读写指针混在一起很容易搞出逻辑混乱等把基础用法练熟了再研究不迟。2.3 路径问题相对路径和绝对路径的选择路径问题看似简单但实际编码中非常容易出错。相对路径是相对于“当前工作目录”的路径这个当前目录不一定是你的代码文件所在的目录。比如你在命令行里从D:\script目录运行python D:\code\demo.py那么当前工作目录是D:\script代码里的相对路径data.txt实际指向的是D:\script\data.txt而不是D:\code\data.txt。要搞清楚当前工作目录在哪可以先运行一段代码输出看看import os print(os.getcwd())如果你希望代码无论从哪里启动都能找到正确的文件最稳妥的方案是使用绝对路径或者基于当前代码文件的位置来构造路径import os # 获取当前代码文件所在目录 base_dir os.path.dirname(os.path.abspath(__file__)) file_path os.path.join(base_dir, data.txt)这里用了os.path.abspath(__file__)获取当前代码文件的绝对路径再取它的目录然后在后面拼上文件名。这样即使在别的目录下执行这个脚本也能准确找到目标文件。os.path.join会自动根据操作系统选择正确的路径分隔符Windows上是反斜杠\macOS/Linux上是正斜杠/用它来拼接路径可以避免硬编码分隔符带来的跨平台问题。2.4 用with语句打开文件省心又安全在实际项目中几乎不会看到直接写open()和close()成对出现的代码因为很容易忘记关闭文件。更推荐的写法是用with上下文管理器with open(test.txt, r, encodingutf-8) as f: content f.read()这段代码结束之后文件会自动关闭哪怕中间出现了异常with也会保证文件被正确关闭。它的原理是Python在进入with语句块时自动调用文件对象的__enter__方法在退出语句块时自动调用__exit__方法并执行关闭操作。不需要手动管理关闭时机代码也更简洁。我这里插一句后文所有代码示例凡是需要打开文件的我都会用with写法。这是目前最推荐的实践方式养成这个习惯可以替你挡掉一大半文件操作相关的坑。3. 读取操作从简单读取到按行处理3.1 三种基础读取方式怎么选文件打开之后读取内容有三种常用方法read()、readline()、readlines()。它们的区别和适用场景完全不同。read()不带参数时一次性读取整个文件内容返回一个字符串with open(novel.txt, r, encodingutf-8) as f: content f.read() print(content)它也可以传入一个数字参数表示读取指定字符数文本模式或字节数二进制模式with open(novel.txt, r, encodingutf-8) as f: head f.read(10) # 先读前10个字符 print(head)readline()每次读取一行返回字符串文件读取到末尾时会返回空字符串with open(novel.txt, r, encodingutf-8) as f: line1 f.readline() line2 f.readline() print(line1) print(line2)readlines()一次性读取所有行返回一个列表列表的每个元素是一行字符串with open(novel.txt, r, encodingutf-8) as f: lines f.readlines() print(len(lines)) # 总行数三种方法的选择逻辑很简单。如果文件不大几MB以内想直接拿到全部内容做处理用read()。如果文件有明确的行结构比如日志、CSV、配置文件需要逐行处理用for line in f直接迭代文件对象或者用readlines()。如果文件非常大千万别用read()和readlines()原因往下看。3.2 读取大文件的正确姿势很多新手踩过这个坑用read()读一个几百MB的文件程序直接卡死或者内存飙升严重的直接把电脑搞到无响应。原因是read()会一次性把所有内容加载到内存文件多大内存就占多大。处理大文件一定不能用“全量加载”的思路要用“流式处理”的思路——每次只处理一小部分处理完了再读下一部分。最简单的方式是直接遍历文件对象with open(big_log.txt, r, encodingutf-8) as f: for line in f: # 处理一行 process(line)这样的写法看起来平平无奇但背后Python做了惰性迭代它不会一次性读取整个文件而是每次从磁盘读取一行到内存处理完再读下一行。无论文件多大同一时刻内存里只有这一行数据内存占用基本恒定。如果你是做数据处理的可能会用到csv模块或pandas库它们读取大文件时也有对应的分批处理方案比如pandas的chunksize参数。但底层思路都是一样的不要一次性把全部数据载入内存。这个思维方式的改变比任何具体的API更重要。3.3 编码问题必须现在就说清楚文本文件在读取时绕不开编码这个话题。简单说编码就是字符和二进制字节之间的对应规则。同一个字UTF-8编码和GBK编码保存到磁盘上字节内容完全不一样。所以打开文件时必须告诉Python用哪套规则去解码否则读出来的就是乱码。open()的encoding参数就是干这个的with open(note.txt, r, encodingutf-8) as f: content f.read()如果你的文件是用GBK编码保存的Windows记事本老版本默认就是GBK/ANSI那么要指定encodinggbkwith open(note.txt, r, encodinggbk) as f: content f.read()如果指定错了编码Python会抛出UnicodeDecodeError。比如说文件是UTF-8的你却用GBK去读很可能遇到类似这样的报错UnicodeDecodeError: gbk codec cant decode byte 0x88 in position 2: illegal multibyte sequence遇到这种情况不要慌把encoding改成文件实际的编码格式就行。如果实在不确定文件编码可以用codecs模块或第三方库chardet来检测但更省心的做法是在你自己创建文件的时候就用UTF-8编码并且坚持统一。UTF-8是目前跨平台兼容性最好的编码方案我的习惯是项目里所有文本文件一律UTF-8没有例外。还有一个容错参数可以了解一下。如果读取一个文件时大部分字节能正常解码、只有个别字节有问题可以加上errors参数with open(messy.txt, r, encodingutf-8, errorsignore) as f: content f.read()errorsignore会静默忽略无法解码的字节而errorsreplace会把它们替换成?字符。这两种方式都会有信息损失所以只适合容忍个别坏字节的场景不能把它当成解决编码问题的万能药。3.4 二进制读取图像、压缩包等非文本文件不是所有文件都能用文本模式读取。图片、压缩包、可执行文件、音频视频这些都是二进制文件它们的内容不是人类可读的文本如果强行用文本模式打开轻则读取出错重则数据被破坏。读取二进制文件只需要把模式从r换成rbwith open(photo.jpg, rb) as f: data f.read() print(len(data), type(data)) # 字节数bytes类型返回的是bytes对象也就是原始的字节序列。二进制读取最常见的应用场景是文件复制——把源文件的内容读出来再写入目标文件with open(source.jpg, rb) as src: with open(dest.jpg, wb) as dst: dst.write(src.read())上面的代码对超大文件同样不友好会一次性把整个文件读进内存。更稳妥的方案是设置一个缓冲区循环读取一小块、写入一小块with open(source.jpg, rb) as src, open(dest.jpg, wb) as dst: while True: chunk src.read(1024 * 1024) # 每次读1MB if not chunk: break dst.write(chunk)4. 写入操作覆盖与追加的取舍4.1 写入与追加用w还是a写入文件的核心方法是write()它接收一个字符串参数把这个字符串写入文件。但很多人没注意write()本身不会自动换行你需要自己把换行符\n加进去。with open(output.txt, w, encodingutf-8) as f: f.write(第一行\n) f.write(第二行\n)如果用w模式打开文件每次执行打开操作时如果文件已存在原内容会被全部清空。这是“覆盖模式”。如果希望保留原有内容在文件末尾追加新内容需要用a模式with open(output.txt, a, encodingutf-8) as f: f.write(追加一行\n)a模式的好处不仅是不清空原内容还给了一个隐性的保证写入时不会影响原来已经存在的内容。这在高频日志记录场景里非常实用。比如你的程序每次运行都往日志文件里追加一段运行记录用a模式是绝对正确的选择而如果用w模式每次运行都会把之前的日志清掉日志文件永远只有最后一次运行的内容。还有一个x模式它是“独占创建”模式。文件不存在时新建并写入文件已存在时直接报错FileExistsError。这在需要确保不要覆盖已有文件的场景下很好用比如生成配置文件如果已经存在就提示用户而不是默默覆盖。4.2 批量写入循环、列表与writelines方法实际开发中很少只写几行内容更多是把一批数据写入文件。最常见的批量写入方式就是用循环配合write()users [张三, 李四, 王五] with open(users.txt, w, encodingutf-8) as f: for name in users: f.write(name \n)这里有个小细节write()方法不会帮你加换行符如果不手动拼接\n所有名字会挤在一行。这是新手非常容易漏掉的点。如果要写入的是一个字符串列表可以用writelines()方法。但注意它同样不会自动添加换行符lines [第一行\n, 第二行\n, 第三行\n] with open(output.txt, w, encodingutf-8) as f: f.writelines(lines)如果你想写入的是带格式的文本比如把数字和字符串混合的内容写入文件推荐用Python 3.6的f-string先把内容格式化好再写入students [(张三, 92), (李四, 85), (王五, 78)] with open(grades.txt, w, encodingutf-8) as f: for name, score in students: f.write(f{name}: {score}分\n)这样写出来的文件每一行格式清晰后面如果需要读取解析也很方便。4.3 把数据保存到CSV和Excel不只是文本这么简单文件操作入门之后你会发现很多场景不满足于纯文本文件。最常见的两个需求就是CSV和Excel。CSV本质上是逗号分隔的文本文件用Python标准库的csv模块处理最规范import csv rows [[name, score], [张三, 92], [李四, 85]] with open(grades.csv, w, newline, encodingutf-8-sig) as f: writer csv.writer(f) writer.writerows(rows)这里的encodingutf-8-sig是为了让Excel能正确识别UTF-8编码的CSV文件。如果你用普通的utf-8编码用Excel打开CSV时中文可能会乱码加-sig会在文件开头写入BOM标记Excel就能正确识别了。这个细节我是在实际导出数据时发现的第一次用Excel打开全是乱码查了半天资料才找到原因。写入Excel文件标准库没有直接支持需要装openpyxl库pip install openpyxlfrom openpyxl import Workbook wb Workbook() ws wb.active ws.append([name, score]) ws.append([张三, 92]) ws.append([李四, 85]) wb.save(grades.xlsx)从文件操作的角度看这些库的本质仍然是写入文件只是它们内部封装了特定格式的序列化逻辑。学好了最底层的open、write、read这些基础再上这些专门库会轻松很多。5. 保存从缓冲区到磁盘的那一步5.1 为什么写完了不等于保存了这是很多新手完全没意识到的关键点你调用f.write()的时候数据其实不一定会立刻写到硬盘上。Python为了性能默认会把写操作放到缓冲区里等缓冲区满了、文件正常关闭、或者你主动刷新时数据才会真正落到磁盘。打个比方write()就像你往一个传输管道里塞东西东西先堆在管道中还没有全部到达终点。flush()相当于把管道里堆积的内容全部推到底close()则是推完内容之后把管道拆掉。flush()方法的作用就是把缓冲区的数据强制写入磁盘f open(output.txt, w, encodingutf-8) f.write(hello) f.flush() # 强制写入磁盘什么场景需要主动调用flush()典型的就是写日志。程序正在运行时你希望别人能实时看到日志内容如果用默认缓冲可能过很久日志文件里还是空的。所以日志系统一般都要靠主动flush保证实时性。5.2 不关闭文件的后果到底有多严重直接不调用close()会发生什么最常见的问题包括文件对象一直占用系统资源如果程序里打开的文件很多文件描述符耗尽。缓冲区中的数据没有刷到磁盘程序异常退出时数据丢失。Windows下文件被占用其他程序无法读取或删除。很多新手以为程序退出了文件自然就关了这个想法在大多数情况下的确成立因为Python解释器退出时会尝试清理资源。但程序异常崩溃时缓冲区里的数据很可能就丢了。我能找到的最典型例子就是程序中途抛异常退出了你打开文件一看内容只有之前的残缺数据甚至完全是空的。正确关闭文件的方式就是之前提过的用withwith open(output.txt, w, encodingutf-8) as f: f.write(hello world) # 离开with块后文件自动关闭如果你想显式管理记住成对写close()但with更省心。5.3 安全保存的进阶操作先写临时文件再替换有一个场景需要特别注意程序崩溃时很容易产生“写了一半的文件”导致文件既不是完整的新内容也不是原来的旧内容数据直接废了。这在配置文件的保存中尤其危险。比较稳妥的保存方式分三步先写入一个临时文件写入成功后刷新并关闭临时文件最后用os.replace()把临时文件替换到目标位置。os.replace()是原子操作要么替换成功要么保持原样不会出现半写状态。import os import tempfile def safe_write(file_path, content): dir_path os.path.dirname(os.path.abspath(file_path)) fd, temp_path tempfile.mkstemp(dirdir_path, suffix.tmp) try: with os.fdopen(fd, w, encodingutf-8) as f: f.write(content) os.replace(temp_path, file_path) except Exception: os.unlink(temp_path) raise这种方案一开始可能觉得多此一举但一旦你写的程序在处理重要的配置数据、需要避免断电或崩溃导致数据损坏的场景这个做法真的能救命。我在做一个自动化工具时程序每天要更新一个配置文件之前直接write覆盖后来有一次更新到一半进程被杀配置文件损坏程序怎么都启动不了。换了临时文件替换的方案后再也没有出现过这个问题。6. 常见问题与排查技巧实录6.1 FileNotFoundError文件不存在还是路径不对报错信息很明确FileNotFoundError: [Errno 2] No such file or directory: test.txt两个常见原因一是文件真的不存在且打开模式是r不支持自动创建二是文件存在但当前工作目录不是文件所在的目录相对路径找不到。排查方法很简单先用绝对路径试试。万一文件确实不应该自动创建但你又希望“没有就新建”那就用w或a模式。如果希望程序预先检查文件是否存在可以这样写import os if os.path.exists(test.txt): print(文件存在) else: print(文件不存在)6.2 PermissionError文件被占用怎么办Windows下最常见的报错是PermissionError: [Errno 13] Permission denied: test.txt这通常意味着文件正被另一个程序打开比如你在Excel里打开了这个文件然后运行Python脚本去写它。Windows对文件的占用锁定很严格不像Linux/macOS那么宽松。解决办法就是先关掉所有正在使用这个文件的程序再运行脚本。还有一种可能是文件被标记为只读或者Python进程没有目录的写入权限。查看文件属性检查目录权限基本都能定位问题。6.3 中文乱码读出来的字全变天了乱码的核心原因是编码不匹配。文件写入用UTF-8读取却用GBK或者反过来就会乱码。解决方案就一句话写入和读取使用相同的encoding。如果文件本身不是标准编码可能需要尝试不同的encoding值。已知的乱码场景里有一种特别有价值用Python的open()写入文件时不指定encoding会使用平台默认编码Windows简体中文版默认是GBKmacOS/Linux默认是UTF-8。这就是为什么同一个脚本在不同机器上运行写出来的文件编码不一样在某些机器上打开就会乱码。解决办法是写代码时永远显式指定encodingutf-8。6.4 只读文件写入报错UnsupportedOperation报错信息io.UnsupportedOperation: not writable原因很简单你用r模式打开文件却调用了write()。需要仔细检查打开模式。如果确实需要同时读写用r但前面提到过新手不推荐用它。6.5 常见问题速查表报错信息可能原因解决方法FileNotFoundError文件不存在或路径错误检查路径改用w/a模式自动创建PermissionError文件被占用或只读关闭占用程序检查文件属性UnicodeDecodeError解码格式不匹配换encoding参数UnicodeEncodeError编码格式不匹配换encoding参数UnsupportedOperation: not writable模式不支持写入改成w/a/r模式FileExistsErrorx模式文件已存在换文件名或改用a模式6.6 一个容易忽略的坑read()后文件指针位置read()读完文件后文件指针停在了末尾如果此时再调用readline()读到的会是空字符串。这是因为文件对象内部维护了一个指针标记下次读取的起始位置。要让指针回到开头可以用seek(0)with open(test.txt, r, encodingutf-8) as f: content f.read() print(content) f.seek(0) # 回到文件开头 line f.readline() print(line)对新手来说最常见的疑惑是“为什么read两次第二次是空的”其实答案就是这个指针问题。实际开发中尽量避免在一次打开中多次读取如果确实需要用seek()控制指针位置。7. 实操经验与个人体会文件操作这块内容我在不同项目里反复用了一年多之后最深的感受是它太基础了基础到很多人不愿意花时间认真对待但恰恰是这些基础环节出了问题反而最让人抓狂。如果你刚开始学Python文件操作我的建议是三件事。第一所有的open()一定要用with写法不要在这个地方省代码。第二在代码里凡是打开文本文件一律显式指定encodingutf-8不管这个脚本是不是只在你自己电脑上跑。第三先学会正确处理小文件再去研究大文件的流式读取和解码问题循序渐进不要一上来就追求所有的优化技巧。最后再分享一个小技巧如果你在写数据分析脚本经常需要把Python的计算结果保存成文件再交给其他程序处理CSV格式是兼容性最好的选择。多花十分钟用csv模块去处理而不是手工拼字符串写CSV——手工拼接一定会遇到转义、逗号、换行这些细节问题。用专门的模块这些坑都被封装在API内部了比自己手搓稳得多。文件操作这门技术往深了研究其实还有很多内容比如tempfile临时文件、pathlib现代化路径处理、mmap内存映射文件、对不同操作系统文件锁的处理这些都是后续可以继续深挖的方向。但先把读取、写入、保存这条主线练扎实你的Python技能就会发现一个明显的提升。根据自己的项目需求慢慢积累有问题的时候就回看这篇文章的排查表多写几次就会越来越顺手。希望这篇整理能帮你少踩几个坑。