“80个Python实战项目练完即可就业”这种标题大家应该见过不少。第一次看到很容易直接码住然后就没有然后了。其实这类合集对学 Python 的人确实有价值但价值不在于“80”这个数量也不在于“练完即可就业”这个承诺而在于它帮你画出了一条从 Python 基础、爬虫入门到 Web 框架再到自动化测试和项目落地的学习路径。如果你刚学完语法正在犹豫下一个项目该做什么如果你准备找 Python 相关工作想用项目补齐简历又或者你只是听说 Python 能爬虫、能做网站想快速验证自己能不能坚持下来那这篇文章值得继续看。下面我不会按“第 1 个项目到第 80 个项目”的顺序讲而是按更接近真实学习过程的方式拆先想清楚每个阶段练什么再决定练哪些、怎么练、练到什么程度算过最后把项目变成简历里能写、面试里能聊的东西。1. 80个Python实战项目不能当“通关列表”要先理解分层逻辑1.1 先回答自己现在处在“抄代码、补代码、写代码”哪个阶段拿到项目列表以后第一件事不是从第一个开始而是先判断自己现在处于什么阶段。我见过很多人学完基础后直接做爬虫或 Web 项目代码能跑但换个需求就不会改。原因不是基础没学完而是没有经历过“补代码”和“写代码”这两个阶段。项目列表背后真正要训练的是一层层递进先能看懂别人的解决方案再能在原方案上做小改动最后能从空文件开始把一个功能写完整。判断方法很简单如果你还在纠结“这个函数为什么这么写”“这个参数到底传什么”说明你还在“抄代码”阶段不太适合直接练大项目应该先做几十行的脚本练习。如果你能大致看懂代码但一改需求就报错说明你处在“补代码”阶段适合选列表里带明确任务的小项目比如文件整理、数据处理、接口调用。如果你能自己新增一个功能并且能说清楚改动会影响哪几个模块你已经进入“写代码”阶段。这时候才适合把爬虫、Web、自动化测试这类的项目真正跑起来。别觉得阶段低就不好意思。项目合集的正确用法不是按顺序全部刷完而是在当前阶段里挑出最合适的 10 到 15 个项目每个留下清晰代码和记录投入产出比会高很多。1.2 阶段分层和每一层的验收标准把项目列表拆开看通常会分成下面几层。建议按层级来练不要跳过基础直接冲向最高难度。训练层对应能力常见项目类型验收标准基础层语法、文件读写、函数、异常、调试文本处理、批量重命名、记账本、猜数字、问卷统计不借助源码能独立写出来并处理基本报错工具层模块封装、外部库调用、命令行参数图片压缩、Excel/CSV 合并、定时提醒、转 exe能在终端稳定运行输入异常不会直接崩溃爬虫层请求、解析、数据清洗、存储公开网页信息采集、天气接口、静态开放数据能完成批量任务有超时和重试输出文件可检查Web 层路由、请求参数、模板、数据库待办管理、博客后台、笔记应用能启动服务能通过浏览器完成增删改查测试与工程层pytest、日志、打包、环境配置对已有 Web 项目写接口测试、模块测试一条命令跑完测试失败时有可读日志新方向层任务队列、大模型 API 编排文档问答、批量文本处理、智能体工具调用任务可追踪、可重试、输出结构统一每一层都不是“做完题目”就结束。到了 Web 层之后还要把日志、测试、代码组织补上项目才算及格。注意“练完即可就业”不能当成时间承诺。真正影响就业的不是做完多少个项目而是你能不能独立讲清楚项目的输入、输出、模块划分、踩过的坑以及代码能不能在别人电脑上跑起来。2. Python基础与工具阶段项目先从能稳定跑起来开始2.1 环境准备先装好 Python、解释器和虚拟环境做项目时遇到的第一道门槛往往不是代码而是环境。很多人在环境配置上卡了很久真正写代码的时间反而没多少。我的建议是Windows 去 Python 官网下载安装包安装时记得勾选“Add Python to PATH”macOS 和 Linux 一般自带 Python也可以通过系统包管理器安装。装完后不要急着写代码先在终端确认版本python --version pip --version如果提示命令不存在通常是 PATH 没配置好或安装没有生效要先解决这个问题而不是换到 IDE 里点运行。因为 IDE 里能跑不代表命令行能跑命令行能跑说明 Python 和 pip 已经进入系统环境后面部署项目或写定时任务时会省很多事。接下来建议花十分钟配置虚拟环境。虚拟环境解决的是项目依赖冲突问题比如项目 A 需要 requests 2.x项目 B 需要 requests 3.x。常见用法python -m venv venvWindows 激活方式venv\Scripts\activatemacOS/Linux 激活方式source venv/bin/activate激活后命令行前面会出现(venv)标记。之后用pip install安装的包就只属于当前项目不会污染系统环境。很多“照着教程写代码却一直报错”的情况根源就是包装错了环境。编辑器方面初学者用 VS Code 或 PyCharm 都可以。VS Code 里运行前要选择 Python 解释器PyCharm 一般会自动识别虚拟环境。很多人搜过“vscode python环境配置”大部分问题其实是解释器路径没选对。配置好后编辑器左下角或右下角能看到 Python 版本号才算真正接通。2.2 入门项目怎么练才算“会了”基础阶段的项目看起来简单比如批量重命名、CSV 合并、文本统计、文件分类。这类项目不需要图形界面也不挑配置但能很好地验证你对“输入、处理、输出”三个环节的掌握程度。拿“文件批量重命名”举例。这个练习很经典基本逻辑是给定文件夹路径遍历文件按规则重命名同时处理目录不存在和文件重名的情况。from pathlib import Path def batch_rename(folder: str, prefix: str) - int: folder_path Path(folder) if not folder_path.exists(): print(f目录不存在: {folder_path}) return 0 renamed 0 for index, file in enumerate(folder_path.iterdir(), start1): if file.is_file() and not file.name.startswith(.): new_name f{prefix}_{index:03d}{file.suffix} try: file.rename(file.with_name(new_name)) renamed 1 except OSError as error: print(f重命名失败: {file.name} - {error}) return renamed if __name__ __main__: total batch_rename(./test_files, photo) print(f共重命名 {total} 个文件)这段代码不用照抄重点看三个信息入口用if __name__ __main__:保护脚本被其他模块导入时不会直接执行。目录不存在或者文件重命名失败都会打印提示而不是直接抛一堆异常。返回值是一个整数方便调用方判断成功了多少、失败了多少。能写出这种小工具才算把“会做”变成“会用”。如果只是跟着教程敲完一遍那还不够。2.3 让基础项目有一点“完成品”感觉基础练习阶段最容易忽视“收尾”。项目能在 IDE 里运行不代表它完成后可以被别人使用。我建议每个简单项目至少补三件事第一写README.md说明运行方式、依赖库、输入输出和示例命令。第二生成requirements.txt固定项目依赖pip freeze requirements.txt第三如果项目是给普通人使用的小工具可以试试把脚本打包成可执行文件pip install pyinstaller pyinstaller -F main.py第一次打包可能会遇到杀毒软件误报也可能因为路径里有中文而失败。这通常不是代码问题而是打包配置或安全软件策略问题。我一般不鼓励依赖打包解决所有问题但把小工具转成可执行文件对建立学习信心确实很有帮助。项目列表里如果有转 exe、小游戏、命令行工具、文本统计这类题看着不算高级但这些正是培养“从写脚本到交付小工具”感觉的最好方式。3. 爬虫入门把合规请求、解析、存储、容错练好而不是练逆向3.1 爬虫项目到底在练什么爬虫是 Python 自学和求职里最热的方向之一搜索热词里也有大量 Python 爬虫相关词。很多人容易被平台上的“某某实战”带偏以为爬虫的核心是绕过访问限制、解密接口、处理验证码。这种思路我不建议。初学爬虫应该练四件事构造请求会设置请求方法、请求头、超时时间。解析内容能用 BeautifulSoup 或者其他解析库处理 HTML能处理 JSON 返回。清洗存储把需要的数据转成 CSV、JSON、Excel或者写入数据库。异常和频率控制网络超时后重试出错了跳过控制每秒请求数避免给对方服务器造成压力。如果一开始就研究加密参数、签名算法、怎么绕过网站限制投入产出比很低而且这些行为可能违反目标网站的使用条款也不适合作为公开项目经验写出来。我的通用做法是先找公开的、允许程序访问的页面和 API 做练习比如开放天气接口、公开新闻页、政府公开数据平台。用requests请求用解析库提取内容最后保存成 CSV。等这条链路通了再换结构更复杂的页面看不同页面结构对选择器的影响。3.2 从单页请求到批量任务缺的是工程化思维很多初学者写爬虫时会发现单页能成功多页就经常出问题。最常见的表现是单函数里写死了一个 URL跑通后复制粘贴成十段循环页面结构一变程序就崩跑到一半被断网或限流不知道从哪继续。建议先跑通一个最小爬虫import requests from bs4 import BeautifulSoup url https://example.com/public-info headers {User-Agent: Mozilla/5.0 (learning-research)} try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() response.encoding response.apparent_encoding except requests.RequestException as error: print(f请求失败: {error}) raise SystemExit(1) soup BeautifulSoup(response.text, html.parser) title soup.title.get_text(stripTrue) print(title)这里有两个关键点。第一raise_for_status()会检查 HTTP 状态码状态码不是 200 时直接抛异常避免你把错误页面当成正常内容去解析。第二显式设置编码很重要。有些网页的 meta 编码和 HTTP 头里的编码不一致不统一编码就会出现中文乱码。真正用于批量的爬虫我通常会再拆成几个函数fetch(url)负责请求parse(html)负责解析save_rows(rows)负责存储。每个函数都有明确的输入和输出。这样某个页面解析失败时可以只改解析函数某个域名超时时可以只调请求参数。不要把请求、解析、存储全部写进一个大函数后续维护会非常痛苦。批量跑之前先小范围测试三五个页面。能跑通之后再加循环、重试、限速和日志。不要一上来就开几十个并发否则本机 CPU、内存、网络连接数都可能成为瓶颈。3.3 控制台只显示“Process finished with exit code 0”爬虫没输出是为什么搜索热词里出现“pycharm爬虫只显示proceed finished with exit code 0”这样的问题代码本身没有报错退出码也是 0但控制台没有任何内容。这种现象很典型容易让人误以为程序“成功运行了但爬不到内容”其实它只是“程序正常结束但没有执行到输出语句”。排查顺序建议如下在脚本开头和关键步骤之间加print(step: ...)确认哪些代码真的执行了。检查入口代码是否被if __name__ __main__:包住以及脚本运行方式是否正确。检查请求是否被静默处理。如果页面返回了错误状态但代码没有抛出异常程序就会“跑完但没结果”。检查解析结果是否为空。选择器如果没匹配到内容循环里面没有数据自然也不会有输出。检查数据是不是已经写入文件或数据库只是没有打印到控制台。最后再怀疑 IDE 控制台配置。PyCharm 偶尔会显示不全但概率很低不要一上来就改 IDE 设置。如果输出为空我习惯于先看两个值response.status_code和len(response.text)。这两个值能快速判断是请求失败、被拒绝还是返回了空壳页面。3.4 反向理解服务端限制做一个负责任的爬虫开发者爬虫技能不只是“抓取别人的网站”还包括“保护自己的服务”。搜索词里出现“apache 屏蔽垃圾爬虫”这类内容说明很多人也在从服务端角度理解爬虫治理。服务端常见的限制手段包括检查 User-Agent、限制请求频率、校验 Cookie、验证登录态、加验证码。它们的目标都是区分垃圾流量和正常访问。如果你以后做 Web 开发也可能需要在 Apache 或 Nginx 的配置里禁止明显异常的爬虫 UA或者限制单个 IP 的访问速度。因此学习爬虫时不是用这些知识去穿透限制而是建立一个更稳妥的观念目标网站如果有 robots 文件先读懂它的边界。请求频率要控制不要影响网站正常运行。涉及登录、个人数据、非公开接口的内容不要作为练习项目。抓下来的数据如果包含版权内容或个人隐私不能随意传播。一个能在面试里讲清楚的爬虫项目通常包含公开数据源、清晰的抓取策略、可控的请求速度和可重复运行的代码。相反如果在某个 App 的加密接口上绕过签名拿到了数据这个经历既不好讲也不稳定隔几天接口一变项目就失效。4. 框架阶段从脚本到项目再把 Web、测试、Agent 串起来4.1 Web 框架项目练什么路由、参数、模板、数据库项目列表里的“框架”通常不单指某一个文件而是指 Web 框架、测试框架以及越来越常见的 Agent 框架。对 Python 后端求职来说建议从 Flask、FastAPI、Django 中选一个作为主框架不需要全部精通。Web 框架项目最容易犯的错误是一上来就复制一个博客系统然后只学会了启动。更合理的路径是分步拆先用 FastAPI 或 Flask 写一个最简单的接口。from fastapi import FastAPI app FastAPI() app.get(/health) def health(): return {status: ok}理解路由和请求参数GET 和 POST 分别适合什么场景路径参数和查询参数的区别是什么。加一个存储层可以用 SQLite也可以连接 MySQL 或 PostgreSQL。不要只写“内存列表”否则服务重启后数据全丢。处理错误参数不对时返回 4xx数据库异常时返回 5xx并把关键信息记入日志。编写测试启动测试服务验证接口是否按预期工作。待办管理、博客后台、笔记应用这些功能都只是外壳背后真正要练的是路由设计、数据校验、数据库写入、异常处理和返回结构。如果项目列表里有多个 Web 项目功能可能重复选一个完整做透比同时抄三四个更有就业价值。4.2 用 pytest 给项目补上自动化测试热词里的 pytest 框架并不是额外负担而是把项目从“能跑”推向“可靠”的重要一步。面试官看项目时代码能跑只是底线能不能写测试会拉开差距。我的经验是一开始不要追求测试覆盖率而是先给项目里最容易变化、最容易出错的函数写测试。比如给文件重命名函数写测试def test_batch_rename_when_folder_exists(tmp_path): target tmp_path / source target.mkdir() (target / a.txt).write_text(hello, encodingutf-8) from my_project.renamer import batch_rename total batch_rename(str(target), photo) assert total 1 assert (target / photo_001.txt).exists()这里的tmp_path是 pytest 提供的临时目录测试结束后自动清理不会污染真实数据。写完后在项目根目录执行pytest看到passed说明核心函数没有出明显问题。以后改代码时再跑一遍测试就能快速知道有没有改坏老功能。4.3 智能体/Agent 框架要不要早早就学热词里出现“agent框架与编排”“智能体框架”这确实是新方向但我的判断很直接Agent 类框架值得关注但它不是 Python 入门阶段的必需品也不应该替代基础项目。练 Agent 项目之前需要几个前导能力会跟 HTTP API 打交道知道接口请求和 JSON 返回。会设计函数或工具并清楚每个工具的输入输出。会处理循环、状态、异常重试和上下文长度限制。一个合适的入门 Agent 项目可以很简单设计一个角色给它配置工具函数让它根据用户请求决定调用哪个工具然后把结果返回给用户。核心是任务编排不是堆模型参数。如果requests和 JSON 都还没弄明白就去追 Agent 框架大概率只能跑通别人的 Demo任务稍微变化就不会改。我始终建议把顺序定成基础脚本 - 爬虫或数据处理 - Web 项目 - 测试与日志 - 再考虑 Agent 方向。每一步都有前一步支撑才不会出现“看着热闹、自己写不出来”的情况。5. 项目做完了怎么变成“简历能写、面试能聊”的成果5.1 项目完成度自检清单项目列表里的练习项目做完即忘往往因为没有完成感。想让它成为求职材料不能只停留在“能跑 80个Python实战项目怎么练？分层训练才能成为就业竞争力
“80个Python实战项目练完即可就业”这种标题大家应该见过不少。第一次看到很容易直接码住然后就没有然后了。其实这类合集对学 Python 的人确实有价值但价值不在于“80”这个数量也不在于“练完即可就业”这个承诺而在于它帮你画出了一条从 Python 基础、爬虫入门到 Web 框架再到自动化测试和项目落地的学习路径。如果你刚学完语法正在犹豫下一个项目该做什么如果你准备找 Python 相关工作想用项目补齐简历又或者你只是听说 Python 能爬虫、能做网站想快速验证自己能不能坚持下来那这篇文章值得继续看。下面我不会按“第 1 个项目到第 80 个项目”的顺序讲而是按更接近真实学习过程的方式拆先想清楚每个阶段练什么再决定练哪些、怎么练、练到什么程度算过最后把项目变成简历里能写、面试里能聊的东西。1. 80个Python实战项目不能当“通关列表”要先理解分层逻辑1.1 先回答自己现在处在“抄代码、补代码、写代码”哪个阶段拿到项目列表以后第一件事不是从第一个开始而是先判断自己现在处于什么阶段。我见过很多人学完基础后直接做爬虫或 Web 项目代码能跑但换个需求就不会改。原因不是基础没学完而是没有经历过“补代码”和“写代码”这两个阶段。项目列表背后真正要训练的是一层层递进先能看懂别人的解决方案再能在原方案上做小改动最后能从空文件开始把一个功能写完整。判断方法很简单如果你还在纠结“这个函数为什么这么写”“这个参数到底传什么”说明你还在“抄代码”阶段不太适合直接练大项目应该先做几十行的脚本练习。如果你能大致看懂代码但一改需求就报错说明你处在“补代码”阶段适合选列表里带明确任务的小项目比如文件整理、数据处理、接口调用。如果你能自己新增一个功能并且能说清楚改动会影响哪几个模块你已经进入“写代码”阶段。这时候才适合把爬虫、Web、自动化测试这类的项目真正跑起来。别觉得阶段低就不好意思。项目合集的正确用法不是按顺序全部刷完而是在当前阶段里挑出最合适的 10 到 15 个项目每个留下清晰代码和记录投入产出比会高很多。1.2 阶段分层和每一层的验收标准把项目列表拆开看通常会分成下面几层。建议按层级来练不要跳过基础直接冲向最高难度。训练层对应能力常见项目类型验收标准基础层语法、文件读写、函数、异常、调试文本处理、批量重命名、记账本、猜数字、问卷统计不借助源码能独立写出来并处理基本报错工具层模块封装、外部库调用、命令行参数图片压缩、Excel/CSV 合并、定时提醒、转 exe能在终端稳定运行输入异常不会直接崩溃爬虫层请求、解析、数据清洗、存储公开网页信息采集、天气接口、静态开放数据能完成批量任务有超时和重试输出文件可检查Web 层路由、请求参数、模板、数据库待办管理、博客后台、笔记应用能启动服务能通过浏览器完成增删改查测试与工程层pytest、日志、打包、环境配置对已有 Web 项目写接口测试、模块测试一条命令跑完测试失败时有可读日志新方向层任务队列、大模型 API 编排文档问答、批量文本处理、智能体工具调用任务可追踪、可重试、输出结构统一每一层都不是“做完题目”就结束。到了 Web 层之后还要把日志、测试、代码组织补上项目才算及格。注意“练完即可就业”不能当成时间承诺。真正影响就业的不是做完多少个项目而是你能不能独立讲清楚项目的输入、输出、模块划分、踩过的坑以及代码能不能在别人电脑上跑起来。2. Python基础与工具阶段项目先从能稳定跑起来开始2.1 环境准备先装好 Python、解释器和虚拟环境做项目时遇到的第一道门槛往往不是代码而是环境。很多人在环境配置上卡了很久真正写代码的时间反而没多少。我的建议是Windows 去 Python 官网下载安装包安装时记得勾选“Add Python to PATH”macOS 和 Linux 一般自带 Python也可以通过系统包管理器安装。装完后不要急着写代码先在终端确认版本python --version pip --version如果提示命令不存在通常是 PATH 没配置好或安装没有生效要先解决这个问题而不是换到 IDE 里点运行。因为 IDE 里能跑不代表命令行能跑命令行能跑说明 Python 和 pip 已经进入系统环境后面部署项目或写定时任务时会省很多事。接下来建议花十分钟配置虚拟环境。虚拟环境解决的是项目依赖冲突问题比如项目 A 需要 requests 2.x项目 B 需要 requests 3.x。常见用法python -m venv venvWindows 激活方式venv\Scripts\activatemacOS/Linux 激活方式source venv/bin/activate激活后命令行前面会出现(venv)标记。之后用pip install安装的包就只属于当前项目不会污染系统环境。很多“照着教程写代码却一直报错”的情况根源就是包装错了环境。编辑器方面初学者用 VS Code 或 PyCharm 都可以。VS Code 里运行前要选择 Python 解释器PyCharm 一般会自动识别虚拟环境。很多人搜过“vscode python环境配置”大部分问题其实是解释器路径没选对。配置好后编辑器左下角或右下角能看到 Python 版本号才算真正接通。2.2 入门项目怎么练才算“会了”基础阶段的项目看起来简单比如批量重命名、CSV 合并、文本统计、文件分类。这类项目不需要图形界面也不挑配置但能很好地验证你对“输入、处理、输出”三个环节的掌握程度。拿“文件批量重命名”举例。这个练习很经典基本逻辑是给定文件夹路径遍历文件按规则重命名同时处理目录不存在和文件重名的情况。from pathlib import Path def batch_rename(folder: str, prefix: str) - int: folder_path Path(folder) if not folder_path.exists(): print(f目录不存在: {folder_path}) return 0 renamed 0 for index, file in enumerate(folder_path.iterdir(), start1): if file.is_file() and not file.name.startswith(.): new_name f{prefix}_{index:03d}{file.suffix} try: file.rename(file.with_name(new_name)) renamed 1 except OSError as error: print(f重命名失败: {file.name} - {error}) return renamed if __name__ __main__: total batch_rename(./test_files, photo) print(f共重命名 {total} 个文件)这段代码不用照抄重点看三个信息入口用if __name__ __main__:保护脚本被其他模块导入时不会直接执行。目录不存在或者文件重命名失败都会打印提示而不是直接抛一堆异常。返回值是一个整数方便调用方判断成功了多少、失败了多少。能写出这种小工具才算把“会做”变成“会用”。如果只是跟着教程敲完一遍那还不够。2.3 让基础项目有一点“完成品”感觉基础练习阶段最容易忽视“收尾”。项目能在 IDE 里运行不代表它完成后可以被别人使用。我建议每个简单项目至少补三件事第一写README.md说明运行方式、依赖库、输入输出和示例命令。第二生成requirements.txt固定项目依赖pip freeze requirements.txt第三如果项目是给普通人使用的小工具可以试试把脚本打包成可执行文件pip install pyinstaller pyinstaller -F main.py第一次打包可能会遇到杀毒软件误报也可能因为路径里有中文而失败。这通常不是代码问题而是打包配置或安全软件策略问题。我一般不鼓励依赖打包解决所有问题但把小工具转成可执行文件对建立学习信心确实很有帮助。项目列表里如果有转 exe、小游戏、命令行工具、文本统计这类题看着不算高级但这些正是培养“从写脚本到交付小工具”感觉的最好方式。3. 爬虫入门把合规请求、解析、存储、容错练好而不是练逆向3.1 爬虫项目到底在练什么爬虫是 Python 自学和求职里最热的方向之一搜索热词里也有大量 Python 爬虫相关词。很多人容易被平台上的“某某实战”带偏以为爬虫的核心是绕过访问限制、解密接口、处理验证码。这种思路我不建议。初学爬虫应该练四件事构造请求会设置请求方法、请求头、超时时间。解析内容能用 BeautifulSoup 或者其他解析库处理 HTML能处理 JSON 返回。清洗存储把需要的数据转成 CSV、JSON、Excel或者写入数据库。异常和频率控制网络超时后重试出错了跳过控制每秒请求数避免给对方服务器造成压力。如果一开始就研究加密参数、签名算法、怎么绕过网站限制投入产出比很低而且这些行为可能违反目标网站的使用条款也不适合作为公开项目经验写出来。我的通用做法是先找公开的、允许程序访问的页面和 API 做练习比如开放天气接口、公开新闻页、政府公开数据平台。用requests请求用解析库提取内容最后保存成 CSV。等这条链路通了再换结构更复杂的页面看不同页面结构对选择器的影响。3.2 从单页请求到批量任务缺的是工程化思维很多初学者写爬虫时会发现单页能成功多页就经常出问题。最常见的表现是单函数里写死了一个 URL跑通后复制粘贴成十段循环页面结构一变程序就崩跑到一半被断网或限流不知道从哪继续。建议先跑通一个最小爬虫import requests from bs4 import BeautifulSoup url https://example.com/public-info headers {User-Agent: Mozilla/5.0 (learning-research)} try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() response.encoding response.apparent_encoding except requests.RequestException as error: print(f请求失败: {error}) raise SystemExit(1) soup BeautifulSoup(response.text, html.parser) title soup.title.get_text(stripTrue) print(title)这里有两个关键点。第一raise_for_status()会检查 HTTP 状态码状态码不是 200 时直接抛异常避免你把错误页面当成正常内容去解析。第二显式设置编码很重要。有些网页的 meta 编码和 HTTP 头里的编码不一致不统一编码就会出现中文乱码。真正用于批量的爬虫我通常会再拆成几个函数fetch(url)负责请求parse(html)负责解析save_rows(rows)负责存储。每个函数都有明确的输入和输出。这样某个页面解析失败时可以只改解析函数某个域名超时时可以只调请求参数。不要把请求、解析、存储全部写进一个大函数后续维护会非常痛苦。批量跑之前先小范围测试三五个页面。能跑通之后再加循环、重试、限速和日志。不要一上来就开几十个并发否则本机 CPU、内存、网络连接数都可能成为瓶颈。3.3 控制台只显示“Process finished with exit code 0”爬虫没输出是为什么搜索热词里出现“pycharm爬虫只显示proceed finished with exit code 0”这样的问题代码本身没有报错退出码也是 0但控制台没有任何内容。这种现象很典型容易让人误以为程序“成功运行了但爬不到内容”其实它只是“程序正常结束但没有执行到输出语句”。排查顺序建议如下在脚本开头和关键步骤之间加print(step: ...)确认哪些代码真的执行了。检查入口代码是否被if __name__ __main__:包住以及脚本运行方式是否正确。检查请求是否被静默处理。如果页面返回了错误状态但代码没有抛出异常程序就会“跑完但没结果”。检查解析结果是否为空。选择器如果没匹配到内容循环里面没有数据自然也不会有输出。检查数据是不是已经写入文件或数据库只是没有打印到控制台。最后再怀疑 IDE 控制台配置。PyCharm 偶尔会显示不全但概率很低不要一上来就改 IDE 设置。如果输出为空我习惯于先看两个值response.status_code和len(response.text)。这两个值能快速判断是请求失败、被拒绝还是返回了空壳页面。3.4 反向理解服务端限制做一个负责任的爬虫开发者爬虫技能不只是“抓取别人的网站”还包括“保护自己的服务”。搜索词里出现“apache 屏蔽垃圾爬虫”这类内容说明很多人也在从服务端角度理解爬虫治理。服务端常见的限制手段包括检查 User-Agent、限制请求频率、校验 Cookie、验证登录态、加验证码。它们的目标都是区分垃圾流量和正常访问。如果你以后做 Web 开发也可能需要在 Apache 或 Nginx 的配置里禁止明显异常的爬虫 UA或者限制单个 IP 的访问速度。因此学习爬虫时不是用这些知识去穿透限制而是建立一个更稳妥的观念目标网站如果有 robots 文件先读懂它的边界。请求频率要控制不要影响网站正常运行。涉及登录、个人数据、非公开接口的内容不要作为练习项目。抓下来的数据如果包含版权内容或个人隐私不能随意传播。一个能在面试里讲清楚的爬虫项目通常包含公开数据源、清晰的抓取策略、可控的请求速度和可重复运行的代码。相反如果在某个 App 的加密接口上绕过签名拿到了数据这个经历既不好讲也不稳定隔几天接口一变项目就失效。4. 框架阶段从脚本到项目再把 Web、测试、Agent 串起来4.1 Web 框架项目练什么路由、参数、模板、数据库项目列表里的“框架”通常不单指某一个文件而是指 Web 框架、测试框架以及越来越常见的 Agent 框架。对 Python 后端求职来说建议从 Flask、FastAPI、Django 中选一个作为主框架不需要全部精通。Web 框架项目最容易犯的错误是一上来就复制一个博客系统然后只学会了启动。更合理的路径是分步拆先用 FastAPI 或 Flask 写一个最简单的接口。from fastapi import FastAPI app FastAPI() app.get(/health) def health(): return {status: ok}理解路由和请求参数GET 和 POST 分别适合什么场景路径参数和查询参数的区别是什么。加一个存储层可以用 SQLite也可以连接 MySQL 或 PostgreSQL。不要只写“内存列表”否则服务重启后数据全丢。处理错误参数不对时返回 4xx数据库异常时返回 5xx并把关键信息记入日志。编写测试启动测试服务验证接口是否按预期工作。待办管理、博客后台、笔记应用这些功能都只是外壳背后真正要练的是路由设计、数据校验、数据库写入、异常处理和返回结构。如果项目列表里有多个 Web 项目功能可能重复选一个完整做透比同时抄三四个更有就业价值。4.2 用 pytest 给项目补上自动化测试热词里的 pytest 框架并不是额外负担而是把项目从“能跑”推向“可靠”的重要一步。面试官看项目时代码能跑只是底线能不能写测试会拉开差距。我的经验是一开始不要追求测试覆盖率而是先给项目里最容易变化、最容易出错的函数写测试。比如给文件重命名函数写测试def test_batch_rename_when_folder_exists(tmp_path): target tmp_path / source target.mkdir() (target / a.txt).write_text(hello, encodingutf-8) from my_project.renamer import batch_rename total batch_rename(str(target), photo) assert total 1 assert (target / photo_001.txt).exists()这里的tmp_path是 pytest 提供的临时目录测试结束后自动清理不会污染真实数据。写完后在项目根目录执行pytest看到passed说明核心函数没有出明显问题。以后改代码时再跑一遍测试就能快速知道有没有改坏老功能。4.3 智能体/Agent 框架要不要早早就学热词里出现“agent框架与编排”“智能体框架”这确实是新方向但我的判断很直接Agent 类框架值得关注但它不是 Python 入门阶段的必需品也不应该替代基础项目。练 Agent 项目之前需要几个前导能力会跟 HTTP API 打交道知道接口请求和 JSON 返回。会设计函数或工具并清楚每个工具的输入输出。会处理循环、状态、异常重试和上下文长度限制。一个合适的入门 Agent 项目可以很简单设计一个角色给它配置工具函数让它根据用户请求决定调用哪个工具然后把结果返回给用户。核心是任务编排不是堆模型参数。如果requests和 JSON 都还没弄明白就去追 Agent 框架大概率只能跑通别人的 Demo任务稍微变化就不会改。我始终建议把顺序定成基础脚本 - 爬虫或数据处理 - Web 项目 - 测试与日志 - 再考虑 Agent 方向。每一步都有前一步支撑才不会出现“看着热闹、自己写不出来”的情况。5. 项目做完了怎么变成“简历能写、面试能聊”的成果5.1 项目完成度自检清单项目列表里的练习项目做完即忘往往因为没有完成感。想让它成为求职材料不能只停留在“能跑