㊗️本期内容已收录至专栏《Python爬虫实战》，持续完善知识体系与项目实战，建议先订阅收藏，后续查阅更方便～㊙️本期爬虫难度指数：⭐⭐⭐⭐☆（高级）🉐福利：一次订阅后，专栏内的所有文章可永久免费看，持续更新中，保底1000+(篇)硬核实战内容。全文目录：🌟 开篇语0️⃣ 前言（Preface）1️⃣ 摘要（Abstract）2️⃣ 背景与需求（Why）2.1 为什么要采集景区接驳车数据2.2 数据可以用于什么场景2.3 本文的目标站点与页面职责2.4 目标字段清单3️⃣ 合规与注意事项3.1 robots.txt 是什么3.2 不要进行攻击式并发3.3 不采集敏感信息3.4 不绕过登录和付费限制3.5 User-Agent 应说明身份3.6 本地缓存也是合规措施4️⃣ 技术选型与整体流程（What / How）4.1 静态、动态页面与 API 的区别静态 HTML动态渲染页面JSON API4.2 为什么选择 Requests 和 BeautifulSoup4.3 整体流程采集解析清洗存储5️⃣ 环境准备与依赖安装5.1 Python 版本5.2 创建虚拟环境5.3 安装依赖5.4 推荐项目结构6️⃣ 数据模型设计6.1 `models.py`6.2 为什么站点要保存顺序6.3 为什么班次窗口单独建模7️⃣ 配置文件7.1 为什么保留兜底站点8️⃣ 核心实现：请求层（Fetcher）8.1 完整 `fetcher.py`8.2 headers 的作用User-AgentRefererAcceptAccept-Language8.3 timeout 为什么必须设置8.4 Session 和 Cookie8.5 重试和指数退避8.6 respect_retry_after_header8.7 robots 获取失败时为何默认拒绝9️⃣ 核心实现：解析层（Parser）9.1 不使用固定表格下标9.2 完整 `parser.py`🔍 10️⃣ 解析层重点拆解10.1 列表页如何获得详情链接10.2 为什么根据表头语义映射列10.3 路线—站点结构如何恢复10.4 如何防止站点链死循环10.5 缺失字段如何处理1️⃣1️⃣ 日期班次动态切换11.1 英文日期区间解析11.2 月份映射11.3 跨年判断11.4 为什么不能只比较月份11.5 按目标日期匹配11.6 `No Service` 不能当普通空值11.7 目标年份为何需要参数1️⃣2️⃣ 数据存储与导出（Storage）12.1 数据库表设计路线表班次窗口表12.2 字段映射表12.3 完整 `storage.py`12.4 去重策略第一层：业务唯一键第二层：内容哈希URL 唯一为什么不够1️⃣3️⃣ 命令行入口13.1 为什么使用命令行参数1️⃣4️⃣ 运行方式与结果展示14.1 启动命令14.2 输出位置14.3 查看 SQLite14.4 示例结果14.5 CSV 编码为什么使用 UTF-8-SIG1️⃣5️⃣ 离线测试15.1 测试 HTML15.2 测试代码15.3 测试覆盖了什么1️⃣6️⃣ 常见问题与排错16.1 返回 40316.2 返回 42916.3 是否需要代理16.4 HTML 抓到空壳16.5 Playwright 备用方案16.6 解析结果为空16.7 选择器变化16.8 编码和乱码16.9 SSL 错误16.10 日期匹配不到16.11 页面写 `After January 2`1️⃣7️⃣ 进阶优化17.1 增量更新17.2 断点续跑17.3 日志17.4 监控指标17.5 结构异常检测17.6 条件请求17.7 多景区配置化17.8 线程并发17.9 asyncio17.10 Scrapy 改造17.11 定时任务17.12 Airflow1️⃣8️⃣ 增加本地缓存模式1️⃣9️⃣ 数据质量进一步处理19.1 站点名称标准化19.2 时间转换为 24 小时制19.3 运营时间不等于发车间隔19.4 班次状态细分19.5 来源追踪2️⃣0️⃣ 生产环境建议20.1 保存原始快照20.2 生成页面哈希20.3 解析失败时不要覆盖旧数据20.4 使用事务20.5 数据过期标记2️⃣1️⃣ 一份更简短的单文件版本2️⃣2️⃣ 从本文案例迁移到其他景区第一步：确认数据来源第二步：确定线路模型第三步：识别站点来源第四步：设计日期规则第五步：建立验证样本2️⃣3️⃣ 常见设计误区误区一：一条路线只保存一条运营时间误区二：把停运解析成空值误区三：只依赖一个 CSS 类名误区四：每次调试都访问远程页面误区五：出现错误就无限重试误区六：为了“完整”而猜测缺失数据2️⃣4️⃣ 总结与延伸阅读🌟 文末✅ 专栏持续更新中｜建议收藏 + 订阅✅ 互动征集✅ 免责声明🌟 开篇语哈喽，各位小伙伴们你们好呀～我是【喵手】。运营社区： C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛，一起学习，一起进步～🌟我长期专注Python 爬虫工程化实战，主理专栏👉 《Python爬虫实战》：从采集策略到 Python 实战：采集景区接驳车路线与班次目录，解决路线站点解析与日期动态切换
㊗️本期内容已收录至专栏《Python爬虫实战》，持续完善知识体系与项目实战，建议先订阅收藏，后续查阅更方便～㊙️本期爬虫难度指数：⭐⭐⭐⭐☆（高级）🉐福利：一次订阅后，专栏内的所有文章可永久免费看，持续更新中，保底1000+(篇)硬核实战内容。全文目录：🌟 开篇语0️⃣ 前言（Preface）1️⃣ 摘要（Abstract）2️⃣ 背景与需求（Why）2.1 为什么要采集景区接驳车数据2.2 数据可以用于什么场景2.3 本文的目标站点与页面职责2.4 目标字段清单3️⃣ 合规与注意事项3.1 robots.txt 是什么3.2 不要进行攻击式并发3.3 不采集敏感信息3.4 不绕过登录和付费限制3.5 User-Agent 应说明身份3.6 本地缓存也是合规措施4️⃣ 技术选型与整体流程（What / How）4.1 静态、动态页面与 API 的区别静态 HTML动态渲染页面JSON API4.2 为什么选择 Requests 和 BeautifulSoup4.3 整体流程采集解析清洗存储5️⃣ 环境准备与依赖安装5.1 Python 版本5.2 创建虚拟环境5.3 安装依赖5.4 推荐项目结构6️⃣ 数据模型设计6.1 `models.py`6.2 为什么站点要保存顺序6.3 为什么班次窗口单独建模7️⃣ 配置文件7.1 为什么保留兜底站点8️⃣ 核心实现：请求层（Fetcher）8.1 完整 `fetcher.py`8.2 headers 的作用User-AgentRefererAcceptAccept-Language8.3 timeout 为什么必须设置8.4 Session 和 Cookie8.5 重试和指数退避8.6 respect_retry_after_header8.7 robots 获取失败时为何默认拒绝9️⃣ 核心实现：解析层（Parser）9.1 不使用固定表格下标9.2 完整 `parser.py`🔍 10️⃣ 解析层重点拆解10.1 列表页如何获得详情链接10.2 为什么根据表头语义映射列10.3 路线—站点结构如何恢复10.4 如何防止站点链死循环10.5 缺失字段如何处理1️⃣1️⃣ 日期班次动态切换11.1 英文日期区间解析11.2 月份映射11.3 跨年判断11.4 为什么不能只比较月份11.5 按目标日期匹配11.6 `No Service` 不能当普通空值11.7 目标年份为何需要参数1️⃣2️⃣ 数据存储与导出（Storage）12.1 数据库表设计路线表班次窗口表12.2 字段映射表12.3 完整 `storage.py`12.4 去重策略第一层：业务唯一键第二层：内容哈希URL 唯一为什么不够1️⃣3️⃣ 命令行入口13.1 为什么使用命令行参数1️⃣4️⃣ 运行方式与结果展示14.1 启动命令14.2 输出位置14.3 查看 SQLite14.4 示例结果14.5 CSV 编码为什么使用 UTF-8-SIG1️⃣5️⃣ 离线测试15.1 测试 HTML15.2 测试代码15.3 测试覆盖了什么1️⃣6️⃣ 常见问题与排错16.1 返回 40316.2 返回 42916.3 是否需要代理16.4 HTML 抓到空壳16.5 Playwright 备用方案16.6 解析结果为空16.7 选择器变化16.8 编码和乱码16.9 SSL 错误16.10 日期匹配不到16.11 页面写 `After January 2`1️⃣7️⃣ 进阶优化17.1 增量更新17.2 断点续跑17.3 日志17.4 监控指标17.5 结构异常检测17.6 条件请求17.7 多景区配置化17.8 线程并发17.9 asyncio17.10 Scrapy 改造17.11 定时任务17.12 Airflow1️⃣8️⃣ 增加本地缓存模式1️⃣9️⃣ 数据质量进一步处理19.1 站点名称标准化19.2 时间转换为 24 小时制19.3 运营时间不等于发车间隔19.4 班次状态细分19.5 来源追踪2️⃣0️⃣ 生产环境建议20.1 保存原始快照20.2 生成页面哈希20.3 解析失败时不要覆盖旧数据20.4 使用事务20.5 数据过期标记2️⃣1️⃣ 一份更简短的单文件版本2️⃣2️⃣ 从本文案例迁移到其他景区第一步：确认数据来源第二步：确定线路模型第三步：识别站点来源第四步：设计日期规则第五步：建立验证样本2️⃣3️⃣ 常见设计误区误区一：一条路线只保存一条运营时间误区二：把停运解析成空值误区三：只依赖一个 CSS 类名误区四：每次调试都访问远程页面误区五：出现错误就无限重试误区六：为了“完整”而猜测缺失数据2️⃣4️⃣ 总结与延伸阅读🌟 文末✅ 专栏持续更新中｜建议收藏 + 订阅✅ 互动征集✅ 免责声明🌟 开篇语哈喽，各位小伙伴们你们好呀～我是【喵手】。运营社区： C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛，一起学习，一起进步～🌟我长期专注Python 爬虫工程化实战，主理专栏👉 《Python爬虫实战》：从采集策略到