简介本资源是一份面向Python初学者与爬虫实践者的轻量级教学项目聚焦真实场景下的携程网用户评论数据采集解决Web数据获取与结构化存储的核心问题。压缩包仅含1个Python脚本文件.py体积精简至2KB完整实现了基于requests发起HTTP请求、BeautifulSoup解析HTML提取评论内容/用户名/评分/时间等字段、分页逻辑构造及CSV格式本地保存的全流程代码简洁可读适合作为入门级爬虫练手范例。已有3077人学习下载覆盖课程实验、课设开发与自学提升等典型场景。读者可直接运行脚本理解请求-解析-清洗-落盘的闭环逻辑掌握反爬基础应对策略如请求头模拟、基础延时、HTML结构定位技巧及pandas简易数据封装方法是快速建立爬虫工程直觉的实用工具脚本。1. 携程网评论爬取不是“发个requests就能跑通”的事真实场景下你得先过反爬识别、动态加载和结构变异三道关很多人拿到python爬取携程网评论.py后第一反应是改个 URL 就 run结果返回 403、空列表或一堆乱码 div。这不是代码写错了而是对携程当前前端架构缺乏基本认知——它早已不是静态 HTML 页面。2024 年中旬起携程 PC 端评论区全面切换为 React SSR 渲染关键字段如用户名、评分、时间戳由 JavaScript 动态注入且评论列表通过分页接口异步加载URL 中不带 page 参数而是依赖请求头中的X-Requested-With: XMLHttpRequest和加密的Referer。更关键的是其反爬策略已从基础 User-Agent 校验升级为设备指纹行为时序检测连续 3 次请求间隔小于 1.8 秒或未携带sec-ch-ua-mobile: ?0头服务端直接返回 503 并触发滑块验证。本项目 ZIP 包里那个.py文件本质是一个「教学锚点」它用最简方式暴露了 requestsbs4 的原始链路但真正能跑通的版本必须补全 Cookie 初始化、AJAX 接口逆向、JSONPath 提取逻辑和请求节流控制。适合刚学完 requests 基础、正卡在「为什么我抓不到数据」阶段的开发者也适合需要快速验证某酒店/景点近期舆情的运营人员——只要把目标 ID 替换进get_comment_api_url()函数就能导出带时间戳的结构化 CSV。2. 从静态解析到接口直取为什么 BeautifulSoup 在携程评论页上注定失效以及如何定位真实数据源2.1 携程评论页的 DOM 结构陷阱HTML 源码里根本不存在你要的数据打开 Chrome 开发者工具右键「查看网页源代码」搜索关键词“好评”或用户昵称你会发现页面源码中div classcomment-item下全是占位符div classcomment-content/div而实际评论内容只存在于 Network 面板中commentList类型的 XHR 请求响应里。这是因为携程采用服务端渲染SSR 客户端 hydration 模式首屏 HTML 仅含骨架真实数据由 JS 调用/webapi/comment/list接口获取并渲染。若仍用requests.get(url)BeautifulSoup(html, lxml)你解析的只是空壳 DOMsoup.find_all(div, class_comment-content)必然返回空列表。提示验证是否为动态加载页面只需对比「查看网页源代码」和「Elements 面板实时 DOM」。若后者有内容而前者无则必须走 AJAX 接口。2.2 逆向分析评论 API构造合法请求的 4 个必要参数通过抓包发现携程评论数据来自以下接口以北京故宫为例GET https://vacations.ctrip.com/webapi/comment/list?productId1234567productType1pageSize10pageIndex1_1718923456789其中关键参数含义如下参数名示例值必填说明productId1234567✅景点/酒店唯一 ID从目标页面 URL 或 HTML 中>curl -H User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 \ -H X-Requested-With: XMLHttpRequest \ -H Referer: https://vacations.ctrip.com/dest/t1234567.html \ -H sec-ch-ua-mobile: ?0 \ https://vacations.ctrip.com/webapi/comment/list?productId1234567...对应 Python 实现需严格设置import requests import time def get_comment_api_url(product_id: str, page_index: int 1, product_type: int 1) - str: base_url https://vacations.ctrip.com/webapi/comment/list params { productId: product_id, productType: product_type, pageSize: 10, pageIndex: page_index, _: int(time.time() * 1000) # 动态时间戳 } return f{base_url}?{requests.utils.urlencode(params)} # 构造完整请求 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36, X-Requested-With: XMLHttpRequest, Referer: fhttps://vacations.ctrip.com/dest/t{product_id}.html, # Referer 必须匹配目标页面 sec-ch-ua-mobile: ?0 } response requests.get(get_comment_api_url(1234567), headersheaders, timeout10) if response.status_code 200: data response.json() print(f第 {page_index} 页共 {data.get(total, 0)} 条评论) else: print(f请求失败状态码{response.status_code})2.2.1 如何安全获取 productId两种可靠方法从目标页面 URL 提取携程景点页 URL 格式为https://vacations.ctrip.com/dest/t{productId}.html例如https://vacations.ctrip.com/dest/t1234567.html→productId1234567。从页面 HTML 中解析当 URL 不规范时使用 requests 获取页面后用正则提取import re from bs4 import BeautifulSoup def extract_product_id_from_page(url: str) - str: resp requests.get(url, headers{User-Agent: Mozilla/5.0...}) soup BeautifulSoup(resp.text, lxml) # 查找>def get_total_pages(total_count: int, page_size: int 10) - int: return (total_count page_size - 1) // page_size # 向上取整 # 主爬取循环 first_resp requests.get(get_comment_api_url(product_id), headersheaders) first_data first_resp.json() total_comments first_data.get(total, 0) max_pages get_total_pages(total_comments) all_comments [] for page in range(1, max_pages 1): print(f正在获取第 {page} 页共 {max_pages} 页...) resp requests.get(get_comment_api_url(product_id, page), headersheaders) if resp.status_code ! 200: print(f第 {page} 页请求失败跳过) continue data resp.json() comments data.get(comments, []) all_comments.extend(comments) time.sleep(2.5) # 强制延时模拟人工操作节奏注意time.sleep(2.5)是硬性要求。测试表明间隔 ≤2 秒时第 5~8 次请求大概率触发 503≥2.5 秒可稳定跑完 50 页。这不是“防封”而是携程服务端对高频行为的主动限流策略。3. 数据清洗与结构化存储从原始 JSON 到可分析的 DataFrame绕不开的 3 类脏数据处理3.1 原始评论 JSON 的字段映射与缺失值填充携程 API 返回的comments数组中每条评论对象结构如下精简关键字段{ id: cmt_987654321, user: {nickName: 旅行家小王, level: 5}, score: 5.0, content: 风景绝美导游很专业, publishTime: 2024-05-20 14:30:22, images: [https://xxx.jpg, https://yyy.jpg] }但实测发现 3 类典型缺失user.nickName为空匿名用户显示为***score字段缺失部分老评论无评分publishTime为时间戳字符串如1716212345000而非标准格式清洗代码需覆盖这些情况import pandas as pd from datetime import datetime def clean_comment_item(item: dict) - dict: # 用户名处理空值或星号替换为 匿名用户 nickname item.get(user, {}).get(nickName, ).strip() if not nickname or nickname ***: nickname 匿名用户 # 评分处理缺失则设为 0.0确保数值类型 score float(item.get(score, 0.0)) # 时间处理兼容两种格式 pub_time item.get(publishTime) if isinstance(pub_time, str) and len(pub_time) 13 and pub_time.isdigit(): # 时间戳毫秒转 datetime dt datetime.fromtimestamp(int(pub_time) / 1000) formatted_time dt.strftime(%Y-%m-%d %H:%M:%S) elif isinstance(pub_time, str) and len(pub_time) 10: # 已是标准格式直接使用 formatted_time pub_time else: formatted_time 未知时间 return { comment_id: item.get(id, ), username: nickname, score: score, content: item.get(content, ).strip(), publish_time: formatted_time, image_count: len(item.get(images, [])) } # 批量清洗 cleaned_list [clean_comment_item(cmt) for cmt in all_comments] df pd.DataFrame(cleaned_list) print(df.head())3.2 去重与低质评论过滤基于内容长度和符号密度的实用规则携程评论中存在大量无效数据内容为空或仅含表情符号如内容过短≤5 字且无实质信息如不错、很好含高比例非中文字符广告链接、乱码添加过滤函数import re def is_valid_comment(content: str) - bool: if not content or len(content.strip()) 0: return False # 过滤纯符号/emoji emoji_pattern re.compile( [ \U0001F600-\U0001F64F # emoticons \U0001F300-\U0001F5FF # symbols pictographs \U0001F680-\U0001F6FF # transport map symbols \U0001F1E0-\U0001F1FF # flags ], flagsre.UNICODE) clean_content emoji_pattern.sub(r, content) # 中文字符占比 30% 视为低质 chinese_chars re.findall(r[\u4e00-\u9fff], clean_content) if len(chinese_chars) / len(clean_content) 0.3 if clean_content else False: return False # 内容长度 5 字且无标点大概率是水评 if len(clean_content) 5 and not re.search(r[。、“”‘’《》], clean_content): return False return True # 应用过滤 df df[df[content].apply(is_valid_comment)].reset_index(dropTrue) print(f过滤后剩余 {len(df)} 条有效评论)3.3 存储为多格式文件CSV 保兼容JSON 保嵌套Excel 加样式# CSV用 utf-8-sig 编码解决 Excel 中文乱码 df.to_csv(ctrip_comments.csv, indexFalse, encodingutf-8-sig) # JSON保留原始嵌套结构便于后续 API 调用 df.to_json(ctrip_comments.json, orientrecords, force_asciiFalse, indent2) # Excel添加自动列宽和表头样式需 openpyxl with pd.ExcelWriter(ctrip_comments.xlsx, engineopenpyxl) as writer: df.to_excel(writer, indexFalse, sheet_nameComments) workbook writer.book worksheet writer.sheets[Comments] # 自动列宽 for column in worksheet.columns: max_length 0 column_letter column[0].column_letter for cell in column: try: if len(str(cell.value)) max_length: max_length len(str(cell.value)) except: pass adjusted_width min(max_length 2, 50) # 限制最大宽度 worksheet.column_dimensions[column_letter].width adjusted_width4. 反爬对抗实战Cookie 初始化、请求节流与异常重试的工业级配置4.1 为什么首次请求必须带 Cookie携程的会话绑定机制单纯加 headers 仍可能返回{code:401,message:Unauthorized}。根本原因是携程服务端校验cticket和GUID两个 Cookie 字段它们在首次访问任意页面时由服务端下发并与设备指纹绑定。若跳过首页请求直接调用评论 API服务端会拒绝认证。正确流程是先GET一次目标景点页如https://vacations.ctrip.com/dest/t1234567.html提取响应中的Set-Cookie保存至 session用该 session 发起后续所有 API 请求import requests session requests.Session() # 第一步访问首页获取初始 Cookie home_url fhttps://vacations.ctrip.com/dest/t{product_id}.html session.get(home_url, headers{User-Agent: Mozilla/5.0...}) # 第二步用同一 session 调用评论接口 response session.get( get_comment_api_url(product_id, 1), headersheaders # 复用之前定义的 headers )4.2 工业级重试机制不只是 try-except要带指数退避网络抖动、503 临时限流是常态。简单try-except会立即重试反而加重服务端压力。应采用指数退避Exponential Backoffimport time import random def robust_request(url: str, session: requests.Session, headers: dict, max_retries: int 3) - requests.Response: for attempt in range(max_retries 1): try: resp session.get(url, headersheaders, timeout15) if resp.status_code in [200, 201]: return resp elif resp.status_code in [429, 503]: # 遇到限流按指数退避等待 wait_time (2 ** attempt) random.uniform(0, 1) print(f第 {attempt 1} 次请求被限流{resp.status_code}等待 {wait_time:.2f} 秒后重试...) time.sleep(wait_time) else: print(f请求失败状态码 {resp.status_code}不再重试) return resp except requests.exceptions.RequestException as e: if attempt max_retries: raise e wait_time (2 ** attempt) random.uniform(0, 1) print(f请求异常{e}等待 {wait_time:.2f} 秒后重试...) time.sleep(wait_time) raise Exception(重试次数用尽) # 使用示例 resp robust_request( get_comment_api_url(product_id, 1), sessionsession, headersheaders )4.3 最小化请求频率的终极技巧用 ETag 缓存校验跳过重复抓取携程评论更新频率低通常 24 小时内无变化。可在首次请求时记录响应头中的ETag下次请求前用If-None-Match校验# 首次请求后保存 ETag etag response.headers.get(ETag, ) # 后续请求带上校验头 headers_with_etag {**headers, If-None-Match: etag} resp session.get(url, headersheaders_with_etag) if resp.status_code 304: print(数据未更新使用本地缓存) # 直接读取上次保存的文件 df pd.read_csv(ctrip_comments.csv) else: # 正常解析新数据 ...5. 评论情感倾向快速分析用 SnowNLP 一行代码判断“好评率”无需训练模型拿到清洗后的 CSV下一步常是评估舆情。不用上 BERT用轻量级 SnowNLP 即可快速打标pip install snownlpfrom snownlp import SnowNLP def get_sentiment_score(text: str) - float: 返回 0~1 的情感分越接近 1 越正面 try: s SnowNLP(text) return s.sentiments except: return 0.5 # 默认中性 # 批量计算 df[sentiment] df[content].apply(get_sentiment_score) # 统计好评率情感分 ≥0.6 positive_rate (df[sentiment] 0.6).mean() * 100 print(f好评率{positive_rate:.1f}%) # 导出带情感分的完整表 df.to_csv(ctrip_comments_with_sentiment.csv, indexFalse, encodingutf-8-sig)提示SnowNLP 在旅游类短文本上准确率约 82%经人工抽样验证足够支撑日常运营决策。若需更高精度可将content列导出用飞书多维表格AI 助手批量打标成本更低。最后检查数据质量运行df.info()确认无空值df[score].describe()查看评分分布df[publish_time].min(), df[publish_time].max()验证时间范围是否符合预期。至此从 ZIP 包里的原始脚本到可落地的舆情采集 pipeline全部闭环。本文还有配套的精品资源点击获取