简介这是一套面向计算机专业本科生及初级开发者设计的电商比价系统实战项目聚焦Python网络爬虫与前端数据可视化协同开发解决多平台商品价格动态采集、结构化比对与结果呈现等核心问题适用于毕业设计、课程设计及小型Web工具开发实践。资源包共137个文件含20个核心Python爬虫与数据处理脚本如京东、淘宝评论与商品信息抓取、6个HTML前端页面含比价展示界面与交互逻辑、82张界面截图与示意图PNG为主以及CSV格式的原始采集数据如jdData.csv、tbCommentData.csv等整体压缩包大小为26.68MB结构清晰、模块分离明确。目前已有72人学习下载源码经严格测试可直接运行附带完整目录说明与基础配置指引读者可快速掌握RequestsBeautifulSoup爬虫编写、CSV数据清洗、HTML静态渲染及跨平台数据对比逻辑实现具备良好的延展性与二次开发基础。1. 项目概述一个能帮你省钱的“数字导购”每次大促你是不是也和我一样在几个电商平台之间反复横跳就为了找到那个最低价从淘宝、京东到拼多多手动比价不仅耗时耗力还容易看花眼。这个基于HTML和Python爬虫的电商比价系统就是来解决这个痛点的。它本质上是一个自动化的“数字导购”你只需要告诉它你想买什么它就能在后台悄无声息地帮你跑遍各大电商网站把价格、促销信息、店铺信誉等关键数据抓取回来整理成一张清晰易懂的表格或图表展示给你看。这个项目特别适合几类朋友首先是正在为毕业设计或课程设计发愁的计算机相关专业学生它技术栈经典前端HTML后端Python、功能完整、业务场景贴近生活是一个能拿高分的优质选题。其次是那些想通过一个实战项目来系统学习Python爬虫和Web开发基础的入门开发者。最后对于有小需求的个人用户它甚至可以稍加改造变成一个每天自动帮你监控心仪商品价格变动的私人助手。接下来我会把这个项目从设计思路到代码实现的每一个细节掰开揉碎让你不仅能看懂更能自己动手做一个出来。2. 系统整体设计与核心思路拆解2.1 为什么是HTMLPython爬虫这个组合很多新手会疑惑现在前端框架那么多为什么这里用最“原始”的HTML后端为什么不用Django、Flask这些Web框架这恰恰是这个项目作为教学和入门项目的精妙之处。前端选择纯HTMLCSSJavaScript原生目的是“去框架化”直击Web展示的本质。我们的核心价值是比价数据和逻辑前端页面只需要清晰地展示这些信息即可。使用原生技术可以让你彻底理解一个网页是如何从数据变成你看到的样子的避免被Vue或React的语法糖和构建流程分散初期学习的注意力。当然在项目后期你可以很容易地把展示层替换成任何你喜欢的现代化框架。后端选择Python核心在于其强大的爬虫生态和快速开发能力。Python的requests、BeautifulSoup4、lxml、Selenium等库构成了爬虫领域的“瑞士军刀”几乎能应对所有网站的抓取需求。相比Java或CPython可以用更简洁的代码实现复杂逻辑让开发者专注于业务即如何解析页面、提取价格而不是语言细节。这里我们没有引入Flask/Django是因为在初期我们可以用一个更简单的架构Python脚本负责爬取和数据处理然后将处理好的数据如JSON格式直接由前端JavaScript读取并渲染。这构成了一个典型的“静态网站动态数据”架构部署简单理解直观。2.2 系统架构与工作流程整个系统可以看作一个数据流水线分为四个核心环节输入与触发层用户在一个极简的HTML页面输入框里键入商品名称例如“华为Mate 60 Pro”点击“比价”按钮。这个动作会触发一个JavaScript函数。任务调度与爬取层JavaScript将商品关键词通过Ajax请求发送给一个后台Python脚本或者一个用Python编写的简易HTTP服务。Python脚本作为“爬虫指挥官”根据配置同时或依次启动针对不同电商平台如淘宝、京东、拼多多的爬虫子任务。数据解析与清洗层每个爬虫子任务获取到电商平台的商品列表页HTML后利用BeautifulSoup等工具进行解析。这里是最核心也最易变的部分需要从杂乱的HTML标签中精准定位商品标题、价格、图片链接、商品详情页URL、店铺名称等字段。由于电商网站经常改版解析规则选择器需要一定的维护成本。结果聚合与展示层所有爬虫子任务的数据返回后Python脚本进行聚合、排序默认按价格从低到高并整理成结构化的数据列表字典。这个数据被返回给前端页面。前端JavaScript接收到数据后动态生成HTML表格或卡片将商品信息清晰罗列并用不同的颜色高亮显示最低价完成最终展示。这个流程清晰地将前端展示、后端逻辑、数据抓取分离是理解Web应用和数据采集应用的绝佳模型。3. 核心模块技术细节与实现要点3.1 前端界面极简但高效的交互设计前端页面只有一个核心任务提供输入入口并优雅地展示结果。文件通常就是一个index.html。!DOCTYPE html html langzh-CN head meta charsetUTF-8 title电商比价助手/title link relstylesheet hrefstyle.css /head body div classcontainer h1 全网电商比价系统/h1 div classsearch-box input typetext idkeyword placeholder请输入商品名称例如无线蓝牙耳机 button onclickstartCompare()一键比价/button /div div idloading styledisplay:none;正在全网搜索请稍候.../div div idresult-container !-- 比价结果将通过JS动态插入到这里 -- /div /div script srcscript.js/script /body /html关键细节与注意事项输入提示Placeholder给出明确的例子如“无线蓝牙耳机”能极大提升用户体验引导用户输入有效的关键词。加载状态反馈点击按钮后立即显示#loading这个div这是一个非常重要的用户体验细节。它能告诉用户系统正在工作避免用户因等待而重复点击。当数据返回后再将其隐藏。结果容器预留提前准备好一个空的#result-container用于后续JavaScript动态填充内容。这种模式静态骨架动态内容是现代Web应用的基石。CSSstyle.css的作用是让页面看起来舒服些比如设置输入框和按钮的样式让表格有斑马纹、居中对齐等。这里不展开但记住一点对于数据展示类页面表格的清晰可读性远高于花哨的动画。3.2 爬虫引擎应对不同电商平台的策略这是项目的核心也是最复杂的一部分。我们不能用一个通用的规则去抓所有网站必须为每个目标网站“量身定制”爬虫脚本。3.2.1 通用爬取框架与反爬应对无论针对哪个平台基础爬取流程是相似的import requests from bs4 import BeautifulSoup import json import time def fetch_html(url, headers): 通用的网页抓取函数 try: # 添加随机延迟模拟真人操作避免请求过快被封IP time.sleep(1) response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 检查HTTP请求是否成功 # 有些网站编码不是UTF-8需要根据实际情况调整 response.encoding response.apparent_encoding or utf-8 return response.text except requests.RequestException as e: print(f抓取{url}失败: {e}) return None关键点请求头Headers与延迟Headers必须设置User-Agent让自己看起来像一个真实的浏览器。可以直接复制你浏览器网络请求中的Headers来用。这是绕过最简单反爬措施的第一步。HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ... Chrome/120.0.0.0 Safari/537.36 }延迟Delay在连续请求之间插入time.sleep(1)或随机延时是对目标网站最基本的尊重也是保护自己IP不被封禁的有效手段。对于课程设计级别的访问量1-2秒的延迟足够安全。3.2.2 京东商品解析示例京东的页面结构相对规范数据有时甚至藏在页面源码的JSON对象里解析起来较为方便。def parse_jd_search(keyword): 解析京东搜索列表页 base_url fhttps://search.jd.com/Search?keyword{keyword} html fetch_html(base_url, HEADERS) if not html: return [] soup BeautifulSoup(html, lxml) product_list [] # 京东搜索列表的商品项通常放在类名为gl-item的div中 items soup.find_all(div, class_gl-item) for item in items[:10]: # 只取前10个结果 try: # 提取商品链接和标题 link_elem item.find(a, class_curr-shop) if not link_elem: continue title link_elem.get(title, ).strip() product_url https: link_elem.get(href, ) if link_elem.get(href) else # 提取价格 - 京东价格可能在特殊的data-price属性里 price_elem item.find(div, class_p-price) price price_elem.find(i).text.strip() if price_elem else 暂无报价 # 提取图片 img_elem item.find(img, class_err-product) img_url https: img_elem.get(data-lazy-img) if img_elem else product_list.append({ source: 京东, title: title, price: price, url: product_url, img: img_url }) except Exception as e: print(f解析京东商品项时出错: {e}) continue return product_list注意电商网站的页面结构是“活”的会经常变动。上面代码中的gl-item、p-price等类名可能在未来失效。实际开发中你需要使用浏览器的“开发者工具”F12在Elements面板中仔细查看目标元素的标签和类名并据此更新你的选择器。这是爬虫工程师的日常工作。3.2.3 应对更复杂的网站Selenium动态渲染像淘宝、拼多多这类大量使用JavaScript动态加载内容的网站简单的requests获取到的HTML是空的因为商品数据是后来由JS填充的。这时就需要用到Selenium。Selenium可以模拟一个真实的浏览器等待页面完全加载包括JS执行完毕后再获取完整的HTML源码。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def parse_taobao_with_selenium(keyword): 使用Selenium解析淘宝示例淘宝反爬极严此方法可能不稳定 options webdriver.ChromeOptions() options.add_argument(--headless) # 无头模式不显示浏览器窗口 options.add_argument(--disable-gpu) options.add_argument(fuser-agent{HEADERS[User-Agent]}) driver webdriver.Chrome(optionsoptions) # 需要提前下载对应ChromeDriver products [] try: url fhttps://s.taobao.com/search?q{keyword} driver.get(url) # 显式等待直到商品列表元素出现 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, .item.J_MouserOnverReq)) ) # 获取渲染后的页面源码 html driver.page_source soup BeautifulSoup(html, lxml) # 后续解析逻辑与之前类似但需使用淘宝页面的选择器 # ... 解析代码 ... finally: driver.quit() # 务必退出释放资源 return products重要提醒使用Selenium速度较慢资源消耗大且对于淘宝、天猫等反爬机制极其严格的网站即使使用Selenium也可能遇到滑块验证码等挑战。对于毕业设计你可以主要演示京东、当当等反爬较弱的网站将淘宝作为“难点与展望”部分进行说明这反而能体现你的思考深度。3.3 数据聚合与前端通信当各个爬虫函数都返回数据后我们需要在后端主Python脚本中进行汇总。def main_compare(keyword): 主比价函数 all_products [] # 并行或串行调用各平台爬虫 all_products.extend(parse_jd_search(keyword)) all_products.extend(parse_dangdang_search(keyword)) # 假设有当当网解析函数 # all_products.extend(parse_taobao_with_selenium(keyword)) # 如果启用 # 数据清洗去除重复、无效数据价格转换为数值类型用于排序 valid_products [] for p in all_products: if p[title] and p[price] and p[price] ! 暂无报价: try: # 价格清洗去除¥、,等符号 p[price_num] float(p[price].replace(¥, ).replace(,, ).strip()) valid_products.append(p) except ValueError: continue # 按价格排序 sorted_products sorted(valid_products, keylambda x: x[price_num]) # 转换为JSON格式准备返回给前端 return json.dumps(sorted_products, ensure_asciiFalse, indent2)为了让前端能调用这个Python函数我们需要建立一个简单的通信桥梁。最直接的方式是使用Python内置的http.server模块创建一个临时的API端点或者使用轻量级的Flask框架。这里以Flask为例因为它更接近工业实践from flask import Flask, request, jsonify app Flask(__name__) app.route(/api/compare, methods[GET]) def compare_api(): keyword request.args.get(keyword, ) if not keyword: return jsonify({error: 请输入关键词}), 400 result_data main_compare(keyword) # 调用上面的主函数 return jsonify({data: result_data}) if __name__ __main__: app.run(debugTrue, port5000)这样前端JavaScript就可以通过访问http://localhost:5000/api/compare?keyword无线耳机来获取比价数据了。3.4 前端动态渲染结果前端script.js的核心函数startCompare()负责串联整个流程function startCompare() { const keyword document.getElementById(keyword).value.trim(); if (!keyword) { alert(请输入比价商品关键词); return; } const loadingEl document.getElementById(loading); const resultContainer document.getElementById(result-container); // 1. 显示加载中 loadingEl.style.display block; resultContainer.innerHTML ; // 2. 发起请求到后端API fetch(http://localhost:5000/api/compare?keyword${encodeURIComponent(keyword)}) .then(response response.json()) .then(data { // 3. 隐藏加载中 loadingEl.style.display none; if (data.error) { resultContainer.innerHTML p classerror${data.error}/p; return; } const products data.data; if (products.length 0) { resultContainer.innerHTML p未找到相关商品。/p; return; } // 4. 动态生成比价表格 let tableHtml h2“${keyword}”比价结果/h2; tableHtml tabletrth平台/thth商品/thth价格/thth操作/th/tr; // 找出最低价用于高亮显示 const minPrice Math.min(...products.map(p p.price_num)); products.forEach(p { const isMinPrice p.price_num minPrice; const priceStyle isMinPrice ? stylecolor: red; font-weight: bold; : ; tableHtml tr td${p.source}/td tda href${p.url} target_blank${p.title}/a/td td ${priceStyle}${p.price}/td tda href${p.url} target_blank去购买/a/td /tr; }); tableHtml /table; resultContainer.innerHTML tableHtml; }) .catch(error { loadingEl.style.display none; console.error(比价失败:, error); resultContainer.innerHTML p classerror比价服务暂时不可用请检查后端服务是否启动。/p; }); }4. 项目部署、优化与扩展思路4.1 本地运行与简易部署环境准备确保安装Python3并通过pip install requests beautifulsoup4 lxml flask selenium安装所有依赖。如果使用Selenium还需下载与Chrome浏览器版本匹配的ChromeDriver并将其路径加入系统环境变量或放在项目目录下。文件结构/price-comparison-system ├── index.html ├── style.css ├── script.js ├── crawler.py # 核心爬虫与数据处理逻辑 ├── app.py # Flask后端API ├── requirements.txt └── README.md启动在终端先运行python app.py启动后端API服务Flask默认在http://127.0.0.1:5000。然后用浏览器直接打开index.html文件即可开始使用。4.2 开发中必踩的“坑”与解决方案反爬虫封锁这是最大挑战。除了设置Headers和延迟还可能遇到IP被封、需要Cookies、验证码等。应对策略对于课程设计降低请求频率是最有效的方法。可以尝试使用requests.Session()维持会话或从浏览器手动复制Cookie添加到请求头中。对于验证码除非有研究目的否则建议绕开或选择其他无反爬的网站作为数据源。页面结构变更今天能用的爬虫明天可能就失效了。应对策略将针对每个网站的解析规则CSS选择器、XPath集中写在配置文件中而不是硬编码在函数里。一旦网站改版只需更新配置文件无需修改核心代码。同时在代码中添加更健壮的异常处理某个字段解析失败时跳过或记录日志而不是让整个程序崩溃。数据准确性抓取到的价格可能不是最终成交价可能有优惠券、满减。应对策略在展示时加以说明“此价格为页面公开标价具体以下单时为准”。进阶做法是尝试抓取促销信息区域文字或模拟点击进入商品详情页抓取更准确的价格。异步与性能串行爬取多个网站速度慢。优化使用concurrent.futures或asyncio库实现异步并发爬取可以大幅缩短总等待时间。这是项目一个很好的优化点。4.3 项目扩展方向毕业设计加分项一个基础的比价系统完成后你可以从以下方向进行扩展让项目脱颖而出数据持久化引入SQLite或MySQL数据库将每次比价的结果存储下来。这样你就可以实现历史价格查询功能绘制出某个商品的价格走势图这对于判断“何时入手”极具价值。定时任务与价格监控使用schedule或APScheduler库让爬虫每天定时运行监控你预设的若干个商品。当价格低于你设置的期望值时自动发送邮件或微信消息提醒你。这瞬间让项目从一个工具升级为一个自动化服务。更智能的排序与过滤除了价格引入店铺评分、销量、好评率等维度设计一个加权排序算法例如价格权重50%好评率权重30%销量权重20%帮助用户找到“质优价廉”的商品而不仅仅是“最便宜”的商品。容器化部署使用Docker将你的Python爬虫环境和Flask应用打包成一个镜像。这不仅能解决“在我电脑上能跑”的环境问题也体现了你对现代部署流程的了解。增加更多数据源除了主流电商可以接入二手平台闲鱼、转转的价格信息或者海外购平台的信息提供更全面的比价视角。5. 源码结构与使用指南一个清晰、完整的源码是毕业设计的重要组成部分。你的项目仓库应该包含README.md项目简介、功能特性、技术栈、快速开始指南、配置说明。requirements.txt列出所有Python依赖包及其版本。config.py或settings.yaml存放所有可配置项如各电商网站的搜索URL模板、解析规则选择器、请求头信息、数据库连接字符串等。这是专业性的体现。crawlers/目录将不同电商平台的爬虫脚本模块化如jd_crawler.py,taobao_crawler.py使结构更清晰。utils/目录放置通用工具函数如网络请求函数http_client.py、数据清洗函数data_cleaner.py、日志配置logger.py。app.pyFlask应用主入口。static/和templates/如果你采用Flask渲染页面前端文件放在这里。我们当前方案是前后端分离所以index.html等可直接放在根目录。在README中务必写清楚如何安装依赖、如何配置特别是如果需要填写Cookie或更换ChromeDriver路径、如何运行项目。想象你是评委老师看到一个开箱即用、文档清晰的项目印象分会高很多。最后我想分享一点个人在开发这类数据抓取项目时的体会尊重数据源保持克制。在学习和毕业设计的范畴内以极低的频率抓取公开数据是合理的。但切记不要对目标网站造成访问压力不要尝试绕过付费接口或抓取敏感信息。技术的目的是创造价值、提供便利这个比价系统的价值在于帮你节省信息筛选的时间而不是成为攻击他人的工具。把这份对技术和规则的敬畏之心也体现在你的项目报告和代码注释中。本文还有配套的精品资源点击获取 基于Python爬虫与HTML的电商比价系统：从数据抓取到Web展示的实战指南
简介这是一套面向计算机专业本科生及初级开发者设计的电商比价系统实战项目聚焦Python网络爬虫与前端数据可视化协同开发解决多平台商品价格动态采集、结构化比对与结果呈现等核心问题适用于毕业设计、课程设计及小型Web工具开发实践。资源包共137个文件含20个核心Python爬虫与数据处理脚本如京东、淘宝评论与商品信息抓取、6个HTML前端页面含比价展示界面与交互逻辑、82张界面截图与示意图PNG为主以及CSV格式的原始采集数据如jdData.csv、tbCommentData.csv等整体压缩包大小为26.68MB结构清晰、模块分离明确。目前已有72人学习下载源码经严格测试可直接运行附带完整目录说明与基础配置指引读者可快速掌握RequestsBeautifulSoup爬虫编写、CSV数据清洗、HTML静态渲染及跨平台数据对比逻辑实现具备良好的延展性与二次开发基础。1. 项目概述一个能帮你省钱的“数字导购”每次大促你是不是也和我一样在几个电商平台之间反复横跳就为了找到那个最低价从淘宝、京东到拼多多手动比价不仅耗时耗力还容易看花眼。这个基于HTML和Python爬虫的电商比价系统就是来解决这个痛点的。它本质上是一个自动化的“数字导购”你只需要告诉它你想买什么它就能在后台悄无声息地帮你跑遍各大电商网站把价格、促销信息、店铺信誉等关键数据抓取回来整理成一张清晰易懂的表格或图表展示给你看。这个项目特别适合几类朋友首先是正在为毕业设计或课程设计发愁的计算机相关专业学生它技术栈经典前端HTML后端Python、功能完整、业务场景贴近生活是一个能拿高分的优质选题。其次是那些想通过一个实战项目来系统学习Python爬虫和Web开发基础的入门开发者。最后对于有小需求的个人用户它甚至可以稍加改造变成一个每天自动帮你监控心仪商品价格变动的私人助手。接下来我会把这个项目从设计思路到代码实现的每一个细节掰开揉碎让你不仅能看懂更能自己动手做一个出来。2. 系统整体设计与核心思路拆解2.1 为什么是HTMLPython爬虫这个组合很多新手会疑惑现在前端框架那么多为什么这里用最“原始”的HTML后端为什么不用Django、Flask这些Web框架这恰恰是这个项目作为教学和入门项目的精妙之处。前端选择纯HTMLCSSJavaScript原生目的是“去框架化”直击Web展示的本质。我们的核心价值是比价数据和逻辑前端页面只需要清晰地展示这些信息即可。使用原生技术可以让你彻底理解一个网页是如何从数据变成你看到的样子的避免被Vue或React的语法糖和构建流程分散初期学习的注意力。当然在项目后期你可以很容易地把展示层替换成任何你喜欢的现代化框架。后端选择Python核心在于其强大的爬虫生态和快速开发能力。Python的requests、BeautifulSoup4、lxml、Selenium等库构成了爬虫领域的“瑞士军刀”几乎能应对所有网站的抓取需求。相比Java或CPython可以用更简洁的代码实现复杂逻辑让开发者专注于业务即如何解析页面、提取价格而不是语言细节。这里我们没有引入Flask/Django是因为在初期我们可以用一个更简单的架构Python脚本负责爬取和数据处理然后将处理好的数据如JSON格式直接由前端JavaScript读取并渲染。这构成了一个典型的“静态网站动态数据”架构部署简单理解直观。2.2 系统架构与工作流程整个系统可以看作一个数据流水线分为四个核心环节输入与触发层用户在一个极简的HTML页面输入框里键入商品名称例如“华为Mate 60 Pro”点击“比价”按钮。这个动作会触发一个JavaScript函数。任务调度与爬取层JavaScript将商品关键词通过Ajax请求发送给一个后台Python脚本或者一个用Python编写的简易HTTP服务。Python脚本作为“爬虫指挥官”根据配置同时或依次启动针对不同电商平台如淘宝、京东、拼多多的爬虫子任务。数据解析与清洗层每个爬虫子任务获取到电商平台的商品列表页HTML后利用BeautifulSoup等工具进行解析。这里是最核心也最易变的部分需要从杂乱的HTML标签中精准定位商品标题、价格、图片链接、商品详情页URL、店铺名称等字段。由于电商网站经常改版解析规则选择器需要一定的维护成本。结果聚合与展示层所有爬虫子任务的数据返回后Python脚本进行聚合、排序默认按价格从低到高并整理成结构化的数据列表字典。这个数据被返回给前端页面。前端JavaScript接收到数据后动态生成HTML表格或卡片将商品信息清晰罗列并用不同的颜色高亮显示最低价完成最终展示。这个流程清晰地将前端展示、后端逻辑、数据抓取分离是理解Web应用和数据采集应用的绝佳模型。3. 核心模块技术细节与实现要点3.1 前端界面极简但高效的交互设计前端页面只有一个核心任务提供输入入口并优雅地展示结果。文件通常就是一个index.html。!DOCTYPE html html langzh-CN head meta charsetUTF-8 title电商比价助手/title link relstylesheet hrefstyle.css /head body div classcontainer h1 全网电商比价系统/h1 div classsearch-box input typetext idkeyword placeholder请输入商品名称例如无线蓝牙耳机 button onclickstartCompare()一键比价/button /div div idloading styledisplay:none;正在全网搜索请稍候.../div div idresult-container !-- 比价结果将通过JS动态插入到这里 -- /div /div script srcscript.js/script /body /html关键细节与注意事项输入提示Placeholder给出明确的例子如“无线蓝牙耳机”能极大提升用户体验引导用户输入有效的关键词。加载状态反馈点击按钮后立即显示#loading这个div这是一个非常重要的用户体验细节。它能告诉用户系统正在工作避免用户因等待而重复点击。当数据返回后再将其隐藏。结果容器预留提前准备好一个空的#result-container用于后续JavaScript动态填充内容。这种模式静态骨架动态内容是现代Web应用的基石。CSSstyle.css的作用是让页面看起来舒服些比如设置输入框和按钮的样式让表格有斑马纹、居中对齐等。这里不展开但记住一点对于数据展示类页面表格的清晰可读性远高于花哨的动画。3.2 爬虫引擎应对不同电商平台的策略这是项目的核心也是最复杂的一部分。我们不能用一个通用的规则去抓所有网站必须为每个目标网站“量身定制”爬虫脚本。3.2.1 通用爬取框架与反爬应对无论针对哪个平台基础爬取流程是相似的import requests from bs4 import BeautifulSoup import json import time def fetch_html(url, headers): 通用的网页抓取函数 try: # 添加随机延迟模拟真人操作避免请求过快被封IP time.sleep(1) response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 检查HTTP请求是否成功 # 有些网站编码不是UTF-8需要根据实际情况调整 response.encoding response.apparent_encoding or utf-8 return response.text except requests.RequestException as e: print(f抓取{url}失败: {e}) return None关键点请求头Headers与延迟Headers必须设置User-Agent让自己看起来像一个真实的浏览器。可以直接复制你浏览器网络请求中的Headers来用。这是绕过最简单反爬措施的第一步。HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ... Chrome/120.0.0.0 Safari/537.36 }延迟Delay在连续请求之间插入time.sleep(1)或随机延时是对目标网站最基本的尊重也是保护自己IP不被封禁的有效手段。对于课程设计级别的访问量1-2秒的延迟足够安全。3.2.2 京东商品解析示例京东的页面结构相对规范数据有时甚至藏在页面源码的JSON对象里解析起来较为方便。def parse_jd_search(keyword): 解析京东搜索列表页 base_url fhttps://search.jd.com/Search?keyword{keyword} html fetch_html(base_url, HEADERS) if not html: return [] soup BeautifulSoup(html, lxml) product_list [] # 京东搜索列表的商品项通常放在类名为gl-item的div中 items soup.find_all(div, class_gl-item) for item in items[:10]: # 只取前10个结果 try: # 提取商品链接和标题 link_elem item.find(a, class_curr-shop) if not link_elem: continue title link_elem.get(title, ).strip() product_url https: link_elem.get(href, ) if link_elem.get(href) else # 提取价格 - 京东价格可能在特殊的data-price属性里 price_elem item.find(div, class_p-price) price price_elem.find(i).text.strip() if price_elem else 暂无报价 # 提取图片 img_elem item.find(img, class_err-product) img_url https: img_elem.get(data-lazy-img) if img_elem else product_list.append({ source: 京东, title: title, price: price, url: product_url, img: img_url }) except Exception as e: print(f解析京东商品项时出错: {e}) continue return product_list注意电商网站的页面结构是“活”的会经常变动。上面代码中的gl-item、p-price等类名可能在未来失效。实际开发中你需要使用浏览器的“开发者工具”F12在Elements面板中仔细查看目标元素的标签和类名并据此更新你的选择器。这是爬虫工程师的日常工作。3.2.3 应对更复杂的网站Selenium动态渲染像淘宝、拼多多这类大量使用JavaScript动态加载内容的网站简单的requests获取到的HTML是空的因为商品数据是后来由JS填充的。这时就需要用到Selenium。Selenium可以模拟一个真实的浏览器等待页面完全加载包括JS执行完毕后再获取完整的HTML源码。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def parse_taobao_with_selenium(keyword): 使用Selenium解析淘宝示例淘宝反爬极严此方法可能不稳定 options webdriver.ChromeOptions() options.add_argument(--headless) # 无头模式不显示浏览器窗口 options.add_argument(--disable-gpu) options.add_argument(fuser-agent{HEADERS[User-Agent]}) driver webdriver.Chrome(optionsoptions) # 需要提前下载对应ChromeDriver products [] try: url fhttps://s.taobao.com/search?q{keyword} driver.get(url) # 显式等待直到商品列表元素出现 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, .item.J_MouserOnverReq)) ) # 获取渲染后的页面源码 html driver.page_source soup BeautifulSoup(html, lxml) # 后续解析逻辑与之前类似但需使用淘宝页面的选择器 # ... 解析代码 ... finally: driver.quit() # 务必退出释放资源 return products重要提醒使用Selenium速度较慢资源消耗大且对于淘宝、天猫等反爬机制极其严格的网站即使使用Selenium也可能遇到滑块验证码等挑战。对于毕业设计你可以主要演示京东、当当等反爬较弱的网站将淘宝作为“难点与展望”部分进行说明这反而能体现你的思考深度。3.3 数据聚合与前端通信当各个爬虫函数都返回数据后我们需要在后端主Python脚本中进行汇总。def main_compare(keyword): 主比价函数 all_products [] # 并行或串行调用各平台爬虫 all_products.extend(parse_jd_search(keyword)) all_products.extend(parse_dangdang_search(keyword)) # 假设有当当网解析函数 # all_products.extend(parse_taobao_with_selenium(keyword)) # 如果启用 # 数据清洗去除重复、无效数据价格转换为数值类型用于排序 valid_products [] for p in all_products: if p[title] and p[price] and p[price] ! 暂无报价: try: # 价格清洗去除¥、,等符号 p[price_num] float(p[price].replace(¥, ).replace(,, ).strip()) valid_products.append(p) except ValueError: continue # 按价格排序 sorted_products sorted(valid_products, keylambda x: x[price_num]) # 转换为JSON格式准备返回给前端 return json.dumps(sorted_products, ensure_asciiFalse, indent2)为了让前端能调用这个Python函数我们需要建立一个简单的通信桥梁。最直接的方式是使用Python内置的http.server模块创建一个临时的API端点或者使用轻量级的Flask框架。这里以Flask为例因为它更接近工业实践from flask import Flask, request, jsonify app Flask(__name__) app.route(/api/compare, methods[GET]) def compare_api(): keyword request.args.get(keyword, ) if not keyword: return jsonify({error: 请输入关键词}), 400 result_data main_compare(keyword) # 调用上面的主函数 return jsonify({data: result_data}) if __name__ __main__: app.run(debugTrue, port5000)这样前端JavaScript就可以通过访问http://localhost:5000/api/compare?keyword无线耳机来获取比价数据了。3.4 前端动态渲染结果前端script.js的核心函数startCompare()负责串联整个流程function startCompare() { const keyword document.getElementById(keyword).value.trim(); if (!keyword) { alert(请输入比价商品关键词); return; } const loadingEl document.getElementById(loading); const resultContainer document.getElementById(result-container); // 1. 显示加载中 loadingEl.style.display block; resultContainer.innerHTML ; // 2. 发起请求到后端API fetch(http://localhost:5000/api/compare?keyword${encodeURIComponent(keyword)}) .then(response response.json()) .then(data { // 3. 隐藏加载中 loadingEl.style.display none; if (data.error) { resultContainer.innerHTML p classerror${data.error}/p; return; } const products data.data; if (products.length 0) { resultContainer.innerHTML p未找到相关商品。/p; return; } // 4. 动态生成比价表格 let tableHtml h2“${keyword}”比价结果/h2; tableHtml tabletrth平台/thth商品/thth价格/thth操作/th/tr; // 找出最低价用于高亮显示 const minPrice Math.min(...products.map(p p.price_num)); products.forEach(p { const isMinPrice p.price_num minPrice; const priceStyle isMinPrice ? stylecolor: red; font-weight: bold; : ; tableHtml tr td${p.source}/td tda href${p.url} target_blank${p.title}/a/td td ${priceStyle}${p.price}/td tda href${p.url} target_blank去购买/a/td /tr; }); tableHtml /table; resultContainer.innerHTML tableHtml; }) .catch(error { loadingEl.style.display none; console.error(比价失败:, error); resultContainer.innerHTML p classerror比价服务暂时不可用请检查后端服务是否启动。/p; }); }4. 项目部署、优化与扩展思路4.1 本地运行与简易部署环境准备确保安装Python3并通过pip install requests beautifulsoup4 lxml flask selenium安装所有依赖。如果使用Selenium还需下载与Chrome浏览器版本匹配的ChromeDriver并将其路径加入系统环境变量或放在项目目录下。文件结构/price-comparison-system ├── index.html ├── style.css ├── script.js ├── crawler.py # 核心爬虫与数据处理逻辑 ├── app.py # Flask后端API ├── requirements.txt └── README.md启动在终端先运行python app.py启动后端API服务Flask默认在http://127.0.0.1:5000。然后用浏览器直接打开index.html文件即可开始使用。4.2 开发中必踩的“坑”与解决方案反爬虫封锁这是最大挑战。除了设置Headers和延迟还可能遇到IP被封、需要Cookies、验证码等。应对策略对于课程设计降低请求频率是最有效的方法。可以尝试使用requests.Session()维持会话或从浏览器手动复制Cookie添加到请求头中。对于验证码除非有研究目的否则建议绕开或选择其他无反爬的网站作为数据源。页面结构变更今天能用的爬虫明天可能就失效了。应对策略将针对每个网站的解析规则CSS选择器、XPath集中写在配置文件中而不是硬编码在函数里。一旦网站改版只需更新配置文件无需修改核心代码。同时在代码中添加更健壮的异常处理某个字段解析失败时跳过或记录日志而不是让整个程序崩溃。数据准确性抓取到的价格可能不是最终成交价可能有优惠券、满减。应对策略在展示时加以说明“此价格为页面公开标价具体以下单时为准”。进阶做法是尝试抓取促销信息区域文字或模拟点击进入商品详情页抓取更准确的价格。异步与性能串行爬取多个网站速度慢。优化使用concurrent.futures或asyncio库实现异步并发爬取可以大幅缩短总等待时间。这是项目一个很好的优化点。4.3 项目扩展方向毕业设计加分项一个基础的比价系统完成后你可以从以下方向进行扩展让项目脱颖而出数据持久化引入SQLite或MySQL数据库将每次比价的结果存储下来。这样你就可以实现历史价格查询功能绘制出某个商品的价格走势图这对于判断“何时入手”极具价值。定时任务与价格监控使用schedule或APScheduler库让爬虫每天定时运行监控你预设的若干个商品。当价格低于你设置的期望值时自动发送邮件或微信消息提醒你。这瞬间让项目从一个工具升级为一个自动化服务。更智能的排序与过滤除了价格引入店铺评分、销量、好评率等维度设计一个加权排序算法例如价格权重50%好评率权重30%销量权重20%帮助用户找到“质优价廉”的商品而不仅仅是“最便宜”的商品。容器化部署使用Docker将你的Python爬虫环境和Flask应用打包成一个镜像。这不仅能解决“在我电脑上能跑”的环境问题也体现了你对现代部署流程的了解。增加更多数据源除了主流电商可以接入二手平台闲鱼、转转的价格信息或者海外购平台的信息提供更全面的比价视角。5. 源码结构与使用指南一个清晰、完整的源码是毕业设计的重要组成部分。你的项目仓库应该包含README.md项目简介、功能特性、技术栈、快速开始指南、配置说明。requirements.txt列出所有Python依赖包及其版本。config.py或settings.yaml存放所有可配置项如各电商网站的搜索URL模板、解析规则选择器、请求头信息、数据库连接字符串等。这是专业性的体现。crawlers/目录将不同电商平台的爬虫脚本模块化如jd_crawler.py,taobao_crawler.py使结构更清晰。utils/目录放置通用工具函数如网络请求函数http_client.py、数据清洗函数data_cleaner.py、日志配置logger.py。app.pyFlask应用主入口。static/和templates/如果你采用Flask渲染页面前端文件放在这里。我们当前方案是前后端分离所以index.html等可直接放在根目录。在README中务必写清楚如何安装依赖、如何配置特别是如果需要填写Cookie或更换ChromeDriver路径、如何运行项目。想象你是评委老师看到一个开箱即用、文档清晰的项目印象分会高很多。最后我想分享一点个人在开发这类数据抓取项目时的体会尊重数据源保持克制。在学习和毕业设计的范畴内以极低的频率抓取公开数据是合理的。但切记不要对目标网站造成访问压力不要尝试绕过付费接口或抓取敏感信息。技术的目的是创造价值、提供便利这个比价系统的价值在于帮你节省信息筛选的时间而不是成为攻击他人的工具。把这份对技术和规则的敬畏之心也体现在你的项目报告和代码注释中。本文还有配套的精品资源点击获取