简介本资源是一套面向房地产数据分析初学者与行业研究者的Python链家二手房及租房数据爬虫实战源码解决房产市场信息采集效率低、结构化难度大等实际问题适用于市场调研、投资分析、教学实践等场景。压缩包共20个文件含8个核心Python脚本如core.py、woaiwojialib.py、scrawl.py等覆盖反爬处理、数据建模、配置管理与页面抓取、2个CSV数据文件houseinfo.csv、community.csv、2个PNG可视化截图、2个文本文件含社区ID列表与依赖说明、1个Jupyter笔记本lianjia.ipynb用于交互式分析演示以及Git配置、开源许可与Markdown文档等工程规范文件整体大小为10.85MB。已有704人学习下载。读者可直接运行爬虫获取链家真实房源与小区数据复现完整采集—清洗—存储—分析流程代码模块职责清晰、注释充分附带可执行的环境配置与分步说明大幅降低Python网络爬虫入门门槛。1. 项目缘起与核心价值最近在帮一个做房产数据分析的朋友处理点事情他需要持续跟踪几个重点城市的二手房和租房市场动态比如价格走势、房源分布、户型变化这些。一开始他想着手动去链家这类平台抄数据但试了两天就放弃了——信息太分散更新又频繁纯人力根本搞不定。他跑来问我有没有办法能自动化地把这些数据“搬”下来整理成结构化的表格。我一听这不就是典型的网络爬虫应用场景嘛而且用Python来做再合适不过了。于是就有了这个“基于Python的链家二手房租房在线数据爬虫”的设计与实现。这个项目的核心目标很明确自动化、高效率、结构化地采集链家网上的二手房销售与租房信息。它要解决的痛点正是许多数据分析师、市场研究员甚至个人投资者都会遇到的如何从海量、非结构化的网页信息中快速提取出有用的、规整的数据。无论是想分析某个小区的历史成交价还是想监控特定区域的租金波动一个稳定可靠的爬虫都能省下大量重复劳动。这个项目适合有一定Python基础想深入实战Web爬虫或者对房产数据感兴趣的朋友。即使你刚学完Python语法跟着这个流程走一遍也能对请求发送、页面解析、数据存储有一个非常扎实的理解。2. 项目整体设计与思路拆解2.1 需求分析与目标定义在做任何技术实现之前我们必须先想清楚到底要爬什么链家网页面信息繁杂我们需要明确数据边界。对于二手房核心字段通常包括房源标题、总价、单价、小区名称、所在区域行政区、商圈、房屋户型几室几厅、建筑面积、朝向、楼层、装修情况、建筑年代、挂牌时间、房源特色标签、带看次数等。对于租房除了价格月租金、面积、户型、区域外还需要关注租赁方式整租/合租、付款方式押一付三等、房源配置是否配备家电等。确定了字段接下来要定义爬取范围。是爬取单个城市还是多个城市是爬取全部区域还是聚焦某个商圈是爬取当前所有在售/在租房源还是需要历史数据这些问题的答案直接决定了爬虫的复杂度和运行策略。对于初期项目我建议采取“由点到面”的策略先实现对一个城市某个行政区的所有二手房列表页进行遍历和详情页抓取确保核心流程跑通然后再扩展至租房、多区域乃至多城市。2.2 技术选型与工具栈为什么用Python因为它在数据抓取和处理领域的生态实在是太成熟了。围绕这个项目我们主要会用到以下几个库请求库requests与httpxrequests是同步请求的绝对主力简单易用文档丰富对于大多数反爬不严的页面足够了。但如果遇到需要更高并发或应对一些特殊异步接口的场景httpx支持HTTP/2和异步是一个很好的备选或进阶选择。本项目以requests为基础进行讲解。解析库lxml与parsel页面解析是爬虫的核心。BeautifulSoup固然友好但lxml在解析速度和内存占用上优势明显特别适合处理大量的HTML文档。parsel库Scrapy框架的解析组件提供了与lxml类似的XPath和CSS选择器接口并且集成了一些便捷方法。这里我们选择lxml因为它更底层、更纯粹有助于理解解析原理。数据存储pandas与sqlite3/pymysql爬下来的数据需要持久化。对于初步的探索和分析将数据存入DataFrame再导出为CSV或Excel文件是最快的方式pandas完美胜任。如果数据量很大或者需要长期积累并复杂查询那么存入数据库是必须的。轻量级项目可以用Python内置的sqlite3数据量大了则可以考虑pymysql连接MySQL。本项目会演示CSV和SQLite两种方式。其他辅助工具fake-useragent随机生成User-Agent请求头降低被简单封禁的风险。time/random用于在请求间插入随机延时模拟人类操作遵守网站的robots.txt规则尽管链家对爬虫相对宽容但保持礼貌是长期稳定运行的前提。logging记录爬虫运行日志方便出错时回溯和监控运行状态。注意在开始编写爬虫前务必花时间人工浏览目标网站链家使用浏览器的开发者工具F12分析网页结构、网络请求XHR/Fetch理解其数据加载方式是直接渲染在HTML中还是通过Ajax接口动态加载。这是爬虫成功的第一步也是最重要的一步。2.3 核心流程设计整个爬虫的运作流程可以抽象为以下几个步骤它们构成了一个清晰的管道Pipeline种子URL生成根据目标城市、区域、页码等参数构造出列表页的URL队列。列表页抓取与解析遍历URL队列下载列表页HTML从中解析出当前页所有房源的详情页链接href。详情页抓取与解析逐个访问详情页链接下载详情页HTML从中提取我们事先定义好的各个字段信息。数据清洗与存储对提取的原始数据进行清洗处理缺失值、格式化数字、统一单位等然后存入CSV文件或数据库。循环与控制管理翻页逻辑在请求间加入合理延时处理可能出现的网络异常或页面结构变化。3. 核心细节解析与实操要点3.1 网页结构分析与数据定位链家的页面结构相对规整。以北京二手房列表页为例其URL模式通常为https://bj.lianjia.com/ershoufang/pg{页码}/。每个房源在列表页上以一个li标签下的div模块呈现。我们需要从中提取的关键信息是详情页的链接它通常在一个a标签的href属性里。在详情页所有信息都分布在不同的HTML标签中。例如总价可能在某个span标签里且带有特定的class如total。小区名称、区域信息通常在标题或特定的信息栏中。这里就需要我们仔细查看HTML源码找到稳定、唯一的定位路径。实操要点使用XPath还是CSS选择器两者均可XPath功能更强大可以按文本内容、属性值进行复杂定位CSS选择器写法更简洁。我个人的习惯是对于简单的、基于class或id的定位用CSS选择器对于需要层级遍历或条件判断的复杂定位用XPath。本项目会混合使用。如何应对结构变化网站前端可能会改版。因此编写的XPath或CSS选择器不应过于脆弱比如依赖非常长的、精确的层级路径。尽量寻找具有唯一标识性的class或>from fake_useragent import UserAgent ua UserAgent() headers { User-Agent: ua.random, Accept-Language: zh-CN,zh;q0.9, # 接受中文 Referer: https://bj.lianjia.com/ # 设置来源页模拟从首页跳转 }请求频率控制这是最重要的道德和技术要点。在for循环中每完成一次请求无论是列表页还是详情页都使用time.sleep()暂停一段时间。暂停时间可以是一个固定值如2秒也可以是在一个区间内随机取值如random.uniform(1, 3)后者更接近人类行为。Cookie与Session对于一些需要登录后才能查看的信息如历史成交价可能需要处理Cookie。requests.Session()对象可以自动管理Cookie在多次请求间保持会话状态。对于本项目公开可见的信息通常不需要。IP代理如果你需要极高频率地抓取可能会触发IP限制。这时就需要使用代理IP池。但对于个人学习和中小规模数据采集控制好请求间隔通常就足够了。引入代理会大大增加项目的复杂度和成本需要寻找可靠的代理服务。重要心得把爬虫想象成一个有礼貌的访客。你的代码访问速度越快对服务器造成的压力就越大也就越容易被识别和封禁。设置合理的延迟不仅是技术策略也是对网站资源的尊重。我通常会把延迟设置得比感觉上的“最低限度”再长一些求稳不求快。3.3 数据清洗与规整从网页上直接抓下来的数据是“脏”的包含各种HTML实体、多余的空格、换行符、中文单位等无法直接用于分析。常见清洗任务去除空白字符使用字符串的.strip()方法。提取数字价格字段往往像“500万”、“8500元/月”。需要使用正则表达式re模块提取其中的数字部分并根据单位万/元进行换算。例如“500万”应转换为5000000以元为单位存储。拆分复合字段例如“朝阳 | 望京 | 融科橄榄城”这样的区域信息需要拆分成“行政区”、“商圈”、“小区”三个独立字段。处理缺失值对于解析失败的字段要赋予一个统一的占位符如None、NaN或空字符串并在存储时保持一致。统一格式将面积统一为“平方米”价格统一为“元”日期统一为“YYYY-MM-DD”格式。清洗逻辑最好封装成独立的函数这样主爬虫流程清晰也便于后续维护和修改清洗规则。4. 实操过程与核心环节实现4.1 环境准备与依赖安装首先确保你的Python环境建议3.7以上已经就绪。然后通过pip安装所需的库。建议使用虚拟环境如venv来管理项目依赖。# 创建并激活虚拟环境 (可选但推荐) python -m venv lianjia_spider_env # Windows: lianjia_spider_env\Scripts\activate # Linux/Mac: source lianjia_spider_env/bin/activate # 安装核心库 pip install requests lxml pandas fake-useragent # 如果需要异步或HTTP/2可以安装httpx # pip install httpx4.2 核心代码模块拆解我们将爬虫拆分成几个功能模块使结构更清晰。模块一请求模块 (fetcher.py)负责发送HTTP请求包含错误重试和头部信息管理。import requests import time import random from fake_useragent import UserAgent import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s: %(message)s) class PageFetcher: def __init__(self, delay_range(1, 3)): self.ua UserAgent() self.session requests.Session() self.delay_range delay_range def get_random_headers(self): return { User-Agent: self.ua.random, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, } def fetch_page(self, url, max_retries3): 获取页面HTML支持重试 for attempt in range(max_retries): try: headers self.get_random_headers() # 为列表页和详情页设置不同的Referer模拟更真实的行为 if ershoufang in url or zufang in url: headers[Referer] https://bj.lianjia.com/ resp self.session.get(url, headersheaders, timeout10) resp.raise_for_status() # 检查HTTP状态码是否为200 # 随机延迟模拟人工操作 time.sleep(random.uniform(*self.delay_range)) return resp.text except requests.exceptions.RequestException as e: logging.warning(fAttempt {attempt 1} failed for {url}: {e}) if attempt max_retries - 1: wait_time 2 ** attempt # 指数退避 logging.info(fWaiting {wait_time} seconds before retry...) time.sleep(wait_time) else: logging.error(fFailed to fetch {url} after {max_retries} attempts.) return None模块二解析模块 (parser.py)负责从HTML中提取目标数据包含列表页解析和详情页解析。from lxml import etree import re class LianjiaParser: staticmethod def parse_list_page(html, base_urlhttps://bj.lianjia.com): 解析列表页获取详情页链接列表 if not html: return [] detail_links [] try: tree etree.HTML(html) # 使用XPath定位房源条目和链接 # 注意此XPath需要根据链家实际页面结构调整这里是一个示例 items tree.xpath(//ul[classsellListContent]/li[classclear]) for item in items: link_element item.xpath(.//a[classimg]/href) if link_element: detail_links.append(link_element[0]) else: # 另一种可能的定位方式 link_element item.xpath(.//div[classtitle]/a/href) if link_element: detail_links.append(base_url link_element[0] if not link_element[0].startswith(http) else link_element[0]) except Exception as e: logging.error(fError parsing list page: {e}) return detail_links staticmethod def parse_detail_page(html, page_typeershoufang): 解析详情页提取房源信息 if not html: return {} data {} try: tree etree.HTML(html) data[title] LianjiaParser._safe_extract(tree, //h1[classmain]/text()) data[total_price] LianjiaParser._extract_price(tree, //span[classtotal]/text()) data[unit_price] LianjiaParser._extract_unit_price(tree, //span[classunitPriceValue]/text()) # 区域信息可能在多个位置这里尝试一个常见的路径 area_info LianjiaParser._safe_extract(tree, //div[classareaName]/span[classinfo]/a/text()) if area_info: # 假设格式为“朝阳 望京” parts area_info.split() data[district] parts[0] if len(parts) 0 else data[bizcircle] parts[1] if len(parts) 1 else # 基础信息户型、面积、朝向等 base_info_keys tree.xpath(//div[classbase]/div[classcontent]/ul/li) for li in base_info_keys: text li.xpath(./text()) if text: key_value text[0].split() if len(key_value) 2: key, value key_value data[key.strip()] value.strip() # 交易信息挂牌时间等 transaction_info_keys tree.xpath(//div[classtransaction]/div[classcontent]/ul/li) for li in transaction_info_keys: text li.xpath(./span/text()) if text and len(text) 2: data[text[0].replace(, )] text[1].strip() # 如果是租房解析逻辑类似但字段和XPath不同此处省略租房详情解析... except Exception as e: logging.error(fError parsing detail page: {e}) return data staticmethod def _safe_extract(tree, xpath_expr, default): 安全提取单个文本防止空列表异常 result tree.xpath(xpath_expr) return result[0].strip() if result else default staticmethod def _extract_price(price_str): 从‘500万’这样的字符串中提取数字并转换为整数单位元 if not price_str: return None match re.search(r([\d\.]), price_str) if match: num float(match.group(1)) if 万 in price_str: num * 10000 return int(num) return None staticmethod def _extract_unit_price(price_str): 从‘单价85000元/平米’中提取数字 if not price_str: return None match re.search(r([\d\.]), price_str) return int(float(match.group(1))) if match else None模块三存储模块 (storage.py)负责将解析后的数据保存到文件或数据库。import pandas as pd import sqlite3 import os from datetime import datetime class DataStorage: def __init__(self, output_dir./data): self.output_dir output_dir os.makedirs(output_dir, exist_okTrue) def save_to_csv(self, data_list, filename_prefixlianjia_ershoufang): 保存数据列表到CSV文件 if not data_list: logging.warning(No data to save.) return df pd.DataFrame(data_list) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) filename f{filename_prefix}_{timestamp}.csv filepath os.path.join(self.output_dir, filename) df.to_csv(filepath, indexFalse, encodingutf-8-sig) # utf-8-sig支持Excel直接打开 logging.info(fData saved to {filepath}, total {len(data_list)} records.) def save_to_sqlite(self, data_list, table_nameershoufang, db_namelianjia.db): 保存数据列表到SQLite数据库 if not data_list: return conn sqlite3.connect(os.path.join(self.output_dir, db_name)) df pd.DataFrame(data_list) # 如果表不存在会根据DataFrame自动创建如果存在则追加需要处理重复 df.to_sql(table_name, conn, if_existsappend, indexFalse) conn.close() logging.info(fData appended to table {table_name} in {db_name}.)模块四主控模块 (main.py)串联整个流程负责URL调度、任务协调。import logging from fetcher import PageFetcher from parser import LianjiaParser from storage import DataStorage def main(): logging.info(链家爬虫启动...) fetcher PageFetcher(delay_range(2, 5)) # 设置稍长的延迟更安全 parser LianjiaParser() storage DataStorage() base_url https://bj.lianjia.com/ershoufang/ max_pages 3 # 测试时只爬3页实际可按需调整或设置为遍历到最后一页 all_data [] for page in range(1, max_pages 1): list_url f{base_url}pg{page}/ logging.info(f正在抓取列表页: {list_url}) list_html fetcher.fetch_page(list_url) if not list_html: logging.error(f列表页 {list_url} 抓取失败跳过。) continue detail_urls parser.parse_list_page(list_html) logging.info(f第{page}页找到 {len(detail_urls)} 个房源链接。) for idx, detail_url in enumerate(detail_urls): logging.info(f ({idx1}/{len(detail_urls)}) 抓取详情页: {detail_url}) detail_html fetcher.fetch_page(detail_url) if detail_html: house_data parser.parse_detail_page(detail_html) if house_data: house_data[source_url] detail_url # 记录来源 all_data.append(house_data) # 每处理完一个详情页可以稍作休息fetcher中已有全局延迟这里可选 # 所有页面抓取完毕保存数据 if all_data: storage.save_to_csv(all_data) storage.save_to_sqlite(all_data) logging.info(f爬取结束共获取 {len(all_data)} 条有效数据。) else: logging.warning(未获取到任何数据。) if __name__ __main__: main()4.3 运行与结果验证运行python main.py你会在项目根目录下看到一个data文件夹里面会生成一个带有时间戳的CSV文件如lianjia_ershoufang_20231027_143022.csv和一个SQLite数据库文件lianjia.db。用Excel或文本编辑器打开CSV文件或用DB Browser for SQLite打开数据库文件检查数据是否完整、规整。重点关注字段是否齐全价格、面积等数字字段是否已正确清洗去除单位转为数值是否存在大量空值或解析错误数据量是否符合预期第一次运行时建议将max_pages设为1或2快速验证整个流程是否通畅。确认无误后再逐步扩大爬取范围。5. 常见问题与排查技巧实录爬虫开发中几乎一定会遇到各种问题。下面是我在实战中踩过的一些坑和对应的解决方法。5.1 请求被拒绝或返回异常页面现象requests.get()返回的状态码不是200比如403、404或者返回的HTML内容很短包含“访问过于频繁”、“验证”等字样。排查与解决检查请求头首先确认User-Agent是否已设置为常见的浏览器值。使用print(headers)或在开发者工具中对比你的请求头与浏览器正常访问的请求头差异补全Accept、Accept-Language、Referer等关键字段。降低请求频率立即大幅增加请求间隔时间比如调到5-10秒并加入随机性。可能是触发了网站的速率限制。模拟完整会话尝试使用requests.Session()并在首次访问前先GET一下网站首页让Session获取初始Cookie。验证网络环境有些公共网络或公司网络可能会拦截异常流量。尝试更换网络环境如手机热点测试。5.2 解析不到数据或数据为空现象程序没有报错但parse_list_page或parse_detail_page返回的列表为空或者提取的字段都是空字符串。排查与解决确认页面已正确加载将fetcher.fetch_page返回的HTML内容的前1000个字符打印出来或者保存到本地文件用浏览器打开看看是否是预期的页面。可能请求被重定向到了登录页或反爬页面。检查XPath/CSS选择器这是最常见的原因。网站改版了你需要重新分析页面结构。使用浏览器的开发者工具在“元素”(Elements)面板找到你想要的数据对应的HTML标签右键“Copy” - “Copy XPath”或“Copy selector”。但注意浏览器生成的XPath可能很长且脆弱你需要手动将其简化为更稳定、更短的版本。技巧优先使用class、id或具有唯一性的style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;" /> Python链家房产数据爬虫实战：从网页解析到数据存储
简介本资源是一套面向房地产数据分析初学者与行业研究者的Python链家二手房及租房数据爬虫实战源码解决房产市场信息采集效率低、结构化难度大等实际问题适用于市场调研、投资分析、教学实践等场景。压缩包共20个文件含8个核心Python脚本如core.py、woaiwojialib.py、scrawl.py等覆盖反爬处理、数据建模、配置管理与页面抓取、2个CSV数据文件houseinfo.csv、community.csv、2个PNG可视化截图、2个文本文件含社区ID列表与依赖说明、1个Jupyter笔记本lianjia.ipynb用于交互式分析演示以及Git配置、开源许可与Markdown文档等工程规范文件整体大小为10.85MB。已有704人学习下载。读者可直接运行爬虫获取链家真实房源与小区数据复现完整采集—清洗—存储—分析流程代码模块职责清晰、注释充分附带可执行的环境配置与分步说明大幅降低Python网络爬虫入门门槛。1. 项目缘起与核心价值最近在帮一个做房产数据分析的朋友处理点事情他需要持续跟踪几个重点城市的二手房和租房市场动态比如价格走势、房源分布、户型变化这些。一开始他想着手动去链家这类平台抄数据但试了两天就放弃了——信息太分散更新又频繁纯人力根本搞不定。他跑来问我有没有办法能自动化地把这些数据“搬”下来整理成结构化的表格。我一听这不就是典型的网络爬虫应用场景嘛而且用Python来做再合适不过了。于是就有了这个“基于Python的链家二手房租房在线数据爬虫”的设计与实现。这个项目的核心目标很明确自动化、高效率、结构化地采集链家网上的二手房销售与租房信息。它要解决的痛点正是许多数据分析师、市场研究员甚至个人投资者都会遇到的如何从海量、非结构化的网页信息中快速提取出有用的、规整的数据。无论是想分析某个小区的历史成交价还是想监控特定区域的租金波动一个稳定可靠的爬虫都能省下大量重复劳动。这个项目适合有一定Python基础想深入实战Web爬虫或者对房产数据感兴趣的朋友。即使你刚学完Python语法跟着这个流程走一遍也能对请求发送、页面解析、数据存储有一个非常扎实的理解。2. 项目整体设计与思路拆解2.1 需求分析与目标定义在做任何技术实现之前我们必须先想清楚到底要爬什么链家网页面信息繁杂我们需要明确数据边界。对于二手房核心字段通常包括房源标题、总价、单价、小区名称、所在区域行政区、商圈、房屋户型几室几厅、建筑面积、朝向、楼层、装修情况、建筑年代、挂牌时间、房源特色标签、带看次数等。对于租房除了价格月租金、面积、户型、区域外还需要关注租赁方式整租/合租、付款方式押一付三等、房源配置是否配备家电等。确定了字段接下来要定义爬取范围。是爬取单个城市还是多个城市是爬取全部区域还是聚焦某个商圈是爬取当前所有在售/在租房源还是需要历史数据这些问题的答案直接决定了爬虫的复杂度和运行策略。对于初期项目我建议采取“由点到面”的策略先实现对一个城市某个行政区的所有二手房列表页进行遍历和详情页抓取确保核心流程跑通然后再扩展至租房、多区域乃至多城市。2.2 技术选型与工具栈为什么用Python因为它在数据抓取和处理领域的生态实在是太成熟了。围绕这个项目我们主要会用到以下几个库请求库requests与httpxrequests是同步请求的绝对主力简单易用文档丰富对于大多数反爬不严的页面足够了。但如果遇到需要更高并发或应对一些特殊异步接口的场景httpx支持HTTP/2和异步是一个很好的备选或进阶选择。本项目以requests为基础进行讲解。解析库lxml与parsel页面解析是爬虫的核心。BeautifulSoup固然友好但lxml在解析速度和内存占用上优势明显特别适合处理大量的HTML文档。parsel库Scrapy框架的解析组件提供了与lxml类似的XPath和CSS选择器接口并且集成了一些便捷方法。这里我们选择lxml因为它更底层、更纯粹有助于理解解析原理。数据存储pandas与sqlite3/pymysql爬下来的数据需要持久化。对于初步的探索和分析将数据存入DataFrame再导出为CSV或Excel文件是最快的方式pandas完美胜任。如果数据量很大或者需要长期积累并复杂查询那么存入数据库是必须的。轻量级项目可以用Python内置的sqlite3数据量大了则可以考虑pymysql连接MySQL。本项目会演示CSV和SQLite两种方式。其他辅助工具fake-useragent随机生成User-Agent请求头降低被简单封禁的风险。time/random用于在请求间插入随机延时模拟人类操作遵守网站的robots.txt规则尽管链家对爬虫相对宽容但保持礼貌是长期稳定运行的前提。logging记录爬虫运行日志方便出错时回溯和监控运行状态。注意在开始编写爬虫前务必花时间人工浏览目标网站链家使用浏览器的开发者工具F12分析网页结构、网络请求XHR/Fetch理解其数据加载方式是直接渲染在HTML中还是通过Ajax接口动态加载。这是爬虫成功的第一步也是最重要的一步。2.3 核心流程设计整个爬虫的运作流程可以抽象为以下几个步骤它们构成了一个清晰的管道Pipeline种子URL生成根据目标城市、区域、页码等参数构造出列表页的URL队列。列表页抓取与解析遍历URL队列下载列表页HTML从中解析出当前页所有房源的详情页链接href。详情页抓取与解析逐个访问详情页链接下载详情页HTML从中提取我们事先定义好的各个字段信息。数据清洗与存储对提取的原始数据进行清洗处理缺失值、格式化数字、统一单位等然后存入CSV文件或数据库。循环与控制管理翻页逻辑在请求间加入合理延时处理可能出现的网络异常或页面结构变化。3. 核心细节解析与实操要点3.1 网页结构分析与数据定位链家的页面结构相对规整。以北京二手房列表页为例其URL模式通常为https://bj.lianjia.com/ershoufang/pg{页码}/。每个房源在列表页上以一个li标签下的div模块呈现。我们需要从中提取的关键信息是详情页的链接它通常在一个a标签的href属性里。在详情页所有信息都分布在不同的HTML标签中。例如总价可能在某个span标签里且带有特定的class如total。小区名称、区域信息通常在标题或特定的信息栏中。这里就需要我们仔细查看HTML源码找到稳定、唯一的定位路径。实操要点使用XPath还是CSS选择器两者均可XPath功能更强大可以按文本内容、属性值进行复杂定位CSS选择器写法更简洁。我个人的习惯是对于简单的、基于class或id的定位用CSS选择器对于需要层级遍历或条件判断的复杂定位用XPath。本项目会混合使用。如何应对结构变化网站前端可能会改版。因此编写的XPath或CSS选择器不应过于脆弱比如依赖非常长的、精确的层级路径。尽量寻找具有唯一标识性的class或>from fake_useragent import UserAgent ua UserAgent() headers { User-Agent: ua.random, Accept-Language: zh-CN,zh;q0.9, # 接受中文 Referer: https://bj.lianjia.com/ # 设置来源页模拟从首页跳转 }请求频率控制这是最重要的道德和技术要点。在for循环中每完成一次请求无论是列表页还是详情页都使用time.sleep()暂停一段时间。暂停时间可以是一个固定值如2秒也可以是在一个区间内随机取值如random.uniform(1, 3)后者更接近人类行为。Cookie与Session对于一些需要登录后才能查看的信息如历史成交价可能需要处理Cookie。requests.Session()对象可以自动管理Cookie在多次请求间保持会话状态。对于本项目公开可见的信息通常不需要。IP代理如果你需要极高频率地抓取可能会触发IP限制。这时就需要使用代理IP池。但对于个人学习和中小规模数据采集控制好请求间隔通常就足够了。引入代理会大大增加项目的复杂度和成本需要寻找可靠的代理服务。重要心得把爬虫想象成一个有礼貌的访客。你的代码访问速度越快对服务器造成的压力就越大也就越容易被识别和封禁。设置合理的延迟不仅是技术策略也是对网站资源的尊重。我通常会把延迟设置得比感觉上的“最低限度”再长一些求稳不求快。3.3 数据清洗与规整从网页上直接抓下来的数据是“脏”的包含各种HTML实体、多余的空格、换行符、中文单位等无法直接用于分析。常见清洗任务去除空白字符使用字符串的.strip()方法。提取数字价格字段往往像“500万”、“8500元/月”。需要使用正则表达式re模块提取其中的数字部分并根据单位万/元进行换算。例如“500万”应转换为5000000以元为单位存储。拆分复合字段例如“朝阳 | 望京 | 融科橄榄城”这样的区域信息需要拆分成“行政区”、“商圈”、“小区”三个独立字段。处理缺失值对于解析失败的字段要赋予一个统一的占位符如None、NaN或空字符串并在存储时保持一致。统一格式将面积统一为“平方米”价格统一为“元”日期统一为“YYYY-MM-DD”格式。清洗逻辑最好封装成独立的函数这样主爬虫流程清晰也便于后续维护和修改清洗规则。4. 实操过程与核心环节实现4.1 环境准备与依赖安装首先确保你的Python环境建议3.7以上已经就绪。然后通过pip安装所需的库。建议使用虚拟环境如venv来管理项目依赖。# 创建并激活虚拟环境 (可选但推荐) python -m venv lianjia_spider_env # Windows: lianjia_spider_env\Scripts\activate # Linux/Mac: source lianjia_spider_env/bin/activate # 安装核心库 pip install requests lxml pandas fake-useragent # 如果需要异步或HTTP/2可以安装httpx # pip install httpx4.2 核心代码模块拆解我们将爬虫拆分成几个功能模块使结构更清晰。模块一请求模块 (fetcher.py)负责发送HTTP请求包含错误重试和头部信息管理。import requests import time import random from fake_useragent import UserAgent import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s: %(message)s) class PageFetcher: def __init__(self, delay_range(1, 3)): self.ua UserAgent() self.session requests.Session() self.delay_range delay_range def get_random_headers(self): return { User-Agent: self.ua.random, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, } def fetch_page(self, url, max_retries3): 获取页面HTML支持重试 for attempt in range(max_retries): try: headers self.get_random_headers() # 为列表页和详情页设置不同的Referer模拟更真实的行为 if ershoufang in url or zufang in url: headers[Referer] https://bj.lianjia.com/ resp self.session.get(url, headersheaders, timeout10) resp.raise_for_status() # 检查HTTP状态码是否为200 # 随机延迟模拟人工操作 time.sleep(random.uniform(*self.delay_range)) return resp.text except requests.exceptions.RequestException as e: logging.warning(fAttempt {attempt 1} failed for {url}: {e}) if attempt max_retries - 1: wait_time 2 ** attempt # 指数退避 logging.info(fWaiting {wait_time} seconds before retry...) time.sleep(wait_time) else: logging.error(fFailed to fetch {url} after {max_retries} attempts.) return None模块二解析模块 (parser.py)负责从HTML中提取目标数据包含列表页解析和详情页解析。from lxml import etree import re class LianjiaParser: staticmethod def parse_list_page(html, base_urlhttps://bj.lianjia.com): 解析列表页获取详情页链接列表 if not html: return [] detail_links [] try: tree etree.HTML(html) # 使用XPath定位房源条目和链接 # 注意此XPath需要根据链家实际页面结构调整这里是一个示例 items tree.xpath(//ul[classsellListContent]/li[classclear]) for item in items: link_element item.xpath(.//a[classimg]/href) if link_element: detail_links.append(link_element[0]) else: # 另一种可能的定位方式 link_element item.xpath(.//div[classtitle]/a/href) if link_element: detail_links.append(base_url link_element[0] if not link_element[0].startswith(http) else link_element[0]) except Exception as e: logging.error(fError parsing list page: {e}) return detail_links staticmethod def parse_detail_page(html, page_typeershoufang): 解析详情页提取房源信息 if not html: return {} data {} try: tree etree.HTML(html) data[title] LianjiaParser._safe_extract(tree, //h1[classmain]/text()) data[total_price] LianjiaParser._extract_price(tree, //span[classtotal]/text()) data[unit_price] LianjiaParser._extract_unit_price(tree, //span[classunitPriceValue]/text()) # 区域信息可能在多个位置这里尝试一个常见的路径 area_info LianjiaParser._safe_extract(tree, //div[classareaName]/span[classinfo]/a/text()) if area_info: # 假设格式为“朝阳 望京” parts area_info.split() data[district] parts[0] if len(parts) 0 else data[bizcircle] parts[1] if len(parts) 1 else # 基础信息户型、面积、朝向等 base_info_keys tree.xpath(//div[classbase]/div[classcontent]/ul/li) for li in base_info_keys: text li.xpath(./text()) if text: key_value text[0].split() if len(key_value) 2: key, value key_value data[key.strip()] value.strip() # 交易信息挂牌时间等 transaction_info_keys tree.xpath(//div[classtransaction]/div[classcontent]/ul/li) for li in transaction_info_keys: text li.xpath(./span/text()) if text and len(text) 2: data[text[0].replace(, )] text[1].strip() # 如果是租房解析逻辑类似但字段和XPath不同此处省略租房详情解析... except Exception as e: logging.error(fError parsing detail page: {e}) return data staticmethod def _safe_extract(tree, xpath_expr, default): 安全提取单个文本防止空列表异常 result tree.xpath(xpath_expr) return result[0].strip() if result else default staticmethod def _extract_price(price_str): 从‘500万’这样的字符串中提取数字并转换为整数单位元 if not price_str: return None match re.search(r([\d\.]), price_str) if match: num float(match.group(1)) if 万 in price_str: num * 10000 return int(num) return None staticmethod def _extract_unit_price(price_str): 从‘单价85000元/平米’中提取数字 if not price_str: return None match re.search(r([\d\.]), price_str) return int(float(match.group(1))) if match else None模块三存储模块 (storage.py)负责将解析后的数据保存到文件或数据库。import pandas as pd import sqlite3 import os from datetime import datetime class DataStorage: def __init__(self, output_dir./data): self.output_dir output_dir os.makedirs(output_dir, exist_okTrue) def save_to_csv(self, data_list, filename_prefixlianjia_ershoufang): 保存数据列表到CSV文件 if not data_list: logging.warning(No data to save.) return df pd.DataFrame(data_list) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) filename f{filename_prefix}_{timestamp}.csv filepath os.path.join(self.output_dir, filename) df.to_csv(filepath, indexFalse, encodingutf-8-sig) # utf-8-sig支持Excel直接打开 logging.info(fData saved to {filepath}, total {len(data_list)} records.) def save_to_sqlite(self, data_list, table_nameershoufang, db_namelianjia.db): 保存数据列表到SQLite数据库 if not data_list: return conn sqlite3.connect(os.path.join(self.output_dir, db_name)) df pd.DataFrame(data_list) # 如果表不存在会根据DataFrame自动创建如果存在则追加需要处理重复 df.to_sql(table_name, conn, if_existsappend, indexFalse) conn.close() logging.info(fData appended to table {table_name} in {db_name}.)模块四主控模块 (main.py)串联整个流程负责URL调度、任务协调。import logging from fetcher import PageFetcher from parser import LianjiaParser from storage import DataStorage def main(): logging.info(链家爬虫启动...) fetcher PageFetcher(delay_range(2, 5)) # 设置稍长的延迟更安全 parser LianjiaParser() storage DataStorage() base_url https://bj.lianjia.com/ershoufang/ max_pages 3 # 测试时只爬3页实际可按需调整或设置为遍历到最后一页 all_data [] for page in range(1, max_pages 1): list_url f{base_url}pg{page}/ logging.info(f正在抓取列表页: {list_url}) list_html fetcher.fetch_page(list_url) if not list_html: logging.error(f列表页 {list_url} 抓取失败跳过。) continue detail_urls parser.parse_list_page(list_html) logging.info(f第{page}页找到 {len(detail_urls)} 个房源链接。) for idx, detail_url in enumerate(detail_urls): logging.info(f ({idx1}/{len(detail_urls)}) 抓取详情页: {detail_url}) detail_html fetcher.fetch_page(detail_url) if detail_html: house_data parser.parse_detail_page(detail_html) if house_data: house_data[source_url] detail_url # 记录来源 all_data.append(house_data) # 每处理完一个详情页可以稍作休息fetcher中已有全局延迟这里可选 # 所有页面抓取完毕保存数据 if all_data: storage.save_to_csv(all_data) storage.save_to_sqlite(all_data) logging.info(f爬取结束共获取 {len(all_data)} 条有效数据。) else: logging.warning(未获取到任何数据。) if __name__ __main__: main()4.3 运行与结果验证运行python main.py你会在项目根目录下看到一个data文件夹里面会生成一个带有时间戳的CSV文件如lianjia_ershoufang_20231027_143022.csv和一个SQLite数据库文件lianjia.db。用Excel或文本编辑器打开CSV文件或用DB Browser for SQLite打开数据库文件检查数据是否完整、规整。重点关注字段是否齐全价格、面积等数字字段是否已正确清洗去除单位转为数值是否存在大量空值或解析错误数据量是否符合预期第一次运行时建议将max_pages设为1或2快速验证整个流程是否通畅。确认无误后再逐步扩大爬取范围。5. 常见问题与排查技巧实录爬虫开发中几乎一定会遇到各种问题。下面是我在实战中踩过的一些坑和对应的解决方法。5.1 请求被拒绝或返回异常页面现象requests.get()返回的状态码不是200比如403、404或者返回的HTML内容很短包含“访问过于频繁”、“验证”等字样。排查与解决检查请求头首先确认User-Agent是否已设置为常见的浏览器值。使用print(headers)或在开发者工具中对比你的请求头与浏览器正常访问的请求头差异补全Accept、Accept-Language、Referer等关键字段。降低请求频率立即大幅增加请求间隔时间比如调到5-10秒并加入随机性。可能是触发了网站的速率限制。模拟完整会话尝试使用requests.Session()并在首次访问前先GET一下网站首页让Session获取初始Cookie。验证网络环境有些公共网络或公司网络可能会拦截异常流量。尝试更换网络环境如手机热点测试。5.2 解析不到数据或数据为空现象程序没有报错但parse_list_page或parse_detail_page返回的列表为空或者提取的字段都是空字符串。排查与解决确认页面已正确加载将fetcher.fetch_page返回的HTML内容的前1000个字符打印出来或者保存到本地文件用浏览器打开看看是否是预期的页面。可能请求被重定向到了登录页或反爬页面。检查XPath/CSS选择器这是最常见的原因。网站改版了你需要重新分析页面结构。使用浏览器的开发者工具在“元素”(Elements)面板找到你想要的数据对应的HTML标签右键“Copy” - “Copy XPath”或“Copy selector”。但注意浏览器生成的XPath可能很长且脆弱你需要手动将其简化为更稳定、更短的版本。技巧优先使用class、id或具有唯一性的style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;" />