影刀RPA京东商品数据采集实战：价格库存评分批量监控

影刀RPA京东商品数据采集实战价格库存评分批量监控作者林焱京东是做电商竞品分析的核心数据源之一价格体系透明、评分数据丰富。这篇把京东商品数据的采集方法完整梳理一遍。一、能采集的数据类型搜索结果列表商品名称、价格、销量、评价数、店铺名商品详情页SKU详情、优惠信息、详细规格商品评价评论内容、评分、买家秀店群矩阵自动化突破运营极限二、前置准备Chrome 影刀扩展京东账号影响价格显示部分商品未登录显示价格不同注意京东的反爬机制较强操作频率不要太快三、采集搜索结果页关键词 蓝牙耳机 打开浏览器(https://search.jd.com/Search?keyword URL编码(关键词) encutf-8) 等待页面加载 // 滚动加载完整列表 执行JavaScript(window.scrollTo(0, document.body.scrollHeight)) 等待(2000) 执行JavaScript(window.scrollTo(0, 0)) 等待(1000) 商品列表 获取元素集合(.gl-item) 结果 创建列表() ForEach 商品 in 商品列表: 信息 创建字典() // 商品名称 尝试: 名称 获取子元素文本(商品, .p-name em) 如果 名称 : 名称 获取子元素文本(商品, .p-name a) 捕获: 名称 // 价格 尝试: 价格 获取子元素文本(商品, .p-price i) 捕获: 价格 // 评论数 尝试: 评论数 获取子元素文本(商品, .p-commit strong a) 捕获: 评论数 0 // 店铺名 尝试: 店铺 获取子元素文本(商品, .p-shop span) 捕获: 店铺 设置字典键值(信息, 名称, 名称) 设置字典键值(信息, 价格, 价格) 设置字典键值(信息, 评论数, 评论数) 设置字典键值(信息, 店铺, 店铺) 添加到末尾(结果, 信息)四、价格处理京东价格有时显示为活动价划线价只取当前售价// 京东价格通常只有数字去掉可能的逗号 处理后价格 替换文本(原始价格, ,, ) 处理后价格 去除首尾空格(处理后价格) temu店群自动化报活动案例五、翻页采集最大页数 5 循环 页码 从 1 到 最大页数: 采集当前页(结果) // 点击下一页 下一页 查找元素(.pn-next)  如果 元素不存在(下一页) 或 元素禁用(下一页): 跳出循环 点击(下一页) 等待(3000)六、踩坑速查坑解法价格显示为空登录后再采集部分商品需要登录才显示价格商品元素采集不全滚动到底部后再获取元素集合翻页后跳到了广告页检测翻页后URL是否正确评论数带万用万单位转换处理作者林焱