ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

【影刀RPA】10分钟零代码实现抖音数据自动化采集:影刀RPA实战教程

【影刀RPA】10分钟零代码实现抖音数据自动化采集:影刀RPA实战教程 目录一、简介二、使用简介1、创建自定义PC应用2、工作空间介绍1、界面预览2、工具栏3、指令区4、主流程区5、调试区6、流程结构7、全局变量区三、采集某音作者和作品信息1、打开网页2、打开Excel3、循环读取Excel4、跳转作者链接5、可见内容抓取6、不可见内容抓取作品链接7、插入Excel8、优化流程四、总结一、简介影刀RPA是一款面向企业的智能流程自动化平台通过模拟人类在电脑上的操作自动执行重复性高、规则明确的业务流程帮助企业降本增效释放员工创造力特点通俗举例说明低代码/无代码操作就像搭积木一样用鼠标拖拽“打开网页”“输入账号”“点击登录”这些小模块就能让机器人自动帮你登录后台不用写一行代码模拟人工操作机器人能像真人一样操作电脑打开Excel、复制数据、粘贴到系统里、点“提交”按钮……全程自动完成跨软件协同工作比如从淘宝后台导出订单 → 自动填到快递打单软件 → 再把结果记到Excel里三个软件它都能串起来干支持AI能力如OCR收到一张发票图片机器人能自动“看懂”上面的金额、公司名再把信息填进财务系统不用你手动敲字7×24小时自动运行晚上你睡觉时它还能在电脑上默默干活——比如半夜12点自动抓取竞品价格早上你一上班就能看到报告云平台管理 多人协作团队里5个人用的自动化流程可以统一放在“影刀云”上管理谁改了流程大家都能看到还能分配机器人轮流干活适用多种行业场景- 电商自动上架商品、回评客户- 财务自动对账、开发票- HR批量录入简历、发入职通知- 运营抓取数据做日报二、使用简介1、创建自定义PC应用点击左上角“新建”选择“PC自动化应用”选择“自定义搭建”即可弹出工作空间2、工作空间介绍1、界面预览2、工具栏按钮功能说明举例保存保存当前应用或流程编写完某流程后点击保存防止丢失Ctrl S撤销撤销上一步操作误删了一个指令点“撤销”可恢复Ctrl Z重做重做被撤销的操作撤销错了再点“重做”还原回来Ctrl Y智能录制自动记录用户操作并生成流程手动在网页上登录点击下载系统自动生成对应指令序列数据抓取快速提取网页/表格中的结构化数据从京东商品页批量抓取“名称、价格、评论数”影刀浏览器启动内置的自动化专用浏览器避免其他浏览器有插件干扰导致流程失败运行执行当前整个流程点击后流程开始运行到第一个断点调试进入调试模式逐行执行并查看变量状态调试是一步步运行指令F10,配合调试区使用注右方也有“学习中心”可以先看官方教程3、指令区指令过多这里演示查看每个命令使用说明的方法随意双击一个指令能打开他的调试页面点击“使用说明”即可弹出相关指令的官方使用教程如下图4、主流程区可视化流程编辑区用户在此拖拽指令构建自动化流程空白画布初始为空等待添加指令支持拖拽从左侧指令区拖入指令形成流程图可嵌套支持条件、循环等结构嵌套注可以点击中间的“查看示例”弹出示例流程选择生成一些流程试用5、调试区用于识别和管理网页或桌面应用中的UI元素如按钮、输入框等标签页作用元素库存储已识别的UI元素可以用来判断所需数据位置图像库图像识别所需的图片模板错误列表显示流程执行中发生的错误运行日志记录流程执行过程的日志数据表格显示流程中保存下来的数据流程参数设置流程入口参数如传入当前网页对象6、流程结构展示当前应用的流程结构树便于管理和跳转项目作用未命名的应用当前正在编辑的应用名称引用查看被引用的外部流程或模块资源文件存放图片、配置文件等资源主流程.flow主要的自动化流程文件可双击进入编辑注适合大型项目比如主流程中需要循环可将循环结构改为子流程便于分离逻辑7、全局变量区定义和管理在整个流程中可共享使用的变量作用在不同指令之间传递数据实现动态参数化示例点击“f”新增一个全局变量然后在其他指令中使用${userName}就可以自动填入“zhangsan”三、采集某音作者和作品信息这里用某音举例我们尝试采集指定一批作者的作品内容和链接提供这样两个表作者表包含需要采集的作者链接和作者名格式如下表头如图即可作品表表头如图即可经过影刀自动化处理后会返回这样的表作者表作品表1、打开网页想象一下我们要人工去查找这些信息第一步是什么当然是打开浏览器我们可以使用“打开网页”指令在指令区的“网页自动化”里面不知道的可以直接搜索双击它弹出指令调试首先要确保浏览器能稳定打开我们先到某度页面试试在网址处输入www.baidu.com可以选择其他浏览器类型注意需要下载对应影刀插件这个指令会输出该网页对象可以修改他命名我这里不改因为就只有一个网页对象然后点击“确定”可以看到主流程出现了新建的指令这就是主流程区的作用可以自己点击“调试”一下试试这里我们还要确保浏览器到了正确的链接后再执行下一个指令所以我们再添加一个“等待网页加载完成”因为网页对象唯一所以这里不需要额外指定超时时间默认设置20秒差不多了超时后执行不管同时打开了网页要记得关闭否则网页越开越多添加一个“关闭网页”操作可以选择关闭所有这里就默认写到这里可以调试一下看看每一步是否正确注停止调试才能修改指令2、打开Excel现在打开网页了我们应该怎么进入某个某音作者的页面呢这里我选择用作者的链接直接跳转那么我们可以把所有需要采集的作者的链接存到Excel里让它自己去读取先在本地电脑里创建一个Excel表命名为“某音作者表”第一行填上如下内容便于采集后区分作者表有了那么采集的作品内容也应该放在一个Excel里我们再创建一个Excel表命名为“某音作品表”同理第一行填上如下内容现在就可以使用指令读取了使用“打开/新建Excel”指令选择刚刚创建的“某音作者表”路径保存输出为“作者表”同理使用“打开/新建Excel”指令读取并保存作品表注拖动指令保证所有对象是先打开再关闭可以在调试一下看看读取到Excel对象没调试区有其对象即成功3、循环读取Excel想要循环读取作者表的内容首先要知道作者表的总行数使用“读取Excel总行数”保存输出为“作者表总行数”接下来读取作者表的链接内容了使用“循环Excel内容”选择循环行起始行号2结束行号点击fx选择刚刚输出的作者表总行数自定义参数都点这里输出保存为作者表当前项和作者表当前行现在已经能循环作者表了使用“读取Excel内容”指令选择对象作者表方式单元格内容行号作者表当前行号列名选择A保存数据为作者名同理使用“读取Excel内容”指令读取作者链接可以cv复制粘贴直接修改列名和输出即可在作者表里输入一些作者调试看看是否读取成功在第一个循环后调试变量中应该有以下参数可以看到作者名和作者链接4、跳转作者链接现在每个循环都能读取到作者链接和名字使用“跳转至新网址”指令选择跳转至新页面网址选择“作者链接”同理因为是新页面所以需要添加一个“等待网页加载完成”指令此时循环体内指令如下也可调试下是否跳转5、可见内容抓取以下内容要完全掌握的需要一点HTML语言基础不了解的可以一个个尝试也能抓取到在打开了目标页面后就可以准备定位元素了先抓取能看见的数据添加“获取相似元素列表web”指令选择操作目标点击捕获新元素按住Ctrl键点击需要提取数据的位置比如这里需要标题就点击标题位置此时弹出元素编辑器这里选择精确定位只保留p节点因为有class能确保唯一同时我们需要的标题也在里面属性class等于后方捕获值即可在修改元素名称此时可以点击校验元素查看是否识别成功如图所示成功抓取不正确的多换节点和属性值配合校验元素多半都能成功此时我们仅仅识别了元素的位置我们还需要对元素操作可以看到我们需要的标题就在p节点的innerText属性里面所以这里选择获取元素属性输入属性名称innerText保存输出为作品标题list同理使用“获取相似元素列表web”指令获取点赞数注有些数据存在元素文本内容里面比如这里同理使用“获取相似元素列表web”指令获取作者信息同上获取元素文本内容调试一下看看是否能抓取数据第一个循环后抓到以下数据6、不可见内容抓取作品链接界面上显示的内容都能抓到但是界面上看不见的在哪里采集呢比如作品链接其实像链接这种你点击哪里能够跳转那么点击哪里捕获就行同理使用“获取相似元素列表web”指令获取作品链接捕获位置就选择任意一个视频然后找到里面的a节点只保留class属性即可匹配到整个元素我们在a节点里找到href属性经过观察里面就有视频的跳转链接后半部分所以我们就能通过影刀提供的获取元素链接地址和智能补充完成链接提取同理调试一下查看链接是否抓取成功可以再去网页打开该链接试试是否正确7、插入Excel数据都获取到了我们应该插入作品表的Excel了那么我们怎么才能知道数据从哪里开始插入呢这里可以用到“获取第一个可用行”指令即除去作品表的表头的第一行再使用“写入内容至Excel工作表”指令选择作品表对象写入范围列起始行号选择刚刚设置的第一个可用行方式覆盖一列列名选作品链接那一列内容选择捕获的作品链接list同理再使用“写入内容至Excel工作表”指令写入标题和点赞数接下来我要插入作品表每个作品对应的作者名和作者链接了那我应该怎么插入呢这里我提供一个思路同样还是直接使用“写入内容至Excel工作表”指令不过写入内容有所改变原理写入内容还是一个列表不过是用过python生成的用作者名*作品链接的长度即可注要使用python相关用法需激活如图箭头所示的按钮同理使用“写入内容至Excel工作表”指令写入作者链接同理使用“写入内容至Excel工作表”指令写入作者信息写入内容是展开作者信息list然后选择列表第一项关注数显示为作者信息list[0]是从0开始计数的没有编程基础的直接硬记写入关注数如图所示同理使用“写入内容至Excel工作表”指令写入粉丝数和获赞数到这里已经完成了自动化抓取循环体如图所示8、优化流程这里直接点击运行等待完成后查看作品表和作者表插入数据是否正确可以看到几秒钟就能完成抓取了但是还有个问题相信调试的时候大家可能已经遇到过了就是作者信息有可能抓取不到这里可能是因为浏览器没有完全加载解决办法是在“等待网页加载完成”后面加一个“等待”指令随机5-10秒还能防止被限制访问礼貌抓取主流程完成了但是这样看起来逻辑混乱而且篇幅过长我不喜欢所以我可以选择将其指令分类比如按抓取内容将作品信息和作者信息抓取分到子流程使用Ctrl键选择要分到一起的流程然后右键点击转换为子流程然后给每个子流程重新命名如图所示这样就能将职责分离了如果还需要对子流程添加输入参数或输出参数的可以点击流程参数中的如图的fx进行设置此时由于作者名和作者链接变量在此流程中没有显示使用所以这里需要用此方法继续设置加入两个参数如下然后去主流程的调用位置完善这俩输入参数到此运行成功可以在作者表里按格式加入所需要采集的作者链接和名字这样就能自动获取了四、总结只要是重复性的工作理论上影刀都能完成自动化这里只是简单的抓取某音作者的第一页作品而且流程还可以优化扩展比如影刀还能实现抓取作品的转发、评论、收藏还有指定日期范围内的自动翻页抓取等等操作就像他的官网主页说的一样结尾希望对大家有帮助
返回列表