使用openclaw龙虾采集电商数据

最近openclaw养龙虾的热潮带动了skill的爆发github上各种skill层出不穷可以解决繁杂的办公自动化任务比如生成ppt、运营媒体账号、审查代码等skill已经成为ai时代的“万能软件”。刚好有个朋友是做跨境3D打印业务平时需要分析相关3D打印商品价格趋势我帮他写个可以用于采集跨境电商商品的skill部署在openclaw里能通过钉钉对话输入商品关键词自动采集对应的商品信息完全不需要再写任何代码。最终实现的核心功能有2个1、输入关键词获取商品信息2、ai自动分析商品返回分析报告这个skill的核心是amazon商品采集功能我是通过亮数据的Scraper APIs实现的通过python requests进行访问能实现无障碍的商品信息采集。这里简单介绍下亮数据的Scraper APIs它把amazon等网站平台采集功能封装到一个接口了且内置了ip代理池、验证码解锁器、动态网页解析等爬虫技术不需要再通过代码脚本去处理基本可以实现一键采集。创建这个skill还需要两个工具一个是trae或者vscode编辑器另一个是Anthropic发布的用于创建skill的skill名字叫作skill-creator你可以在github中找到它。接下来是详细的实现步骤。登录亮数据获取key因为亮数据需要key才能请求数据所以第一步先登陆获取keyhttps://get.brightdata.com/w3h8e找到Web Scrapers Library获取API亮数据后台有专门的采集库需要找到amazon平台的api获取Python采集代码。这次skill是根据关键词来搜索商品所以选择对应的api复制保存该python采集代码后续会用到。因为亮数据采集的数据会保存在云服务快照中临时存储每次采集后还需要下载快照中的数据集csv或者json格式也需要复制保存该下载代码。配置Trae和skill-creator技能Trae是代码编辑器安装配置都很简单这里不多说了。skill-creator是专门用来创建skill的技能推荐使用Anthropic发布的更加可靠好用。可以从github下载该skill压缩包然后配置到Trae中。创建amazon-product-scraper技能做好准备工作后开始创建用于采集amazon商品的skill在Trae中新建文件夹放入之前亮数据中复制的代码采集脚本为scraper.py下载脚本为dowload.py。在ai对话框中输入创建skill的指令如下利用skill creator创建一个skill用于采集亚马逊的商品数据可以让用户直接通过关键词搜索商品并整理成结构化的md文档或csv表格。文件中有两个脚本供参考 scraper.py 负责请求下载数据 dowload.py 负责下载快照的数据集。这样ai会自动调用skill-creator技能来创建新的skill。创建好skill后便会看到一个新建的amazon-product-scraper文件夹里面有个SKILL.md文件这便是新的技能。将skill配置到openclaw中创建好amazon-product-scraper skill后再配置到openclaw中首先你得自己的小龙虾然后将SKILL.md文件扔给它并让它创建skill。openclaw会自动部署该skill并让你配置亮数据的API key。接下来就是见证奇迹的时刻我们输入命令让它“搜索amazon中3d printer相关的商品”。openclaw会调用skill采集amazon上3D打印相关的商品数据并返回csv和md格式文件。数据集如下商品相关字段有60多个比如商品名称、价格、销量、url等等非常详细。这样就搭建好了一个完整的跨境电商商品采集skill且通过openclaw能自动化运行想搜索什么商品就能快速得到数据集。这里用到的核心技术是亮数据的采集接口能直接采集的amazon等平台的数据集不需要配置复杂的爬虫代码大大简化了网页数据采集复杂度。https://get.brightdata.com/w3h8e