我把 AI 用到了爬虫上,做了一个工具
【一句话介绍】
只需要一句话,就可以自动监控任何网页,订阅你想要的信息。
猫头鹰 AI https://mtywatch.com
【使用示例】
某事业单位的招聘公告页 URL + "有行政、文书类岗位的招聘公告,通知我"
某热榜页 URL + "有突发的公共安全事件发生通知我,比如各种自然灾害、卫生食品安全事件"
某地方政府部门公告页 URL + "有学校、医院相关的建设、改建类的项目公告,通知我"
【操作步骤】
超简单,三步搞定
1、输入要监控的网页地址
2、输入你想关心的数据说明
3、点击自动分析,创建监控任务
【功能说明】
自动分析:AI 自动分析并监控页面,不需要写代码、不用配 RPA 脚本、不需要 RSS 支持
自动修正:如果页面改版,AI 会自动进行修正适配
多种通知:支持邮件、短信、飞书、钉钉、自定义 webhook 等通知方式
【价格】
免费用户赠送 5 个网站监控额度;
注册赠送 100 积分,签到、分享都可以获得大量积分。

以上是标准产品介绍,接下来聊聊我的想法。
20 多年前,我刚刚成为程序员,对爬虫技术就很感兴趣,一直觉得爬虫是大有前途的方向。但是我感兴趣的不是大量抓取数据、不是毫秒响应抢茅台~ 而是很多做小生意的人、学生、创业者,他们需要关注一些网站:同行、供应商、政府部门、电商平台、学术论坛等等,我见过他们花几百几千找人写爬虫,用几天就不能用了;也见过他们花时间学爬虫工具,学了几天放弃了。
要满足他们的需求不难,熟练的爬虫工程师可能只要花 1 个小时就能写好代码。难得是这些需求人群过于零散、网页类型千奇百怪。我尝试过很多方法,也尝试过做一个更友好的图形化爬虫配置工具。始终感觉是技术人员的自嗨行为,这样的工具,做的再友好,仍然不是普通人学的会的。
23 年大模型刚出现的时候,重新唤起了我做这件事情的心思,但还是实验失败了; 24 年不死心又实验了一次,能力勉强能落地,但是 tokens 的成本不足以形成商业产品;直到今年,大模型在编程领域的神奇能力,解决我最后一块拼图。
心心念了 20 年的产品,终于把她做出来了。
欢迎大家体验,可以加入我们的服务群,多多提供宝贵的意见。
抄了 checkchan 和 easyspider 的老家