求助贴有啥爬虫技巧

我手头有三个个人项目：

是关于昨天帖子里提到的“梗鲸 · DeepSeek 鲸鱼娘表情包库”。我需要定时爬取一些表情包，目前有几个比较好的数据源头：贴吧、小黑盒、B 站、小红书。B 站是最好的，有 API 接口给我用。但贴吧、小黑盒、小红书的反爬机制很严格，我都是通过手机分享然后复制链接来爬取，不过数据搜集这块还没实现自动化。

是一个 AI 比价项目（ https://www.china-ai-arbitrage.xyz）。起因是我个人有薅羊毛的需求（比如超自由写作、角色扮演 ，怕被锁定原神 ID），或者看到其他人也有类似需求，比如一些搞 Web 出海的、玩酒馆的 bro。于是我就弄了个网站出来，爬取各种中转站、低价账号站、铺子的信息，以及苹果低价区的一些价格，然后进行 AI 分析，人工抽验。这是三个里面第二简单的，但 Token 消耗量大，全靠我年底买的 GLM Pro 套餐夜间额度来支撑。

是一个凡人修仙传的播放量数据每日备份，再辅以 A 股的 K 线分析法来分析播放量数据。这里没啥技术问题之类的，就是法规问题。我怕随着凡人播放量下降什么的（人菜怪地心引力），然后 B 站拿我开刀。网址是： https://fanren.cdqyfdbymn.me/