用的 cloudflare ，他们家的识别和阻止能力还是可以的

我最近刚好做了相关的，搜索引擎的爬虫，至少人家 UA 是明确的，虽然可以轻松伪造，但如果你不想，可以从 UA 入手拦截官方的爬虫。（按伦理来讲，至少官方的爬虫不至于明目张胆伪造 UA ）。 顺便附赠几个最近关注到的 主要的 AI 爬虫 UA 关键字："mj12bot","openai","gptbot","claudebot","semrushbot","siteauditbot"

还有伪装 UA 的爬虫呢，要解决可以试试 Cloudflare 或 https://anubis.techaro.lol/

你发的日志里面 GPTBot 都是假的，和官方公布的 IP 对不上 https://platform.openai.com/docs/bots

君子协议

有挂 waf 吗，现在一个小网站/博客都没几个活人看，却被几百个 bot 轮番轰炸

现在 AI 的爬虫会访问除了 robots.txt 之外的所有文件