设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
报酬
工算小助手
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
Google
›
为什么在未设置 robots.txt 的情况下, Google 搜索不到 ...
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
没想明白,现在小朋友学新技术起手式是在 B
›
元宝开始撒钱了,大家捡个午饭钱吧
›
飞牛 NAS 的信任危机, 0Day 漏洞导致用户
›
小红书怎么找到一个曾经聊过天的账号?
›
昨天在 reddit 上发了个开源插件介绍,被骂
今日热议主题
vibe coding 写的小程序终于上线了, Gemini
构建 Squido AI 多模态创作平台的 3 个教训
教你如何用优雅地,用 2026 年的方式,给自
openclaw 怎么设置反代 openai
逃离飞牛,大佬们有没有数据迁移方案
电脑升级收配件。
出搬瓦工 dc6
Claude Code 怎么一次性安排多个任务,无需
求推荐 300 价位电视盒子
[分享] 纯前端撸了一个「交互式哺乳动物演
显示全部
|
最新评论
13 条回复
·
1562 次点击
11#
c1985382
初学
2025-5-17 20:44:30
没有具体验证,但是我想他们要屏蔽境外 IP 一点也不奇怪,因为之前 Google 快照存有他们大量的谎言,比如之前招标监控设备需要识别维吾尔族人功能,结果被老外抓住证据。😅😅😅
12#
mytsing520
小成
2025-5-17 20:55:34
测试下来,该网站在海外可以访问,那么只有一种原因就是 Google 的爬虫被拉黑了 从我抓取到的日志来看,Google 的爬虫访问中国大陆网站,现在基本上都是集中在 66.249 这个段上
13#
mytsing520
小成
2025-5-17 20:55:55
要么就是 Google 自己拒绝爬取该网站
14#
qqqfreeboycn
楼主
小成
2025-5-17 21:00:47
@mytsing520 是的,203 那些谷翔段爬虫的地址使用频率日渐减少,现在到底还有没有在使用都没法验证,因为谷歌的快照功能都已经关闭了,看不出网页快照是被哪个爬虫爬取的了
1
2
/ 2 页
浏览过的版块
职场话题
Android
San Francisco
奇思妙想
随想
Apple
Emacs
求职
原神
游戏开发
返回顶部