V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
V2EX › robots
 |
请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt 搜索引擎优化 • moonlightpics • Feb 7 • Lastly replied by moonlightpics | 5 |
 |
困惑，网站长期 GSC 不被收录，谁能帮帮我 前端开发 • x007xyzabc • Nov 6, 2025 • Lastly replied by x007xyzabc | 6 |
 |
求助：怎么让必应恢复收录
1 站长 • Deshun • Nov 14, 2024 • Lastly replied by raywu
|
12 |
 |
GPT4 恢复的 Browse with bing 功能会被网站的 robots 协议拦截. OpenAI • HUZHUANGZHUANG • Oct 12, 2023 • Lastly replied by HUZHUANGZHUANG | 4 |
 |
百度可以搜索微信公众号的文章了？是有合作还是无视 robots.txt？ 问与答 • Nile20 • Aug 5, 2023 • Lastly replied by googlefans | 3 |
 |
寻一个 Python 长期的 jiān 职 Python • tiptop • Oct 31, 2022 • Lastly replied by Michelangelono | 5 |
 |
为啥有的网站同时设置 cloudflare 的 IUAM 跟 robots.txt，这两者不冲突吗？ Cloudflare • haoliang • Feb 3, 2022 • Lastly replied by westoy | 2 |
 |
京东没有 robots.txt 是怎样防止爬虫抓取的 程序员 • 3kkkk • Apr 22, 2022 • Lastly replied by jiafeiblog | 25 |
 |
被百度收录的网站,加了 robots.txt 禁止搜寻引擎收录的代码后网站还在? 搜索引擎优化 • Sue6080 • Nov 1, 2021 • Lastly replied by Sue6080 | 2 |
 |
微信移除了 robots.txt
5 微信 • icepony • Oct 22, 2021 • Lastly replied by jekyll
|
31 |
 |
微信的 robots.txt 是否涉嫌违反《反垄断法》？
1 问与答 • captray • Dec 26, 2020 • Lastly replied by zhoushiya
|
30 |
 |
谷歌爬虫现在不遵守 robots 标准了吗？ Google • axo • Oct 23, 2020 • Lastly replied by axo | 2 |
 |
请教关于搜索引擎 robots.txt 的设置 问与答 • anUglyDog • Sep 4, 2020 • Lastly replied by anUglyDog | 1 |
 |
Gitee Pages 不支持 robots.txt? 程序员 • ileeoyo • May 27, 2020 |
 |
第一次见,robots 还真的把百度给挡了 分享发现 • yaoye555 • Nov 14, 2019 • Lastly replied by shansing | 14 |
 |
安利下奶飞的<Love,Death&Robots> Netflix • cat9life • Jun 10, 2019 • Lastly replied by Fengyesuixiang | 19 |
 |
大家敢不敢不用微信？ 奇思妙想 • makeitall • Jul 8, 2019 • Lastly replied by bishuai | 38 |
 |
大家敢不敢在 robots 里面屏蔽百度？ 奇思妙想 • woshishuia • Jun 4, 2019 • Lastly replied by Ayersneo | 38 |
 |
能不能拦截 Internet Archive 的数据请求？ V2EX • dalieba • Jan 29, 2019 • Lastly replied by phy25 | 6 |
 |
为什么我 robots.txt 里面已经禁止收录动态页面了， 360 还是给我收录了
1 全球工单系统 • syG6WNaS • Aug 18, 2018 • Lastly replied by syG6WNaS
|
2 |
 |
网站测试阶段怎样不让 Google 收录？ 问与答 • lsoknet • Jul 30, 2018 • Lastly replied by panpanpan | 4 |
 |
wget 怎么下载镜像网站的 RPM 包 Linux • plko345 • Jun 29, 2018 • Lastly replied by plko345 | 26 |
 |
某乎的 robots 皮一下很开心？ 分享发现 • c29551 • May 15, 2018 • Lastly replied by MinonHeart | 17 |
 |
YisouSpider 是不是很无耻？
1 云计算 • handwork • Feb 22, 2020 • Lastly replied by ty5yidc
|
16 |
 |
V 社的小伙伴，我又来了，请教一个 google 页面抓取失败的问题？ 问与答 • rateltalk • May 10, 2017 • Lastly replied by ayconanw | 1 |
 |
Nginx 如何内部调用不同的文件的内容？比如, /robots.txt, 实际显示 1-robots.txt 的内容？ 问与答 • aaa0009 • Dec 25, 2016 • Lastly replied by mrytsr | 6 |
 |
google.com/ping 有什么用？ 问与答 • noreply69 • Dec 8, 2016 • Lastly replied by xiaopc | 2 |
 |
Google 根本不理会 robots.txt 仍然收录站点的标题与 URL 问与答 • nikoo • Dec 2, 2016 • Lastly replied by stamaimer | 14 |
 |
帮我们老师来求一个，新时代的网络营销的教学概念 问与答 • ivmm • Sep 20, 2016 • Lastly replied by ivmm | 4 |
 |
一个网站不想让百度等搜索引擎收录怎么办 问与答 • akaayy • Aug 12, 2016 • Lastly replied by hack | 10 |
|
360 robots 的 hostname 是什么？ 问与答 • aaa0009 • Aug 9, 2016 |
 |
话说你们有注意过 youtube 的 robots.txt 吗？ 问与答 • xzpjerry731 • May 24, 2016 • Lastly replied by xzpjerry731 | 2 |
 |
是百度蜘蛛抽风了吗? 求 V 友解答! 搜索引擎优化 • wujunze • Mar 27, 2016 • Lastly replied by wujunze | 15 |
 |
是迅雷不做 Google 的 SEO 还是 Google 的问题？ 问与答 • int64ago • Jan 31, 2016 • Lastly replied by shippo7 | 5 |
 |
robots.txt 书写疑问 问与答 • c0427 • Jan 31, 2016 • Lastly replied by c0427 | 1 |
 |
大家有没有遇到过 Baiduspider/2.0 不遵守 robots.txt 的情况？ 问与答 • xiaoyustudio • Jan 29, 2016 • Lastly replied by callofmx | 15 |
 |
关于 robots.txt 的一点疑问 问与答 • le0rn0 • Jan 12, 2016 • Lastly replied by le0rn0 | 22 |
 |
有没有办法不让搜索引擎收录 程序员 • just1 • Nov 14, 2015 • Lastly replied by lenovo | 56 |
 |
v2ex 的登陆功能居然没有调用验证码，难道不怕各种'robots'的骚扰吗？我想知道 Livid 对于这种设计的想法。 V2EX • lenran • Dec 7, 2015 • Lastly replied by loveminds | 23 |
 |
Acting Robots Now Stars Of The Stage 分享发现 • hjny • Sep 5, 2015 |
 |
问一个关于 wordpress 固定链接的问题，求大神指点 WordPress • nbk2015 • Aug 5, 2015 |
 |
写个脚本，递增 url 爬别的网站，算违反 robots 吗？ 问与答 • qiongqi • Jul 10, 2014 • Lastly replied by oldcai | 72 |
 |
如何安排需要从根目录访问的静态文件？如robots.txt Flask • zzxworld • Mar 15, 2013 • Lastly replied by zhwei | 3 |
 |
V2EX站点的robots.txt V2EX • codeframe • Jan 29, 2013 |
 |
Tornado 怎么设置robots.txt的url映射啊? Tornado • mkeith • Jan 19, 2013 • Lastly replied by mkeith | 1 |
 |
V2EX的robots.txt不能访问是一个BUG麽？ 反馈 • catfan • Jan 3, 2013 • Lastly replied by Livid | 1 |
 |
你们的网站有被360 spider无视robots.txt地狂抓吗？ 问与答 • lala • Oct 7, 2012 • Lastly replied by snail2 | 7 |
 |
robots.txt无故丢失 Linux • zjhui • Aug 28, 2012 • Lastly replied by altchen | 1 |
 |
<meta name="robots" 这句到底怎么写？ 问与答 • joynic • Feb 27, 2012 • Lastly replied by Evance | 1 |
Select Language