这是一个创建于 743 天前的主题，其中的信息可能已经有所发展或是发生改变。
拿大家最常用的 chrome 浏览器来看，网页查看原始码方式有二种 1.键盘 Ctrl+U 查看源代码：就是别人服务器发送到浏览器的原封不动的代码，也就是最原始的代码 2.键盘 F12 检查元素：看到的就是最终的 html 代码。即：源代码 + 网页 js 渲染 有些网页是 Javascript 渲染的技术建置,所以会有 Ctrl+U 查不到文字,而 F12 查的到内文 因此想问大家，百度爬虫的话,是爬取 Ctrl+U 还是 F12 的原始码?
 |
1
TimePPT 2022-11-16 16:12:32 +08:00  1
好多年没做这块了。
我了解的情况是： 首先看站方想让爬虫怎么爬。有些站点（比如过去的知乎，现在不清楚）给 spider 的内容是静态化过的，给用户的是 js 动态渲染的。 另外，动态渲染的页面早在十几年前搜索引擎就能做了，但百度一直做的不好。现在啥情况不清楚。 |
|
2
TimePPT 2022-11-16 16:15:38 +08:00
还有就是，如果站点想让搜索引擎收录并有排名，肯定是搜索引擎爬虫怎么方便怎么来。一般都会做对应优化。这是所谓 SEO 优化的一部分。
以及，有些家的爬虫也不讲武德。经常无视 robot.txt 的协议，且非增量爬取。过去有搜索引擎 spider 把站点爬瘫痪的笑话发生。 |
 |
3
Sue6080 OP To TimePPT：
这样感觉搜寻引擎爬虫比较方便是 抓還沒渲染文字的 Javascript?也就是 Ctrl+U |
Select Language