V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 2568 days ago, the information mentioned may be changed or developed.
- 1.通过 User-agent 判断是否为爬虫访问。如果是则通过反向代理或者其他程序代理到一个专门为爬虫准备的服务
- 2.自己通过 nodeJs+puppeteer 或则模拟浏览器访问我们的项目然后返回渲染完成好的 HTML。
下面列出了一些常见的爬虫 agent
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Baiduspider-news
User-agent: Baiduspider
User-agent: Baiduspider-image
User-agent: Sosospider
User-agent: bingbot
User-agent: 360Spider
User-agent: HaosouSpider
User-agent: yisouspider
User-agent: YoudaoBot
User-agent: Sogou Orion spider
User-agent: Sogou News Spider
User-agent: Sogou blog
User-agent: Sogou spider2
User-agent: Sogou inst spider
User-agent: Sogou web spider
User-agent: EasouSpider
User-agent: MSNBot
User-agent: ChinasoSpider
7 replies • 2019-04-19 23:50:18 +08:00
 |
1
creedowl Apr 15, 2019 via Android
很多爬虫都会伪装成搜索引擎吧，而且像 vue 这些前端框架都有 ssr 组件
|
 |
2
fuxinya Apr 15, 2019 via Android
像是谷歌搜索，会不定时伪装成正常的访问，如果爬取二者页面相差很大，会认定你作弊
|
 |
3
whypool Apr 15, 2019
目前打算上 ssr 了
|
 |
4
nobb519 Apr 16, 2019
现在已经不存在 SEO 了。外语站就有，但需要 PWA，百度的话，散了吧
|
 |
5
alexmy Apr 16, 2019
如果是 react, vue，ssr 的解决方案也挺多的了。
|
 |
6
LongLights Apr 16, 2019 via Android
4 楼说的对 中文网站已经没有 SEO 了
|
 |
7
abcbuzhiming Apr 19, 2019
目前前后端分离项目如果一定要做 SEO，最理想的方案就是退回到后端渲染，针对爬虫返回不同内容很容易被判作弊的
|
Select Language