Baidu 这个去重逻辑是怎么考虑的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3574 days ago, the information mentioned may be changed or developed.

有图有真相。

2 replies • 2016-07-21 15:08:53 +08:00

just4test

Jul 21, 2016

有 google 为何要用百度

Esec

Jul 21, 2016 via Android

每层楼的编号(eg:1#,2#...)处都有个定位到该层的超链接，然后"那时候的"百度把每个链接都当作一个独立的页面统统爬了一次...