V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yitd
V2EX  ›  站长

蜘蛛是如何发现网络上的网站/域名的?

  •  
  •   yitd · 2020-04-06 23:34:03 +08:00 · 3001 次点击
    这是一个创建于 1675 天前的主题,其中的信息可能已经有所发展或是发生改变。
    比如解析了一个二级 /域名,蜘蛛是如何知道存在这个二级 /域名的?
    域名后缀那么多,挨个扫?不现实吧?
    12 条回复    2020-04-07 08:48:19 +08:00
    opengps
        1
    opengps  
       2020-04-06 23:39:07 +08:00
    蜘蛛不会知道的。
    如果没有外链,没有主动推送提交,没有 sitemap 引路,那么你这个二级域名的站点几乎等同于沉入了“暗网”
    chinvo
        2
    chinvo  
       2020-04-06 23:44:18 +08:00 via iPhone
    Google 同时还会用 chrome 去获取新链接
    OneMan
        3
    OneMan  
       2020-04-06 23:45:58 +08:00
    你要自己去提交。
    做个出名蜘蛛很爽吧,这边主动喂料,那边主动交钱。
    xyjincan
        4
    xyjincan  
       2020-04-06 23:46:31 +08:00 via Android
    跑字典,或者直接在 dns 哪里批量获取?
    Ultraman
        5
    Ultraman  
       2020-04-06 23:47:54 +08:00 via Android
    这里是 cloudflare 的解释。
    https://www.cloudflare.com/learning/bots/what-is-a-web-crawler/
    web crawler bots start from a seed, or a list of known URLs. They crawl the webpages at those URLs first. As they crawl those webpages, they will find hyperlinks to other URLs, and they add those to the list of pages to crawl next.
    yitd
        6
    yitd  
    OP
       2020-04-06 23:47:55 +08:00
    @opengps 有许多网站都没有建设好,比如搜索 Welcome to nginx! 后面几页开始就会有很多默认页面,这没有任何推送引路同样被收录
    Ultraman
        7
    Ultraman  
       2020-04-06 23:54:55 +08:00 via Android
    不如自行挂一个网页随便放点什么东西,再绑一个从来没用过的(二级)域名,你自己也不要访问避免如上老哥讲浏览器上传 URL 这种情况,然后等几天回来观察访问记录看 bot 能不能发现。
    LukeChien
        8
    LukeChien  
       2020-04-07 02:38:07 +08:00 via Android
    通过 dns,公共 dns 谷歌、百度、阿里都有。权威 dns 最早 dnspod 是和各家搜索引擎合作的。
    binfeng
        9
    binfeng  
       2020-04-07 02:54:01 +08:00 via iPhone
    dns
    chihiro2014
        10
    chihiro2014  
       2020-04-07 02:55:13 +08:00
    一般是自己提交,然后爬虫会去爬
    Showfom
        11
    Showfom  
       2020-04-07 08:14:39 +08:00
    一般你用 Chrome 联网访问过就会被 Google 知道了
    dream7758522
        12
    dream7758522  
       2020-04-07 08:48:19 +08:00 via Android
    据说 36x 的蜘蛛,只要是同款浏览器再隐蔽的链接也能被抓
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5684 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 01:33 · PVG 09:33 · LAX 17:33 · JFK 20:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.