V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
whyorwhynot
V2EX  ›  互联网

360 蜘蛛爬取了隐藏的 https 路径

  •  
  •   whyorwhynot · Apr 24, 2020 · 2911 views
    This topic created in 2194 days ago, the information mentioned may be changed or developed.

    楼主在本地用 hfs 小工具搭建了一个 http 下载服务,然后通过 nps 映射到了海外的一台服务器上,通过 nginx 又对服务加了一层 ssl,用的 let's encrypt 的证书

    为了方便平时安全交换文件,我将 hfs 的一个文件目录设置为隐藏 url 了,无法通过列网站目录等方式获得这个目录的 url,外界人员也就无法得知这个交换地址。但是今天查看系统日志,发现存在一条 360 蜘蛛的访问记录,

    1:18:44 42.236.10.114:10648 Requested GET /这里是 16 位字符随机地址 / 1:18:45 42.236.10.114:10661 Requested GET /?mode=jquery

    理论上这个地址外界应该是不可能知道的,到底是哪一环节出了问题。。。。

    12 replies    2020-04-24 19:22:30 +08:00
    Duolingo
        1
    Duolingo  
       Apr 24, 2020 via Android
    你自己用的 360 浏览器或相关的东西访问过?
    whyorwhynot
        2
    whyorwhynot  
    OP
       Apr 24, 2020
    @codingadog 用 360 浏览器访问过一次,可能是这个原因
    1490213
        3
    1490213  
       Apr 24, 2020 via Android
    我们公司严禁安装任何 360 公司的软件
    vc1
        4
    vc1  
       Apr 24, 2020
    你在 qq 、wx 发一下也会有腾讯的请求去爬
    swulling
        5
    swulling  
       Apr 24, 2020
    你有设置 robots.txt 么
    imn1
        6
    imn1  
       Apr 24, 2020
    2 楼结贴
    whyorwhynot
        7
    whyorwhynot  
    OP
       Apr 24, 2020
    @swulling 没有 rebots.txt
    whyorwhynot
        8
    whyorwhynot  
    OP
       Apr 24, 2020
    @vc1 本想搞个私密连接,直接被 360 顺走了,难受
    vc1
        9
    vc1  
       Apr 24, 2020 via Android
    @whyorwhynot 像问卷投票的链接只在群里发也能被搜到,都有网址安全检查的,没有屏蔽搜索引擎
    hstdt
        10
    hstdt  
       Apr 24, 2020 via iPhone
    感觉是个大瓜
    1daydayde
        11
    1daydayde  
       Apr 24, 2020 via iPhone
    用 nginx 的话把这个路径加个认证吧
    autoxbc
        12
    autoxbc  
       Apr 24, 2020
    @hstdt #10 厂商都这么做十几二十年了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3295 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 13:20 · PVG 21:20 · LAX 06:20 · JFK 09:20
    ♥ Do have faith in what you're doing.