V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
le0rn0
V2EX  ›  问与答

关于 robots.txt 的一点疑问

  •  
  •   le0rn0 · Jan 11, 2016 · 2202 views
    This topic created in 3759 days ago, the information mentioned may be changed or developed.

    php 或 jsp 站点,可通过 xxx.com/robots.txt 直接查看内容,这时候蜘蛛可以按规则来;

    如果,像 django 、 flask 等,在 url 中没有定义,访问 xxx.com/robots.txt 就会返回 404 ,此时的 robots.txt 是否还有效?

    若无效,是否要定义一个一个以 /robots.txt 结尾的 url 来使其生效?

    有其他方法吗?

    各位在做项目时是如何保护后台登陆地址的?(如防止搜索引擎收录)

    Thanks EveryOne !

    22 replies    2016-01-12 13:39:10 +08:00
    Delbert
        1
    Delbert  
       Jan 11, 2016
    在网站根路径下创建一个 robots.txt 文件就不会走框架路由了吧?
    loading
        2
    loading  
       Jan 11, 2016 via Android
    后台登陆地址也要保护…你是多么不相信你的表单验证代码?


    你可以每次都变化登陆地址…
    zakokun
        3
    zakokun  
       Jan 11, 2016
    最好的方法是直接写在框架里面咯. /robots.txt 指向一个方法,这个方法输出相关的内容
    或者直接写在 nginx 的 http 配置里面
    le0rn0
        4
    le0rn0  
    OP
       Jan 11, 2016
    @Delbert 没,还是走路由的
    kn007
        5
    kn007  
       Jan 11, 2016
    对于后台地址,比如 wordpress ,我是加简单验证。

    利用 nginx 的 auth_basic_user_file 。

    https://kn007.net/topics/wordpress-how-to-protect-the-wp-login-php-and-wp-cron-php/

    这种方式,基本上你 robots 不定义,搜索引擎也不会收录
    le0rn0
        6
    le0rn0  
    OP
       Jan 11, 2016
    @loading 2333 ,最好就是连登陆地址都不要让人知道

    我之前似乎见过那种,既没有 robots.txt ,搜索引擎也没有收录其后台相关任何信息,请教下这是怎么实现的,谢谢
    popu111
        7
    popu111  
       Jan 11, 2016 via Android
    后台地址每 7 天重新随机生成并 mail 我还有救么 XD
    le0rn0
        8
    le0rn0  
    OP
       Jan 11, 2016
    @zakokun 输出了 robots 内容,后台地址直接知道了, 2333
    le0rn0
        9
    le0rn0  
    OP
       Jan 11, 2016
    @popu111 6666666 ,你更强,当搜索引擎收录你登录页时而你却改变了地址,深藏功与名
    le0rn0
        10
    le0rn0  
    OP
       Jan 11, 2016
    @kn007 受教,多谢!顺便问下你这语义 url 是调用的翻译吗
    kn007
        11
    kn007  
       Jan 11, 2016   ❤️ 1
    @le0rn0 是的。
    加了简单认证,还能防止简单爆破,何乐不为。
    lhbc
        12
    lhbc  
       Jan 11, 2016 via Android
    le0rn0
        13
    le0rn0  
    OP
       Jan 11, 2016
    @lhbc 这是???
    des
        14
    des  
       Jan 11, 2016
    robots.txt 你就不能弄个静态文件么?速度还快。

    另外 robots.txt 是君子协议,不要把敏感地址放入 robots.txt 中,不要把敏感地址放入 robots.txt 中,不要把敏感地址放入 robots.txt 中。因为很重要,所以要说三遍
    billlee
        15
    billlee  
       Jan 11, 2016
    靠保密 url 来保护后台的都是刷流氓
    le0rn0
        16
    le0rn0  
    OP
       Jan 11, 2016
    @billlee 2333 ,求不流氓的方法
    v1024
        17
    v1024  
       Jan 11, 2016
    你看各个框架的 demo 里几乎都会在路由里写 robots.txt 的,直接返回对应文件。
    le0rn0
        18
    le0rn0  
    OP
       Jan 11, 2016
    @v1024 多谢
    msg7086
        19
    msg7086  
       Jan 12, 2016
    靠隐藏地址来保护的做法叫做 Security through obscurity 。
    https://en.wikipedia.org/wiki/Security_through_obscurity
    通过让人找不到入口来达到安全性,而非设计一个安全的入口。
    个人用用当然无所谓,就是小心别用在企业项目里就好了。
    honmaple
        20
    honmaple  
       Jan 12, 2016 via Android
    我是加了简单验证,像登陆普通用户那样先登陆,然后在手动输入后台地址,如果有管理员权限则进入后台,如果没有登陆或者没有管理员权限则返回 404,另外 @popu111,我也试试隔几天就更换后台地址
    le0rn0
        21
    le0rn0  
    OP
       Jan 12, 2016
    @msg7086 多谢,这要用来企业项目老板会疯的
    le0rn0
        22
    le0rn0  
    OP
       Jan 12, 2016
    @honmaple 多谢啦
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3146 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 14:32 · PVG 22:32 · LAX 07:32 · JFK 10:32
    ♥ Do have faith in what you're doing.