• 请不要在回答技术问题时复制粘贴 AI 生成的内容
edis0n0
V2EX  ›  程序员

其实你们 base64 让爬虫更好收集联系方式了

  •  
  •   edis0n0 · Jan 3, 2023 · 10175 views
    This topic created in 1402 days ago, the information mentioned may be changed or developed.
    爬虫收集别的论坛里用户留下的联系方式要一个个解析 电话 微信 QQ 之类关键词的上下文,还要处理 wx: vx:v :这些各种奇怪的称呼和写法,甚至要上简单的 NLP 。V 站都不用分析,直接提取所有 base64 ,短一点的里面内容极大概率是联系方式
    59 replies  •  2023-01-06 08:59:30 +08:00
    cairnechen
    cairnechen
    Jan 3, 2023❤️8
    1
    base64 不是防爬虫的,是防止通过简单搜索就能完成 [人肉]
    securityCoding
    securityCoding
    Jan 3, 2023
    2
    防社工的
    evan6
    evan6
    Jan 3, 2023❤️6
    3
    把「我的联系方式是 xxxxxxxx 」转成 base64
    baobao1270
    baobao1270
    Jan 3, 2023
    4
    @cairnechen
    @securityCoding

    防止社工感觉也不成立,专业的社工软件要集成进一个自动搜索 base64 其实很简单
    hertzry
    hertzry
    Jan 3, 2023
    5
    穿着内裤裸奔,总比什么都不穿好。
    shakaraka
    shakaraka
    Jan 3, 2023
    6
    好的。下次用 SHA256
    yankebupt
    yankebupt
    Jan 3, 2023❤️2
    7
    base64 不是一种防收集方式
    而是一种警告:
    “小心,这人会 btoa ,收集他的联系方式有你好果子吃”
    loading
    loading
    Jan 3, 2023 via Android
    8
    然后呢?你能穿过 gmail 的第一道防御?
    realpg
    realpg
    Jan 3, 2023❤️6
    9
    @hertzry #5
    比喻不恰当
    应该是捂着脸裸奔
    tf2
    tf2
    Jan 3, 2023
    10
    直接申请一个能 base64 解码的邮箱地址。
    pennai
    pennai
    Jan 3, 2023
    11
    @wunonglin fyutftydrxrfyufiyu78678567-=-
    justfun
    justfun
    Jan 3, 2023
    12
    好的 下次留 md5
    inframe
    inframe
    Jan 3, 2023
    13
    换 base32 ,每次发布时指定一下编码格式,加点干扰字符
    Shorekeeper
    Shorekeeper
    Jan 4, 2023❤️1
    14
    混淆过的 JavaScript 怎么样?

    ```
    function _0x4556(){var _0x2a9476=['\u6d4b\u8bd5\uff1a\u6211\u7684\u8054\u7cfb\u65b9\u5f0f\u662f','\x6c\x6f\x67','\x33\x30\x52\x68\x45\x52\x78\x51','\x35\x37\x35\x38\x39\x37\x55\x46\x46\x4c\x45\x46','\x35\x36\x33\x30\x30\x38\x38\x42\x67\x6a\x44\x6e\x41','\x31\x39\x39\x34\x35\x32\x62\x48\x74\x59\x4c\x6a','\x32\x34\x56\x71\x71\x6e\x55\x6b','\x32\x79\x49\x74\x6c\x56\x6e','\x38\x31\x34\x31\x37\x30\x71\x78\x66\x46\x72\x55','\x39\x67\x44\x4c\x72\x47\x43','\x38\x4b\x73\x56\x41\x51\x6d','\x32\x31\x33\x38\x39\x38\x38\x72\x61\x67\x46\x74\x67','\x6e\x42\x72\x4d\x4c','\x61\x73\x64\x73\x61\x73\x64\x2e\x63\x6f','\x37\x35\x34\x58\x6e\x49\x48\x76\x7a','\x31\x34\x38\x31\x34\x31\x34\x48\x41\x56\x48\x76\x65','\x31\x39\x35\x37\x34\x30\x35\x46\x79\x4c\x78\x44\x55'];_0x4556=function(){return _0x2a9476;};return _0x4556();}(function(_0x579769,_0x4391a9){var _0x135ebc={_0x2386ed:0x19e,_0x1e29fd:0x19d,_0x19f1e9:0x195,_0x41eea9:0x19c,_0x1039b1:0x198,_0x386c4e:0x1a5,_0x4f6823:0x19b},_0x165af4=_0x331e,_0x446e8f=_0x579769();while(!![]){try{var _0x13b3c9=parseInt(_0x165af4(_0x135ebc._0x2386ed))/(-0xa*-0x77+0x846*0x2+-0x1*0x1531)+parseInt(_0x165af4(_0x135ebc._0x1e29fd))/(0x1*-0x8b+-0x2655*-0x1+0x7c*-0x4e)*(parseInt(_0x165af4(0x1a1))/(-0xf89+0x2197+-0x1*0x120b))+-parseInt(_0x165af4(0x1a0))/(-0x233b*-0x1+-0x2412+0x49*0x3)*(parseInt(_0x165af4(_0x135ebc._0x19f1e9))/(-0x1107*0x1+-0x1*0x15ff+0x1*0x270b))+parseInt(_0x165af4(_0x135ebc._0x41eea9))/(0x1*-0x19bb+-0x1f7*0xe+0x3543)*(parseInt(_0x165af4(0x199))/(0xa7d*0x3+0x55*0x11+0xb*-0x35f))+-parseInt(_0x165af4(0x19a))/(0x469*-0x2+-0x2*-0x4+0x8d2)*(-parseInt(_0x165af4(0x19f))/(-0x1d39+0x48c+0x18b6))+-parseInt(_0x165af4(_0x135ebc._0x1039b1))/(0x173*-0x1+-0x1*-0x1fff+-0x8e*0x37)*(parseInt(_0x165af4(_0x135ebc._0x386c4e))/(0x1d*-0x53+-0xaf9*0x3+0x2a5d))+parseInt(_0x165af4(_0x135ebc._0x4f6823))/(-0x2*0x1348+0xea*-0x4+0x2a44)*(-parseInt(_0x165af4(0x1a4))/(0x1fca+-0xfbd+0x1*-0x1000));if(_0x13b3c9===_0x4391a9)break;else _0x446e8f['push'](_0x446e8f['shift']());}catch(_0x2117c4){_0x446e8f['push'](_0x446e8f['shift']());}}}(_0x4556,-0x1*-0x61dd7+0x1*0x28a3b+-0x26a61*0x1));function _0x331e(_0x403d30,_0x159d24){var _0x2b0f3b=_0x4556();return _0x331e=function(_0x49b134,_0x3c2993){_0x49b134=_0x49b134-(0x1*-0x1daf+-0x19b1+0x38f5*0x1);var _0x19ed6f=_0x2b0f3b[_0x49b134];return _0x19ed6f;},_0x331e(_0x403d30,_0x159d24);}function _0x109a9f(){var _0x543f84={_0x20e762:0x1a2,_0xf05216:0x196},_0xf5fff3=_0x331e,_0x84b98f={};_0x84b98f[_0xf5fff3(_0x543f84._0x20e762)]=_0xf5fff3(_0x543f84._0xf05216)+'\x61\x73\x64\x66\x67\x68\x6a\x6b\x6c\x40'+_0xf5fff3(0x1a3);var _0x91475e=_0x84b98f;console[_0xf5fff3(0x197)](_0x91475e[_0xf5fff3(0x1a2)]);}_0x109a9f();
    ```
    512357301
    512357301
    Jan 4, 2023 via Android❤️1
    15
    主要是提高联系成本,防骚扰的,毕竟无聊的人很多,但是懒人更多
    DrakeXiang
    DrakeXiang
    Jan 4, 2023
    16
    但是 base64 你要怎么判断? abcd123 和真正的 base64 你怎么区分?
    ysc3839
    ysc3839
    Jan 4, 2023 via Android
    17
    我认为是否的。base64 在各类 html 中大量存在,要过滤的话就得先解析 html ,提取出显示文本,再提取 base64 。而邮箱这种规则的字符串几乎不会在别的地方出现。
    ttyhtg
    ttyhtg
    Jan 4, 2023❤️2
    18
    才发现,这里没有私信功能啊。大家是不是可以用 gpg 加密联系信息回帖,然后个人简介放上自己的公钥?今天看了 gpg 相关的东西
    edis0n0
    edis0n0
    OP
    Jan 4, 2023
    19
    @DrakeXiang #16 那可太简单了,判断解出来的内容是不是中英文就可以了
    @ysc3839 #17 正常的网站不可能把 base64 的未解码形态直接展示给用户,除非用户将它作为内容提交。
    ysc3839
    ysc3839
    Jan 4, 2023 via Android
    20
    @edis0n0 html 代码可以包含 base64
    edis0n0
    edis0n0
    OP
    Jan 4, 2023
    21
    @ysc3839 #20 可以包含,但是不会把 base64 原始形态直接渲染在页面上展示给用户
    ysc3839
    ysc3839
    Jan 4, 2023 via Android
    22
    @edis0n0 所以就得先解析 html ,提取出显示文本,再提取 base64 ,成本比爬邮箱等高多了。
    gowl
    gowl
    Jan 4, 2023
    23
    这个链接会跳转为一个邮箱地址,并且在 24 小时之后自毁:

    https://www.fadingurl.org/item/2301.6351.8758.1986
    melkor
    melkor
    Jan 4, 2023 via iPhone
    24
    电话和邮箱的特征也很明显,好像只有微信号这种帐号比较难判断……
    edis0n0
    edis0n0
    OP
    Jan 4, 2023
    25
    @ysc3839 #22 任何一个主流的爬虫框架都会自动解析显示文本呀
    hsfzxjy
    hsfzxjy
    Jan 4, 2023 via Android❤️1
    26
    其实感觉可以试试以帖子的 id 为密钥作对称加密
    totoro625
    totoro625
    Jan 4, 2023 via iPhone
    27
    把邮箱地址中的 @改为#都能减少 99%的骚扰邮件
    至少,屏蔽了简单无脑的爬虫
    gccdchen
    gccdchen
    Jan 4, 2023
    28
    那可以考虑 base64 中注入 sql 攻击?
    sometime
    sometime
    Jan 4, 2023
    29
    直接上图片吧,字体用些特殊字体
    jiangzm
    jiangzm
    Jan 4, 2023
    30
    杠屁呀
    nocwat
    nocwat
    Jan 4, 2023
    31
    @ttyhtg 你可以试试 Keybase
    november
    november
    Jan 4, 2023
    32
    那就指定 base64 的次数不就可以了, 比如三次 base64 表示为:3base64 ,3xbase64 ,bsse643 ,bsse64x3 等等格式,甚至 base64 base64 base64 ,或者 abc | x3.

    那你来爬一下?
    zoharSoul
    zoharSoul
    Jan 4, 2023
    33
    base64 没什么特征啊 , 你怎么知道是 base64?
    litchinn
    litchinn
    Jan 4, 2023
    34
    @november 哈哈,刚想说提供信息的时候贴一下要经过几次转换
    dianso
    dianso
    Jan 4, 2023
    35
    交易区爬虫能抓取?????
    opengps
    opengps
    Jan 4, 2023
    36
    op 试下百度自己的名字,手机号,邮箱,车牌号等信息看看。如果毫无防御,大数据会比你更懂你,过于暴露的信息自然会让人有所抵制公开信息的发布
    Bingchunmoli
    Bingchunmoli
    Jan 4, 2023 via Android
    37
    主要是防止搜索引擎吧,
    DI64QrUrruOAmKO7
    DI64QrUrruOAmKO7
    Jan 4, 2023 via Android
    38
    我用虚拟邮箱: https://moakt.com/zh
    ih8es9OIzne0959p
    ih8es9OIzne0959p
    Jan 4, 2023
    39
    防 Google 蜘蛛的,防君子不防小人
    zed1018
    zed1018
    Jan 4, 2023
    40
    zxCoder
    zxCoder
    Jan 4, 2023
    41
    @opengps 唉 以前一直在贴吧求种子,留的都是自己的 qq 邮箱
    JamesMackerel
    JamesMackerel
    Jan 4, 2023
    42
    @ttyhtg 笑死,我刚刚测了一下往我的个人简介里塞我的 gpg pub key ,然后他提示我个人简介长度不能超过 2000 字符。
    chinni
    chinni
    Jan 4, 2023
    43
    @JamesMackerel 用 ecc
    rammiah
    rammiah
    Jan 4, 2023
    44
    @JamesMackerel keys.opengpg.org 上传之后塞指纹
    rammiah
    rammiah
    Jan 4, 2023
    45
    @yianing 搞错了是 openpgp https://keys.openpgp.org/
    laqow
    laqow
    Jan 4, 2023
    46
    那啥 app 搞个什么只能在自家需要人脸识别手机号登录的软件用的什么码就把所有人身家信息收集齐了
    Rehtt
    Rehtt
    Jan 4, 2023 via Android
    47
    用 url safe 的 base64 就没有特征了
    edis0n0
    edis0n0
    OP
    Jan 4, 2023
    48
    @Rehtt #45 全试一遍解码后没有非标准字符就是特征,爬虫服务器又不缺那一点 CPU ,解析 base64 网卡爬冒烟了 CPU 都跑不满
    ttyhtg
    ttyhtg
    Jan 4, 2023
    49
    @JamesMackerel 上传到公钥服务器,放上链接应该也行吧
    BaseException
    BaseException
    Jan 4, 2023 via iPhone
    50
    我用带有自动过期时效限制的 url
    Fo3256Go
    Fo3256Go
    Jan 4, 2023 via iPhone
    51
    那就用莫斯电码配合 base64 ,加密还嫌多?
    莫斯电码+ base64 + aes256 ,三合一

    你慢慢解去吧。
    SenLief
    SenLief
    Jan 4, 2023 via iPhone
    52
    我觉得应该用 email 最好,可惜现在很少有人用了。
    capgosen
    capgosen
    Jan 5, 2023
    53
    -----BEGIN PGP MESSAGE-----

    hF4D7DlMirAJB+ISAQdAeuur4R4gQVICaj8XRYBnA4DEAZwqBORVm4e+4dBmclww
    t10Uj0E9pP+BRvbMP2k8TgfgeAmHduRaRJQ+guETZtD/Hb5GstqvFENopZYHJTKt
    1MAPAQkCEORpYGO6tBq6kEO+iSvRheRqsQxvc5RS3X5JkEaQDeqaN4rCV2e8lVlI
    jtzBtcUKwsbu0zwxX9lwL8ZebDtmN+nYYcstEIl9yH+ROaQUQm794Pn+3I0w19PY
    mdOPaNutUHVZ5ESHKE6XboXpjVWFr3eIosA1hCNn7YZiuVuRFv9XdGSwaTMnwNLQ
    VRBAUaDYRqubJoDR8kTxXwM4/dCmlqgt2i4Xcg/7iXWIypnAPEblHH4+9tAD2mqU
    xOzwQiwC+HmcDgGLf/UO8n5m
    =MMLm
    -----END PGP MESSAGE-----
    dobelee
    dobelee
    Jan 5, 2023
    54
    wechat 建议转 base64 前加一些不规则描述。邮箱没什么必要。
    edis0n0
    edis0n0
    OP
    Jan 5, 2023
    55
    那你们不如不发出来,留自己硬盘里最安全
    @wunonglin
    @justfun
    @pennai
    @SunsetShimmer
    @Fo3256Go
    Rehtt
    Rehtt
    Jan 5, 2023 via Android
    56
    @edis0n0 那照你这样说的话 wx: vx:特征不就更明显了吗,再加上大部分人 vx:后面一般接手机号匹配一下就全出来了
    edis0n0
    edis0n0
    OP
    Jan 5, 2023
    57
    @Rehtt #54 太多了 还有 加薇: 微 x: 有的淘宝闲鱼这种商业产品的敏感词检测都检测不出来,你爬虫不可能适配完
    Shorekeeper
    Shorekeeper
    Jan 5, 2023
    58
    @edis0n0 用 JavaScript 意味着你可以把这个东西贴进你正在使用的浏览器(既然在浏览网页,一定是有浏览器的吧?)的调试控制台里,F12 、复制、粘贴、Enter 、拿到信息。
    Rehtt
    Rehtt
    Jan 6, 2023 via Android
    59
    @edis0n0 那我完全可以 微 x:xxx 再转 base64 ,这样永远比明文复杂一个步骤
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4947 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 105ms · UTC 07:07 · PVG 15:07 · LAX 23:07 · JFK 02:07
    ♥ Do have faith in what you're doing.