V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
1oscar
V2EX  ›  程序员

根据域名来给网站分类,如何办法

  •  
  •   1oscar · 2016-10-30 19:07:05 +08:00 · 12393 次点击
    这是一个创建于 2947 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大概几十万个一级域名,想要根据域名来给网站分类,如何做到啊?

    举例, www.baidu.com ,那就分为搜索网站, www.jd.com ,分为电商网站,以此类推。。。。。。

    15 条回复    2016-10-31 14:57:28 +08:00
    cdlnls
        1
    cdlnls  
       2016-10-30 19:10:33 +08:00 via Android
    目测只能手动
    机器不大可能知道你的那个域名是什么网站
    而且不确定你的那几十万个域名是不是可以访问的
    zachlhb
        2
    zachlhb  
       2016-10-30 19:11:50 +08:00 via Android
    这个没办法吧,除非有网址库
    knightdf
        3
    knightdf  
       2016-10-30 19:13:31 +08:00
    这叫根据域名?难道这不叫根据内容?
    puyo
        4
    puyo  
       2016-10-30 19:39:10 +08:00
    可不可以根据域名对应网站的 description 或者 keywords 来做分类
    murmur
        5
    murmur  
       2016-10-30 19:50:35 +08:00
    只根据域名无解 还有多少个数字网站呢
    huage
        6
    huage  
       2016-10-30 20:20:19 +08:00
    没有办法
    dsg001
        7
    dsg001  
       2016-10-30 20:25:52 +08:00
    采集域名 alexa 数据, alexa 有分类
    CRight
        8
    CRight  
       2016-10-30 20:32:54 +08:00
    3721 能做到吧...
    bazingaterry
        9
    bazingaterry  
       2016-10-30 20:49:56 +08:00
    只能机器学习了?
    huluhulu
        10
    huluhulu  
       2016-10-30 21:32:51 +08:00
    采集这些域名的主页,
    如果可以,采集主页上的链接页面的内容。
    然后 TF-IDF 算法简单算一下,分成几类之后,就可以看看每一类大概是什么内容了。数据挖掘自动化分类的范畴。
    alittletrain
        11
    alittletrain  
       2016-10-30 22:08:28 +08:00
    比如万一碰到 www.度娘.com
    是放到搜索? COSPLAY ?成*人?计量?还是社交类域名?
    如果代码会说话,一定会告诉你:“不要搞事情。”
    lhx2008
        12
    lhx2008  
       2016-10-30 22:13:35 +08:00
    @alittletrain 事实上,还真有一个这样搞事的网站 baidu.wf
    alittletrain
        13
    alittletrain  
       2016-10-30 22:23:34 +08:00
    @lhx2008 世界之大,无。。。。
    vh2h
        14
    vh2h  
       2016-10-31 11:30:25 +08:00
    @lhx2008 此乃神人也
    itqls
        15
    itqls  
       2016-10-31 14:57:28 +08:00
    @lhx2008 一天到晚搞事情
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5595 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 07:45 · PVG 15:45 · LAX 23:45 · JFK 02:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.