l32606
V2EX  ›  问与答

如何实现对指定 URL 的页面自动分类,求思路

  •  
  •   l32606 · Apr 1, 2019 · 2142 views
    This topic created in 2622 days ago, the information mentioned may be changed or developed.

    基本想法是先爬下来,然后通过分析网页关键字进行分类。爬虫那块还好说,基于关键字分类不知道怎么搞。

    有没有这方面的思路或者参考?

    1 replies    2019-04-02 03:17:19 +08:00
    txy3000
        1
    txy3000  
       Apr 2, 2019 via Android
    分类是定义好的吗 ? 关键字的映射分类是怎样的关系 一对一 多对一 还是带权重? URL 分类是流式处理 还是集中处理 数据量有多大? 都是问题啊
    类定义 映射关系都约定好的可以直接参考路由的 URL dispatcher 原理 如果分类没定义好那得上类似 kNN 聚类算法 自己造特征向量 找特征向量 关键字的权重估计还得深度学习 自己做标记来训练 数据量大的话还得上分布式计算 反正不是轻松的活
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3012 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 06:30 · PVG 14:30 · LAX 23:30 · JFK 02:30
    ♥ Do have faith in what you're doing.