如何实现对指定 URL 的页面自动分类，求思路

This topic created in 2775 days ago, the information mentioned may be changed or developed.

基本想法是先爬下来，然后通过分析网页关键字进行分类。爬虫那块还好说，基于关键字分类不知道怎么搞。

有没有这方面的思路或者参考？

分类

求思路

URL

好说

1 replies • 2019-04-02 03:17:19 +08:00

txy3000

Apr 2, 2019 via Android

分类是定义好的吗？关键字的映射分类是怎样的关系一对一多对一还是带权重？ URL 分类是流式处理还是集中处理数据量有多大？都是问题啊
类定义映射关系都约定好的可以直接参考路由的 URL dispatcher 原理如果分类没定义好那得上类似 kNN 聚类算法自己造特征向量找特征向量关键字的权重估计还得深度学习自己做标记来训练数据量大的话还得上分布式计算反正不是轻松的活