基本想法是先爬下来,然后通过分析网页关键字进行分类。爬虫那块还好说,基于关键字分类不知道怎么搞。
有没有这方面的思路或者参考?
1
txy3000 2019-04-02 03:17:19 +08:00 via Android
分类是定义好的吗 ? 关键字的映射分类是怎样的关系 一对一 多对一 还是带权重? URL 分类是流式处理 还是集中处理 数据量有多大? 都是问题啊
类定义 映射关系都约定好的可以直接参考路由的 URL dispatcher 原理 如果分类没定义好那得上类似 kNN 聚类算法 自己造特征向量 找特征向量 关键字的权重估计还得深度学习 自己做标记来训练 数据量大的话还得上分布式计算 反正不是轻松的活 |