1
em70 2016-12-22 00:18:38 +08:00 via Android
我想知道舆情习惯有 3 个渠道:
1.微信搜索 2.知乎搜索 3.新闻下面的评论 聚合的需求并不大 |
2
em70 2016-12-22 00:19:07 +08:00 via Android
对不起,是微博搜索
|
3
Kilerd 2016-12-22 00:30:25 +08:00 via iPhone
机器学习 NLP
|
4
shoumu 2016-12-22 09:31:21 +08:00
看一下 opinion mining, opinion extraction 之类的
|
5
xvx 2016-12-22 10:39:29 +08:00 via iPhone
好像百度、新浪这些内部都有内置的舆情监控体系吧,如果可以综合百度、新浪、 QQ 空间之类使用人数比较多的网站进行爬取分析效果应该不错。
不过,爬虫能不能爬才是个问题。 |
6
jingniao 2016-12-24 21:47:10 +08:00 via Android
政府部门的维.稳,不是业内人一般不怎么了解的。
一定地区级别的热点词汇聚合通过技术手段还是可以过滤出来的,至于数据来源…… 另外说句题外话,据说西部的 ip 配备策略不像其他地区一样是个大局域网…… |
7
changwei 2016-12-25 23:59:47 +08:00 via Android
我自己平时写过一些爬虫,然后通过一些免费的分词 api 进行简单分析。其实这些技术都不是很难的。
主要还是能不能爬到数据。 我上次就是这样,辛辛苦苦写了一个爬虫,并且发现了他的 anti-spider 策略,然后写好了反反爬虫策略,没想到我爬了才两天,他们策略就改了,还把我号封了(登陆才能获取数据)。所以我觉得爬虫如何抓那么大规模数据才是真正的问题。 |