[开源]新闻聚合站点，抓取科技圈即将发生的事

爱意满满的作品展示区。

This topic created in 2894 days ago, the information mentioned may be changed or developed.

代码比较简单。有兴趣的可以在此基础上完善。

原理：selenium + chromedriver 用 headless 模式定时抓取头条、百度、搜狐、新浪、虎嗅等网站，过滤出带将来时的标题，存入 mongodb。用 Flask 做 web 展示。

Github 代码

Demo

代码

虎嗅

flask

Selenium

14 replies • 2018-06-27 12:22:47 +08:00

cosmo

Jun 20, 2018 via Android

能分页和设置关键词就更好

artandlol

Jun 21, 2018 via iPhone

有点像 rss 了，还没带链接

jisibencom

Jun 21, 2018

好像不错的样子。

TimePPT

PRO

Jun 21, 2018 via iPhone

看标题以为能做到新闻预测……

Rootcat

Jun 21, 2018

@artandlol 开放 API 接口： http://140.143.226.167:8000/api/v1/news?page=0&limit=20

MrJing1992

Jun 21, 2018

我很好奇是如何识别即将发生的事情的，看了代码，Soga ！
https://github.com/NolanZhao/FutureNews/blob/master/news_crawler/check.py

words = ['将', '预计', '明天', '后天', '下周', '月底', '明日', '明晚', '下月', '明年', '未来', '计划于', '准备于']

Rootcat

Jun 21, 2018

@MrJing1992 老哥，稳 :)

artandlol

Jun 21, 2018

@Rootcat 那可以定时存到 Elasticsearch 进行搜索