有哪些值得抓取的网站？

This topic created in 2940 days ago, the information mentioned may be changed or developed.

打算构建一个无偏语料库，因此需要爬取各行各业相关的网站，想问一下大家知道哪些主要内容是文本的网站。目前收集到的网站有大概以下几个分类

综合新闻站

163
sina
qq
china
people

垂直 /非垂直论坛

autohome
tiexue
xbiao
douban
tianya
tieba
newsmth

问答站

zhihu

媒体

engadget
ifanr
guokr

财经

xueqiu
caixin

医学

影视

zimuzu
tvmap
juqingba

小说

qidian

教科书

readers365
eywedu

这里并没有列全，目前在抓的有 60 个网站左右，每天能获取 300K 个页面，单机。想问问大家有没有什么别的类目、行业、领域以及各分类下的文字类网站可供补充？无所谓内容质量好坏。

Supplement 1 · Apr 25, 2018

对了，忘了说明，只要中文文字类网站，另外各位大佬不要开车哈Σ(￣。￣ﾉ)ﾉ

网站

语料库

新闻站

垂直

27 replies • 2018-04-25 14:39:47 +08:00

mushan099

Apr 25, 2018 via iPhone

其他类别不知道，影视那一栏我倒是了解不少(^-^)/

rock_cloud

Apr 25, 2018 via iPhone

@mushan099 来几个例子？

fstab

Apr 25, 2018 via Android

@rock_cloud t66y sixinsix 91 avgle 大哥只能帮你这么多了。

jiangnanyanyu

Apr 25, 2018 via Android

我来一个吧，javbus,javlib

Apr 25, 2018 via Android

cnbeta

aice114

Apr 25, 2018 via Android

v2ex

lunatic5

Apr 25, 2018

@flyz 大佬调皮

huluhulu

Apr 25, 2018 via iPhone

不是 1024 最值得吗？

jasonyang9

Apr 25, 2018

nytimes
arstechnica
slashdot

x86

Apr 25, 2018

avmoo

fengyj

Apr 25, 2018 via Android

影视竟然没有 douban

chroming

Apr 25, 2018 via Android

单机爬这么多是用了代理池？

logOo

Apr 25, 2018

pxxnhub

rock_cloud

Apr 25, 2018 via iPhone

@huiyifyj 有，在论坛分类里，抓全站

rock_cloud

Apr 25, 2018 via iPhone

@chroming 没有代理池，因为站点多，所以每个站慢慢爬，也不是问题

rock_cloud

Apr 25, 2018 via iPhone

@aice114 我居然忘了 V 站，话说 V 站是不是有访问频次限制？

akira

Apr 25, 2018

3l 老司机

mhycy

Apr 25, 2018

*ornhub
video.fc2.com
xt*e

torbrowserbridge

Apr 25, 2018

yense

Apr 25, 2018

煎蛋站长瑟瑟发抖...

rock_cloud

Apr 25, 2018

@yense jandan 已加入豪华午餐，放心，速度非常慢，大约一分钟一个请求，不会占用很多流量的

rock_cloud

Apr 25, 2018

@yense 额。。错了，应该是 20 秒一个请求。。。

greatghoul

Apr 25, 2018 via Android

pornhub

lingo

Apr 25, 2018

@huluhulu 回复最上方，3 楼就出现 1024 了嘛。

F1024

Apr 25, 2018

91 哈哈哈哈

yunye

Apr 25, 2018 via Android

抓谷歌比较划算，抓一个站啥都有了

rock_cloud

Apr 25, 2018

@yunye Google 反爬做得好，不好抓，费时费力