yande.re 图站爬虫一枚

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3434 天前的主题，其中的信息可能已经有所发展或是发生改变。

有朋友想收集yande.re里的图片
于是现学撸了一个爬虫出来
大家来拍吧
https://github.com/wudaown/yandeDL

未满18岁慎用

第 1 条附言 · 2015-06-20 14:22:24 +08:00

刚才在看K站的结构.... 发现程序还能在简化...
浪费了很多很多时间
在重写

爬虫

yande.re

Python

22 条回复 • 2015-06-21 22:11:59 +08:00

zonghua

2015-06-20 02:20:39 +08:00 via iPhone

python做爬虫有什么加成

Imyssed

2015-06-20 03:19:48 +08:00

其实我比较好奇Y站和K站是不是一个系统啊...好像的说

wudaown

2015-06-20 03:45:58 +08:00

貌似是的.. y站以前不叫Y站.. 换过名字了

wudaown

2015-06-20 03:47:54 +08:00

@Imyssed 去K站看了一眼.. 结构都差不多只要替换几个地方就变成K站爬虫了... 233

yeah2109

2015-06-20 04:12:49 +08:00

输入关键词以后没有进度提示吗？

yeah2109

2015-06-20 04:14:31 +08:00

@wudaown 那就在做个k站的吧233
看到提示了，好东西

yeah2109

2015-06-20 06:22:27 +08:00

我输入了一定的页数，下载了一段时间后
Traceback (most recent call last):
File "yandeDL.py", line 61, in <module>
main()
File "yandeDL.py", line 55, in main
MultiPageDownload()
File "yandeDL.py", line 27, in MultiPageDownload
coreDL(crawler.getSource(next_page_url))
File "yandeDL.py", line 14, in coreDL
crawler.getImg(dLink, filename_list)
File "/root/yandedl/crawler.py", line 123, in getImg
urllib.request.urlretrieve(x[2:-2], filename_list[count])
File "/usr/local/lib/python3.4/urllib/request.py", line 219, in urlretrieve
% (read, size), result)
urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 196325 out of 255091 bytes>
这么显示然后就停止了，是什么原因？