知乎图片爬虫

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3475 days ago, the information mentioned may be changed or developed.

https://gist.github.com/anonymous/55563f5ed8dd0ff71e62a69562ede2e6

知乎爬虫真麻烦
懒得注释了

Supplement 1 · Oct 28, 2016

其实也没啥好爬的，就是看看胸，看看腿

Supplement 2 · Oct 28, 2016

没登录情况下创建的 gist 无法修改了。
重新更新一份

https://gist.github.com/mzcyx/38e614b120920be9aaca1855da84051a

下载原图

Supplement 3 · Oct 28, 2016

你们想要的 tumblr 爬虫 https://www.v2ex.com/t/316337

知乎

真麻烦

爬虫

script

36 replies • 2016-10-29 22:11:14 +08:00

TKKONE

PRO

Oct 28, 2016

一定是我的标题不够吸引人，所以没有人回复。
消灭零回复

Hyeongo

Oct 28, 2016 via iPhone

路过看看

wjm2038

Oct 28, 2016 via Android

看看

loveagirlgl

Oct 28, 2016 via Android

应该是图片不好看的原因～～

TKKONE

PRO

Oct 28, 2016 via iPhone

@loveagirlgl 知乎有人晒胸，有人晒腿，有人晒脸还可以😝

moonkiller

Oct 28, 2016

知乎有啥。。
你应该写个 tumblr 的爬虫

mzh

Oct 28, 2016 via iPhone

@moonkiller 哈哈哈，这个建议很好很好～

moonkiller

Oct 28, 2016

@mzh 迅雷 7.9 内置了 tumblr 下载器－－，但我刚扶墙出去试，一只提示我 http 错误（ 10060 ）不知道咋回事，难道这玩意需要迅雷服务器支持？

TKKONE

PRO

Oct 28, 2016

@moonkiller tumblr 小儿科。网站我都有了

TKKONE

PRO

Oct 28, 2016

@moonkiller 迅雷的服务不依靠迅雷的服务器，依靠你的本地服务

liuxingou

Oct 28, 2016

可惜不能解析知乎的高清大图，都是答案尺寸的小图，不过依然很不错，赞一个~

lc4t

Oct 28, 2016 via iPhone

@moonkiller 这个有了..爬指定 site 的所有图片和视频

TKKONE

PRO

Oct 28, 2016

@liuxingou 哈哈哈，你不说我还真没发现，小图和大图只是一个字母的区别

liuxingou

Oct 28, 2016

@tumbzzc 是啊？哪里啊，我修改下几个大图试试。

liuxingou

Oct 28, 2016

@tumbzzc

是_b 改成_r?

kamen

Oct 28, 2016

我默默的掏出身上所有的钱，去楼下买了一件营养快线

moonkiller

Oct 28, 2016

@lc4t 求工具

TKKONE

PRO

Oct 28, 2016 via iPhone

@liuxingou 对

wjm2038

Oct 28, 2016 via Android

@lc4t 求工具

creaer

Oct 28, 2016 via Android

@liuxingou 原图很简单啊修改下代码就行了

corona

Oct 28, 2016 via iPhone

为什么看到这么多腿

TKKONE

PRO

Oct 28, 2016 via iPhone

@corona 秀腿的问答

liuxingou

Oct 28, 2016

@creaer

嗯，刚刚也发现了，替换一下就行了。

liuxingou

Oct 28, 2016

@creaer
@tumbzzc

最简单粗暴的方式了：

```Python

for pic in pictures:
print(pic)

newpic=pic[0:-6]+'r.jpeg'

print(newpic)

downloader(newpic,savepath)

```

liuxingou

Oct 28, 2016

@creaer
@tumbzzc

不对，刚刚才想到，有的地方是 jpg ，有的地方是 jpeg 。

用 kmp 搜索一下_b 所在位置，把这个位置替换成_r ，这样才是完美思路。

TKKONE

PRO

Oct 28, 2016 via iPhone

@liuxingou 那要那么麻烦
[re.sub('_b','_r',pic) for pic in pics]

liuxingou

Oct 28, 2016

for pic in pictures:
print(pic)

tmp='_b'

n=kmp_matcher(pic,tmp)

print(n)

newpic=pic[0:n+1]+'r'+pic[n+2:]

print(newpic)

downloader(newpic,savepath)

TKKONE

PRO

Oct 28, 2016 via iPhone

@liuxingou 你这一点都不优雅，看我上面的正则替换

guonning

Oct 28, 2016 via Android

期待 tumblr 的爬虫

xiaozi

Oct 29, 2016

老...司...机...

TKKONE

PRO

Oct 29, 2016 via iPhone

@xiaozi 我只是技术爱好者（微笑🙂）

lc4t

Oct 29, 2016

@moonkiller
@wjm2038
刚刚自己写了一个。。
https://github.com/lc4t/tumblr_download

liuxingou

Oct 29, 2016

@tumbzzc

正解了，第一反应是 kmp 而居然不是用正则，还是实际应用太少导致的。

@lc4t
这就去学习一下， 3 还是 2 的？

forestyuan

Oct 29, 2016

看胸看腿为什么去知乎呢？不是有很多更好的地方嘛……

mingyun

Oct 29, 2016

@lc4t python3 还得改好多，哎，比如 print 和 from io import StringIO ，有个问题 session 不是可以直接用吗？为什么要在函数用 global 引用呢

TabrisNagisa

Oct 29, 2016

厉害了我的哥 hhh