怎么抓取今日头条视频（ http://www.toutiao.com/video/），用 firebug 可以找到视频的 URL，但找不到 URL 拼接规律。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3489 days ago, the information mentioned may be changed or developed.

视频

今日

抓

取

12 replies • 2018-03-28 13:54:49 +08:00

jzp113

Oct 13, 2016

https://www.zybuluo.com/jzp113/note/497274

chendajun

Oct 13, 2016

@jzp113 非常感谢！！！

wang9571

Oct 13, 2016

@jzp113 厉害， V 站里的头条员工看到之后应该会改规则吧。还是要请教一下， r 、 s 取值需要使用 crc32 校验这一步是如何判断的啊？

jzp113

Oct 13, 2016

@wang9571 分析 js

chendajun

Oct 13, 2016

@jzp113 r 值是 17 位，估计有一定的规则生成。
@wang9571 V 站里没有头条员工吧？

wang9571

Oct 13, 2016

@jzp113 好吧，我还不会 js

wang9571

Oct 13, 2016

@chendajun 怎么会没有，我看到好几次头条在 V 站发招聘信息了

newhotter

Oct 13, 2016

何必分析 JS 。直接嗅探就好了（ Selenium+browsermob ）。。参考我的博客。
http://www.liuhao.me/2016/09/20/selenium_browsermob_sniff_bilibili_video/

backto17

Oct 13, 2016

@newhotter 学习了!不过要是能分析出 url 规律,爬取量大时, 速度会比你这种方式快很多,所以还是有必要分析的.

Hansah

Oct 13, 2016

maxthon 自带的嗅探器就能嗅探出来

chendajun

Oct 14, 2016

@backto17 个人也感觉通过分析 js 拿到 URL 比较好，用模拟浏览器的方法效率不高，太粗暴，不够优雅。

cangbaotu

Mar 28, 2018

可以参考这个： http://www.shenjian.io/index.php?r=market/product&product_id=500240