HLS 流视频媒体如何进行爬取

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

The Go Programming Language

› http://golang.org/

› Go Playground

Go Projects

› Revel Web Framework

这是一个创建于 2367 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬取

HLS

视频

媒体

13 条回复 • 2018-05-24 11:17:40 +08:00

xixi10111011

2018-05-23 19:02:32 +08:00

爬到 m3u8 然后爬里面的 fragment

gclm

2018-05-23 19:23:07 +08:00 via Android

同问，m3u8 有时都分析不出来。求个分析教程或者爬虫之类的东东

lanwairen123

2018-05-23 19:30:27 +08:00

ffmpeg -i http://url.to.m3u8 -c copy test.mp4 可以下载，用爬虫调用。

dtsover

2018-05-23 20:07:52 +08:00 via Android

学习了

whoami9894

2018-05-23 20:11:42 +08:00 via Android

@xixi10111011
@lanwairen123
感谢，我试试看

WildCat

2018-05-23 20:12:06 +08:00

@lanwairen123 ffmpeg 这种下载如何 load cookies ？

另外我觉得楼主是在准备下载 xx 小视频

whoami9894

2018-05-23 20:19:20 +08:00 via Android

@WildCat
哈哈，看来你对 xx 视频站挺有研究

chendajun

2018-05-23 20:22:47 +08:00

you-get oryoutube-dl 满足大部分需求

chendajun

2018-05-23 20:23:16 +08:00

@chendajun you-get or youtube-dl 满足大部分需求

crab

2018-05-23 20:23:56 +08:00

@WildCat 可以用 -headers 参数指定
-headers "User-Agent: XXX"
-headers "Cookie: XXX"

expkzb

2018-05-24 10:50:53 +08:00

@lanwairen123 之前查过资料，HLS 的 m3u8 文件应该是每秒要刷新一次的。不知道 ffmpeg 能不能适应这样的逻辑。

lanwairen123

2018-05-24 11:15:01 +08:00 via Android

@expkzb 不是每秒刷新的，是这个 url 一般都带时间戳和签名，过期就不行了，另外 m3u8 里面也有加密功能，密钥的 url 也有验证。

lanwairen123

2018-05-24 11:17:40 +08:00 via Android

@WildCat 10 楼正解，用-header 传进去