小白请教抓取网页，预期 404 或者 2M 内的网页，但是突然遇到 300M 的文件，怎么在全部下载完之前识别到？
pinews · 2020-12-19 22:39:50 +08:00 · 1462 次点击这是一个创建于 1419 天前的主题，其中的信息可能已经有所发展或是发生改变。
curl 试了好像暂时没找到办法！
 |
1
ysc3839 2020-12-19 22:43:57 +08:00
你是用 shell 脚本调用 curl 吗？用 --max-filesize 参数。
|
 |
2
pinews OP php_curl
谢谢，我试试！ |
 |
3
ClericPy 2020-12-19 22:53:35 +08:00
流式读写? 开始读之前先像楼上说的 Headers 里面看看 content-length
具体什么场景没描述, 就随便回复了下 |
 |
4
napsterwu 2020-12-19 23:28:20 +08:00 via iPhone
curl -X HEAD
|
Select Language