现在是否有抵御网页反爬机制的网页存笔记的开源软件？比如可以加延时参数？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 377 days ago, the information mentioned may be changed or developed.

含多图的网页图文存成笔记，但是大量图片会被替换成纯水印图片

原图如( https://i10.hoopchina.com.cn/editor/e08a7b98516ecef6f8951c860704c907_w_234_h_329_.jpeg?x-oss-process=image/resize,w_800/format,webp)

被统一替换为( https://w4.hoopchina.com.cn/images/m/default_img_new.png)

似乎是触发了反爬虫机制？用了 joplin NOTE 和 Obsidian Web Clipper 都是一样结果。

现在比较笨的办法就是手动分次选中存取，最后进行笔记合并
[187 页 PPT ，讲清楚从毛坯到入住全流程！点个赞不过分吧！-家装房产区-虎扑社区]( https://bbs.hupu.com/632795761_75999689795421.html)

[img]

[/img]

PS:不考虑把整个网页存成一整张图片这种难以编辑的方法

Supplement 1 · May 24, 2025

最后结帖总结下：最终的标准答案就是 lazy load 的问题。
我耐心把网页慢慢滚一遍然后扩展就能完整保存下来了！

感谢 @mercury233

Supplement 2 · May 25, 2025

对于大量图片的网页可以用打印预览来检查图片是否彻底加载，即使网页上视觉上加载了（可能还没完全转换为 webp ？），但是对于笔记软件扩展或者“浏览器的网页打印”来说并没有实际上彻底的加载（需要网页慢慢滚才行），

应该是图片网址后面的服务器参数的造成的独特的问题：

“x-oss-process=image/resize,w_800/format,webp 是阿里云对象存储服务（ OSS ）提供的图片处理参数。”

反爬虫

网页笔记

开源软件

8 replies • 2025-05-25 00:22:58 +08:00

w568w

May 24, 2025

这种反爬一般都是 HTTP Referer

mercury233

May 24, 2025

更像是 lazyload 之类的优化

NewYear

May 24, 2025

笔记软件带的浏览器插件应该可以解决。
通过油猴脚本应该也可以，先把 src 变成 base64 的文件值
可能已经有这样的插件或者油猴脚本了，得找找，或者用 AI 写一个

说这个我就不得不提一下 QQ 的笔记，截图过去的图片根本就没存，然后随便从其他的笔记里弄一张图片过来代替，而且当场无法发现，过几天缓存没了一看，哦豁。