假设要学习一门计算机课程, 例如 CS 164 或者 CS 110L, 有朋友来分享一下现阶段的 AI 工具生成笔记的最佳实践吗?
我之前在没有 AI 辅助时的做法:
- 把课程的 Lectures/Slides/Homework/Assignments 原版英文材料转换成 markdown 格式笔记文件, 创建一个 github 仓库同步.
- 对教程视频使用 whisper 模型生成英文字幕.
- 在看课程视频和做 Homework 或者 Assignments 的时候对照着 markdown 格式的笔记增加自己的理解和附注, 将视频中的关键图示截图或者做 Assignments 时的关键思路插入笔记中.
这样做的好处是可以最大程度信任自己的笔记内容, 因为这些信息要么是课程原版, 要么是经过自己测试验证过的. 这样一来就可以作为自己的高可信度知识库材料, 以后就可以随时检索, 不用费心分辨大模型给出的可能有误的信息.
但这种方式的最大缺点是会花费非常多的时间在笔记整理上. 例如一节课程大约是 1 到 1.5 小时, 如果要产出完全覆盖视频内容且包括视频中所有关键图示的笔记文件, 差不多需要 3-5 倍的时间. 所以我就想是否能让 AI 来解决这个整理笔记的体力劳动过程, 把更多时间投入到思考概念和解决方案中.
现在遇到的问题是, 我试过的一些现有的云端 AI 工具 (例如 NoteBookLM) 都只是基于视频的字幕文件或者视频的语音来生成笔记内容, 几乎没有视频的图像信息, 因此也就无法将视频中的关键图示插入笔记中. NoteBookLM 可以做到上传课程材料和视频文件, 然后向他提问概念, 但是做不到完整提取视频信息并生成笔记文件. 对于长度超过 1 小时的单个章节课程视频, 云端工具也是大概率不支持一次性或者分段处理的.
不知道有没有利用开源模型来完成这种从课程材料和课程视频生成非常详尽的图文笔记的开源项目? 实在没有的话只能自己动手写一个试试了, 目前的思路是用 qwen3:14b + glm-ocr/deepseek-ocr + ffmpeg 来实现,但是估计以我手上能用的硬件(Tesla P40)跑到冒烟才能跑完一个视频的内容.
第 1 条附言 · 11 小时 27 分钟前
目前测试过的几种备选方案：
-
NotebookLM 方案 (Pro 订阅)
支持从 Google drive 中直接导入视频，没有时长和文件大小限制
但是使用 prompt 生成笔记内容不够详细，且时间戳有错误。
目前看看起来限制最小的方案，优化流程中
-
gemini 方案 (Pro 订阅)
支持直接使用 google drive 中的视频文件，但 chat 中不支持时长超过 1 小时的视频，因此需要手动分割。
-
Google AI Studio 方案 (Free tier)：
-
支持插入视频文件或者直接使用 google drive 中的视频文件，时长可以超过 1 小时，但文件大小不能超过 400MB
-
tokens 消耗情况：
以 Berkeley CS164 2025 Fall 的第一章视频文件为例：
[P01]Lec 01 - What is a Compiler_.mp4文件大小：117 MB，视频时长：1:23:59从 google drive 中读取该视频插入 Google AI Studio 的 prompt 中，消耗的 token 数量约为 52 万（视频默认按 1 fps 解析）
send prompt 执行任务，30 秒后开始生成笔记内容，总耗时大约 1 分钟。
执行完任务后的总 token 消耗：522027 tokens
-
生成笔记质量评估：
太简略，完全不可用。
而且视频时间戳有问题，例如：
[[SCREENSHOT: 19:55 - 作业与考试的相关说明]]
-
 |
1
SuperDaniel313 14 小时 59 分钟前 via Android  2
前几天刚好发了一点评论，粘贴过来给 OP 参考一下。
没有 LLM 之前，很多人做笔记的习惯是为了留存一些知识，因为回溯原文的代价比较高，所以把书读薄了之后，自己总结抽象出来的知识，检索起来速度非常快。 但在 LLM 大爆发的这个时代，检索的效率比搜索引擎时代不知道高了多少。可以验证的方式多了很多，比如大模型之间交叉验证，或者直接让大模型联网搜索再验证。 每个人的学习习惯不同，我就打算抛弃这种抽象再总结的内容，不再考虑刻意留存了，只保留大概的印象。用到的时候，如果细节忘记了就直接问 LLM 。大块的内容记不住，那我写下来估计也不会再去看了。忘了就忘了吧，忘了说明不重要。 以下是其他帖子的内容参考 --- 最近刚好在高强度用 NotebookLM 学习新领域知识，体验下来，学习模式和传统是一样，但效率更高。 1. 出于现阶段 LLM 的局限性，学习依然依赖书籍，不敢完全信任 LLM 。也就是还是要靠读书为主。 2. 依然需要自己先阅读书籍，然后通过提问来让 LLM 参与进来进行分析。主动性依然在自己。 3. 知识的掌握程度依然依赖课后习题的测试来验证是否真正吸收，但 LLM 可以随时生成习题并进行解答。不是测记忆力，是测理解程度。 4. 先厚再薄依然是非常有效且必要的学习方法。没有这种能力在搜索时代已经被证实不大可能成为高价值的人才，在 AI 时代更加如此，马太效应更加明显。 5. LLM 已经可以扮演 7x24h 的辅导教授，它的上限取决于使用者的学习能力，RAG 很好地弥补了 LLM 幻觉的问题，可以跨学科辅导，比如财务、供应链和管理三个领域能融合在一起进行讲解。 6. 记忆不再成为约束条件的时候，学习能力和理解能力将成为瓶颈，死读书的时代马上就要终结了。 7. 应试教育只是传统教育走火入魔的结果，但不能否认传统教育还是有很多优点的，先学再测，不会再补这种模式并没有过时。 |
 |
2
cellsyx OP @SuperDaniel313 感谢回复.
我用过 NotebookLM, 它没有解决我的主要问题: 提取长视频中的内容信息. 比如视频里在讲解 maxflow-mincut 算法, 课程材料中可能只有一张结论的图, 但视频里有一步一步的推导过程. 如果是我手动记录笔记, 我会把每一步推导都截图下来并附上自己的理解. 但是 NotebookLM 显然做不到这点. |
|
3
SuperDaniel313 14 小时 43 分钟前 via Android
@cellsyx 如果你能搞到这个课程的课件，或者说它的课本，那么把这些直接送到 NotebookLM 里面。然后再针对具体的知识点进行提问，这个时候 NotebookLM 的回答是相对靠谱的。再不济的情况下，把这种知识点相关的算法书直接上传上去，应该也是等效的。
获取正确知识或者说权威知识的手段，不一定要靠视频课程。你可以取 NotebookLM 的长，然后去补它的短。课程只是让你方便理解知识，书籍上也会有很多这种知识。 我不是很喜欢视频课程，因为检索起来非常麻烦。就像你现在遇到的问题，本质上就是因为视频这种媒介产生的检索问题。知识传递效率最高的还是文本。所以我建议，OP 要不尝试换个方法试试？你要的只是知识，而不是视频，对吧？ |
|
4
cellsyx OP @SuperDaniel313 我的意思是, 我已经确定了要学的知识范围, 也已经把课件/教材/视频内容都传到 NotebookLM 里面了. 我目前需要的是让他替我执行*整理初版笔记*这个偏向体力劳动的过程, 而不是简单的问答. 但 NotebookLM 面对长视频场景做不到这点, 所以我才想要找其他的方案, 或者自己写一个项目来完成这个任务.
这样在之后对照视频的学习过程中可以尽量减少 截图-调整笔记 这个步骤的耗时, 更专注在理解和思考上面. |
Select Language