V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
yedaxia
V2EX  ›  分享创造

33 字幕: 支持多语种、有背景音乐也能准确识别的双语字幕软件

  •  
  •   yedaxia ·
    YeDaxia · 2023-08-21 17:39:54 +08:00 · 2375 次点击
    这是一个创建于 463 天前的主题,其中的信息可能已经有所发展或是发生改变。

    迭代了几个版本后,现在功能又强大了一点点...

    33 字幕是一个智能双语字幕工具。

    它基于 Whisper 语音识别大模型优化(非调用 openai 接口),能识别中英日韩、法语、泰语、西班牙、阿拉伯等 50 多种不同国家语言。

    经我们测试,它在识别外语准确度很棒,其中包括英语的部分西方语言,识别能力可以接近人类水平。

    为了进一步提升准确度,我们集成了预提取人声的 AI 模型,让有背景音乐的音频也能很好识别。

    翻译支持 DeepL 、微软、百度等翻译接口。

    可以点击这里查看 效果对比

    字幕软件这么多,该如何选择:

    1. 中文/英文单字幕:剪映
    2. 字幕调轴:aegisubarctime
    3. 小语种/双语字幕:33 字幕

    有 GPU 或愿意折腾的:

    1. buzz
    2. subtitleedit
    PS: Whisper 的小模型识别能力真的不行,普通设备跑不了大模型,即便能跑也会有一些问题,比如时间轴不准确,不建议普通人去折腾。
    

    这个软件源于我们内部需求,顺便做出来的。对于大部分中文视频博主来说,用剪映加个中文字幕就够了,还不用钱(字节在这方面非常厚道)。

    我们就没办法做到完全免费,GPU 服务器真的巨贵!

    有多一个选择总是好的,如果你有视频内容出海或者搬运的需求,说不定我们这个小软件可以帮到你。

    如果你想体验软件的功能,可以给我留言,我会给你回复 50000 算力额度的兑换码。

    9 条回复    2024-01-01 13:58:23 +08:00
    zhangsimon
        1
    zhangsimon  
       2023-08-21 17:43:13 +08:00
    关注 lz 作品了,很多围绕视频生产的工具,不错
    但有没有能提取视频字幕的工具啊(从硬字幕提取出 srt )?
    yedaxia
        2
    yedaxia  
    OP
       2023-08-21 17:52:59 +08:00
    @zhangsimon 之前有试过一个 OCR 的开源软件,效果不是很理想,不过关键是这个下来成本也便宜,可能还不如直接语音识别。
    Alias4ck
        3
    Alias4ck  
       2023-08-22 14:44:09 +08:00
    自己折腾 我用这两个 whisper.cpp 或者 fast-whisper
    fortree
        4
    fortree  
       2023-11-25 17:11:31 +08:00
    mac OS 版下载页面无法访问,是链接问题吗? https://oss.agilestudio.cn/app/zimu/33ZM-0.8.0.dmg
    yedaxia
        5
    yedaxia  
    OP
       2023-11-27 17:27:44 +08:00
    @fortree 奇怪,我这边可以正常下载。
    JackCkei
        6
    JackCkei  
       348 天前
    @yedaxia 楼主,我刚体验了一下,那个额度消耗太快了,一个 65 分钟的英文视频,用那个英文大模型,居然要 18000w 额度,送的那 1.5w 直接不够,有没有其他方法解决这种。我日常也会翻译视频来看和发布到网上,找过不少软件你这个是我看到体验最好的一款,剪映说实话现在不是很好用,而且小语种不好识别
    yedaxia
        7
    yedaxia  
    OP
       346 天前
    @JackCkei 谢谢肯定,识别的准确度我们还是有信心的,关于算力的问题,我们也是用云 GPU 在跑,成本是真的高,如果对比讯飞听见和绘影字幕这些软件,我们的定价已经是非常良心的了。

    另外我们在研究在本地部署模型 + 云端微调的方式,来进一步降低识别的成本,到时候应该可以以非常低的代价来生成字幕。

    可以期待一下。
    JackCkei
        8
    JackCkei  
       346 天前
    @yedaxia #7 那静候佳音了
    yedaxia
        9
    yedaxia  
    OP
       330 天前
    @JackCkei 我们已经支持了本地识别,虽然还有一些问题,但可以用了,我们后续会继续优化本地的识别效果。加上支持导入翻译字幕,目前制作双语字幕已经可以做到零成本使用了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3249 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:47 · PVG 20:47 · LAX 04:47 · JFK 07:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.