Daniel6606

来看看这个开源 9B 模型的审美吧

  •  
  •   Daniel6606 · 1h 12m ago · 152 views

    今天商汤开源了 SenseNova Loop 9B 正式版,能看图、写代码、分析数据并配合工具完成复杂任务,同时更容易部署在自己设备上,9B 的权重就能白嫖 27B 的推理能力

    官方做了一个很有意思的实验:保持 9B 权重不变,把训练和推理的循环次数从 1 次加到 3~4 次,LiveCodeBench V6 和办公数据分析任务的分数还能继续涨 6.4% ~ 16.9%

    虽然为了兼顾推理速度默认设了 2 次循环,但后续如果搞出按任务难度自动分配循环次数的 Dynamic Loop,端侧和小显卡跑强推理就更有戏了

    因为是国产模型,所以除了英伟达的卡之外,国产的 GPU 也能适配:如寒武纪、摩尔、海光、沐曦、天数等

    链接:

    先看几个效果:

    1. 漂亮网页的制作:《海岸线以外》摄影杂志式的网页

    2. 《字形接力 TYPE RELAY》动态字体交互网站:

    3. 《失真频率 DISTORTION FM》音乐节动态海报网页

    4. 3D 网页:《仙家集市》(Three.js)

    为啥这个模型叫 loop 呢?

    普通模型可以理解为:一道题沿着流水线走一遍,逐层处理。 SenseNova Loop 则是:

    1. 先经过开头的 4 层。
    2. 经过中间的 24 层。
    3. 拿着刚才处理后的结果,再经过同一组 24 层。
    4. 最后经过结尾的 4 层,输出结果

    模型架构图:

    主要的亮点是:

    • 共享循环模块(物理 32 层 -> 实际计算 56 层):模型物理上只有 32 层解码器(只需加载约 9B 的 BF16 权重),但它在前向传播时,把中间的第 4~27 层(共 24 层)循环执行了 2 遍()。算下来一次前向传播走了 4 + 24×2 + 4 = 56 层,推理等效参数规模直接拉到了 14.6B

    • 双流 mHC(流形约束超连接):单纯把层循环跑两遍很容易特征退化。它引入了双残差流设计,通过可学习的路由映射(20 次 Sinkhorn 归一化迭代)在两条残差流之间动态混合信息,每次循环前先读流、算完再写回

    • 混合注意力 + 512K 超长上下文:每 4 层为一组(3 层线性注意力 + 1 层全注意力),兼顾了循环对齐和长文本效率,原生支持图文输入和 512K tokens 上下文

    Benchmark:

    在 Agent 和代码榜单上,正式版相比 Preview 提升非常猛,直接和 Qwen3.8-27B 掰手腕:

    • NL2Repo(代码仓库生成):拿到 45.68,反超了 Qwen3.8-27B 的 44.60
    • GAIA(通用 Agent):达到 69.90(Preview 只有 37.86),略超 Qwen3.8-27B 的 66.99
    • BIRD & AIDABench(数据分析/SQL):分别达到 72.34 和 62.46~65.31,基本追平甚至微超 27B 级别模型

    1 replies  •  2026-11-18 00:45:26 +08:00
    iintothewind
    iintothewind
    36 mins ago
    1
    正式版放出了?
    这么快, 我认为这个模型非常有意思, 值得尝试.

    其实企业 agent 落地, 9b 模型是很好的选择, 在我们这边 9b 是主力模型, 承担了大部分的场景任务. 每天好几亿的消耗量, 在线模型的 API 花销真的不小.
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1293 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 17:22 · PVG 01:22 · LAX 09:22 · JFK 12:22
    ♥ Do have faith in what you're doing.