ydt0728
V2EX  ›  问与答

麻将洗牌 40 张牌跟踪, YOLO+ByteTrack 累积 1942 ID, SAM 2 / Cutie / CoTracker3 哪个能救?

  •  
  •   ydt0728 · May 27 · 1530 views
    学习项目. 单视角 RGB 1080p@25fps, 洗牌 60-120s, 求洗牌前 → 洗牌后 40 张牌的位置映射.

    数据特点

    40 张牌外观近似, 无 re-ID 特征, 背面同色
    手覆盖 60-80% 帧, 单牌可完全遮挡 1-3s
    频繁翻面, 严格目标数上限 = 40
    已试 + 失败

    YOLO11-Seg 检测 ✓ 静态准, 密集叠加漏
    ByteTrack ✗ 60s 累积 1942 ID (理应 40), 卡尔曼+IoU 假设被遮挡彻底破坏
    匈牙利 + lost-recovery 跨段匹配 ✗ 中段 cost matrix 退化为噪声
    人工逐帧 fallback ✓ 但 60 min/副, 成本太高
    在看的方案 SAM 2 video predictor / Cutie / DAM / MASA / CoTracker3 / TAPIR / HaMeR (3D 手部 pose) / ProPainter (擦手部)

    求建议

    玩过 SAM 2 / Cutie / CoTracker3 实战, 或做过 surgical instrument tracking / 同队服球员跟踪 / shell game 视觉问题的同行 — 哪条路在"40 个相似目标 + 持续遮挡"这个 regime 最稳? 论文 / 代码 / 工程踩坑都欢迎. 评论或私信均可.
    16 replies    2026-05-28 22:42:58 +08:00
    thedog
        1
    thedog  
       May 27
    你们是在做老千牌桌吗
    thedog
        2
    thedog  
       May 27
    真是赚钱的项目
    ydt0728
        3
    ydt0728  
    OP
       May 27
    @thedog 老千牌桌就不需要用这么复杂的视觉了。直接标记或者 frid 芯片了。纯研究
    Perchouli
        4
    Perchouli  
       May 27
    好玩,想起之前看过的一个研究:vetbench.github.io Can Vision-Language Models Solve the Shell Game
    它是用三仙归洞的案例,和 [遮挡+目标跟踪] 这个类似。不过它是想说 LLM 对于状态记忆的问题,提出了 SGCoT ,类比麻将就是记住牌的 [物体的运动轨迹] 。40 张麻将牌要复杂得多,我不是做 CV 的,不太懂。
    Tink
        5
    Tink  
    PRO
       May 27
    有兴趣,关注关注
    sduoduo233
        6
    sduoduo233  
       May 27 via Android
    有示例视频吗 想试试
    moudy
        7
    moudy  
       May 27
    这个不抗麻将机攻击啊
    ydt0728
        8
    ydt0728  
    OP
       May 27
    @sduoduo233 V:YnB0ODE4==
    tywtyw2002
        9
    tywtyw2002  
       May 28 via iPhone
    你先手动试试能不能追踪明白。手动能追踪明白在上 AI 。
    否则最后经过几次轨迹概率分析叠加后,结果几乎不可用。
    Tink
        10
    Tink  
    PRO
       May 28
    @tywtyw2002 正文里不是写了人工通过了么
    minmini
        11
    minmini  
       May 28
    @thedog #1 做在眼镜上面,云(手机)端计算
    ydt0728
        12
    ydt0728  
    OP
       May 28
    @minmini 现实都是麻将机 不是手洗呀 哈哈
    tywtyw2002
        13
    tywtyw2002  
       May 28
    @Tink 问题是人工能达到 100%的精确度吗?还是说精确度有多少。

    麻将洗牌的时候,完全可以做到 2-3 张牌在被手完全盖住的情况下,调换位置,这个完全没法追踪,只能概率实现。


    以前做停车场汽车追踪的时候,同型号汽车不按照车牌识别,但是经过遮挡路段就会完全丢失,只能根据速度和车流时间去猜,猜测结果还不如随机数(可能是水平太差)。最后还得上车牌识别才能追踪。
    ydt0728
        14
    ydt0728  
    OP
       May 28
    @tywtyw2002 是的问题就是 有时候会短暂遮挡,然后再出现的时候 要怎么定位跟踪
    ydt0728
        15
    ydt0728  
    OP
       May 28
    @tywtyw2002 可以 V:YnB0ODE4== 我发点视频素材给你 给点建议可以吗
    tywtyw2002
        16
    tywtyw2002  
       May 28
    @ydt0728 我搞不出来,没怎么研究这个领域。

    有可能就是找特征,麻将的质地应该是不均匀的,可能在特定光谱下,会有特征。这个入手是最容易实现的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3419 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 65ms · UTC 11:30 · PVG 19:30 · LAX 04:30 · JFK 07:30
    ♥ Do have faith in what you're doing.