V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hackingwu
V2EX  ›  程序员

我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?

  •  
  •   hackingwu ·
    hackingwu · Jan 24, 2022 · 3980 views
    This topic created in 1553 days ago, the information mentioned may be changed or developed.

    我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?并计算出我们提效了多少呢? 如果我们看测试周期,可是即使周期变短了,也可能是他们熟练度提高,服务端质量提高了。 那要怎么证明是我们平台做了提效呢?并能有量化的数据。

    23 replies    2022-01-27 11:44:35 +08:00
    chtcrack
        1
    chtcrack  
       Jan 24, 2022   ❤️ 1
    那得老板懂得看代码,否则就是对牛弹琴,无任何意义.
    现在有很多私人老板完全不懂程序代码,属于外行管内行,碰上这种,你就当你自己做贡献,别想那么多了,最多提一句,别指望不懂程序的老板懂这个.
    dilu
        2
    dilu  
       Jan 24, 2022
    1. bug 率 例如以 1 个月为周期,用你的平台前 1 个月和后一个月 bug 率 即总 bug 数 /(需求*人日)
    2. 历史 case 回归时长占比,调研所有测试 case 中回归逻辑占比,时间同上
    3. 同样的时间周期,测试时间占比整个项目立项周期 看看是不是变短了
    micean
        3
    micean  
       Jan 24, 2022
    熟练度再高也比不过机器啊
    量化指标的话,综合测试用例总数和平均时间?
    geeksammao
        4
    geeksammao  
       Jan 24, 2022
    如果你是靠这个平台来作为业绩,那主要就是考验你的汇报、pr 能力了,即使是“他们熟练度提高”了你也要主动忽略掉再用话术包装成是你的平台的功劳。
    因为效率这种东西很多时候就不是能特别量化清楚并归因的指标,只要东西能做到 70 、80 分,剩下的就靠宣传和包装了。
    Renzo
        5
    Renzo  
       Jan 24, 2022
    感觉一个新的工具上线在短期内一定会让效率下降才对,长期才会让效率上升。还是着重于画饼汇报吧。。。
    otakustay
        6
    otakustay  
       Jan 24, 2022
    我们有一个指标,需求开发完成(待测试)到最终上线的时长,自动测试化应该能很大程度上缩短这个时间,这个短绝对不是人靠熟练能做到的,不然自动化干啥
    msg7086
        7
    msg7086  
       Jan 24, 2022
    主要就是 Story 完成时间和 Story 上线后的 bug 率。
    有良好自动化测试覆盖的程序上线以后出 Bug 的概率应该会很小,而且不需要很多人工去手动测试和反馈。
    jones2000
        8
    jones2000  
       Jan 24, 2022
    开源你的自动化测试平台, 如果用的人多说明确实可以提效, 如果没人用,基本就是再自嗨。
    hackingwu
        9
    hackingwu  
    OP
       Jan 24, 2022
    @Renzo 或者后续有哪些指标可以佐证。因为还需要采集数据。
    hackingwu
        10
    hackingwu  
    OP
       Jan 24, 2022
    @jones2000 公司内部平台, 会有人用。但是用完提效如何,我们要有数据支撑的。
    hackingwu
        11
    hackingwu  
    OP
       Jan 24, 2022
    @msg7086 是,但是怎么证明是我们平台起了效果呢?
    hackingwu
        12
    hackingwu  
    OP
       Jan 24, 2022
    @geeksammao 老板想看数据, 提质增效的数据证明。
    hackingwu
        13
    hackingwu  
    OP
       Jan 24, 2022
    @micean 平均时间指的是?
    hackingwu
        14
    hackingwu  
    OP
       Jan 24, 2022
    @dilu 好的,谢谢。
    micean
        15
    micean  
       Jan 24, 2022
    @hackingwu

    一个迭代里,测试的累计工时 /测试用例的数量
    jones2000
        16
    jones2000  
       Jan 24, 2022
    @hackingwu 每天的常规测试,晚上编译最新版本自动跑完所有的 test case, 发测试报告。 把每天的报告统计下就可以做很多报告了,
    如开发人员代码质量, 通过统计每天常规测试通过率。
    如测试代码覆盖率, 通过统计每天的测试代码覆盖率,可以知道测试部门测试用例是否可以跟上开发进度
    .......
    有用的东西都是要得罪人,如果没有相应的规章或(老板支持)基本是做不下去的。
    c8c
        17
    c8c  
       Jan 24, 2022
    既然是自动化测试,那么测试执行时间肯定是要大大缩短了啊。譬如同样 100 个 测试用例,手动跑需要一个星期,用自动化测试 3 天就好了。

    这不就是提高么?
    nullboy
        18
    nullboy  
       Jan 24, 2022
    自动化测试平台 == 没卵用
    nanlou
        19
    nanlou  
       Jan 24, 2022
    线下问题拦截率,线上问题拦截率,线上召回数量,人效,ROI 计算 blabla 一大堆指标...
    SmiteChow
        20
    SmiteChow  
       Jan 25, 2022
    证明不了
    SmiteChow
        21
    SmiteChow  
       Jan 25, 2022
    因为你没有原始数据
    flyingghost
        22
    flyingghost  
       Jan 25, 2022
    自动化 = 可重复。
    例如每次发布 /每次代码变更 /每次提交,都要跑一次核心用例回归。
    以前:一次回归人时数 * 每月总次数 = 人月数。
    现在:0

    老板,我帮你省了 n 个测试人力!
    hackingwu
        23
    hackingwu  
    OP
       Jan 27, 2022
    @dilu bug 率统计的是线上 bug 率吗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6057 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 105ms · UTC 02:12 · PVG 10:12 · LAX 19:12 · JFK 22:12
    ♥ Do have faith in what you're doing.