用 AI 写代码节奏很快,不管是新功能的上线,还是一些 bug 的修复。
但如果上线给用户用,出问题了总会是很麻烦的事情。
大家现在有什么样的技巧或者方式去做测试呢? DDD ?自动化测试?还是有什么测试 Harness ?
用 AI 写代码节奏很快,不管是新功能的上线,还是一些 bug 的修复。
但如果上线给用户用,出问题了总会是很麻烦的事情。
大家现在有什么样的技巧或者方式去做测试呢? DDD ?自动化测试?还是有什么测试 Harness ?
1
yidinghe PRO 那就让 AI 把测试也搭建起来跑。
|
2
pendulum 11h 29m ago 自己写的/别人写的就放心上线?也许你只是缺个背锅的
|
3
vance123 11h 21m ago
自动化测试, 要做到 agent 自我迭代
|
4
milkleeeeee 11h 17m ago ai 写完了会自己驱动浏览器、命令行工具或上服务器实测的,比人测的还全面
|
5
xooass 11h 16m ago 先自测,再互测,codex 写 claude 测,claude 写 codex 测
|
6
raycool 11h 3m ago
AI 写的代码目测比绝大部分程序员写的好。
同时测试覆盖度也还可以。 |
7
kujou 11h 2m ago
我自己用当然不放心,但是大多数人写代码都是给老板写的,都是给别人写的,只要说一句,写代码又不会死人,就安心的交付了。
|
8
Chuckle 10h 43m ago
看客户,客户要速度,不嫌 bug 多,弄点灰度、AB 集群兜底就行了,有故障就修。要是要质量,那就老老实实测吧,出了问题也是自己的锅。ai 又不懂业务,不懂客户要什么,没啥办法。
|
9
noahhhh 10h 41m ago via Android
写好文档,把测试方法和边界扔给 AI ,SOTA 模型基本都能搞定
|
10
MindMindMax 10h 37m ago
@milkleeeeee 没有人类专业 QA 覆盖的全。
|
11
milkleeeeee 10h 34m ago
@MindMindMax 是的,但这就不是我关心的事情了,公司愿意花钱请人类专业 QA 最好,反正 ai 测的比我自己一个人测的又快又好
|
12
MrL21 10h 34m ago 那 leader 按排下属写的代码怎么放心上线的。
|
13
SuperDaniel313 10h 25m ago 我的项目在收尾,刚巧问了 Gemini 这个场景。这句格言引用的很有意思:
Software is never finished, only released. 只要是软件都有 bug ,这不是摆烂的理由,但要接受这个事实,不要因此而焦虑。 没发现 bug 说明根本没人用,追求完美是永远无法发布的。 |
14
z1154505909 10h 13m ago
我只能确保按照我的理解的业务逻辑让 ai 进行测试覆盖,至于你硬要去啤酒馆硬点鲱鱼罐头蛋炒饭,不在我考虑范围内
|
15
afkool 9h 47m ago
我以前也很焦虑,但上线了以后发现,也就那样。。关键的东西都走内网,走不了的都在 nginx 层面加 IP 白名单。
|
16
zeni123 9h 46m ago
自己写代码的时候 我也不放心自己写的代码上线。但是无论任何时候,产品经理都放心得很...
|
17
wangcongming 9h 44m ago
自己再用 ai 过下 cr ,现在发现其实用上 ai 后,整个后端的代码质量是提升的,事故也大大减少
|
18
MYDB 9h 43m ago
自己先用一遍,就能发现 90%的常见 bug 了,用户一般发现的都是罕见 bug ,用户提交这种 bug 我都是直接给一笔余额,不过不能提现/不能代充
|
19
wildwind2333 OP @yidinghe APP 测试怎么搭?我之前没写过 APP 代码,现在都是 AI 写,测试只能自己点点点,但架不住覆盖不全。所以想着有没有什么 AI 自动化测试的轮子
|
20
wildwind2333 OP @vance123 有什么轮子吗?
|
21
wildwind2333 OP @milkleeeeee APP 的怎么搞?
|
22
yidinghe PRO @wildwind2333 用 ADB 啊,我之前手机发现后退按钮总是不灵,我让 AI 连上 ADB 帮我调试,全程 AI 自己规划,要我帮忙开什么权限我就照做,最后 AI 找出来是有个 app 故意在屏幕上放了一个 1x1 透明悬浮窗,定时抢走焦点导致的。我就取消掉了其悬浮窗权限,问题解决了。
|
23
deplives 9h 21m ago
现在的 ai 写代码的水平至少能秒掉 95% 以上的程序员
|
24
V2Try 7h 39m ago via iPhone
ChatGPT 家的模型真的太爱测试了,我没有测试的项目他也会自己搭一套。
|
25
itbunan 7h 26m ago
只要不涉及付钱,放心大胆的搞吧。 我仔细看过了,我比较菜。比 AI 菜多了,AI 都想不到的问题,我更想不到了。
|
26
abbycin 5h 23m ago via Android
ai 写代码,然后 ai 先 review ,然后人工 review ,关键的地方用 tla+做形式化验证,反正我是这么来的
|
27
layxy 5h 15m ago
不放心,我一般会 review 一遍
|
28
break 5h 5m ago |
29
bl 5h 5m ago
ai 写完自己验证结果
|
30
milkleeeeee 4h 12m ago
@break AI 的自我评价挺中肯的
|
31
sampeng 3h 54m ago via iPhone
跑了 1 年,我就一个结论。不要相信 ai 写的单元测试…因为他的单元测试永远挡不住问题,永远是看了代码写的单元测试。我现在不 review 代码,只 review 单元测试代码,狗屁的强太多。一半的的测试都是看起来正确。
|
32
AEDaydreamer 3h 13m ago
单独一个 agent 写集成和 e2e 用例,并且人类 review ,然后 simulator 测试,就是比较费 token 。
|
33
mushuanl 3h 12m ago
AI 写的代码人类难以 review. 我一般先 ai 出一个原型然后完善,然后自己调整框架架构,对主要功能流程觉得合理后,
自己先跑跑,收集信息,记录功能性和非功能性问题是否存在,然后解决,迭代几个周期基本稳定后上线拿用户当小白鼠。 |
34
413420 3h 4m ago
上线了再说
|
35
eagleoflqj 2h 19m ago via iPhone
同事都用 AI ,还不一定有你测得全,不必内耗
一个 session 写,一个 session 审,直到收敛 不要看代码,只要看更改的文件范围是否符合预期 AI 的单测要有,这是你没有乱改的唯一证据 自己在测试服手动跑一遍 happy path ,unhappy paths 太多了根本跑不过来,有问题是下一个 ticket 的事 |
36
659746321 2h 15m ago
如果你自己的想法你应该有明确的产品流程,然后慢慢的测试 bug ,让 codex 审查代码,修改后 claude 在查一遍,第一步能查出非常多问题修复后基本都是没为什么问题。服务器安全可以让 codex 攻击自己的服务器也会很明确安全策略。普通的人写的代码真多还不如 ai 写的。bug 更多。
|
37
yunyuyuan 1h 51m ago
开发的时候让 AI 遇事不决多停下来问,开发完成之后自己测试常见 case ,pr 让其他模型交叉 review ,就上线,发现 bug 再修呗。
|
38
issakchill 1h 39m ago
没办法 ai 落地之后 需求给的时间更短了 ai 做完 用 ai review 然后再用 ai 修修补补推上去好了
|
39
gloeaerris 1h 37m ago
你要是带过团队,你手下的人的代码你是怎么放心上线的,agent 的代码就怎么放心上线,这有什么区别吗,还是说 agent 开发的代码你直接不测就上线?
|
40
strobber16 1h 24m ago via Android
boom ,先爆炸,炸一次你就知道了
|
41
wangxiaoer 1h 17m ago
@milkleeeeee #4 不是很理解,他怎么知道页面里面加载的数据正常呢? 比如这个查询接口筛选的数据根本就不对。
|
42
Lockroach 41 mins ago
做好单元测试和回归测试,再完成前端自动化测试,如果接入支付这些重要系统则自己 review 一下
|
43
x86 24 mins ago
自己写的就更不放心了🤣
|
44
Sinksky 9 mins ago
听过一个新能源汽车的分享
产品开发本质都是风险管理,只要风险可控范围内不出大问题上线,就算成功 |