想给三年级的娃做一个语音背单词 app,场景很简单:app 通过 tts 念出单词中英文,用 stt 将娃说的字母和原词对比,看是否一致,全程语音完成,不用看手机,保护视力——这么杀手级的应用,为什么所有智能音箱都没做呢?
我试用了如下工具和库:
app: “请背单词星期一,Monday ”
娃: “ M O N D A Y ”
app: “您说的是 MNDEY,请重试”
娃: “...”
正确率最好的(iOS)也不过六七成正确率左右,这里是每个字母的听写正确率,几个字母连一块能否认对基本就看脸了。 ——请注意,这里的“ M O N D A Y ”为了使用体验,必须进行整体识别。如果加个按钮,按一下识别一个字母倒是可以把正确率提高到 99%以上——但这样做 app 还有人愿意用吗?
说白了 iOS 的近场语音识别还是面向正常会话和整句逻辑建模,拿来背单词显然不合适,不过因此发现了一个听写的各种用法合集,通过各种预定义 annotation 来实现特种输入,Apple 也不容易......
目前能想到的唯一方案,这哥们做过类似的,就是把常用 1500 单词列出来,让娃从头到尾拼写一遍,我录音、手动标注之后用 TF 调参训练,再导入 CoreML,听起来很有爱,但只对一个娃有效......
——谨献给认为 AI 即将统治世界的人们
1
wutiantong 2018 年 11 月 23 日
Good idea, I will try
|
2
XIAOAcao 2018 年 11 月 23 日
京东叮咚智能音箱上有一款单词拼写的语音技能。
|
3
marcushbs OP @wutiantong 有进展请这里通知一下啊!
|
4
marcushbs OP @XIAOAcao
··· 技能使用说明: 1、直接说出想要查询的单词,中文或英文都可以:苹果、苹果的英语怎么说、苹果怎么拼 2、没听清可以说:重复一遍 ··· 这个 stt 模型还是通用的,和听写 letter 不一样 |
7
KingEngine 2018 年 11 月 23 日
从步步高学习机上提取软件。。哈哈
|
9
SeaRecluse 2018 年 11 月 23 日 你这个需求正则表达就够了。现在的语音助手还是一种宽泛式的,而你这个是一个专门的需求,所以没必要做。
|
10
nedu 2018 年 11 月 23 日
这个各个 AI 助手都可以实现吧
|
11
nedu 2018 年 11 月 23 日
可以尝试在 Google assistant 平台上做开发
|
12
Newbing 2018 年 11 月 24 日
楼主说的这个其实不容易实现,识别单个字母还是有很多问题的。很多 ASR 都是针对词组 /短语做优化。
|
13
Newbing 2018 年 11 月 24 日
再补充一点,有的孩子可能擅长图形记忆,有的孩子可能擅长声音记忆。
|