console.table(Array.from(new Intl.Segmenter('cn', { granularity: 'word' }).segment('工信处女干事每月经过下属科室都要亲口交代 24 口交换机等技术性器件的安装工作')))
https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Intl/Segmenter
虽然效果一般但是可以用了。。。。
This topic created in 1632 days ago, the information mentioned may be changed or developed.
 |
WildCatMay 23, 2022
1
Safari 竟然也支持？
|
 |
2
这个测试用例有点屌。
|
18 |
3
浏览器鼠标双击选中文本就是自动分词的，以前想不通为什么不提供 JS 用，现在总算有了，不知道效果是否一样
|
 |
weixiangzheMay 23, 2022
4
 好像还不错 |
|
weixiangzheMay 23, 2022
5
 感觉确实效果一般 |
 |
lowerMay 23, 2022
6
console.table 在我 edge 浏览器里结果是 undefined ？
|
 |
selcaMay 23, 2022
8
@weixiangzhe #5 我这双击点击出来的文本，跟你的图好像是一样的，chrome
|
 |
BugesMay 23, 2022 via Android
9
你把这个测试用例发到墙内平台上试试，看看他们的分词效果如何。
|
 |
zagfaiMay 23, 2022
10
你这个用例。。。。。顶
|
 |
BiwoodMay 23, 2022
11
Firefox 竟然不支持
|
 |
shyrockMay 23, 2022
12
你这个用例是测试敏感词用的吧？
|
 |
HelsingMay 23, 2022 via iPhone
13
不一般的测试用例
|
 |
FelldeadbirdMay 23, 2022
14
这个分词好像只是做了常见的词语分词。
|
 |
Marionic0723May 23, 2022 via Android
15
我有一**立服务器
我买了一个 8**换机 学**者荣耀走位🔫 这都 naive 了，现在的特殊词汇过滤一般是多种方式结合审查，比如 bilibili ，如果在某食肉动物内容的视频下面，是连“学习一下”都发不出来，评论发出去不增加总数，刷新下不会立刻出现，而是先消失后出现，弹幕发出去马上被删除，给自己的弹幕点赞就知道了。 |
 |
AV1May 23, 2022
16
chrome 用户可以试试鼠标双击网页上的句子，你会发现 chrome 会自动选择中文词汇，正确率很高。所以我怀疑 chrome （或者哪个地方）很早就内置中文词库了。
|
 |
hamsterbaseMay 23, 2022
17
|
 |
lithiumiiMay 23, 2022 via Android
18
这个测试用例挺经典的吧，结巴里也有
|
 |
sixicatSep 25, 2023
20
参照这个写了个在线工具，我主要用于在 ios 上切 tb 虚拟商品链接或者收货地址这些长文本，快速复制。有兴趣的大佬可以瞅瞅，https://www.text-assistant.fsldai.com/en/segment
|
 |
rogererMay 22, 2024
21
@eason1874 浏览器提供的这个功能还是太粗糙了，比如你的这句话「浏览器鼠标双击选中文本就是自动分词的」，浏览器把「中文」当做一个词分割出来，应该是用高频词去贪心，并没用用到 context aware 的技术
|
|
rogererMay 22, 2024
22
@rogerer 实际上，分词并不能只通过词频去计算，特别是对于中文，错误率会很高。更精准的解决方案是让一个轻巧的 word2vec/bert based model 跑在前端，去实时地做分割。
|
Select Language