V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3369 days ago, the information mentioned may be changed or developed.
英文的分词也不只是用空格分开那么简单，比如： The golden gate bridge is located in San Francisco ，这句话如果简单的用空格 explode 的话，最终会将“ golden gate bridge ”以及“ San Francisco ”给分拆开来而失去原有的意义，有没有这方面英文词组相关的分词 api 或者开源程序？
 |
1
knightdf Feb 15, 2017
你想多了，这已经不是简单的分词了，是 entity extraction 了
|
 |
2
ligyxy Feb 15, 2017 via Android
second order phrase model
|
 |
3
yangyaofei Feb 15, 2017 via Android
@knightdf 这不是 n-gram 么……
|
 |
4
neurocomputing Feb 15, 2017
stanford 有开源的 NLP 包
|
 |
5
slixurd Feb 15, 2017
所以一般英文处理的时候会保留位置信息...
|
|
6
knightdf Feb 15, 2017
@yangyaofei n-gram 只是方法
|
 |
8
cszeus Feb 16, 2017
是想做 named entity recognition 还是 tokenization?
|
|
9
cszeus Feb 16, 2017
反正可以看看 standford 的 http://nlp.stanford.edu/software/CRF-NER.shtml#Starting 或者 NLTK
|
 |
10
freeman Feb 16, 2017
还有那种没有空格的，比如： goldnecklace(gold necklace)
|
 |
11
holajamc Feb 16, 2017
斯坦福的 CoreNLP ，如果是 Java 程序员的话可以直接用，也可以配合 Python NLTK ，另外连续相同的单词首字母大写可以划分为一个词咩（逃
|
 |
12
liyu4 Feb 16, 2017
wocao ，英文分词你还要怎么样！
|
 |
13
BarryLu Nov 16, 2020
您好！请问一下，这个分词需求您后来用什么解决了？
|
Select Language