推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3948 天前的主题，其中的信息可能已经有所发展或是发生改变。
文件里包含 3 列：
词 词频 词性
貌似在 GitHub 上没有提供这个 dict.txt 的训练工具
词 词频 词性
貌似在 GitHub 上没有提供这个 dict.txt 的训练工具
 |
1
ryon 2014-01-15 14:17:18 +08:00
同关注，希望有人提供个解决方案
|
 |
2
eric 2014-01-15 14:23:13 +08:00
我以前做自然语言处理项目的时候是用的北大的人民日报的语料库，可以在 http://www.icl.pku.edu.cn/icl_res/ 申请下载。
这个语料库已经完成了词语切分和语料标注，简单写个脚本跑一下就能生成 dict.txt 的那个格式了。 |
 |
3
chundong 2014-01-15 14:44:33 +08:00  1
jieba项目上面有说明：
> 来源主要有两个，一个是网上能下载到的1998人民日报的切分语料还有一个msr的切分语料。另一个是我自己收集的一些txt小说，用ictclas把他们切分（可能有一定误差）。 然后用python脚本统计词频。 https://github.com/fxsjy/jieba/issues/7 词库的话，搜狗有一个互联网词库， http://www.sogou.com/labs/dl/w.html |
 |
4
fanzeyi 2014-01-15 15:34:05 +08:00
|
 |
5
ling0322 2014-01-16 12:34:23 +08:00
可以找一些很大的小说合集，或者手写一个爬虫爬新闻或者博客，然后用Stanford Word Segmenter去分词，再用Stanford POS Tagger去标注词性。这两个软件都是开源的。
最后再写一个脚本统计每个词对应的词性出现的次数就OK了 |
Select Language