V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ColinZeb
V2EX  ›  问与答

现在文本分析技术发展到哪一步了?

  •  
  •   ColinZeb · 2018-01-19 10:31:52 +08:00 · 1868 次点击
    这是一个创建于 2499 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在我们要做一些文章中提取数据和分段(提取目录),比如一篇合同。

    提取出来的目录是

    1. 基本信息(甲方乙方
    2. 基本条款
    3. 附加条款
    4. 违约条款

    要提取出的数据是

    1. 甲方要求的交付期限
    2. 甲方付款笔数和金额
    3. 乙方违约金额

    这些只是举例,实际上可能会更多。

    不知道现在什么技术能做到,正则表达式肯定不用想了,格式太乱, 调试的时间和手工提取时间没差多少,再加上数据量很大,所以就没法考虑了。

    听说 google 有个 tensorflow 项目,但是不太了解能不能做到。

    请各位给点意见,或者说下招到能做到这样效果的技术人员薪资大概多少。

    6 条回复    2018-01-19 16:00:32 +08:00
    fengdra
        1
    fengdra  
       2018-01-19 11:36:56 +08:00 via Android   ❤️ 1
    现在的 NLP 技术很难理解语义,很多时候还不如手写正则表达式。
    如果非要用的话,大概有两种方式。第一种是找人标数据来训练端对端的模型,一般也只是用 SVM 之类的传统模型,不需要非常多的数据。
    第二种是用句法分析器之类的现成工具提取比较高级的特征,然后写规则。
    ColinZeb
        2
    ColinZeb  
    OP
       2018-01-19 11:51:43 +08:00
    @fengdra 感谢指引 我去查查
    neosfung
        3
    neosfung  
       2018-01-19 11:55:03 +08:00   ❤️ 1
    同意一楼,除非这个任务的价值特别大,值得投资人力来标注语料库,否则还不如用正则来的快。
    嫌正则慢,可以考虑一下新出来的 flashtext https://github.com/vi3k6i5/flashtext
    ColinZeb
        4
    ColinZeb  
    OP
       2018-01-19 12:23:50 +08:00
    @neosfung 我不是嫌弃正则运行效率低,而是因为数据量太大而且规则不统一所以正则编写调试效率低
    littlepanzh
        5
    littlepanzh  
       2018-01-19 15:51:45 +08:00
    takato
        6
    takato  
       2018-01-19 16:00:32 +08:00
    Attention+端对端。。
    上面的方法好是好,可是。。。gap 了一个时代了啊。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2750 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 13:22 · PVG 21:22 · LAX 05:22 · JFK 08:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.