V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
jahan
V2EX  ›  Python

请教,需要写一个 Python 脚本,主要用来校验数据库导出文件的格式是否正确,比如导出文件是否按照表的各个字段约定,编码有没有异常字符,这样的需要哪些包呢?

  •  
  •   jahan · 2017-08-16 02:13:54 +08:00 · 2247 次点击
    这是一个创建于 2646 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题,谢谢。
    14 条回复    2017-08-16 23:43:12 +08:00
    Trim21
        1
    Trim21  
       2017-08-16 02:15:19 +08:00
    jahan
        2
    jahan  
    OP
       2017-08-16 02:16:46 +08:00
    现在主要是大量的数据导出文件,很多入库时候发现错误,想通过脚本验证下数据是否能够顺利入库。
    jahan
        3
    jahan  
    OP
       2017-08-16 02:22:46 +08:00
    @Trim21 看起来很复杂。
    binux
        4
    binux  
       2017-08-16 06:12:42 +08:00 via Android
    你需要定义什么是正确,这就够你受得了
    NoAnyLove
        5
    NoAnyLove  
       2017-08-16 07:49:40 +08:00
    用的什么数据库?遇到这种问题,我一般的解决方法是,建个零时的数据库,直接导入看效果,比解析格式什么的简单多了
    jahan
        6
    jahan  
    OP
       2017-08-16 11:14:05 +08:00
    @NoAnyLove DB2;
    表太过巨大了,合计表导入都要 4T,要不然临时表是个好办法。。
    导入了发现很多因为编码问题或者出现了异常字符,失败。
    而且有的是增量,处理起来很麻烦。
    曾经尝试 split 文件到小文件,比如 50 万行一个文件,结果发现有些文件一分割就乱码了。
    而这种文件基本上导入也有问题,但是如果打开看,基本看不到有什么不同。用 readline 来看,基本是遇到了不是 utf8 的字符。
    PythonAnswer
        7
    PythonAnswer  
       2017-08-16 11:22:07 +08:00 via Android
    找出经常出现的编码种类。你这个库,不会用到超过 5 种以上的编码吧。然后再想办法。
    jahan
        8
    jahan  
    OP
       2017-08-16 11:27:06 +08:00
    @PythonAnswer 标准编码是 Utf8,其他的字符都是非法。怎么找到这些非法字符? readline 读到非 utf8 就报异常了。
    BOYPT
        9
    BOYPT  
       2017-08-16 11:31:29 +08:00
    @jahan #8 那就不要 readline 呀,直接 read 进去一段数据,然后尝试按 utf8 decode,如果出现异常就是有问题了。
    PythonAnswer
        10
    PythonAnswer  
       2017-08-16 11:32:25 +08:00 via Android
    报异常时,用其它编码接住啊
    NoAnyLove
        11
    NoAnyLove  
       2017-08-16 11:56:20 +08:00
    按照 bytes 读入,然后尝试从 utf-8 解码是一个方法,不过有个问题是,有可能可以解码,但是解码出来的字符不一定是有意义或者能够导入数据库的。
    jahan
        12
    jahan  
    OP
       2017-08-16 14:04:13 +08:00
    @NoAnyLove 是。一旦出现,正行就不行了。
    jahan
        13
    jahan  
    OP
       2017-08-16 14:12:21 +08:00
    @NoAnyLove 有没有办法把这一行移植出到其他的文件,而不导致下一行乱码?
    觉得没有找到文件会出现乱码的原因,因为数据是其他公司过来的
    NoAnyLove
        14
    NoAnyLove  
       2017-08-16 23:43:12 +08:00
    @jahan 理论上可以,但是不确定按照行来读是不是一定能够解析成功。你最好先找到一个出错的地方再根据出错原因来测试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2323 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 00:02 · PVG 08:02 · LAX 16:02 · JFK 19:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.