V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
jfry
V2EX  ›  Python

找小伙伴一起写个棒棒的 Python 数据迁移工具

  •  
  •   jfry ·
    toaco · 2018-01-11 11:41:31 +08:00 · 4771 次点击
    这是一个创建于 2507 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我的目标是写一个尽量全面,易用和高性能的数据迁移工具,目前只是基本可以用的状态(代码就 1000 行)。对这个项目感兴趣,想要提高自己 python 功底,加深对数据库的理解的朋友快来呀~ https://github.com/toaco/carry

    目前需要做的
    - 并发,缓存,压缩, 数据库本身的 LOAD 和 EXPORT 功能
    - 功能完善
    - 测试
    第 2 条附言  ·  2018-01-13 11:17:55 +08:00
    已经支持 Python3 了
    31 条回复    2018-01-12 04:42:52 +08:00
    kevindu
        1
    kevindu  
       2018-01-11 11:52:59 +08:00
    Python2.7 吗?
    jfry
        2
    jfry  
    OP
       2018-01-11 12:02:12 +08:00
    @kevindu 目前是 2.7,如果要用 3 的话我可以改
    loading
        3
    loading  
       2018-01-11 12:25:54 +08:00 via Android   ❤️ 1
    看看阿里的 datax,然后在再考虑自己写。
    slgz
        4
    slgz  
       2018-01-11 13:38:16 +08:00
    只有 python web 能加入吗
    jfry
        5
    jfry  
    OP
       2018-01-11 13:40:32 +08:00
    @slgz 肯定可以呀,做 web 的都会数据库~
    slgz
        6
    slgz  
       2018-01-11 13:45:31 +08:00
    @jfry 这咋讨论微信吗?
    lengyihan
        7
    lengyihan  
       2018-01-11 13:48:46 +08:00 via Android
    这个数据迁移是做数据库迁移还是硬盘所有类型数据迁移啊?
    laycher
        8
    laycher  
       2018-01-11 13:49:09 +08:00
    近期倒是有想法把 xls 类的文件数据导入到数据库中。用 python3
    jfry
        9
    jfry  
    OP
       2018-01-11 13:50:37 +08:00
    @slgz 微信,jfry898996
    jfry
        10
    jfry  
    OP
       2018-01-11 13:52:28 +08:00
    @lengyihan @laycher 目前支持 csv 和数据库,目标是尽量支持多种类型的数据源,比如 excel 等
    est
        11
    est  
       2018-01-11 13:54:46 +08:00
    @loading wow。这目录结构整齐划一的 reader, writer, reader, writer, reader, writer, reader, writer, reader, writer

    https://github.com/alibaba/DataX

    不多说了赶紧 star。
    janxin
        12
    janxin  
       2018-01-11 14:06:24 +08:00   ❤️ 1
    @est 很好,这很 Java
    dudu2017
        13
    dudu2017  
       2018-01-11 14:27:35 +08:00 via iPhone
    什么水平都可以参与吗?😬非计算机专业趁寒假在家自学的可以参与吗?
    gzas1989
        14
    gzas1989  
       2018-01-11 14:37:00 +08:00   ❤️ 1
    有钉钉群么
    jfry
        15
    jfry  
    OP
       2018-01-11 14:37:28 +08:00
    @dudu2017 嗯,都可以的。但是如果你是为了做 web,爬虫什么而学 python 的话最好去做相关的项目。
    jfry
        16
    jfry  
    OP
       2018-01-11 14:52:39 +08:00
    @gzas1989 没有,只有 WX
    douglas1997
        17
    douglas1997  
       2018-01-11 15:07:46 +08:00   ❤️ 1
    @jfry 可以试试 Slack
    dudu2017
        18
    dudu2017  
       2018-01-11 15:44:05 +08:00
    @jfry 嗯,好的。那我暂时不参与了
    xuzequn
        19
    xuzequn  
       2018-01-11 16:47:18 +08:00
    举手🙋
    jfry
        20
    jfry  
    OP
       2018-01-11 17:07:58 +08:00
    @xuzequn 欢迎~
    jotsai
        21
    jotsai  
       2018-01-11 17:18:45 +08:00
    python 渣渣也能加入吗 =。=
    jfry
        22
    jfry  
    OP
       2018-01-11 17:29:10 +08:00
    @jotsai 感兴趣就可以呀=。=
    xwhxbg
        23
    xwhxbg  
       2018-01-11 17:43:17 +08:00
    三手 Python,很感兴趣,先 star 一波,话说怎么加入啊?有木有 contribute 规范呢?
    jfry
        24
    jfry  
    OP
       2018-01-11 17:53:36 +08:00
    chi1st
        25
    chi1st  
       2018-01-11 17:54:54 +08:00
    想加入~
    vimiix
        26
    vimiix  
       2018-01-11 17:58:48 +08:00
    @jfry 大佬,注册好了,然后怎么玩
    jfry
        27
    jfry  
    OP
       2018-01-11 18:09:47 +08:00
    @chi1st 点上面那个 slack 链接进来就行~
    jfry
        28
    jfry  
    OP
       2018-01-11 18:17:16 +08:00
    @vimiix 看里面的#general channel
    beginor
        29
    beginor  
       2018-01-11 18:38:06 +08:00 via Android
    先看看 datax,最近也在鼓捣这个东西,可惜不会 py
    mianju
        30
    mianju  
       2018-01-11 19:44:55 +08:00
    先加入了试看看> <
    OldPanda
        31
    OldPanda  
       2018-01-12 04:42:52 +08:00
    加入了 slack 去看看项目具体内容
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3601 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 10:22 · PVG 18:22 · LAX 02:22 · JFK 05:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.