推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
takanasi
V2EX  ›  Python

用 windows 写 Python 真的大丈夫?

  •  
  •   takanasi · Oct 18, 2017 · 11531 views
    This topic created in 3305 days ago, the information mentioned may be changed or developed.

    经常遇到诡异的问题,换 ubuntu 就没事了。 比如说:

    import multiprocessing, time, queue
    
    # g_queue = queue.Queue()
    g_queue = multiprocessing.Queue()
    c = multiprocessing.cpu_count()
    
    def init_queue():
        print("init g_queue start")
    
        while not g_queue.empty():
            g_queue.get()
    
        for _index in range(10):
            g_queue.put(_index)
    
        print("init g_queue end")
        
    def task_io(task_id):
        print("IOTask[%s] start" % task_id)
    
        while not g_queue.empty():
            try:
                data = g_queue.get(block=True, timeout=1)
                print("IOTask[%s] get data: %s" % (task_id, data))
                time.sleep(1)
            except Exception as excep:
                print("IOTask[%s] error: %s" % (task_id, str(excep)))
    
        print("IOTask[%s] end" % task_id)
        
        
    if __name__ == '__main__':
        print("cpu count:", multiprocessing.cpu_count(), "\n")
        print("========== 多进程执行 IO 密集型任务 ==========")
        init_queue()
        time_0 = time.time()
        process_list = [multiprocessing.Process(target=task_io, args=(i,)) for i in range(c)]
    
        for p in process_list:
            p.start()
    
        for p in process_list:
            if p.is_alive():
                p.join()
    
        print("结束:", time.time() - time_0, "\n")
    

    完全拿不到 queue 里面的东西,直接当空气了。

    53 replies  •  2017-10-30 18:19:03 +08:00
    wwqgtxx
    wwqgtxx
    Oct 18, 2017 via iPhone
    1
    你这样写当然拿不到参数,windows 下不支持 fork,所以你的 queue 不能声明为全局变量,只能作为参数传进你的函数,要不然就变成两个独立的对象了
    whx20202
    whx20202
    Oct 18, 2017
    2
    可以配置 IDE 插件,同步到 linux 环境里面,然后调试,别在 IDE 里面调试涉及到底层的
    araraloren
    araraloren
    Oct 18, 2017
    3
    @wwqgtxx linux 也不可以,凑巧罢了

    @takanasi 你应该去看官方的文档,里面有告诉你如何在多"线程"之间共享数据

    https://docs.python.org/2/library/multiprocessing.html
    geelaw
    geelaw
    Oct 18, 2017
    4
    并不需要看代码就可以总结出一个命题:

    要么是 Python 的实现是有问题的,要么是 po 主写的代码本来就是不可移植的。
    NoAnyLove
    NoAnyLove
    Oct 18, 2017
    5
    用 Windows 写 Python 的路过。这个问题就算你不会看文档,谷歌一下也是会出来答案的
    enenaaa
    enenaaa
    Oct 18, 2017
    6
    这只能说明你没好好看文档。
    Tuisku
    Tuisku
    Oct 18, 2017❤️24
    7
    Windows 拒绝了你的锅,并冲你吐了口水,呸。
    XIVN1987
    XIVN1987
    Oct 18, 2017 via Android
    8
    Windows 写 py 的路过
    SuperMild
    SuperMild
    Oct 18, 2017
    9
    有问题就解决问题,没有系统是完美的,代码不能跨平台也是常见的事
    wellsc
    wellsc
    Oct 18, 2017 via iPhone
    10
    在 win 下用 python 处理 excel 还是妥妥的
    takanasi
    takanasi
    OP
    Oct 18, 2017
    11
    @wwqgtxx
    @araraloren
    @geelaw
    @NoAnyLove
    @enenaaa
    @Tuisku
    不好意思,打断你们装逼一下,这不是我写的,我就是拿来说明 Windows 和 linux 的不同而已

    https://zhuanlan.zhihu.com/p/24283040
    tosexxx
    tosexxx
    Oct 18, 2017
    12
    何必那么纠结环境
    wwqgtxx
    wwqgtxx
    Oct 18, 2017
    13
    @araraloren 在 Linux 上如果 multiprocessing 的 context 使用的是 fork 方式,这样写应该是可以的,但如果使用的是 spawn 方式这样写是肯定会出错的
    wwqgtxx
    wwqgtxx
    Oct 18, 2017
    14
    @takanasi 然后呢,你把这个问题发上来是要说明什么,还是你自己才是打算过来装逼一下?
    那个程序自己写的有问题,就不该那样写,出了问题怪谁
    Shura
    Shura
    Oct 18, 2017
    15
    @takanasi 你有没有考虑为什么会有这种不同呢?
    topbandit
    topbandit
    Oct 18, 2017
    16
    所以来给知乎打广告了
    araraloren
    araraloren
    Oct 18, 2017
    17
    @wwqgtxx maybe,不了解这个问题
    其实我感觉这是 python 自己的问题,这代码从逻辑上看是没有问题的吧。。
    wwqgtxx
    wwqgtxx
    Oct 18, 2017
    18
    @araraloren 这个从原理上说就是一个普通 C 程序的全局变量共享问题,如果是 fork 模式的话,那么在 fork 之前对全局变量的修改会被 fork 的子进程继承,如果是 spawn 模式的话,第一个程序对全局变量的任何修改在子进程都不可见
    SuperMild
    SuperMild
    Oct 18, 2017
    19
    你用 C#写一个在逻辑上没有问题在 Win 上完美编译运行的程序,直接拿到 Linux 上去也有可能出问题,能说是 C#语言本身的问题?

    就算是 Java 也能写出不跨平台的代码,那么 Java 也有问题?

    就算不能直接跨平台是个问题,那也是一切语言的问题,不能单独拿 python 说事。
    Tuisku
    Tuisku
    Oct 18, 2017
    20
    @takanasi #11
    不好意思,所以你就用别人的代码拿上来装了一个逼顺便送给 Windows 一个锅,然后被人指正之后又把锅甩给原作者了是吗?

    而且你所你所 @ 的几位的给你的回复,是“装逼”?要不要一条一条的重新读一遍,然后指点一下我们,这几条回复的逼点在哪里?
    laqow
    laqow
    Oct 18, 2017 via Android
    21
    操作系统对 c 语言的限制在 python 上都有,不是 python 的锅
    takanasi
    takanasi
    OP
    Oct 18, 2017
    22
    @wwqgtxx
    @Tuisku
    我就是想问问 windows 和 linux 有什么常见的不同,正好有这么个例子而已。算了,反正已经歪了
    NoAnyLove
    NoAnyLove
    Oct 18, 2017
    23
    @takanasi 不知道你想表达什么。如果你看网上一些讨论多进程的代码,很多是不能直接在 Windows 上运行的,比如 Windows 下需要额外的处理__main__和 freeze_support()。不过解决问题本身就是程序员的技能,如果刚好对系统知识有一定了解,有知道如何去代码中找答案,那么是不会产生这种疑问的,因为这并不是诡异的问题,而是系统限制,且有文档说明了这个问题。

    https://stackoverflow.com/questions/8276933/python-multiprocessing-lock-issue
    Patrick95
    Patrick95
    Oct 18, 2017
    24
    @takanasi #22 你这个帖子也不像是在问啊,妥妥的吐槽帖。
    这是不对的。正帖里明明在吐槽,回帖中有人纠正就说别人在「装逼」。

    人家有说错什么吗?就算人家不是解答给你的,也可以解答给那些对这个问题抱有疑惑的人啊。你「装逼」这个词注定了你不想好好讨论,还怪别人歪楼。
    NoAnyLove
    NoAnyLove
    Oct 18, 2017
    25
    @takanasi 你这并不是问问题的态度,且主楼中看不到提问。我没看出来我的回答“装逼”在了哪里。
    Lucius
    Lucius
    Oct 18, 2017
    26
    @Tuisku #20

    装逼的点在于你们的回复,打了 LZ 装逼的脸。
    mentalkiller
    mentalkiller
    Oct 18, 2017
    27
    感谢 LZ 丰富 block 列表
    MushishiXian
    MushishiXian
    Oct 18, 2017
    28
    你的标题压根不是在问问什么系统有什么常见的不同,如果是你的表达能力有问题的话,那也是你的问题,你怎么就觉得人家在装逼呢?
    luozisha
    luozisha
    Oct 18, 2017
    29
    平心而论,我觉得这个帖的 title 才是最装逼的。难道用 Linux 写 Python 就是大丈夫了吗?
    860670496
    860670496
    Oct 18, 2017
    30
    造轮子也是要看路的啊
    公路胎上雪地那不是大概率表演原地漂移
    ytmsdy
    ytmsdy
    Oct 18, 2017
    31
    用 windows 写了 3 年 python 的淡定路过。。
    pycharm 下面写的溜溜的。
    araraloren
    araraloren
    Oct 18, 2017
    32
    @wwqgtxx 恩,想到了
    不过只能限制在只读的情况下了,我想得有点复杂了
    szetrov
    szetrov
    Oct 18, 2017 via Android
    33
    大兄弟心气好高 2332 楼下的几位回复连“怼”都称不上,就是正常回复,结果被说成是装逼。呵呵了 2333
    stanjia
    stanjia
    Oct 18, 2017
    34
    @Tuisku 哈哈哈哈哈
    geelaw
    geelaw
    Oct 18, 2017
    35
    @takanasi #11 不懂,那我再问一下:为什么你会觉得 Windows 上的行为是“不正常的”?

    @SuperMild #19 取决于文档,要求是表现和文档一致,而且这并不是一个语言的问题,而是一个语言的实现的问题。

    @takanasi #22 这样提问的方式是不好的,首先你的例子不够简单,其次如果你认为这段代码应该在不同平台表现一致,那么这说明这段代码使用的 Python 的部分应该把这种不同抽象掉,而不是现在的情况,最后似乎也没人能解读出来你的帖子的意思,所以或许你说的和我们说的不是同一种语言。
    sonyxperia
    sonyxperia
    Oct 18, 2017
    36
    Java 在等着楼主
    zgx030030
    zgx030030
    Oct 18, 2017
    37
    如果某段代码是在 win 上正常反而你放在 linux 下出错,你会起个“用 linux 写 python 真的大丈夫”的标题吗?如果不会且默默的把 Linux 下的错误改正,说明你可能有一种在 linux 下做开发的优越感。
    matsuijurina
    matsuijurina
    Oct 18, 2017 via Android
    38
    你不用开源库无所谓。python 好多机器学习的开源库作者根本没试过在 windows 下编译,一运行就出错。
    takanasi
    takanasi
    OP
    Oct 18, 2017
    39
    @zgx030030 我一个天天用装 windows 神船写程序的低逼格人士莫名其妙又变成有一种在 linux 下做开发的优越感了。
    太冤了。
    annielong
    annielong
    Oct 18, 2017
    40
    感觉 写代码真到这个地步的时候,大多都已经转 linux 了,而平常没用到这种地步的人,继续用 windows 也没啥问题,
    PythonAnswer
    PythonAnswer
    Oct 18, 2017 via Android
    41
    python 对 windows 支持很好的
    lslqtz
    lslqtz
    Oct 18, 2017
    42
    PHP 还有小部分兼容性问题呢
    你开心就好
    megachweng
    megachweng
    Oct 18, 2017 via iPhone
    43
    PyQt 也是,在 Mac linux 下都没问题,拿到 windows 就 c000005😌
    focusheart
    focusheart
    Oct 18, 2017
    44
    @Lucius 有道理!
    wolong
    wolong
    Oct 19, 2017
    45
    windows 下开发 python,只要不是在 cmd 下运行 py,其实还好。
    guofs
    guofs
    Oct 19, 2017 via Android
    46
    这跟在 v2 或内地用繁体一样,你高兴就好
    quickma
    quickma
    Oct 19, 2017
    47
    知乎的技术氛围也配来 V2 讨论?
    tbag781623489
    tbag781623489
    Oct 19, 2017 via iPhone
    48
    我有个疑问: win10 的 bash 能不能达到原生 ubuntu 的效果?
    ooh
    ooh
    Oct 19, 2017 via Android
    49
    给你说个常见的不同吧,大小写敏感 滑稽
    ranwu
    ranwu
    Oct 19, 2017
    50
    遇到问题解决问题就行了。
    Arnie97
    Arnie97
    Oct 19, 2017 via Android
    51
    既不是 Windows 的锅也不是 Python 的锅,代码本身不考虑可移植性的话,换哪个平台都一样
    sixand
    sixand
    Oct 19, 2017
    52
    docker 能帮到你。。我在 windows 下就是用 docker 来执行的。
    allgy
    allgy
    Oct 30, 2017
    53
    微软厉害还是你厉害?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2604 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 397ms · UTC 00:29 · PVG 08:29 · LAX 16:29 · JFK 19:29
    ♥ Do have faith in what you're doing.