V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
wangxiaolin
V2EX  ›  程序员

问一个/dev/shm 的问题

  •  
  •   wangxiaolin · Oct 12, 2018 · 2436 views
    This topic created in 2761 days ago, the information mentioned may be changed or developed.

    1.txt 中有 30000000 条数据,其中每行一个数字。

    1.py 如下:

    import sys
    import time
    count = 0
    begin = time.time()
    for line in sys.stdin:
    	count = count + 1
    print time.time() - begin
    

    在本地磁盘上运行 python 1.py < 1.txt 2.40708708763

    python 1.py < /dev/shm/1.txt 2.37829995155

    2 个时间相差不大,是我用错了嘛?

    4 replies    2018-10-12 17:16:05 +08:00
    iwtbauh
        1
    iwtbauh  
       Oct 12, 2018 via Android   ❤️ 1
    文件系统通常具有页面缓存,你访问文件系统上的文件实际上是直接命中在内存中的
    iwtbauh
        2
    iwtbauh  
       Oct 12, 2018 via Android
    要想测试真实的访问硬盘读取文件的速度,你可以

    sudo su
    sync
    echo 3 > /proc/sys/vm/drop_caches

    然后再读取测试
    wangxiaolin
        3
    wangxiaolin  
    OP
       Oct 12, 2018
    @iwtbauh 好的,多谢,我试试
    0ZXYDDu796nVCFxq
        4
    0ZXYDDu796nVCFxq  
       Oct 12, 2018 via Android
    除了#2 说的,还有就是
    建议用 dd 来测试磁盘性能,而不是 Python

    time dd if=1.txt bs=1024k of=/dev/null
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2478 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 07:16 · PVG 15:16 · LAX 00:16 · JFK 03:16
    ♥ Do have faith in what you're doing.