V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cncmmdwl
V2EX  ›  程序员

tar 打包慢应该从那查问题

  •  
  •   cncmmdwl · 2022-01-10 12:13:21 +08:00 · 2975 次点击
    这是一个创建于 1048 天前的主题,其中的信息可能已经有所发展或是发生改变。

    电脑是 i9-10900k ssd 是 satassd 内存 128g 使用 7z 的 tar 打包 速度只有 24mb/s 打包的文件大多数在 50mb 左右 这里面是什么导致了压缩速度瓶颈?

    18 条回复    2022-01-10 17:27:37 +08:00
    momocraft
        1
    momocraft  
       2022-01-10 12:17:10 +08:00
    如果有压缩 大概率是压缩慢
    可以试试 tar c ITEMS | pv > /dev/null 有多快
    liuidetmks
        2
    liuidetmks  
       2022-01-10 12:18:54 +08:00
    是不是文件太小 太多?
    2i2Re2PLMaDnghL
        3
    2i2Re2PLMaDnghL  
       2022-01-10 12:19:05 +08:00
    @momocraft tar 没有压缩的
    villivateur
        4
    villivateur  
       2022-01-10 12:47:15 +08:00 via Android
    大概率是磁盘 io 瓶颈了,其他配置都不差
    ReysC
        5
    ReysC  
       2022-01-10 12:59:40 +08:00
    检查 SSD 的状态,可能 SSD 本身出问题
    zhangjinghua
        6
    zhangjinghua  
       2022-01-10 13:05:12 +08:00
    肯定是先看一下资源管理器,那个东西占满了。如果还找不到,那就尝试用别的软件进行压缩测试排除软件问题,最后看一下压缩算法,或者核心数占用问题。检查硬盘 IO/内存带宽和速度。
    2i2Re2PLMaDnghL
        7
    2i2Re2PLMaDnghL  
       2022-01-10 13:08:09 +08:00
    先过一个 CrystalDiskMark 吧
    kidonng
        8
    kidonng  
       2022-01-10 14:17:51 +08:00 via Android
    试试换别的 tar 实现,比如 GNU 或者 BSD tar
    nightwitch
        9
    nightwitch  
       2022-01-10 15:38:47 +08:00
    检查下 7z 的 tar 实现是不是带有压缩
    cncmmdwl
        10
    cncmmdwl  
    OP
       2022-01-10 15:41:20 +08:00
    @2i2Re2PLMaDnghL cdm 没问题,是一块固态应该有的速度
    cncmmdwl
        11
    cncmmdwl  
    OP
       2022-01-10 15:41:50 +08:00
    @liuidetmks 文件很多,但是不小,都在 4m 以上
    felixcode
        12
    felixcode  
       2022-01-10 15:41:56 +08:00 via Android
    做个 ramdisk ,在这里面试一下,反正你内存有富余
    cncmmdwl
        13
    cncmmdwl  
    OP
       2022-01-10 15:42:22 +08:00
    @villivateur satassd 再差应该也差不到哪里去吧
    cncmmdwl
        14
    cncmmdwl  
    OP
       2022-01-10 15:44:05 +08:00
    @zhangjinghua 资源管理器占用都很低, 我是 windows 系统 别的 2345 好压好像也一样,显示打包速度都在 30m 左右
    dem0ns
        15
    dem0ns  
       2022-01-10 15:56:08 +08:00
    是不是加了-v 参数? 屏幕输出会导致运行效率变低
    2i2Re2PLMaDnghL
        16
    2i2Re2PLMaDnghL  
       2022-01-10 16:07:44 +08:00
    对了,7z 的性能基准测试过一下?(这个测试应该是不走硬盘的)
    用 resmon 看一下 7z 的等待链?(是否在等待其他东西)
    文件系统?
    试试在 WSL 里跑个 tar (鉴于你文件在 Windows 里,应该用 WSL1 避免 9p 降速)

    @nightwitch tar 文件类型本身不支持压缩
    Felldeadbird
        17
    Felldeadbird  
       2022-01-10 17:26:27 +08:00
    之前我服务器 tar 打包 一个 500M 文件,2 小时都没打包完毕。服务器是 SSD 。 后来我查了进程,原来是有一个别的进程占用了大量 IO 。

    试下排除一下?
    cncmmdwl
        18
    cncmmdwl  
    OP
       2022-01-10 17:27:37 +08:00
    @2i2Re2PLMaDnghL
    基准测试 32m 20c 66GIPS 57609kb\s 基准性能测试和 tar 应该无关吧?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1134 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 18:39 · PVG 02:39 · LAX 10:39 · JFK 13:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.