V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
shanks
V2EX  ›  Python

vsftpd 的性能问题

  •  
  •   shanks ·
    YvesChan · 2014-11-24 10:57:31 +08:00 · 4395 次点击
    这是一个创建于 3636 天前的主题,其中的信息可能已经有所发展或是发生改变。
    万能的v友,应该有不少玩过vsftpd吧?

    我想请教一下,如果1k+台机器在10分钟~20分钟内将本机1M~10M大小的日志文件传到指定的ftp服务器上,vsftpd能扛得住吗?可能的瓶颈是磁盘还是网络还是CPU?

    运行模式是通过guest虚拟用户登录,客户端通过python的ftplib上传
    13 条回复    2014-11-24 23:23:12 +08:00
    tftk
        1
    tftk  
       2014-11-24 11:07:19 +08:00   ❤️ 1
    网络 io。
    lecher
        2
    lecher  
       2014-11-24 11:44:53 +08:00   ❤️ 1
    网络请求方面的业务,瓶颈在网络io的居多。
    这个业务cpu基本没负载,磁盘10分钟1k*10M的写入数据量也可以负担得起。
    内存看vsftpd设置多大的内存缓冲区,有可能会爆内存。
    AntiGameZ
        3
    AntiGameZ  
       2014-11-24 12:36:53 +08:00   ❤️ 1
    瓶颈在ftp协议,个人建议rsync
    shanks
        4
    shanks  
    OP
       2014-11-24 13:24:51 +08:00
    @AntiGameZ 只有一个日志文件,也要用rsync吗?还是说rsync协议比ftp协议优越太多?
    likuku
        5
    likuku  
       2014-11-24 13:50:55 +08:00
    @shanks ftp 要登录要交互...rsync 可以用 ip 白名单就简单搞定。rsync 貌似也有不进行比对就直接上传的选项。
    ctexlive
        6
    ctexlive  
       2014-11-24 14:08:05 +08:00
    应该可以测试吧。如果只有一个日志文件应该比较快。
    ftp最大的问题是多个小文件传输极慢。
    lhbc
        7
    lhbc  
       2014-11-24 15:04:33 +08:00 via iPhone
    取中间值,15分钟,5M大小,1000台机器。
    那15分钟要传5G文件,需要带宽45M,算上开销要50M以上
    如果文件更大,需要带宽更高
    磁盘应该问题不大,CPU完全没问题
    herozzm
        8
    herozzm  
       2014-11-24 15:11:45 +08:00
    我感觉vsftpd不太稳定,经常无故断开,0KB
    AntiGameZ
        9
    AntiGameZ  
       2014-11-24 17:37:28 +08:00
    @herozzm vsFTPd 是个很好的 FTP Server,前提是 “FTP” Server

    FTP 这个协议处理 LZ 的需求,真是不合适,交互带来的延迟不能忍
    Theo14
        10
    Theo14  
       2014-11-24 17:48:49 +08:00   ❤️ 1
    问题肯定会出在网络IO上,同样觉得用rsync更合适,rsync有很多参数可以使用,限速的参数也有
    bertram
        11
    bertram  
       2014-11-24 18:26:42 +08:00   ❤️ 1
    用rsync比vsftp靠谱。既然是日志收集的活儿,怎么不用rsyslog, syslog这些专门工具呢
    msg7086
        12
    msg7086  
       2014-11-24 22:50:36 +08:00 via iPhone
    我会建议用nfs?
    ryd994
        13
    ryd994  
       2014-11-24 23:23:12 +08:00 via Android
    客户端加随机延迟,打散开
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1441 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 17:30 · PVG 01:30 · LAX 09:30 · JFK 12:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.