V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
tuoov
V2EX  ›  Python

scrapyd 部署不会添加外部文件吗

  •  
  •   tuoov · Nov 23, 2020 · 1776 views
    This topic created in 1995 days ago, the information mentioned may be changed or developed.

    尝试使用 scrapydweb 部署项目,但是那些需要导入外部文件(包含 urls 的文本文件或 json)的爬虫全部上传失败了,报错都是 FileNotFound 。没有这种依赖的爬虫能够正常地部署并使用,有什么解决方案吗?

    3 replies    2020-11-27 00:48:52 +08:00
    yagamil
        1
    yagamil  
       Nov 24, 2020
    egg
    tuoov
        2
    tuoov  
    OP
       Nov 24, 2020
    @yagamil 我通过绝对路径检查了一下,好像在 egg 化项目时的确不会打包这些文件,是我处理的方式有问题还是设计就是这样?
    Kobayashi
        3
    Kobayashi  
       Nov 27, 2020 via Android   ❤️ 1
    不会。部署时先打包(还 TM 是个 egg 包),然后交给 scrapyd 。我记得可以配置 setup.py 打进去,但没什么用,你加载不了文件。你需要理解 egg 包是不被解压的,我的理解是你不能 open("my_pkg.egg/.env") 直接打开压缩包内文本文件。需要写到 .py 文件,在其他位置导入。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3304 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 13:12 · PVG 21:12 · LAX 06:12 · JFK 09:12
    ♥ Do have faith in what you're doing.