如果用 scrapy 抓取多个不同的站点放在同一个 spider 里,用下面哪种方法好点?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› Pocoo

值得关注的项目

› PyPy

› pyenv

Python 编程

› pep8 Checker

Styles

› PEP 8

This topic created in 2417 days ago, the information mentioned may be changed or developed.

avatar

2 replies • 2019-09-29 15:34:45 +08:00

gaojin

Sep 27, 2019

看解析规则吧，
如果规则都一样，就全部丢到 start_urls 里面最方便了
否则还是分开。。。

tisswb

Sep 29, 2019

除了 name 外其他都做成需要输入的变量是可行的，比如：allowed_domains, start_urls, rules，以前做舆情蜘蛛就这么办的。