首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
推荐学习书目
›
Learn Python the Hard Way
Python Sites
›
PyPI
- Python Package Index
›
http://diveintopython.org/toc/index.html
›
Pocoo
值得关注的项目
›
PyPy
›
Celery
›
Jinja2
›
Read the Docs
›
gevent
›
pyenv
›
virtualenv
›
Stackless Python
›
Beautiful Soup
›
结巴中文分词
›
Green Unicorn
›
Sentry
›
Shovel
›
Pyflakes
›
pytest
Python 编程
›
pep8 Checker
Styles
›
PEP 8
›
Google Python Style Guide
›
Code Style from The Hitchhiker's Guide
V2EX
›
Python
PySpider 如何合并长文章的内分页
leewlab
·
2019-04-25 16:01:04 +08:00
· 1537 次点击
这是一个创建于 2037 天前的主题,其中的信息可能已经有所发展或是发生改变。
文章很长,内部有多个分页,请问如何每个分页都采集后再合成一个完整的文章?
比如漫画的一个篇章有很多个页面,但是都属于同一话,采集完后要归类到同一个页面。
Url 一般是这种格式。
https://www.dmzj.com/view/jinshangxiang/83169.html#@page=1
https://www.dmzj.com/view/jinshangxiang/83169.html#@page=2
https://www.dmzj.com/view/jinshangxiang/83169.html#@page=3
分页
内分页
文章
采集
1 条回复
•
2019-04-25 16:14:31 +08:00
1
seoguess
2019-04-25 16:14:31 +08:00
加一个 if 判断,翻页 css、url 路径或者其他,然后循环获取所有的翻页内容,article += content
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
958 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms ·
UTC 21:50
·
PVG 05:50
·
LAX 13:50
·
JFK 16:50
Developed with
CodeLauncher
♥ Do have faith in what you're doing.