面向的系统的特点
- 需要长久的爬取,长期的保持登陆
- 需要做登陆验证的
- 对于登陆时敏感的,对登录次数有限制
- 提供兼容多线程的爬虫方式
- session 的本地化,极大的方便调试
- 对于无需登陆,或者登陆限制小的就不适用这个库。
我预计的调用示例
from logincraw import BaseCraw, session
app = BaseCraw('baiducraw')
@app.login # 系统登陆逻辑,返回 session
def login():
session.get('https://www.baidu.com')
return session # 必须 return session
@app.whether_login # 验证是否登陆成功的方法
def whether_login(session):
r = session.get('https://www.baidu.com') # 请求系统的某个页面,用于检测是否登陆
if r is 'logined':
return True
else:
return False
@app.check_login(thread = 2) # 参数 thread 启动的线程数。与 app.run()搭配
def start_craw(): # 实际爬虫的逻辑
print('i am running')
return save_to_db()
if __name__ == '__main__':
app.run() # 调用多线程方法
# or
# start_craw() # 调用本身的方法
写了个初版的 demo
https://github.com/aaronhua123/logincraw