刚自学 python 没多久,语法倒是学了个大概,苦于没有练手的机会,突然想到可以试着爬一些图片过来
试了下 bing 的首页图片,urllib 就可以很简单就下载到本地
然后想试一下漫画网站,试试能不能把整部漫画都下载到本地,现在遇到了几个问题,求前辈们帮忙解答一下
1.我爬的网站是 iimanhua ,想用 urllib 的方式获取,但发现页面的源码不含漫画图片的链接。搜索之后说是有些网站会通过异步 ajax 加载(以前没搞过前端,这块不是很懂)。网上说是可以用 selenium 库,调用 PhantomJS 命令行浏览器。browser=webdriver.PhantomJS()的方法去请求一个页面,现在倒是能把 browser.page_source 整个获取出来。想获取页数、图片地址,但不知道怎么获取特定的某个元素。如果用正则倒是也行,就是有点麻烦,因为看到有类似 browser.find_element_by_xxx 的方法,一些博客上的介绍不是很看得懂,不知道有没有简单的方法获取
2.browser.get(url)返回的特别慢。我用火狐去访问的时候发现其他所有东西都在几秒钟之内加载完成了,但唯独有一个 gif 图片是 0x0 大小的,需要加载 1 分多钟,域名还是 baidu 的。怀疑是这个网站针对爬虫有特定保护(?),有没有办法把这个跳过

第 1 点的话大不了就用正则去处理整个 page_source ,写得复杂一点总是能获取到图片和总页数的,但第 2 点如果无法解决整个计划就失败了。。。