使用 webdriver.PhantomJS 无法加载 ajax 吗?

driver = webdriver.PhantomJS()
driver.get(url)
data = driver.find_elements_by_xpath('***********')

试了试,貌似 js 生成的动态网页可以加载正常,但为什么 ajax 还是没有加载出来呢?应该怎么处理呢?

另外 page_source 其实是未加 js 的原始 html 吧?就和 chrome 查看网页源代码一样吧?
那么想和 F12 看到的一样用什么方法呢?

感谢.

phantomjs

webdriver

ajax

xpath

4 replies • 2016-11-30 23:40:55 +08:00

SilentDepth

Nov 29, 2016

不了解 webdriver ，但 PhantomJS 是可以处理 AJAX 的。
Chrome 的查看网页源代码功能和 F12 是一个效果啊

bdbai

Nov 29, 2016 via Android

等几秒试试？
F12 Document 查看的是当前网页的 DOM ，被 js 改过的，不跑一遍没法一样。
简单的请求可以从 F12 Network 里面抓。模拟发请求比 PhantomJS 效率高。

pixes4world

Nov 29, 2016

不管你用什么 webdriver ， ajax 加载都需要等待的，最直接的方法就是指定固定的等待时间： time.sleep(10) ;
或者智能一点，等待特定元素加载完成： WebDriverWait(driver, 20, 0.5).until(EC.presence_of_element_located(locator))；

mingyun

Nov 30, 2016

@pixes4world 可行