打算爬取的网址为: https://www.wunderground.com/q/zmw:00000.1.54511
目标: 爬取页面中 “ 10-Day Weather Forecast ” 下方 ->Table ->"星期五(或者随便某一天,需要点开)" -> 抓取 "时间 气温 感觉好像 露点 湿度 状况 Precip. Liquid Precip. 风 云量 气压" 这个表格中的所有内容。
麻烦知道的给个思路,谢谢!
PS :常规的爬取网页源代码貌似不行(爬取不完全),源码中没有这个表格的数据,可能是我没有找对爬取方法。望各位赐教。
1
qwjhb 2016-03-30 16:49:46 +08:00 1
//*[@id="horizontal-day-89"]/div[3]/table
不就是这个 table 吗? |
2
jugelizi 2016-03-30 17:03:22 +08:00
异步加载 f12 看一下呗
|
3
liangxuzhai OP @qwjhb 请问这个源代码如何通过程序获得?我通过 chrome 浏览器的 F12 也是可以分析到的,但是我想通过程序自动获取每一天的天气等状况。但是我通过程序( c#或者 python )没法抓取到这部分的数据,烦请指教,谢谢!
|
4
qwjhb 2016-03-30 17:18:40 +08:00
用无头浏览器
|
5
hjq98765 2016-03-30 18:29:26 +08:00 1
|
6
taurenshaman 2016-03-30 21:53:34 +08:00 1
|
7
liangxuzhai OP @hjq98765 谢谢!
|
8
liangxuzhai OP @taurenshaman 顿悟,谢谢!
|