V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2846 days ago, the information mentioned may be changed or developed.
用 pycharm 爬取网页显示不全，用 fiddler 抓包看来是全的，再用 python 自来的 ide 也是全是这是用问题，都是 requests 抓
 |
1
ranleng Jul 16, 2018  1
"也是全是这是用问题"... <-- 真的懂不了
pycharm 和 爬出来的全不全应该没有关系... 就一个 IDE... |
 |
2
herozhang Jul 16, 2018
可能网页有一部分是 js 动态加载或者生成的。
你走浏览器抓，自然浏览器就执行了这些 js。 而 requests 抓，这部分就没执行，自然就木有了。 可以了解一下 selenium 这个库 |
|
3
herozhang Jul 16, 2018
Selenium + PhantomJS
|
 |
4
Leigg Jul 16, 2018 via iPhone
怪 ide，过分了兄 dei
|
 |
5
pabupa Jul 16, 2018 via Android
厉害了～
|
 |
6
jimmy2010 Jul 16, 2018 via Android
根据你的描述我得出一个结论，既然都是 requests 出问题，那应该怪 requests，而不是 pycharm
|
 |
7
PureWhite Jul 16, 2018
可能是 python 出的问题，更可能是写 Python 用的 C 出的问题。
|
 |
8
anyele Jul 16, 2018 via Android
厉害了
|
 |
9
jrtzxh020 Jul 17, 2018
pycharm 躺着也能中枪..
|
 |
10
lieh222 Jul 17, 2018
我猜是宇宙射线干扰了内存，导致丢失了这部分数据
|
 |
11
zhuangzhuang1988 Jul 17, 2018
咋能怪 ide 呢， 怪操作系统。
|
Select Language