V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jakeyfly  ›  全部回复第 11 页 / 共 16 页
回复总数  312
1 ... 3  4  5  6  7  8  9  10  11  12 ... 16  
2018-03-11 11:35:25 +08:00
回复了 jakeyfly 创建的主题 问与答 requstsr 的代理设置 有个疑问求大佬解答
@skydiver 可是 https 的代理 前面不写 https 是连不同的 还是有区别的啊
2018-03-11 11:33:08 +08:00
回复了 jakeyfly 创建的主题 问与答 有用过 aiohttp 的大佬吗 这包是不是不支持上 https 的代理
@so1n 晕 证书怎么搞
2018-03-11 03:14:11 +08:00
回复了 jakeyfly 创建的主题 问与答 requstsr 的代理设置 有个疑问求大佬解答
@skydiver 不太明白 那 KEY 全写 http 明显 https 的就失效 了
@hbkdsm i think so too
楼上大佬们都太 6 了 不过这样定 阅读性太差了 我还是老实的 FOR 循环吧
@ctro15547 不过 这个办法跟写两行 也没区别哈
@ctro15547 大佬 66666
@20015jjw 大佬 不好意思啊
@ligyxy 那等 于自动过滤空表列啦~~~
这代码怎么才能编辑好呀
@ysc3839 那个大佬 环境变量是是跟 直接写 ex 什么的开头那个吗
@tulongtou 顺便再请教一下大哥,我该怎么写?从来没写过
@tulongtou 谢谢大哥
@hanzichi 主要另一个数据,我是直接分析出后台传来的值的规律。获取的。碰到这个恶心的 直接在模板上的。有点崩贵了
@hanzichi 如果取 html 上的值,那页面有一万个,我就得请求一万次,如果能找到传来的值。我只需要请求 3 次。这样的区别啊。所以才一直找这个原因。 如果后台渲染的。无法取得传来的值。那我只好老实的爬页面取值,再构造 URL 了
@geelaw 您说的是无端浏览器吗,我尽量少用那个东西,会有依赖感 ,我一般分析请求直接获取数据。那大佬,那这样的情况是否就像,django 的 views 渲染的模板一样,显示出来的时候就带有了? 是无法通过分析请求取得这个值的吧。那只能先抓页面,节取要的值,构造请求 URL 这一条路啦
@geelaw 大佬我关了 还是有,页面上的东西全没了,源码还是原来的源码。 请教这种情况,要怎么理解。
@qiayue 因为要有几千个,那就变成要先爬这个页面,正则把这一段搞下来。再清洗,或者用 JS 包跑一下把值取出来,会多好多访问,难度 会加大好大,对稳定的爬取难度变高了
@geelaw 怎么关掉啊 chrome 没试过
2018-02-28 11:54:43 +08:00
回复了 hippoboy 创建的主题 Python 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?
@gouchaoer 这才是真的会爬虫的
1 ... 3  4  5  6  7  8  9  10  11  12 ... 16  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2725 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 06:44 · PVG 14:44 · LAX 22:44 · JFK 01:44
Developed with CodeLauncher
♥ Do have faith in what you're doing.