使用 idea 挂代理的可以帮我一下吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2713 days ago, the information mentioned may be changed or developed.

我在写一个爬外网图片的爬虫。机子本身用了 shadowsockR 科学上网了。但是程序对网站的请求都是超时。所以我怀疑是 IDEA 本身要设置代理，但是怎么都设置不好。我是这么设置的请看一下 idea 设置 ip 地址，端口和密码都没问题（ shadowsockR 不是不需要输入账户名但是需要密码吗）。但是却无法访问 google,

IDEA

设置

爬外网

密码

21 replies • 2018-11-24 22:11:24 +08:00

luosuosile

Nov 24, 2018

我不太理解这个，机子本身已经科学上网了，但是 idea 却不是。
shadowsockR 到底是个什么机制？
我们电脑访问网络使用的都是一个端口吗？还是浏览器和 idea 使用的是不同的端口？
然后 ss 只捕获了浏览器使用的端口，然后再把响应返回给这个端口吗？

PPTing

Nov 24, 2018 via iPhone

host 应该是 127.0.0.1 然后下面的 Proxy auth 不需要勾选填写吧

Vegetables

Nov 24, 2018 via Android

地址貌似要填本地地址

ju5t4fun

Nov 24, 2018

不关 idea 的事，你自己的爬虫代码里要指定代理

AEANWspPmj3FUhDc

Nov 24, 2018

没用过 shadowsockR。
不靠谱猜测一下，ssr 是否开启了 pac 模式，然后你爬的这个网站并不在 pac 列表中？

JohnZorn

Nov 24, 2018 via Android

4 楼应该是对的你的程序 http 请求和 ide 没关系 http.setProxy 为请求设置代理

zealzz

Nov 24, 2018 via iPhone

大胸弟，ssr 科学上网默认不是全局的，比如终端，idea 都要而外设置。

luosuosile

Nov 24, 2018

好，感谢大家的解答，我再努力一下

CEBBCAT

Nov 24, 2018 via Android

四楼说的对。举例：
macOS 设置了 PAC 自动分流，但 Terminal 里的 git 还是极慢，这时候需要 expert 设定代理，到了你这里我不知道在环境变量里设置有没有用，但发送请求用的库肯定有办法显式指定代理

luosuosile

Nov 24, 2018

@PPTing
@Vegetables 使得，填本机可以上 google，但是不是 socks 是 http，这个我知道问题在于程序还是不行。下面老哥解答说，这个代理是 idea 的，和程序是分开的。我想应该是 idea 更新下载包之类的请求会通过这个代理（疑问是 maven 也会吗，需不需要 maven 再设置一次），但是程序不会。
我还是太年轻了，爬虫写太少了，可恶！