推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2149 天前的主题，其中的信息可能已经有所发展或是发生改变。
老大给了个任务要爬日本亚马逊上某类商品的价格以及评论，自己之前都是爬国内的，日本亚马逊现在被墙了，需要怎么样才能爬到数据呢？ lantern 连上了然后终端 export https_proxy=localhost:port 也试过了，国外的代理 IP 也试过了，都以失败告终，错误如下：
requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.amazon.co.jp', port=443): Max retries exceeded with url: /dp/B000UTKMDQ (Caused by ProxyError('Cannot connect to proxy.', ConnectionResetError(104, 'Connection reset by peer')))
请问一下各位，是怎么爬的？ API 还是其他方式？感谢感谢
requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.amazon.co.jp', port=443): Max retries exceeded with url: /dp/B000UTKMDQ (Caused by ProxyError('Cannot connect to proxy.', ConnectionResetError(104, 'Connection reset by peer')))
请问一下各位，是怎么爬的？ API 还是其他方式？感谢感谢
12 条回复 • 2019-01-04 14:10:35 +08:00
 |
1
sobigfish 2019-01-04 10:19:31 +08:00
被墙了就找国外的服务器部署爬呗
难道你要自己掏钱？ |
 |
2
kanata 2019-01-04 10:24:32 +08:00
。。。买台日本服务器呗，对于公司来说一个月也没多少钱
|
 |
5
vtwoextb 2019-01-04 10:28:37 +08:00
买个 linode 不就行了吗 很便宜的
|
 |
6
edsheeran 2019-01-04 11:38:59 +08:00 via iPhone
姿勢不對
|
 |
7
locoz 2019-01-04 12:54:47 +08:00
被墙了的网站你直接用国内的机子连国外代理是不可能爬的。。。要不然帆樯的时候还用得着酸酸之类的东西吗，直接连个代理就完了。
|
 |
8
ctro15547 2019-01-04 12:57:11 +08:00
几十块一个月随便搞个搬瓦工部署一下唄，对于数据而言这点钱不算啥吧
|
 |
9
gogo2 2019-01-04 13:01:16 +08:00
amazon 不好爬的， 和淘宝一样的，
|
 |
10
testcaoy7 2019-01-04 13:06:19 +08:00
其实我一直不明白为什么要墙亚马逊日本
|
|
11
sobigfish 2019-01-04 13:24:29 +08:00
|
 |
12
JasperYanky 2019-01-04 14:10:35 +08:00
有 api
|
Select Language