V2EX › terrawu 的所有回复 › 第 3 页 / 共 5 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5

❮

❯

2017-08-17 16:31:02 +08:00

回复了 i730 创建的主题 › Linux › 被缓存服务器搞了 apt 没用

debian 9 的 apt 已经支持炫酷 https-proxy 了，还可以这样弄

export http_proxy=https://<a_https_proxy>
sudo -E apt update

2017-08-17 15:03:21 +08:00

回复了 qq12345454 创建的主题 › 问与答 › 有 50w+完全不一样的网址要爬，用 requests 还是 scrapy？

像这种逻辑不复杂又追求速度的话，elrang 或者 go。我的结果是，主流方案中 erlang 效果最佳。

2017-08-17 13:04:42 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

我的程序在实现初期就打算用 go 的，不过项目组内对于 go 选型还是有些质疑的，最后一路优化下来，目前大家对 go 的无脑质疑已经不见了，会认真评估 python 和 go 了。

2017-08-17 12:47:37 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

@woostundy 好说，本来我是打算在 #6 一击脱离的，不过后来再点开看，发现很多盆友没踩过坑就来强答，然后还吵了起来了，真是受不了。

2017-08-17 11:42:00 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

@enomine 回帖之前看下我的场景描述，你没遇到问题，不代表我没问题。

2017-08-17 11:41:08 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

@smallHao 我的程序后来瓶颈不在 IO 上了，是在 CPU 上。python 代码执行效率较低以及 GIL, 不换 go 无法继续优化了。

2017-08-17 11:09:59 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

> 弄一个全局的 session，HTTPAdapter 里把 maxsize 调到 100

这个太低，调到 1000 试下，还不行的话，你的需求就用 httplib2 实现吧。

2017-08-16 22:23:47 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

@chenqh 好了非常多，但也不能说是 python 不行。

因为我的程序需要聚合一下后端的数据，然后做一个 digest(一些哈希操作）, 这个步骤会比较吃 CPU。
后来 IO 方面的瓶颈都优化完毕后，程序的瓶颈就体现在这里了

1. python 代码效率低，太耗 CPU
2. GIL 不能用多核
3. 内存耗费也比较大。

所以优化到这一步时候，用 go 改写就很适合了，所谓性能的话，提升了几十倍吧。

2017-08-16 18:10:23 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

不过已经被我用 go 改写了，效果好太多。

2017-08-16 18:09:13 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

@ChangHaoWei 没有，我手写的，我情况和楼主不一样，我的类似 gateway, 需要同时请求 N 个后端 http 服务，突发比较高。用的全局 dict 存多个 httplib2.HTTP 实例，跑的很流畅。

2017-08-16 18:01:56 +08:00

回复了 woostundy 创建的主题 › Python › Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

@woostundy 你的这种情况如果没有突发的高并发数目的话，还不如增大 requests.Session 的 pool size 试下

https://stackoverflow.com/questions/18466079/can-i-change-the-connection-pool-size-for-pythons-requests-module

2017-08-16 17:07:06 +08:00

回复了 Jestom 创建的主题 › 问与答 › 750 买了小鸟云 3 年的辽宁机器，接下来不知道该搭建一个什么网站好。

以针会友