推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 1621 天前的主题，其中的信息可能已经有所发展或是发生改变。
特别简单的一个需求.
django view 里面非阻塞调用一个第三方的 api. 然后将返回值作为参数调用 callback.
view 里面直接返回 response 调用成功(第三方 api 返回什么无所谓).
类似于发送短信验证码一样的需求.
用 celery 太重了.
起个线程有问题吗?需要注意什么吗?
django view 里面非阻塞调用一个第三方的 api. 然后将返回值作为参数调用 callback.
view 里面直接返回 response 调用成功(第三方 api 返回什么无所谓).
类似于发送短信验证码一样的需求.
用 celery 太重了.
起个线程有问题吗?需要注意什么吗?
 |
1
madpudding 2020-06-02 17:26:19 +08:00
huey ？
|
 |
2
swulling 2020-06-02 17:27:19 +08:00
|
 |
3
676529483 2020-06-02 18:03:30 +08:00  1
django 3.0 有个 django_simple_task，用 uvicorn 启动就可以用了，正在用，效果还可以
|
 |
4
chi1st 2020-06-02 18:21:10 +08:00
直接新起一个线程处理第三方接口问题不大
|
 |
5
rogwan 2020-06-02 18:22:48 +08:00 via iPhone
thread
|
 |
6
tcpdump 2020-06-02 18:29:02 +08:00
太重了是什么意思，装了硬盘变重了？
|
 |
7
labulaka521 2020-06-02 18:35:36 +08:00
nq
|
 |
8
Latin 2020-06-02 18:43:00 +08:00
rq huey
|
 |
9
qW7bo2FbzbC0 2020-06-02 18:54:54 +08:00
django-q
|
 |
10
jabari 2020-06-02 19:19:16 +08:00
rq
|
 |
11
baocaixiong 2020-06-02 20:39:12 +08:00
@tcpdump 老哥你要 xswl
|
 |
12
SystemLight 2020-06-02 20:43:45 +08:00
django 也很重啊，不如考虑下 tornado -_-
|
 |
13
6d6f33 2020-06-02 20:45:35 +08:00
用 RQ 把，小、稳。
celery，我技术太菜，用做定时任务，在腾讯云服务器跑一段时间一点也查不出原因的就挂了，得手动重启。RQ 就活得好好的。 当然，celery 肯定配置都对，配了自动重启，反正查不出原因，只能怪自己太菜。 |
 |
14
mrchi 2020-06-02 20:45:40 +08:00
@SystemLight tornado 连 webserver 都带了，岂不是更重
|
 |
15
wd 2020-06-02 21:22:25 +08:00 via iPhone
不就自己起个 thread 跑么
|
 |
16
Philippa 2020-06-02 21:28:49 +08:00 via iPhone
我觉得你另外启动一个 project，worker，不需要 celery，用 http 和它通讯，通讯完它给你接口发送报告。以后谁都可以调它，不要这个功能直接干掉那个 worker 就好了，侵入性低，简单直接。
|
 |
17
nonduality 2020-06-02 21:49:48 +08:00
celery 占用内存确实很大，依赖的库很多，而且貌似会内存泄漏，起单一个 celery 进程可以超过 400M 内存。
|
|
18
nonduality 2020-06-02 21:53:29 +08:00
Django 能用的还有 APScheduler 。
既能做任务队列又能做定时 /循环执行的，差不多只有 celery 。 |
 |
19
ericls 2020-06-02 22:00:25 +08:00 via iPhone
如果真的是那种无所谓的任务 我来自荐下我的 django_simple_task
注意你最好调整一下并发限制。另外如果把 API 请求用 asyncio 写 overhead 会小一些 |
|
20
ericls 2020-06-02 22:01:24 +08:00 via iPhone
起个线程也可以 但是最好有个线程池
|
 |
21
ClericPy 2020-06-02 22:41:06 +08:00 1
这种量级没什么必要走消息队列吧
这就个位数的任务, 也不用非得启动 celery 那么重吧 最最简单的, 生产者消费者模式: 启动服务的时候丢一个多线程后台跑着消费 Python 自带的 queue, 然后 api 被调用的时候把相关参数传入 queue 里去, 又线程安全, 又避免高并发出问题(可以加个 sleep 避免触及第三方 api 的 rate limit) 如果需要并发, 那这个 background 就可以换成 thread executor, api 被调用的时候无脑给 pool 里 Submit 一个函数+参数就可以异步启动了 不过如果 Django 经常要重启, 这就没法持久化 Callback 的参数了, 确实该用 celery 或者消息队列... |
 |
22
youngce 2020-06-02 22:49:00 +08:00
我的 celery 安安静静的跑了有一整年了，暂时没有看出啥问题。。。动态修改周期性任务执行计划还是挺香的
|
 |
23
HuberyPang 2020-06-02 22:51:35 +08:00
@ericls 老哥，请教下。django view 中启动线程，怎么配置线程池啊。每一次请求 view，就是开启了一个线程（我这么说没错吧），那么当线程池用完了，这时在有访问 view,会阻塞吗
|
 |
24
aladdindingding 2020-06-02 22:57:55 +08:00
单独起一个线程就好了
from concurrent.futures import ThreadPoolExecutor executor = ThreadPoolExecutor(5) executor.submit()立马就有返回的 不会阻塞 |
|
25
HuberyPang 2020-06-02 23:20:23 +08:00
|
 |
26
tulongtou 2020-06-02 23:30:29 +08:00
我这 celery + rabbitmq 跑了 5 年多了，从 python2 跑到 python3，一直很好用啊，没感觉有多重
|
 |
27
Ritter 2020-06-03 00:02:02 +08:00
rq
|
 |
28
iConnect 2020-06-03 00:23:51 +08:00 via Android
|
 |
29
gjquoiai 2020-06-03 00:44:24 +08:00 via iPhone
dramatiq
|
|
30
ericls 2020-06-03 00:59:25 +08:00
|
 |
31
skywatcher 2020-06-03 01:43:22 +08:00
需求简单，但是看你要不要满足高可用。比如任务失败是否重试，任务丢失能否接受（机器挂了，服务重启了）。项目不大能简单切换，可考虑用异步 io 框架，应该都不需要线程池，框架本身支持，比如 tornado, fastapi 。Django 的话启动 http server 时启动一个线程池，在 api 调用时使用线程池执行即可。再者如果任务比较多，线程池有压力，可以考虑额外启动几个消费进程与 http 服务进程共享 queue，用 queue 来分发任务，消费进程获取任务执行。如果你要考虑到任务的管理（失败重试、任务不丢失、任务状态），那就考虑 celery,mq 等中间件
|
 |
34
jswh 2020-06-03 09:55:31 +08:00
起个线程自己做一下好了，反正是 python，又不是 PHP
|
 |
35
ytymf 2020-06-03 15:24:34 +08:00
Huey,很小很稳。定时异步都支持。。。。
|
 |
36
macrosea 2021-04-23 23:43:51 +08:00
围观
|
Select Language