V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  misoomang  ›  全部回复第 1 页 / 共 1 页
回复总数  12
91 天前
回复了 humbass 创建的主题 Node.js 关于断点续传
开源的对象存储 minio 是否可以考虑使用搭建
149 天前
回复了 test9106 创建的主题 站长 cdn 被盗刷
最近做了公司内部 CDN 流量预警方面的功能,目前根据各平台 CDN Top20 的 IP 访问流量和访问次数作为依据(这方面数据可以用 SDK 获取),同时结合业务的相关访问日志,然后设定对应规则,到达阈值自动封禁,单 IP 类可能误封,因为有可能是局域网的出口 IP ,可根据具体实际情况看待;但如果是 C 类地址网段类基本上能确认封禁。国内的话目前还是比较推荐腾讯云 EdgeOne ,安全防护类的功能相对性完善一点,比如常见的 Web 防护,Bot 管理之类的
192 天前
回复了 xianmofeng3 创建的主题 Python 各位大佬, 推荐一个 fastapi 用户权限库
casbin 是否可以参考下,主要是整理 rbac 模型数据,剩下的可以通过 middleware 的方式进行权限管控
269 天前
回复了 misoomang 创建的主题 MySQL 求助 MySQL 5.7 默认隔离级别下死锁问题
感谢回复。通过手动执行上述场景的锁持有状况来看,确实是这样的

time1 时刻,由于 id=22 在表中是没有的,此刻事务 A 会在 (15, 25) 加上间隙锁
time2 时刻,由于 id=21 在表中也是没有的,且间隙锁之间不是互斥的,所以此刻事务 B 会在 ( 15, 25 )加上间隙锁

time3 时刻的 insert 语句因为事务 B 间隙锁的存在所以需要等待事务 B 间隙锁释放;
time4 时刻的 insert 语句因为事务 A 间隙锁的存在所以需要等待事务 A 间隙锁释放;

从而出现死锁的情况
344 天前
回复了 guoguobaba 创建的主题 Python django migration 的问题
首先 python3 manage.py makemigrations 是会基于 django_migration 表和当前的 model.py 进行的差异对比生成 migrations 文件,执行 migrate 后是根据新增的 migrations 文件执行表结构变更后在 django_migrations 插入对应 migrations 文件对应的 app 信息和时间戳版本信息

所以需要对比 django_migrations 表各 app 执行模块对应最新版本信息、migrations 文件信息、以及对应表结构综合对比
是否可以采用 MySQL 临时表的方案解决该问题

所有的表数据查询后都汇总到临时表中,然后在临时表进行 join 、aggregate 的操作,断开数据库连接后临时表也会自动回收掉
2023-11-08 15:46:51 +08:00
回复了 misoomang 创建的主题 推广 新鲜赣南脐橙,口感绝佳!欢迎新老 V 友尝鲜呀
第一次发帖还没写好不小心点了发送,麻了
2023-11-07 14:20:08 +08:00
回复了 stonesirsir 创建的主题 Python Python |图中这样的数据怎么高效存取
https://docs.celeryq.dev/en/stable/userguide/canvas.html#chords

菜鸟一枚,方案不夕勿喷,个人觉得可以采用 celery chord 的方式进行处理,它会等待所有的子任务处理完毕以后触发回调的方法

子任务可以做字段选择和字段去重工作,大致思路是这样
result1 = chord(处理数据源 1 ,处理数据源 2)(记录连接 1 方法)
result2 = chord(处理数据源 3 ,处理数据源 4)(记录连接 2 方法)
reslut3 = chord(result1, result2)
集群里每新增一个 Service 在每个宿主机的 iptables 都会增加一条 iptables 规则,而每条 iptables 规则都有与 Pod 对应的集合

所以 Service 多了 iptables 会变多,Pod 多了对应的规则维护与 Pod 对应关系的集合也会多

故都有关系
2023-10-25 14:50:57 +08:00
回复了 AboPlus 创建的主题 程序员 1024 快乐!请教下各位大佬一个关于 celery worker 的问题!
似乎使用 celery 的 chord 方法场景更合适,可以并发处理任务的结果,当所有结果准备好以后进行回调做顺序的编排

https://docs.celeryq.dev/en/stable/userguide/canvas.html#chords
2023-09-04 14:10:21 +08:00
回复了 lzjunika 创建的主题 Python celery 为何部署到服务器上变成同步阻塞了
作为菜鸡提出的验证想法:可以写一个 @worker_process_init.connect() 写个方法打印日志,确定是否有多个 worker

猜想:在服务器上从上面看上传 test_8.png 任务是执行了 0.08s ,间隔接收 test_9.png 有 2s 的时间间隔,是否会是 io 的影响导致接收图片过慢,导致第一个任务再 worker1 执行,第二个任务也在 worker1 中执行
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1924 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 48ms · UTC 16:18 · PVG 00:18 · LAX 08:18 · JFK 11:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.