182247236 最近的时间轴更新 182247236 最近的时间轴更新 |
182247236V2EX 第 158293 号会员，加入于 2016-02-07 01:10:14 +08:00 |
| Django 中 Python 多线程连接数据问题请教 Python • 182247236 • 2022 年 3 月 18 日 • 最后回复来自 patrickpu | 26 |
| MySQL 查询数据太慢了，该怎么优化？ MySQL • 182247236 • 2022 年 1 月 2 日 • 最后回复来自 zzmark06 | 84 |
| 使用 Python -vlc 做了一个播放器该怎么获取音频来制作音量柱 Python • 182247236 • 2018 年 7 月 19 日 |
| 下一个 3DS 中文游戏会是什么呢？ 3DS • 182247236 • 2017 年 7 月 8 日 • 最后回复来自 182247236 | 3 |
| 请大家看看这段代码是不是挂码 程序员 • 182247236 • 2017 年 5 月 27 日 • 最后回复来自 tempdban | 4 |
| 怎么重启 zabbix 问与答 • 182247236 • 2017 年 2 月 24 日 • 最后回复来自 182247236 | 2 |
| Python 使用 nmap 扩展问题 Python • 182247236 • 2017 年 2 月 14 日 • 最后回复来自 c0rpse | 7 |
| 关于 Python \mysql\sqlite Python • 182247236 • 2017 年 1 月 20 日 • 最后回复来自 182247236 | 3 |
| 为什么 Git 这么难用， github destop 下载下来后安装又慢死 GitHub • 182247236 • 2017 年 1 月 11 日 • 最后回复来自 yolio2003 | 82 |
182247236 最近回复了
2022 年 1 月 2 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@julyclyde 我这边有 100 多个域名，一个月的数据就是 80 多万条了，查起来确实太慢了。所以想用 python 的多线程解决。。。SQL 注入漏洞的问题后面再解决吧。。
2022 年 1 月 2 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@Anivial 这个方式最近有想过，但是没有专业学过数据库，又着急，所以往后可能会考虑分表，SQL 注入这个超纲了。。。
2022 年 1 月 2 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@neoblackcap 我的做法是写多线程，每个线程都请求数据库，但你说的这个很有可能是我遇到的问题，我节后好好看看
2022 年 1 月 2 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@meiyoumingzi6 我的处理结果是 SQL 慢了，pandas 还是很给力的。。。哭
2022 年 1 月 2 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@lybcyd 一个月的数据大概有 80 万条左右，用 mysql 做 group by sum 真的估计更慢了，这步我用 pandas 处理其实挺好的了，这个业务是内部运维用的，SQL 注入这些因为我不是专业的，所以暂时先不理会吧
2022 年 1 月 2 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@shyrock 使用场景注定了用 redis 不行，数据库方面由于数据量真的太大了，所以我放弃了在这上面优化，多线程这块我再研究研究。
2022 年 1 月 2 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@Kinnice 没有用 mysql 的 group by 但是测试过了这个过程我用 pandas 计算非常快了。
2021 年 12 月 30 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@Kinnice 我现在用 for 就是分批次获取数据，但是 20 秒还是没法接收。
2021 年 12 月 30 日 回复了 182247236 创建的主题 › Python › Django 中 Python 多线程连接数据问题请教 |
@Kinnice 一次性把月数据取出来这个动作就需要 120 秒了，所以没法这么做的
2021 年 12 月 30 日 回复了 182247236 创建的主题 › MySQL › MySQL 查询数据太慢了，该怎么优化？ |
因为数据库是在不熟悉，公司只有一位稍微懂点的同事，给我的意见都是分表，因为 IN 的条件太多了，无论如何都快不了的，所以还是用了最笨的方法，按天查询，每次返回的结果在用 pandas 处理，一个月的数据其实就是请求数据库 30 次，速度已经从 120s 降到了 20s ，虽然还是觉得太慢了，接下来试试能不能从多线程的思路解决，提高请求 mysql 的效率看看能不能再优化下，谢谢各位大佬。
Select Language