V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Buffer2Disk  ›  全部回复第 7 页 / 共 13 页
回复总数  260
1  2  3  4  5  6  7  8  9  10 ... 13  
2019-03-20 13:07:31 +08:00
回复了 Buffer2Disk 创建的主题 MySQL 关于 mysql 死锁(dead lock)的问题
我目前 插入的定时任务一次性插入 200 多条数据,采用的是 mybatis SqlSession ---> ExecutorType.BATCH 方式来批量提交数据;

如果用 mybatis 的 foreach 来提交不知道会不会快一点,但是看这个老外评论好像效率会更低
https://stackoverflow.com/a/40608353/2379891
2019-03-20 13:03:53 +08:00
回复了 Buffer2Disk 创建的主题 MySQL 关于 mysql 死锁(dead lock)的问题
@xjy110207 "一个通用解决方案就是每个事务都尽可能的只修改少量的数据"

会不会造成插入的时间耗时增加呢?
2019-03-20 12:58:05 +08:00
回复了 Buffer2Disk 创建的主题 MySQL 关于 mysql 死锁(dead lock)的问题
这个 gap 锁范围有这么大么?
2019-03-20 12:56:08 +08:00
回复了 Buffer2Disk 创建的主题 MySQL 关于 mysql 死锁(dead lock)的问题
@xjy110207 其实我没太明白,任务 2 的作用就是执行了一条 sql,删除了一条记录

为啥
"顺序扫描索引并用 gap 锁锁住了处于 200 页的某条记录"



"顺序扫描到了 218 页,需要获得排它锁,开始等待事务 2"

发生了这 2 件事情
2019-03-20 12:49:16 +08:00
回复了 Buffer2Disk 创建的主题 MySQL 关于 mysql 死锁(dead lock)的问题
@xjy110207 我目前的解决方案是,给 2 个定时任务加了可重入锁,让它们不要同时执行


或者 把 RR 改成 RC 也可以,这个没试过
2019-03-20 12:48:10 +08:00
回复了 Buffer2Disk 创建的主题 MySQL 关于 mysql 死锁(dead lock)的问题
@xjy110207 确实是 RR 模式,uid 加了普通索引
任务 1 插入的时候数据太多,是放在一个事务里面批量提交的
2019-03-18 22:12:25 +08:00
回复了 wsds 创建的主题 问与答 游泳高手放到大海里边,会怎样?
作为一个持有 AOW 潜水证和业余游泳选手回答一下,
游泳池里面游和大海里面游的感觉是完全不一样滴

游泳池里面基本不用想太多
大海里面要考虑的东西比较多;浮力,耐力,环境因素(海浪,离岸流等),心理因素等等都要考虑
至于楼上面说的遇到不明生物(鲨鱼,水母)这种,几率不大,还是看运气的
2019-01-10 17:15:16 +08:00
回复了 blackccc 创建的主题 旅行 有什么地方是情侣过年可以去玩的吗?
@sethverlo 不用冻结,我上月底刚去了一趟;海关会抽查现金,这个看人品,被抽查的几率很小;
另外去泰国强烈不推荐落地签,现在免费阶段,一大堆印度佬在机场排队插队,如果坐红眼航班的话会很坑爹,建议国内办好签证再去
2018-11-29 17:32:04 +08:00
回复了 Buffer2Disk 创建的主题 程序员 bootstrap 现在还有什么好用的 cdn 吗?
@lhx2008 已经换 360 的了,速度还行
2018-11-28 14:59:59 +08:00
回复了 aodeng 创建的主题 程序员 做为一个程序员,大家都用什么东西记笔记?
其实我一直想找一款, 支持护眼模式,启动速度快的笔记软件,有嘛?
感觉其他软件要么没有想要的主题,要么很臃肿(没有多端同步的需求)
2018-11-27 14:43:17 +08:00
回复了 Buffer2Disk 创建的主题 iPhone iPhone 的信号确实垃圾
@RHFS 对的
2018-11-27 14:42:59 +08:00
回复了 Buffer2Disk 创建的主题 iPhone iPhone 的信号确实垃圾
@Pactzhao 只能进蜂窝网络那里,还要点一下,才能进网络制式选择啊
2018-11-21 13:50:07 +08:00
回复了 hongch 创建的主题 杭州 想在杭州开一家冒菜店 有没有做餐饮的 ver 指条路
想法不错,关键看怎么实施,杭州餐饮不咋地,口味太淡
2018-11-20 10:21:43 +08:00
回复了 Buffer2Disk 创建的主题 问与答 关于 tcmalloc 与 jemalloc
网上说 jemalloc 管理内存碎片方面比 tcmalloc 更好,这个还没感受出来
2018-11-20 10:21:30 +08:00
回复了 Buffer2Disk 创建的主题 问与答 关于 tcmalloc 与 jemalloc
@gulucn 原来是这样,试了下,默认参数情况下,jemalloc 内存释放给系统的速度应该比 tcmalloc 要快,可能是 2 者的策略不同。
2018-11-20 10:18:45 +08:00
回复了 Buffer2Disk 创建的主题 问与答 关于 tcmalloc 与 jemalloc
@zk8802 业务系统的内存泄漏优化了一个月了,感觉应该没啥了,主要就是进程的内存随着时间一直增长,所以才想着更换内存管理器
2018-11-19 16:57:38 +08:00
回复了 Buffer2Disk 创建的主题 Python 关于 Python 内存泄漏
今天从 tcmalloc 换了 jemalloc,好像效果更好了,听说 jemalloc 处理内存碎片方面更有优势( tcmalloc 在线程频繁创建和销毁的场景下更有优势,但是我的业务系统线程数恒定)
看来可能是 python EventLoop 不断创建对象,销毁对象 造成了大量的内存碎片,然后 glibc 默认的 ptmalloc 处理内存碎片不够好造成的?
2018-11-19 15:49:28 +08:00
回复了 Buffer2Disk 创建的主题 问与答 关于 tcmalloc 与 jemalloc
@zk8802 应该是的,我感觉 tcmalloc 内存一直在增长 4KB 的倍数,就没释放过
2018-11-16 11:25:39 +08:00
回复了 Buffer2Disk 创建的主题 Python 关于 Python 内存泄漏
@MrGba2z @redsonic
花了一个多月排查,过程有点艰辛,不过总算有点成果
首先是换了 centos7 的系统,启用了 tcmaloc,然后解决了代码里面一些存在内存泄漏的地方,内存增长终于可以保持较稳定的状态
不过接下来碰到一个诡异的问题,内存总是在以 4kb 的速度不断往上缓慢增长,起先我以为是 python 的官方库 ordeedDict 问题 ,因为有些文章里面提到过 ordeedDict 的实现存在循环引用的情况,在 del 的时候会产生一个 self-refering list

不过后来发现好像不是这个原因 ,去掉了 tcmalloc,export MALLOC_ARENA_MAX=1 后,好像这个诡异的内存不断增长问题就消失了

使用的工具包括 objgraph 和 gc,pympler 等
参考教程 http://blog.soliloquize.org/2017/10/01/Python%E4%BB%A3%E7%A0%81%E5%86%85%E5%AD%98%E6%B3%84%E6%BC%8F%E5%88%86%E6%9E%90%E7%BB%AD/
2018-11-14 14:13:34 +08:00
回复了 Buffer2Disk 创建的主题 Python 关于 Python OrderedDict 存在内存泄漏的问题
@cgsv 循环引用在什么样的情况下会内存泄漏(不开启 GC 的情况下)
我测试了下,
如果我直接 del OrderedDict 的对象,好像是会产生一个空的 self-refering list
如果只是 del 其中某一个键值对,好像没有任何泄漏

那么可以认为删除键值对的情况下,没有内存泄漏,可以这么理解嘛?
1  2  3  4  5  6  7  8  9  10 ... 13  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2425 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 16:01 · PVG 00:01 · LAX 08:01 · JFK 11:01
Developed with CodeLauncher
♥ Do have faith in what you're doing.