用的 beego 的 orm 数据库连接数 10000 innodb
用的是一个全局单例的 orm 对象
起 200 个进程 每秒起 1 个 goroutine 去操作数据库 每个 goroutine 去操作 5 次读和 2 次更新 即每秒有 200 个 routine 总共处理 1000 次读和 400 次写的时候 持续 60s 最后发现数据库数据混乱不对
存在部分协程重复插入 少插入 没更新等操作 重复插入可以添加唯一索引解决 没插入和没更新怎么搞呢
但是单个 goroutine 是没问题的
求大佬给点建议
1
blless 2019-08-17 12:29:20 +08:00 via Android
业务锁啊 一个进程就本机实现一个全局业务锁。多节点就搞个分布式锁。
|
2
Maboroshii 2019-08-17 13:26:28 +08:00
应该是操作有问题。
起 200 个进程 是 起 200 个 go routine 吧? 出问题的时候是否有错误,有没有打错误日志? 还有一个问题是你的数据来源是什么? 来源数据是否并发安全? 或者 orm 对象是否并发安全? |
3
hhyvs111 2019-08-17 14:06:25 +08:00
协程起来的时候是不是传的局部变量?还是传递的指针?如果传指针可能数据会被覆盖。
|
4
liprais 2019-08-17 14:07:57 +08:00 via iPhone
隔离级别了解一下
|
5
keepeye 2019-08-17 14:08:34 +08:00
没有代码,无法给建议
|
6
purplecity OP 具体程序
```go func init() { _ = orm.RegisterDataBase("default", "mysql", fmt.Sprintf("%s:%s@tcp(%s:%v)/%s?charset=utf8&allowNativePasswords=true", CommonConf.MysqlUserName, CommonConf.MysqlPassWord, CommonConf.MysqlIP, CommonConf.MysqlPort, CommonConf.MysqlDefaultDatabase)) //注册模型 orm.RegisterModel(new(AdminUsers),new(Realtrade)) //自动创建表 参数二为是否 drop 然后创建表 参数三是否打印创建表过程 orm.RunSyncdb("default",false,true) } var hpOrm orm.Ormer func getOrm() orm.Ormer { if hpOrm == nil { hpOrm = orm.NewOrm() } return hpOrm } func UpdateByCond(table string,cond,updateMap map[string]interface{}) { o := getOrm() qs := o.QueryTable(table) for key,value := range cond { qs = qs.Filter(key,value) } qs.Update(orm.Params(updateMap)) } func GetOneRecord(table string,cond map[string]interface{},resultStruct interface{}) { o := getOrm() qs := o.QueryTable(table) for key,value := range cond { qs = qs.Filter(key,value) } qs.One(resultStruct) } func GetAllRecord(table string,cond map[string]interface{},resultStruct interface{}) { o := getOrm() qs := o.QueryTable(table) for key,value := range cond { qs = qs.Filter(key,value) } qs.All(resultStruct) } ``` 然后有个进程 A 每隔 1s 会去查库 查到了所需的 B 类型数据 有多少条就起多少个协程去用 UpdateByCond 和 GetOneRecord GetAllRecord 这些读取和更新操作。 模拟多个客户端我起了 200 个进程 这 200 个进程会在一分钟内每秒插入一条不同的 B 类型数据。所以 A 会每秒起 200 个 goroutine 去更新和读取操作。。。 比较挫。。用的是一个单利对象还没去看 beego orm 源码。。。 重复写和少写没更新都有。 别说 200 个进程了 10 个进程都会有出错。。 |
7
purplecity OP |
8
purplecity OP @keepeye 大佬代码在你下面一层。多谢
|
9
purplecity OP @Maboroshii 在下面具体说明了下 数据来源是数据库的数据是每秒都会去查库的 不过确实数据库操作的结果没打日志
|