V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
sbmzhcn
V2EX  ›  MySQL

高并发实时数据写入, mysql 经常出错

  •  
  •   sbmzhcn · Aug 27, 2015 · 8398 views
    This topic created in 3906 days ago, the information mentioned may be changed or developed.
    This Session's transaction has been rolled back due to a previous exception during flush. To begin a new transaction with this Session, first issue Session.rollback (). Original exception was: (raised as a result of Query-invoked autoflush; consider using a session.no_autoflush block if this flush is occurring prematurely )

    This session is in 'prepared' state; no further SQL can be emitted within this transaction.

    多个线程周时向数据库中写入数据。 innodb 。 经常出现上面的错误 ,请问如何能解决这个问题?
    12 replies    2015-08-28 13:28:09 +08:00
    lvfujun
        1
    lvfujun  
       Aug 27, 2015
    锁+队列!
    flycare
        2
    flycare  
       Aug 27, 2015
    1.上 TokuDB ,适合高频率 insert ,少 update 的场景
    2.走消息队列
    3.先存 cache 在同步
    kier
        3
    kier  
       Aug 27, 2015
    数据库连接时设成 autocommit 吧
    eliteYang
        4
    eliteYang  
       Aug 27, 2015
    这种高并发实时性数据,建议使用 nosql ,不过你的 mysql 最多就是卡,不太可能出现你说的问题,除非就是卡的时间太长了,导致 session 失效了。还有,如果确认是 InnoDB ,只要不是特别实时的入库应该还好了。
    sbmzhcn
        5
    sbmzhcn  
    OP
       Aug 27, 2015
    @eliteYang 目前最有可能是我代码有问题。
    sbmzhcn
        6
    sbmzhcn  
    OP
       Aug 27, 2015
    Python gevent
    '''
    def get_session (scoped=False, engine=None, db_host=None, db_name=None, db_user=None, db_pass=None ):
    if not engine:
    engine = get_engine (db_host, db_name, db_user, db_pass )

    session_factory = sessionmaker (
    bind=engine,
    autoflush=True,
    autocommit=False,
    )

    if scoped:
    ScopedSession = scoped_session (session_factory )
    return ScopedSession
    else:
    return session_factory


    Session = get_session (db_host=db_host, db_name=db_name, db_user=db_user, db_pass=db_pass )
    session = Session ()
    server = DebuggingServer ((HOST, PORT ), session=session )
    server_thread = threading.Thread (target=server.serve_forever )

    '''
    这样写有啥问题?
    daiv
        7
    daiv  
       Aug 27, 2015
    ssdb 你考虑一下 :)

    我一直在用
    akira
        8
    akira  
       Aug 27, 2015
    队列应该就足够了
    sbmzhcn
        9
    sbmzhcn  
    OP
       Aug 27, 2015
    @akira 能提供更多信息吗,如何使用队列。我还真不会。
    ljdawn
        10
    ljdawn  
       Aug 28, 2015
    @sbmzhcn 赶紧去用 rq 哈哈哈哈哈
    xiangace
        11
    xiangace  
       Aug 28, 2015
    可能是 session 之前的操作抛出了异常, 但没有 rollback.
    你的场景可能是批量写,遇到异常时处理下,并输出 log.

    web application 里用的 session, 每次 request 其实也可能存在这个问题, 但多数时候没发现是因为
    设置 autocommit 之类或者严格处理 rollback, 另外框架可能会帮你 session.close

    注意是有 session.close 这部,在 commit/rollback 之后的操作, 因此在之后请求来时,不会出现
    这个问题.
    vivisidea
        12
    vivisidea  
       Aug 28, 2015
    大批量数据 insert 的话还可以考虑 batch 的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1095 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 59ms · UTC 18:04 · PVG 02:04 · LAX 11:04 · JFK 14:04
    ♥ Do have faith in what you're doing.