• 技术文章 >后端开发 >Python教程

    Django数据库连接丢失的问题解决(示例讲解)

    不言不言2018-12-29 10:35:43转载1299
    本篇文章给大家带来的内容是关于Django数据库连接丢失的问题解决(示例讲解),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

    问题

    在Django中使用mysql偶尔会出现数据库连接丢失的情况,错误通常有如下两种

    1. `OperationalError: (2006, 'MySQL server has gone away')`  
    1. `OperationalError: (2013, 'Lost connection to MySQL server during query')`

    查询mysql全局变量SHOW GLOBAL VARIABLES;可以看到wait_timeout,此变量表示连接空闲时间。如果客户端使用一个连接查询多次数据库,如果连续查询则没有问题,如果查询几次后停顿超过wait_timeout后再次查询就会出现数据库连接丢失。

    复现

    下面用Django复现下次问题:

    1、将mysql的wait_timeout设置为10秒,然后进入django shell模拟查询(以下错误信息只保留了部分)

    In[1]:import time
    In[2]:from django.contrib.auth.models import User
    In[3]:list(User.objects.filter(id=1))
    Out[3]:[<User: admin>]
    In[4]:time.sleep(15) # 模拟比较慢的代码(其中没有查询数据库的代码),或者空闲什么都不操作一段时间,此时间要比`wait_timeout`大一些
    list(User.objects.filter(id=1))
    Traceback (most recent call last):
      File "<ipython-input-4-3574ae8220ee>", line 1, in <module>
        list(User.objects.filter(id=1))
    
      File "/usr/lib/python3.6/site-packages/pymysql/connections.py", line 1037, in _read_bytes
        CR.CR_SERVER_LOST, "Lost connection to MySQL server during query")
    django.db.utils.OperationalError: (2013, 'Lost connection to MySQL server during query')

    寻求

    那么以上问题就基本说明了是空闲时间过长导致的错误。
    django为了减少不必要的数据库连接、关闭,复用了数据库连接,当开始一个请求后建立一个连接池存放连接,之后此次请求都复用一个连接。那猜测就是django保存连接的比wait_timeout长了,如果保存时间短一些就可以重新建立连接避免此错误了。
    没错,官方文档也已经说明了此问题,设置数据库 CONN_MAX_AGE参数,示例:

    DATABASES = {
        "default": {
                'ENGINE': 'django.db.backends.mysql',
                'NAME': '',
                'USER': '',
                'PASSWORD': '',
                'HOST': '',
                'CONN_MAX_AGE': 9  # 比wait_timeout小一些
        }
    }

    当我们测试后却发现,事情并非想想中那么简单。为何错误依旧出现?这一切的背后, 是人性的扭曲还是道德的沦丧?敬请收看下节《突破》。

    突破

    对django源码中CONN_MAX_AGE进行了一番搜索,顺藤摸瓜发现了django关闭失效连接的方法django.db.close_old_connections()

    # Register an event to reset transaction state and close connections past
    # their lifetime.
    def close_old_connections(**kwargs):
        for conn in connections.all():
            conn.close_if_unusable_or_obsolete()
    
    signals.request_started.connect(close_old_connections)
    signals.request_finished.connect(close_old_connections)

    重点在最后两行,通过signal实现特定事件时执行此方法,两个特定事件顾名思义是请求开始和请求结束。而我们报错的是在一次请求中,所以此法通常无效,仅仅是实现每个请求关闭并重新建立连接。

    解决

    复现问题的django shell不要关闭,继续执行如下代码:

    In[5]:from django.db import close_old_connections
    In[6]:close_old_connections()
    In[7]:list(User.objects.filter(id=1))
    Out[7]: [<User: admin>]

    调用django.db.close_old_connections后再次查询就没有错误了。
    那么我们要避免此错误就要执行每个数据库查询前调用django.db.close_old_connections方法。

    1、一般情况不会出现此类问题,因为一个请求中不间断进行数据库查询,无需每个请求调用此方法,杞人忧天。

    2、有时候一个请求中数据量较大,会查询数据库后进行一段时间其他(不涉及数据库)处理,比如先查询一些数据,然后将数据处理、生成excel、保存文件并生成url。已知此过长需要非常长时间,那么最终url保存数据库就最好先调用django.db.close_old_connections防止连接丢失。

    以上就是Django数据库连接丢失的问题解决(示例讲解)的详细内容,更多请关注php中文网其它相关文章!

    声明:本文转载于:segmentfault,如有侵犯,请联系admin@php.cn删除
    专题推荐:django mysql python
    上一篇:flask-migrate扩展的用法介绍(附代码) 下一篇:Python3列表的基础学习(附示例)
    大前端线上培训班

    相关文章推荐

    • 详解Python的迭代器、生成器以及相关的itertools包• 分析在Python中何种情况下需要使用断言• python fabric实现远程操作和部署示例• python数据结构之二叉树的统计与转换实例• Django框架中方法的访问和查找

    全部评论我要评论

  • 取消发布评论发送
  • 1/1

    PHP中文网