SQL语言怎样通过Django ORM优化 SQL语言与Python高级框架的交互技巧

使用 select_related 和 prefetch_related 预取关联数据以避免 n+1 查询；2. 在数据库层面使用 annotate 和 aggregate 进行数据聚合，减少 python 层处理；3. 当查询过于复杂、性能关键或需使用数据库特有功能时，可使用参数化 raw sql 查询；4. 通过 str(queryset.query)、explain() 或 django debug toolbar 分析生成的 sql 以优化执行计划；5. 使用 bulk_create 和 bulk_update 批量操作数据，减少数据库交互次数，提升性能，但需注意其不触发信号等限制，以上方法综合运用可有效优化 django orm 的 sql 性能。

Django ORM 提供了一种更 Pythonic 的方式来与数据库交互，但如果不注意，很容易写出效率低下的 ORM 代码，最终生成性能糟糕的 SQL。优化 Django ORM 产生的 SQL，关键在于理解 ORM 的工作方式，并学会利用其提供的各种工具和技巧。

避免 N+1 查询，利用

select_related

prefetch_related

annotate

aggregate

raw

如何避免 Django ORM 中的 N+1 查询问题？

N+1 查询是 Django ORM 中最常见的性能问题之一。想象一下，你有一个

Author

Book

立即学习“Python免费学习笔记（深入）”；

authors = Author.objects.all()
for author in authors:
    books = author.book_set.all()  # 每次循环都会执行一次 SQL 查询
    print(f"Author: {author.name}, Books: {books}")

这段代码会先执行一次查询获取所有作者，然后对每个作者再执行一次查询获取其对应的书。如果有 N 个作者，就会执行 N+1 次查询，这在高并发环境下会严重影响性能。

解决 N+1 查询的关键在于预取关联数据。Django ORM 提供了

select_related

prefetch_related

• select_related

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  : 用于预取外键和一对一关系。它通过在单个 SQL 查询中使用

  JOIN

  登录后复制

  登录后复制

  登录后复制
  来获取关联数据。适用于关联数据量不大，且只需要获取关联对象本身的情况。

  例如，如果你想获取所有书籍及其对应的作者，可以使用：

  books = Book.objects.select_related('author').all()
  for book in books:
      print(f"Book: {book.title}, Author: {book.author.name}") # 访问 book.author 不会触发额外的 SQL 查询

  登录后复制

• prefetch_related

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  : 用于预取多对多和一对多关系。它通过执行额外的 SQL 查询来获取关联数据，然后将数据缓存到 Python 中，避免重复查询。适用于关联数据量较大，或者需要对关联数据进行过滤和排序的情况。

  例如，如果你想获取所有作者及其对应的书，可以使用：

  authors = Author.objects.prefetch_related('book_set').all()
  for author in authors:
      books = author.book_set.all() # 访问 author.book_set 不会触发额外的 SQL 查询
      print(f"Author: {author.name}, Books: {books}")

  登录后复制

选择

select_related

prefetch_related

select_related

prefetch_related

如何利用 Django ORM 的

annotate

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

和

aggregate

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

进行数据聚合？

annotate

aggregate

• aggregate

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  : 用于计算整个查询集上的聚合值。例如，计算所有书籍的平均价格：

  from django.db.models import Avg
  
  average_price = Book.objects.aggregate(Avg('price'))
  print(f"Average price: {average_price['price__avg']}")

  登录后复制

• annotate

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  : 用于为查询集中的每个对象添加一个聚合字段。例如，计算每个作者的书籍数量：

  from django.db.models import Count
  
  authors = Author.objects.annotate(num_books=Count('book'))
  for author in authors:
      print(f"Author: {author.name}, Number of books: {author.num_books}")

  登录后复制

annotate

aggregate

from django.db.models import Avg, Count

authors = Author.objects.annotate(num_books=Count('book'), avg_price=Avg('book__price'))
for author in authors:
    print(f"Author: {author.name}, Number of books: {author.num_books}, Average price: {author.avg_price}")

使用

annotate

aggregate

Avg

Count

Sum

Max

Min

何时应该直接使用

raw

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

登录后复制

SQL 查询，而不是 Django ORM？

虽然 Django ORM 提供了方便的数据库抽象，但在某些情况下，直接使用

raw

以下是一些适合使用

raw

• 复杂的 SQL 查询: 当你需要执行复杂的 SQL 查询，例如涉及多个

  JOIN

  登录后复制

  登录后复制

  登录后复制
  、子查询或自定义函数时，使用 Django ORM 可能会变得非常繁琐，甚至无法实现。这时，直接编写

  raw

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  SQL 查询可以更灵活地控制 SQL 的执行过程。

• 性能关键的查询: 当你需要优化性能关键的查询时，直接编写

  raw

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  SQL 查询可以更好地控制 SQL 的执行计划，避免 Django ORM 产生的额外开销。

• 使用数据库特定的功能: 当你需要使用数据库特定的功能，例如 PostgreSQL 的

  JSON

  登录后复制
  支持或 MySQL 的全文搜索时，直接编写

  raw

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  SQL 查询可以更方便地利用这些功能。

使用

raw

from django.db import connection

def my_custom_query(author_id):
    with connection.cursor() as cursor:
        cursor.execute("SELECT b.title FROM books b WHERE b.author_id = %s ORDER BY b.publication_date DESC", [author_id])
        rows = cursor.fetchall()
    return rows

虽然

raw

• SQL 注入风险: 使用

  raw

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  SQL 查询时，需要特别注意 SQL 注入风险。应该使用参数化查询来避免将用户输入直接拼接到 SQL 语句中。
• 数据库兼容性:

  raw

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  SQL 查询可能会依赖于特定的数据库，导致代码在不同的数据库之间移植困难。
• 代码可读性:

  raw

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制

  登录后复制
  SQL 查询可能会降低代码的可读性和可维护性。

因此，在使用

raw

raw

如何分析 Django ORM 生成的 SQL 查询？

理解 Django ORM 如何将你的代码转换为 SQL 查询是优化性能的关键。Django 提供了几种方法来查看和分析 ORM 生成的 SQL 查询。

• str(queryset.query)

  登录后复制
  : 这是最简单的方法，可以直接将

  QuerySet

  登录后复制
  对象转换为 SQL 字符串。例如：

  books = Book.objects.filter(author__name='John Doe')
  print(str(books.query))

  登录后复制

  这种方法可以快速查看 ORM 生成的 SQL 查询，但它不会执行查询，也不会显示查询的执行计划。

• QuerySet.explain()

  登录后复制
  : 这是一个更强大的工具，可以显示查询的执行计划。执行计划可以帮助你了解数据库如何执行查询，从而找到性能瓶颈。

  books = Book.objects.filter(author__name='John Doe')
  print(books.explain())

  登录后复制

  explain()

  登录后复制
  方法的输出取决于你使用的数据库。一般来说，它会显示查询使用的索引、扫描的行数、以及其他有用的信息。

• Django Debug Toolbar: 这是一个流行的 Django 调试工具，可以显示各种调试信息，包括 ORM 生成的 SQL 查询、查询的执行时间、以及其他有用的信息。

  Django Debug Toolbar 可以帮助你快速找到性能瓶颈，并优化你的 ORM 代码。

通过分析 ORM 生成的 SQL 查询，你可以更好地理解 ORM 的工作方式，并找到优化性能的机会。例如，你可以检查查询是否使用了正确的索引，是否避免了全表扫描，以及是否可以优化

JOIN

如何使用 Django ORM 批量创建和更新数据？

当需要创建或更新大量数据时，使用 Django ORM 的批量操作可以显著提高性能。

• bulk_create

  登录后复制

  登录后复制

  登录后复制
  : 用于批量创建对象。它通过在单个 SQL 查询中插入多个对象来避免多次数据库交互。

  books = [
      Book(title='Book 1', author=author, price=10),
      Book(title='Book 2', author=author, price=15),
      Book(title='Book 3', author=author, price=20),
  ]
  Book.objects.bulk_create(books)

  登录后复制

  bulk_create

  登录后复制

  登录后复制

  登录后复制
  方法有一些限制：它不会触发

  pre_save

  登录后复制
  和

  post_save

  登录后复制
  信号，也不会设置主键值。

• bulk_update

  登录后复制

  登录后复制

  登录后复制
  : 用于批量更新对象。它通过在单个 SQL 查询中更新多个对象来避免多次数据库交互。

  books = Book.objects.filter(author=author)
  for book in books:
      book.price = book.price * 1.1
  Book.objects.bulk_update(books, ['price'])

  登录后复制

  bulk_update

  登录后复制

  登录后复制

  登录后复制
  方法需要指定要更新的字段。

使用

bulk_create

bulk_update

以上就是SQL语言怎样通过Django ORM优化 SQL语言与Python高级框架的交互技巧的详细内容，更多请关注php中文网其它相关文章！