首页 > 后端开发 > Python教程 > 自定义 Google Cloud Python 库中的重试谓词

自定义 Google Cloud Python 库中的重试谓词

Barbara Streisand
发布: 2024-11-19 18:11:02
原创
359 人浏览过

Customizing Retry Predicates in Google Cloud Python Libraries

Google Cloud 的 Python 库专为提高弹性而设计。它们添加了强大的重试机制来有效处理瞬态错误。但是,在某些情况下,默认重试行为可能不适合。例如,您可能会遇到某些不应触发重试的错误,或者您可能需要对重试逻辑进行更多控制。

这篇博文探讨了 Google Cloud 的 Python 库如何与自定义重试谓词交互,让您可以自定义重试行为以更好地满足您的特定要求。

在这篇博文中,我想重点介绍一个与在 Google Cloud 库中使用服务帐号模拟相关的具体示例。在我设计并目前正在研究的架构中,我们将用户环境隔离到单独的 Google Cloud 项目中。我们注意到,我们的一些服务在某些用户流中性能下降。经过调查,我们将问题追溯到前面提到的库的默认重试行为。

默认重试机制

在进行自定义之前,了解 Google Cloud Python 库的默认重试行为非常重要。这些库通常具有指数退避策略,并增加重试抖动。这意味着,当发生暂时性错误时,库将在短暂延迟后重试该操作,并且每次后续尝试后延迟都会呈指数增长。包含抖动会带来延迟的随机性,这有助于防止多个客户端之间的重试同步。

虽然此策略在许多情况下都很有效,但它可能并不适合所有情况。例如,如果您使用服务帐户模拟并遇到身份验证错误,则尝试重试该操作可能没有帮助。在这种情况下,可能需要先解决底层身份验证问题,然后才能重试成功。

输入自定义重试谓词

在 Google Cloud 库中,自定义重试谓词使您能够指定应进行重试尝试的精确条件。您可以创建一个接受异常作为输入的函数,如果应该重试操作则返回 True,如果不应该重试则返回 False。

例如,下面是一个自定义重试谓词,可防止重试服务帐户模拟期间发生的某些身份验证错误:

from google.api_core.exceptions import GoogleAPICallError
from google.api_core.retry import Retry, if_transient_error

def custom_retry_predicate(exception: Exception) -> bool:
    if if_transient_error(exception): # exceptions which should be retried
        if isinstance(exception, GoogleAPICallError):
            if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error
                return False
        return True
    return False
登录后复制
登录后复制

此谓词检查异常是否为 GoogleAPICallError,并专门查找消息“无法获取模拟凭据”。如果满足此条件,则返回 False,防止重试。

将自定义谓词与 Google Cloud 库结合使用

Firestore:

from google.api_core.exceptions import GoogleAPICallError
from google.api_core.retry import Retry, if_transient_error

def custom_retry_predicate(exception: Exception) -> bool:
    if if_transient_error(exception): # exceptions which should be retried
        if isinstance(exception, GoogleAPICallError):
            if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error
                return False
        return True
    return False
登录后复制
登录后复制

BigQuery

from google.cloud import firestore

# ... your Firestore setup ...

retry = Retry(predicate=custom_retry_predicate, timeout=10)

# example of an arbitrary firestore api call, works with all
stream = collection.stream(retry=retry)
登录后复制

在这两个示例中,我们使用自定义谓词和超时值创建一个 Retry 对象。然后,此 Retry 对象作为参数传递给相应的 API 调用。

自定义重试谓词的好处

  • 细粒度控制:根据特定异常或错误消息精确定义重试条件。
  • 提高效率:避免对非暂时性错误进行不必要的重试,从而节省资源和时间。
  • 增强应用程序稳定性:妥善处理特定错误以防止级联故障。

结论

自定义重试谓词提供了一种增强 Google Cloud 应用程序弹性的有效方法。通过自定义重试行为以满足您的特定要求,您可以确保您的应用程序稳健、高效且可扩展。负责您的错误处理并掌握重试过程!

以上是自定义 Google Cloud Python 库中的重试谓词的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:dev.to
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板