决策中的生成AI：陷阱和实用解决方案

近年来，生成的AI在内容产生和客户支持等领域中获得了突出的知名度。但是，将其应用于涉及决策，计划和控制的复杂系统并不直接。本文探讨了如何将生成AI用于自动化决策，例如计划和优化。它还强调了这种方法提出的挑战，包括在这些应用中有效和准确的生成AI的缺点，风险和策略。

我们还将见证通常会通过以下示例在AI工程师和决策者之间创建对话，并指出将生成AI引入生产环境时要考虑的最重要因素。

本文基于Harshad Khadilkaronmastering Kaggle竞赛的最新演讲 - 策略，技术和成功的见解，在TheDatahack Summit 2024年。

学习成果

• 了解生成AI在自动决策系统中的作用和局限性。
• 在计划和控制等高风险应用程序中应用生成AI时确定挑战。
• 了解有关人工智能工程师和决策者如何在实践中互动的更多信息。
• 在实际情况下，了解如何管理风险并使用生成的AI适应它们。
• 讨论在混合系统中实施AI道德和运营管理原则的前景。

目录

• 自动决策的生成AI简介
• 为什么我们会通过生成的AI面对这些风险？
• 抹布（关系AI图）如何解决其中一些问题
• 生成AI模型的优势和劣势
• 了解工程师连续的视角
• 实用应用中生成AI的潜在和陷阱
• 为高风险应用定制生成AI
• 安全有效生成AI集成的策略
• 生成人工智能决策中的道德考虑
• 自动化系统中生成AI的未来指示
• 结论
• 常见问题

自动决策的生成AI简介

近年来，由于技术可以创建新的内容，设计和解决方案，因此在近年来对生成AI进行了广泛讨论。从文本分析到生成图像开始，生成模型已经公布了它们自动执行不同任务的能力。但是，在自动决策工具中使用此技术进行计划，优化和控制并不容易。即使生成的AI可以通过提供新颖的方法来补充决策，但其实施必须谨慎，因为这种解决方案危害了基本子系统的准确性和一致性。

自动化决策系统通常依赖于基于定义的规则和数据输入来优化过程的已建立算法。这些系统旨在具有高度的准确性，稳定性和控制功能。引入生成的AI，其倾向于探索新的可能性并产生并非总是可预测的输出，这会使事情变得复杂。因此，必须考虑将这种技术集成到决策系统中。这就像将功能强大的工具引入敏感过程一样 - 您需要确切地知道如何使用它以避免意外的后果。

生成的AI可以通过创建更灵活和自适应系统来自动化决策中的重要价值。例如，它可以帮助优化传统系统可能不足的动态环境中的资源。但是，其应用并非没有风险。生成模型的不可预测性有时会导致与所需结果不符的输出，从而导致潜在的破坏。这是对生成AI的能力和局限性的深入了解，至关重要。

生成AI的关键风险

让我们探索以下生成AI的关键风险：

• 声誉：涉及风险：与任何可以独立创建大小的AI模型一样，有偏见内容的风险，可能会损害生产AI的公司。
• 版权问题：机器学习模型，尤其是对培训大量数据进行大量数据的生成性模型，有时会产生侵犯版权的材料。
• 诉讼：与生成AI相关的法律风险可能存在，在这种情况下，这种风险会导致受伤或违规通常可接受 /法律规范的情况。
• 不可替代性：这可能导致组织内部的严重问题，因为生成AI的“随机”性质意味着您永远无法拥有两个相同的输出。
• 次要性：在某些情况下，生成AI生成的解决方案可能不会产生最佳结果，这是因为生成AI并未完全受到现实世界中的情况或环境中的应用程序的完全约束。
• 人类误导（自治）：生成的AI可能会通过提供错误的数据或由于控制损失而无责任的决策来欺骗人类。
• 失控：随着AI系统独立做出更多决策，人类很难区分自己的行为，从而限制了纠正措施。

为什么我们会通过生成的AI面对这些风险？

生成的AI模型虽然强大，但由于其设计和性质而具有固有的风险。了解这些风险需要对定义生成AI模型的关键特征以及如何在现实世界情景中应用。

概率推理引擎

生成的AI模型依赖于概率的推论，这意味着它们基于统计模式和可能性而不是确定性规则生成输出。这使得AI输出本质上不确定，这可能会导致不可预测或不正确的结果，尤其是在医疗保健或金融等高风险环境中。

在基于公共网络的数据集上培训

大多数生成的AI模型都是在主要从网络中采购的大型公开数据集上培训的。这些数据集可能包括不可靠，偏见或不完整的信息。结果，AI模型有时会产生反映数据中这些偏见，不准确或差距的输出。

很少为特定任务设计

生成的AI模型通常是为执行一般任务而建立的，并且通常不会针对特定的应用程序或行业进行优化。缺乏自定义意味着AI可能无法为专业任务提供最准确或上下文相关的输出，从而使其在精确决策过程中使用挑战。

微调困难

微调生成AI模型是一个复杂且通常很困难的过程。即使进行了调整，这些模型也可能并不总是与特定要求完美匹配。微调问题可能使得难以确保AI有效地适用于给定的任务，尤其是在动态或高风险环境中。

抹布（关系AI图）如何解决其中一些问题

破布为生成AI所面临的一些问题提供了解决方案，但它们并非没有局限性：

• 并非所有答案都在参考数据集中可用：虽然RAGS帮助提供更多结构化数据供AI模型引用，但它们仍然依赖于预先存在的数据集。如果正确的答案或信息不在数据集中，则该模型将无法生成所需的结果。
• 定量任务需要逻辑，而不仅仅是参考：对于某些任务，尤其是那些需要复杂推理或计算的任务，生成的AI模型需要基于逻辑的方法，而破布目前无法完全提供。抹布非常适合提供上下文参考数据，但是它们缺乏优化或精确决策等任务所需的逻辑处理。
• 每个任务缺乏逻辑：尽管RAGS可以帮助组织和提供相关信息，但它们没有提供解决某些复杂挑战所需的特定任务逻辑。例如，在金融或医疗保健中，决策的逻辑是特定于领域的逻辑，而不是抹布很容易适应的东西。
• 生成AI的概率性质：尽管破布可以帮助组织知识并改善参考参数的访问，但它们并不能解决生成AI的概率性质的基本问题。生成AI仍将依赖统计推断，这意味着总会有一个不确定性和错误的元素。

分层/代理方法作为替代方案

层次或代理方法将任务分解为较小的子任务，显示了提高生成AI模型的可预测性的希望。但是，他们仍处于实验阶段，并且有自己的挑战：

• 实验阶段：这些方法仍在开发和测试中，这意味着它们尚未达到成熟水平，可以保证在高风险应用中可靠，大规模使用。
• 输出仍然不是完全可重复的：虽然分层方法可能比纯粹的生成模型更可预测，但在重复性方面，它们仍然面临挑战。在关键应用中，确保系统的行为是一致的，并且这些模型在这方面仍然可能不足。
• 子任务和子目标：这些方法可以手动指定子任务和子目标，这有助于创建更多结构化的工作流程。但是，瓶颈通常不在于定义子任务，而是处理高级AI输出的不可预测性质。
• 低级模型可能不稳定：低级模型的稳定性仍然是一个令人关注的问题。即使采用结构化的代理或分层方法，如果低级模型不稳定，它们也可能导致意外或亚最佳结果。

生成AI模型的优势和劣势

现在，我们将讨论生成AI模型的优势和缺点。

了解工程师连续的视角

在开发和理解AI技术的工程师和推动其采用的高管的工程师之间通常存在差距。这种断开连接可能会导致对生成AI的实际交付的误解，有时会导致膨胀的期望。

炒作与生成AI的现实差距

在媒体炒作和引人注目的认可之后，最新趋势通常会被高管所席卷。另一方面，工程师知道从研究到实施的技术的复杂性，往往更务实。本节探讨了这种反复发生的冲突。

决策过程：从研究到产品

在这种反复出现的情况下，高管对新的AI模型的可能性感到兴奋，但忽略了工程师对的技术和道德复杂性。这导致人们经常讨论AI的潜力，这些潜力经常以“让我与您联系。”

实用应用中生成AI的潜在和陷阱

让我们探索以下现实生活应用中生成AI的潜力和陷阱：

生成AI的潜力

• 创新和创造力：生成的AI可以创建新颖的产出，使行业能够增强创造力，简化决策和自动化复杂的过程。
• 数据驱动的解决方案：它有助于生成内容，模拟场景并构建自适应模型，以快速有效地提供新的见解和解决方案。
• 多功能应用程序：在市场，医疗保健，设计和科学研究等领域，生成的AI正在改变解决方案的开发和应用方式。

生成AI的陷阱

• 偏见的风险：如果接受有缺陷或不代表数据的培训，生成模型可能会产生偏见或不准确的产出，从而导致不公平或错误的决定。
• 不可预测性：生成的AI偶尔会产生无关紧要，误导或不安全的输出，尤其是在处理高风险决策时。
• 可行性问题：虽然生成的AI可能建议创造性解决方案，但这些解决方案可能并不总是实用或可行的，从而导致效率低下或失败。
• 缺乏控制：在需要准确性的系统中，例如医疗保健或自动驾驶，如果不仔细监控，生成AI输出的不可预测性可能会产生严重的后果。

为高风险应用定制生成AI

在高风险的环境中，在决策产生重大后果的情况下，应用生成AI需要使用不同的方法，而其在不太关键的应用程序中的一般用途则需要不同的方法。尽管生成AI表现出希望，尤其是在优化和控制等任务中，但其在高风险系统中的使用需要自定义以确保可靠性并最大程度地降低风险。

为什么通用AI模型不足以用于高风险应用

大型语言模型（LLMS）是在许多域中使用的强大生成AI工具。但是，在医疗保健或自动驾驶等关键应用中，这些模型可能不精确和不可靠。在没有适当调整的情况下将这些模型连接到此类环境是有风险的。这就像使用锤子进行心脏手术，因为它更容易。这些系统需要仔细的校准来处理这些域中微妙的高风险因素。

将AI纳入关键决策系统的复杂性

由于决策的复杂性，风险和多个因素，生成的AI面临挑战。尽管这些模型可以根据所提供的数据提供合理的输出，但它们可能并不总是是在高风险环境中组织决策过程的最佳选择。在这样的领域，即使是一个错误也会产生重大后果。例如，自动驾驶汽车的小错误可能导致事故，而其他领域的不正确建议可能会导致重大财务损失。

必须自定义生成AI，以提供更准确，受控和上下文敏感的输出。针对每种用例的微调模型（无论是在医疗保健中调整医疗指南还是遵循自动驾驶中的交通安全法规）至关重要。

确保人类控制和道德监督

在高风险应用中，尤其是那些涉及人类生活的人，需要保留人类的控制和监督以及良心。虽然生成的AI可能会提供建议或想法，但必须批准并验证它们是人类检查的。这使每个人都保持脚趾，并在认为需要这样做的时候给专家提供了混乱的机会。

对于所有AI模型，无论是医疗保健还是其他法律框架，都应该开发的AI模型也必须融合道德和公平性，这也是如此。这涵盖了算法在培训中使用的数据集中的偏见，坚持决策程序的公平性，并符合设定安全协议。

关键系统中的安全措施和错误处理

为高风险系统定制生成AI时，关键考虑是安全。 AI生成的决策必须足够强大，以处理各种边缘案例和意外的输入。确保安全性的一种方法是实施冗余系统，在该系统中，其他模型或人类干预对AI的决定进行了交叉检查。

例如，在自主驾驶中，AI系统必须能够从传感器处理实时数据，并基于高度动态的环境做出决策。但是，如果该模型遇到不可预见的情况（例如，障碍或不寻常的交通方式），它必须依靠预定义的安全协议，或者允许人类替代以防止事故。

针对特定域的数据和模型自定义

高风险系统需要自定义数据，以确保AI模型对特定应用程序进行了良好的培训。例如，在医疗保健中，培训具有一般人群数据的生成AI模型可能还不够。它需要考虑特定的健康状况，人口统计和区域差异。

同样，在财务等行业中，预测精度至关重要，具有最新和特定于上下文的市场数据的培训模型至关重要。自定义可确保AI不仅基于常识，而且是根据该领域的细节量身定制的，从而产生了更可靠和准确的预测。

这是基于成绩单的“安全有效生成AI集成策略”的更紧密的版本，以人为生成的方式编写：

安全有效生成AI集成的策略

将生成的AI纳入自动决策系统中，尤其是在计划，优化和控制等领域，需要仔细思考和战略实施。目的不仅是利用技术，而且要以确保其破坏或破坏基础系统的方式这样做。

该成绩单分享了在高风险设置中集成生成AI的几个重要注意事项。以下是讨论将AI安全整合到决策过程中的关键策略：

生成AI在决策中的作用

生成的AI非常强大，但重要的是要认识到其主要用途并不是魔术修复工具。正如笔录所建议的那样，它不适合每个问题的“锤子”。生成的AI可以增强系统，但这不是每个任务的正确工具。在优化和计划等高风险应用程序中，它应该补充系统，而不是大修。

风险管理和安全问题

当将生成AI集成到安全关键应用中时，存在误导用户或产生次优的输出的风险。决策者必须接受AI偶尔会产生不必要的结果。为了最大程度地降低这种风险，应使用冗余设计AI系统。集成的HIL循环机制允许当AI的建议不希望时系统反应。

现实期望和持续评估

Generative AI受到了高度赞扬，这对于工程师和决策者来说，要管理人们的期望非常重要。正确的管理确保对技术的能力和局限性的现实了解。成绩单打交道一个非常重要的一点，即生成AI打破新闻头条时，老板或决策者的典型反应。这种兴奋通常与在AI上下文中技术系统的实际准备情况更复杂。因此，鉴于正在揭示了新的研究和方法，应不时评估和修订AI系统。

道德考虑和问责制

整合的其他社会问题是礼节问题。生成的AI系统应具有清晰的所有权和问责制结构。这些结构有助于确保做出决策的透明度。笔录还提高了人们对潜在风险的认识。如果AI无法正确控制，则可能导致偏见或不公平的结果。管理这些风险对于确保AI在公平和道德上运作至关重要。集成应包括验证步骤，以确保生成的建议与道德问题保持一致。此过程有助于防止诸如偏见之类的问题，并确保系统支持积极的结果。

在受控环境中进行测试

在在高风险情况下实施生成AI模型之前，建议在模拟环境中测试它们。这有助于更好地理解意外事件的潜在后果。成绩单强调，这一步骤对于防止系统的下降至关重要，这可能是昂贵甚至致命的。

工程师与领导力之间的沟通

技术团队与领导力之间的清晰沟通对于安全整合至关重要。通常，决策者不完全了解生成AI的技术细微差别。另一方面，工程师可以假设领导能够掌握AI系统的复杂性。笔录分享了一个幽默的故事，工程师在老板听说很久之前就知道一项技术。这种断开连接会产生不切实际的期望并导致不良的决定。建立工程师和高管之间的相互了解对于管理所涉及的风险至关重要。

迭代部署和监视

将生成AI引入实时环境的过程应该是迭代的。应该根据反馈和性能数据对系统进行连续监控和完善系统。钥匙是确保系统按预期执行。如果它遇到失败或意外输出，则可以在影响关键决策之前迅速纠正。

生成人工智能决策中的道德考虑

现在，我们将在生成AI决策中讨论道德考虑。

• 解决AI对利益相关者信任的影响：随着生成AI成为决策过程的一部分。利益相关者可能会质疑该模型的可靠性和公平性。围绕决策的方式建立透明度对于维持信任至关重要。
• AI建议中的透明度和问责制：当生成AI系统产生意外结果时，明确的问责制是必不可少的。本节涵盖了使AI驱动建议可以理解和可追溯的方法。
• AI驱动的自动化的道德界限：负责任地实施Genai涉及设定边界，以确保技术在道德上使用。特别是在高风险应用中。这项讨论强调了遵守AI道德准则的重要性。

自动化系统中生成AI的未来指示

让我们详细讨论自动化系统中生成AI的未来方向。

• 在决策中支持AI的新兴技术： AI正在迅速发展，新技术推动其能力向前发展。这些进步使AI能够更好地处理复杂的决策任务。在这里，我们探索了可以使生成AI在受控系统中更有用的新兴工具。
• AI中的研究前沿进行控制和优化：对AI进行控制和优化的研究正在发现新的可能性。一种这样的方法涉及将生成AI与传统算法相结合以创建混合决策模型。
• 生成AI在自动化中的作用的预测：随着AI技术的成熟，生成的AI可能成为自动化系统中的主食。本节提供了有关其未来应用程序的见解，包括不断发展的功能和对企业的好处。

结论

将生成的AI整合到自动决策系统中具有巨大的潜力，但需要仔细的计划，风险管理和持续评估。如所讨论的那样，AI应被视为增强现有系统而不是单一适合所有解决方案的工具。通过设定现实期望，解决道德问题并确保透明责任制，我们可以安全地利用高风险应用程序的生成AI。在受控环境中进行测试将有助于保持可靠性。工程师与领导力之间的清晰沟通以及迭代部署至关重要。这种方法将创建有效且安全的系统，从而允许AI驱动的决定补充人类专业知识。

关键要点

• 生成的AI可以增强决策系统，但需要进行周到的整合以避免意想不到的后果。
• 在高风险应用程序中部署AI时，设定现实期望并保持透明度至关重要。
• 自定义AI模型对于满足特定行业需求至关重要，而不会损害系统完整性。
• 连续测试和反馈回路可确保生成AI系统在动态环境中安全有效地运行。
• 工程师与领导力之间的协作是成功将AI技术整合到自动决策系统中的关键。

常见问题

A.自动决策中的生成AI是指自动产生预测，建议或解决方案的AI模型。它用于计划，优化和控制等系统以协助决策过程。

答：生成AI可以通过提供更快，数据驱动的见解和自动重复任务来增强决策。它还提出了提高效率和准确性的优化解决方案。

答：主要风险包括产生不准确或有偏见的建议，导致意外后果。确保对AI模型进行持续测试和验证以减轻这些风险至关重要。

答：定制涉及将AI模型适应医疗保健，金融或制造等行业的特定需求和约束。同时，确保遵循道德准则和安全措施至关重要。

A.有效的策略包括设定明确的目标并建立反馈循环以持续改进。另外，保持透明度并具有鲁棒的安全机制对于处理意外的AI行为至关重要。

以上是决策中的生成AI：陷阱和实用解决方案的详细内容。更多信息请关注PHP中文网其他相关文章！