설명 가능한 AI: 복잡한 AI/ML 모델 설명

번역자 | Li Rui

리뷰어 | Chonglou

요즘 인공지능(AI)과 머신러닝(ML) 모델은 점점 더 복잡해지고 있으며, 이러한 모델은 의 출력은 블랙박스이므로 이해관계자에게 설명할 수 없습니다. XAI(Explainable AI)는 이해관계자가 이러한 모델의 작동 방식을 이해할 수 있도록 하고, 이러한 모델이 실제로 의사 결정을 내리는 방식을 이해하도록 하며, AI 시스템의 투명성, 이 문제를 해결하기 위한 신뢰 및 책임을 보장함으로써 이 문제를 해결하는 것을 목표로 합니다. 이 기사에서는 기본 원리를 설명하기 위해 다양한 설명 가능한 인공 지능(XAI) 기술을 살펴봅니다.

설명 가능한 AI가 중요한 몇 가지 이유

• 신뢰와 투명성: AI 시스템이 널리 수용되고 신뢰되려면 사용자가 의사결정 방식을 이해해야 합니다.
• 규정 준수: 유럽 연합의 일반 데이터 보호 규정(GDPR)과 같은 법률에서는 개인에게 영향을 미치는 자동화된 결정에 대한 설명을 요구합니다.
• 모델 디버깅 및 개선: 모델 결정에 대한 통찰력을 얻으면 개발자가 편견이나 부정확성을 식별하고 수정하는 데 도움이 될 수 있습니다.

Interpretability 인공지능의 핵심 기술

지능형 작업자의 해석성은 기술 모델을 말하며, 모델에 구애받지 않는 방법과 모델 특정 방법으로 나눌 수 있으며, 각 방법은 서로 다릅니다. 스마트 작업자 모델 및 애플리케이션 유형. localdel의 무사질 방법

(1) 국소 해석 가능한 모델 Agnostic 설명 (LIME)

local 해석 가능한 모델 Agnostic 설명 (LIME)은 예측을 위해 설계된 혁신 기술입니다. 인간이 이해할 수 있는 복잡한 기계 학습 모델. 본질적으로 LIME의 이점은 복잡성에 관계없이 모든 분류기 또는 회귀기의 동작을 설명할 수 있는 단순성과 능력에 있습니다. LIME은 입력 데이터 근처에서 샘플링한 다음 간단한 모델(예: 선형 회귀 모델)을 사용하여 원래 복잡한 모델의 예측을 근사화하는 방식으로 작동합니다. 단순 모델은 복잡한 모델의 의사 결정 프로세스를 이해할 수 있도록 특정 입력에 대한 복잡한 모델의 예측을 해석하는 방법을 학습합니다. 이렇게 하면 복잡한 모델이 블랙박스인 경우에도 해석 가능한 모델을 사용하여 국소적으로 근사화함으로써 간단한 모델

LIME의 해석을 통해 모든 분류기 또는 회귀 분석기의 예측을 밝힐 수 있습니다. 핵심 아이디어는 입력 데이터를 교란하고 예측이 어떻게 변하는지 관찰하는 것입니다. 이는 예측에 큰 영향을 미치는 특징을 식별하는 데 도움이 됩니다.

수학적으로, 주어진 인스턴스(x)와 모델(f)에 대해 LIME은 새로운 샘플 데이터 세트를 생성하고 (f)로 레이블을 지정합니다. 그런 다음 (f)에 지역적으로 충실한 (f)를 기반으로 하는 간단한 모델(예: 선형 모델)을 학습하여 다음 목표를 최소화합니다.

[ xi(x) = underset{g in G }{text {argmin}} ; L(f, g, pi_x) + Omega(g) ]

여기서 (L)은 (f)를 (x)로 근사할 때 (g)가 얼마나 불충실한지를 나타내는 척도입니다. ), (pi_x)는 (x) 주변의 지역적 이웃을 정의하는 근접성 측정값이고, (Omega)는 (g)의 복잡성에 페널티를 줍니다.

(2) Sh

explanation (SHAP) )을 지정하여 각 예측 특성에는 사람들이 기계 학습 모델의 출력을 이해하는 데 도움이 되는 중요한 값이 할당됩니다. 사람들이 집의 크기, 연식, 위치 등의 특성을 기반으로 집 가격을 예측하려고 한다고 상상해 보세요. 특정 기능은 예상 가격을 높일 수 있지만 다른 기능은 예상 가격을 낮출 수 있습니다. SHAP 값은 기본 예측(데이터 세트의 평균 예측)을 기준으로 최종 예측에 대한 각 기능의 기여도를 정확하게 정량화하는 데 도움이 됩니다. 특성(i)의 SHAP 값은 다음과 같이 정의됩니다.

여기서 F)는 모든 기능의 집합이고 S)는 제외( i)의 기능 하위 집합, (f_x(S))는 기능 세트 S의 예측입니다. 합계는 가능한 모든 기능 하위 집합입니다. 이 공식을 사용하면 각 기능의 기여도가 예측에 미치는 영향을 기준으로 공정하게 분산됩니다.

모델별 방법

(1) 신경망의 주의 메커니즘

신경망의 주의 메커니즘은 예측에 가장 관련성이 높은 입력 데이터 부분을 강조합니다. . 시퀀스-시퀀스 모델 시나리오에서 목표 시간 단계(t)와 소스 시간 단계(j)에 대한 주의 가중치(alpha_{tj})는 다음과 같이 계산됩니다.

[ alpha_{tj} = frac {exp(e_{tj})}{sum_{k=1}^{T_s} exp(e_{tk})} ]

여기서 (e_{tj})는 위치(j)의 입력과 위치(t)의 출력 간의 정렬을 평가하는 점수 함수이고, (T_s)는 입력 시퀀스의 길이입니다. 이 메커니즘을 통해 모델은 입력 데이터의 관련 부분에 집중할 수 있으므로 해석 가능성이 향상됩니다.

(2) 결정 트리 시각화

결정 트리는 결정을 입력 특성에서 파생된 일련의 규칙으로 표현하여 고유한 해석 가능성을 제공합니다. 의사결정 트리의 구조는 기능 기반 결정을 나타내는 노드와 결과를 나타내는 잎을 통해 시각화를 가능하게 합니다. 이 시각적 표현을 통해 입력 기능이 어떻게 특정 예측으로 이어지는지 직접 추적할 수 있습니다.

(3) 실제 구현 및 윤리적 고려 사항

설명 가능한 AI를 구현하려면 모델 유형, 애플리케이션 요구 사항 및 설명 대상 고객을 신중하게 고려해야 합니다. 모델 성능과 해석 가능성 간의 균형을 맞추는 것도 중요합니다. 윤리적으로 AI 시스템의 공정성, 책임성, 투명성을 보장하는 것이 중요합니다. 설명 가능한 AI의 향후 방향에는 설명 프레임워크를 표준화하고 보다 효율적인 설명 방법에 대한 지속적인 연구가 포함됩니다.

결론

Explainable AI는 복잡한 AI/ML 모델을 해석하고 애플리케이션에 대한 신뢰를 제공하고 책임을 보장하는 데 매우 중요합니다. LIME, SHAP, 주의 메커니즘 및 의사결정 트리 시각화와 같은 기술을 활용합니다. 분야가 발전함에 따라 더욱 정교하고 표준화된 해석 가능한 AI 방법의 개발은 소프트웨어 개발 및 규정 준수의 진화하는 요구 사항을 해결하는 데 매우 중요할 것입니다.

원제: 설명 가능한 AI: 복잡한 AI/ML 모델 해석 작성자: Rajiv Avacharmal