대규모의 민감한 데이터 세트는 AI 모델을 훈련하는 데 종종 사용되어 개인 정보 보호 및 데이터 유출 위험이 발생합니다. 인공 지능을 사용하면 조직의 위협 벡터가 증가하고 공격 표면이 확대됩니다. AI는 모델과 비즈니스 결과에 부정적인 영향을 미칠 수 있는 양성 오류에 대한 새로운 기회를 더욱 창출합니다.
이해되지 않는 위험은 완화될 수 없습니다. 최근 Gartner가 최고 정보 보안 책임자(CIO)를 대상으로 실시한 설문 조사에 따르면 대부분의 조직은 인공 지능으로 인해 발생하는 새로운 보안 및 비즈니스 위험이나 이러한 위험을 완화하기 위해 도입해야 하는 새로운 통제 수단을 고려하지 않은 것으로 나타났습니다. 인공 지능에는 새로운 위험 및 안전 관리 조치와 완화 프레임워크가 필요합니다.
보안 및 위험 리더가 조직 내에서 AI 위험 및 보안을 효과적으로 관리하기 위해 집중해야 하는 5가지 우선 순위는 다음과 같습니다.
대부분의 사용자를 위한 기계 학습 모델은 불투명하며 일반 모델과 다릅니다. 소프트웨어 시스템의 내부 작동 방식은 가장 숙련된 전문가조차 알 수 없습니다. 데이터 과학자와 모델 개발자는 기계 학습 모델이 수행하려는 작업을 이해하는 경우가 많지만 모델이 데이터를 처리하는 내부 구조나 알고리즘 수단을 항상 해독할 수는 없습니다.
이러한 이해 부족으로 인해 조직의 AI 위험 관리 능력이 심각하게 제한됩니다. AI 위험 관리의 첫 번째 단계는 타사 소프트웨어의 구성 요소인지, 사내에서 개발되었는지, 서비스형 소프트웨어(Software-as-a-Service) 애플리케이션을 통해 액세스하는지 여부에 관계없이 조직에서 사용되는 모든 AI 모델을 나열하는 것입니다. 여기에는 다양한 모델 간의 상호의존성을 식별하는 것이 포함되어야 합니다. 그런 다음 식별된 우선순위에 따라 위험 관리 제어를 점진적으로 적용할 수 있다는 점을 고려하여 운영 영향을 기준으로 모델의 순위를 매깁니다.
모델 배치가 완료되면 다음 단계는 모델을 최대한 해석 가능하거나 설명 가능하게 만드는 것입니다. "설명 가능성"은 특정 청중을 위해 모델의 기능을 명확히 하는 세부 사항, 이유 또는 설명을 생성하는 능력을 의미합니다. 이는 위험 및 보안 관리자에게 모델 결과로 인해 발생하는 비즈니스, 사회적, 책임 및 보안 위험을 관리하고 완화할 수 있는 환경을 제공합니다.
직원 인식은 인공지능 위험 관리의 중요한 구성 요소입니다. 첫째, CISO, 최고 개인정보 보호 책임자, 최고 데이터 책임자, 법무 및 규정 준수 책임자를 포함한 모든 참여자가 AI에 대한 사고방식을 재조정하도록 하십시오. 그들은 AI가 "다른 응용 프로그램과 다르다"는 점을 이해해야 합니다. 즉, 고유한 위험을 초래하며 그러한 위험을 완화하기 위해 특정 제어가 필요합니다. 그런 다음 비즈니스 이해관계자와 협력하여 관리해야 할 AI 위험에 대한 이해를 넓힙니다.
이러한 이해관계자와 협력하여 팀 전반에 걸쳐 시간이 지남에 따라 AI 지식을 구축하는 가장 좋은 방법을 결정하세요. 예를 들어 기업의 학습 관리 시스템에 기본 AI 개념에 대한 과정을 추가할 수 있는지 확인해 보세요. 애플리케이션 및 데이터 보안 부서와 협력하여 모든 조직 구성원 사이에 AI 지식을 구축하도록 돕습니다.
Gartner의 최근 설문 조사에 따르면 개인 정보 보호와 보안은 인공 지능 구현의 주요 장애물로 간주되었습니다. 데이터 보호 및 개인 정보 보호 절차를 채택하면 AI 내에서 내부 및 공유 데이터의 노출을 효과적으로 제거할 수 있습니다.
개인 정보 보호 및 데이터 보호 요구 사항을 충족하면서 필수 데이터에 액세스하고 공유할 수 있는 다양한 방법이 있습니다. 어떤 데이터 개인 정보 보호 기술 또는 기술 조합이 조직의 특정 사용 사례에 가장 적합한지 결정하십시오. 예를 들어 데이터 마스킹, 합성 데이터 생성 또는 차등 개인 정보 보호와 같은 기술을 조사합니다.
데이터를 외부 조직으로 내보내거나 가져올 때 데이터 개인 정보 보호 요구 사항을 충족해야 합니다. 이러한 시나리오에서는 완전 동형 암호화 및 안전한 다자간 계산과 같은 기술이 내부 사용자 및 데이터 과학자의 데이터를 보호하는 것보다 더 유용해야 합니다.
AI 모델에는 인공 지능을 안정적이고 효율적으로 만들기 위해 모델 운영 또는 ModelOps의 일부로 특수 목적 프로세스가 필요합니다. 환경 요인이 계속 변화함에 따라 AI 모델은 비즈니스 가치 누출과 예측할 수 없는(때로는 불리한) 결과를 지속적으로 모니터링해야 합니다.
효과적인 모니터링을 위해서는 AI 모델에 대한 이해가 필요합니다. AI를 더욱 신뢰할 수 있고, 정확하고, 공정하고, 적대적인 공격이나 양성 오류에 대한 복원력을 갖추려면 전용 위험 관리 프로세스가 ModelOps의 필수적인 부분이 되어야 합니다.
컨트롤은 모델 개발, 테스트 및 배포, 진행 중인 운영 전반에 걸쳐 지속적으로 적용되어야 합니다. 효과적인 제어는 불공평, 부패, 부정확성, 낮은 모델 성능 및 예측, 기타 의도하지 않은 결과를 초래하는 AI 데이터 또는 모델의 악의적인 행동, 양성 오류, 의도하지 않은 변경을 감지합니다.
인공지능에 대한 공격을 탐지하고 차단하려면 새로운 기술이 필요합니다. AI에 대한 악의적인 공격은 재무, 평판 또는 지적 재산과 관련된 데이터, 민감한 고객 데이터 또는 독점 데이터를 포함하여 조직에 심각한 피해와 손실을 초래할 수 있습니다. 보안을 담당하는 애플리케이션 리더는 AI 애플리케이션에 제어 기능을 추가하여 비정상적인 데이터 입력, 악의적인 공격, 양성 입력 오류를 탐지해야 합니다.
AI 모델 및 데이터에 대한 포괄적인 기존 기업 보안 제어 세트는 물론, 적대적인 AI를 허용하는 훈련 모델과 같은 AI에 대한 새로운 무결성 조치를 시행합니다. 마지막으로 사기, 이상 탐지, 봇 탐지 기술을 활용해 AI 데이터 중독이나 입력 오류 탐지를 방지한다.
위 내용은 AI 위험과 안전을 어떻게 관리하나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
