AI 위험 평가: AI 위험의 진화하는 환경을 파악하기 위한 경쟁

최근 연구에서는 AI 모델이 제시하는 위험을 기준으로 순위를 매겼으며 광범위한 행동 및 규정 준수 문제가 드러났습니다. 이 작업은 이러한 기술의 법적, 윤리적, 규제적 과제에 대한 통찰력을 제공하는 것을 목표로 합니다. 결과는 정책 입안자와 기업이 AI를 안전하게 배포하는 데 따른 복잡성을 탐색하는 데 지침이 될 수 있습니다.

최근 연구에서는 AI 모델이 제시하는 위험을 기준으로 순위를 매겼으며 광범위한 행동 및 규정 준수 문제를 강조했습니다. 이 작업의 목표는 이러한 기술의 법적, 윤리적, 규제적 과제에 대한 통찰력을 제공하고 정책 입안자와 기업이 AI를 안전하게 배포하는 데 따른 복잡성을 탐색하도록 안내하는 것입니다.

잠재적 위험을 식별하기 위해 AI 시스템을 테스트한 것으로 알려진 시카고 대학의 부교수 Bo Li가 연구를 주도했습니다. 그의 팀은 여러 대학 및 기업과 협력하여 AI 모델을 대규모로 평가하기 위해 AIR-Bench 2024라는 벤치마크를 개발했습니다.

이 연구에서는 다양한 모델이 안전 및 규제 표준을 준수하는 방식에 차이가 있음을 확인했습니다. 예를 들어 일부 모델은 특정 범주에서 탁월했습니다. Anthropic의 Claude 3 Opus는 특히 사이버 보안 위협 생성을 거부하는 데 능숙한 반면, Google의 Gemini 1.5 Pro는 합의되지 않은 성적 이미지 생성을 피하는 데 탁월한 성능을 보였습니다. 이러한 결과는 관련된 위험에 따라 특정 모델이 특정 작업에 더 적합하다는 것을 시사합니다.

반면에 일부 모델은 전반적으로 좋지 않은 성적을 거두었습니다. 이 연구에서는 Databricks가 개발한 모델인 DBRX Instruct를 다양한 위험 범주에서 최악의 모델로 지속적으로 평가했습니다. Databricks는 2023년에 이 모델을 출시했을 때 안전 기능에 개선이 필요하다는 점을 인정했습니다.

연구팀은 또한 다양한 AI 규정을 회사 정책과 비교하여 조사했습니다. 그들의 분석에 따르면 기업 정책은 정부 규정보다 더 포괄적인 경향이 있으며, 이는 규제 프레임워크가 업계 표준보다 뒤처질 수 있음을 시사합니다.

Bo Li는 "정부 규제를 강화할 여지가 있습니다"라고 말했습니다.

AI 사용에 대해 엄격한 정책을 시행하는 많은 회사에도 불구하고 연구원들은 이러한 정책과 AI 모델의 성능 사이에 불일치가 있음을 발견했습니다. 여러 경우에 AI 모델은 이를 개발한 회사가 정한 안전 및 윤리 지침을 준수하지 못했습니다.

이러한 불일치는 기업이 법적 및 평판 위험에 노출될 수 있는 정책과 관행 간의 격차를 나타냅니다. AI가 계속 발전함에 따라 기술을 안전하고 책임감 있게 배포하기 위해 이러한 격차를 줄이는 것이 점점 더 중요해질 수 있습니다.

AI 위험 환경을 더 잘 이해하기 위한 다른 노력도 진행 중입니다. 두 명의 MIT 연구원인 Neil Thompson과 Peter Slattery는 43개의 서로 다른 AI 위험 프레임워크를 분석하여 AI 위험 데이터베이스를 개발했습니다. 이 이니셔티브는 특히 기술이 더 넓은 규모로 채택됨에 따라 기업과 조직이 AI와 관련된 잠재적인 위험을 평가하는 데 도움을 주기 위한 것입니다.

MIT 연구에서는 일부 AI 위험이 다른 위험보다 더 많은 관심을 받는다는 점을 강조합니다. 예를 들어, 팀이 검토한 위험 프레임워크의 70% 이상이 개인 정보 보호 및 보안 문제에 중점을 두었습니다. 그러나 잘못된 정보와 같은 문제를 해결하는 프레임워크는 약 40%에 불과했습니다. 이러한 차이는 조직이 더 중요한 문제에 집중할 때 특정 위험이 간과될 수 있음을 나타낼 수 있습니다.

"많은 기업이 아직 AI 도입 초기 단계에 있으며 이러한 위험 관리에 대한 추가 지침이 필요할 수 있습니다."라고 MIT FutureTech 그룹에서 프로젝트를 이끌고 있는 Peter Slattery는 말했습니다. 데이터베이스는 AI 개발자와 사용자의 과제에 대한 보다 명확한 그림을 제공하기 위한 것입니다.

전작보다 더욱 강력한 Meta의 Llama 3.1과 같은 AI 모델 기능의 발전에도 불구하고 안전성은 최소한으로 개선되었습니다. Bo Li는 최신 버전의 Llama가 더 많은 기능을 제공하지만 안전성 측면에서 크게 향상되지는 않는다고 지적했습니다.

Li는 안전하고 책임감 있는 배포를 위해 AI 모델의 우선순위를 지정하고 최적화하려는 업계 내 광범위한 과제를 반영하여 "안전성이 크게 개선되지 않고 있습니다."라고 말했습니다.

위 내용은 AI 위험 평가: AI 위험의 진화하는 환경을 파악하기 위한 경쟁의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!