OpenAI, Microsoft, Zhipu AI 및 전 세계 16개 기업이 Frontier 인공 지능 보안 약속에 서명했습니다.

인공지능(AI)의 보안 문제는 전례 없는 관심으로 전 세계적으로 논의되고 있습니다.

OpenAI 창립자이자 최고 과학자인 Ilya Sutskever와 OpenAI Super Alignment 팀의 공동 리더인 Jan Leike가 차례로 OpenAI를 떠나기 전에 Leike는 X에 일련의 게시물을 게시하기도 했습니다. OpenAI와 그 리더십은 화려함을 위해 안전을 무시했다고 말했습니다. . 훌륭한 제품. 이는 현재 AI 보안 문제의 심각성이 어느 정도 부각되면서 업계의 폭넓은 관심을 끌었습니다.

5월 21일 사이언스(Science) 매거진에 실린 기사에서는 세계 지도자들에게 인공 지능(AI)의 위험에 맞서 더 강력한 조치를 취할 것을 촉구했습니다. 이 기사는 Turing Award 수상자 Yoshua Bengio, Geoffrey Hinton 및 Yao Qizhi를 포함한 권위 있는 과학자와 학자들이 최근 몇 달 동안 이루어진 진전이 충분하지 않다고 믿고 있다고 지적했습니다. 인공지능 기술이 빠르게 발전하고 있지만, 데이터 프라이버시, 인공지능 무기 남용, 인공지능이 고용 시장에 미치는 영향 등 인공지능 개발과 적용에는 잠재적인 위험이 많다는 게 이들의 견해다. 따라서 정부는 인공지능 개발을 관리하고 안내하기 위해 감독과 입법을 강화하고 적절한 정책을 수립해야 합니다. 게다가 기사도

우리는 AI의 통제되지 않은 발전이 결국 대규모 생명과 생물권의 손실은 물론 인류의 소외나 멸종으로 이어질 가능성이 높다고 믿습니다.

AI 모델의 보안 문제는 인류의 미래 생존을 위협할 정도의 수준으로 높아졌다고 봅니다.

마찬가지로 AI 모델의 보안 문제도 모든 사람에게 영향을 미칠 수 있고 모두가 걱정해야 할 주제가 되었습니다.

5월 22일은 인공 지능 역사상 중요한 순간이 될 것입니다. OpenAI, Google, Microsoft 및 Zhipu AI와 여러 국가 및 지역의 다른 회사가 유럽 의회에서 공식적으로 Frontier AI 안전 약속에 서명했습니다. 인공지능법(AI법)이 통과되고, 세계 최초로 AI 종합 규제 규정이 시행을 앞두고 있다.

다시 한번 AI의 안전 문제가 정책 차원에서 언급되고 있습니다.

인공지능 서울 서밋 '선언'

'안보, 혁신, 포용'을 주제로 한 'AI 서울 서밋'에 북미, 아시아, 유럽, 중동인들이 참석 16 이 지역의 기업들은 AI 개발을 위한 보안 약속에 합의하고 다음 사항을 포함하는 Frontier 인공 지능 보안 약속에 공동으로 서명했습니다.

• 최첨단 AI 보안을 위한 책임 있는 거버넌스 구조와 투명성 보장
• AI 보안 기반; 최첨단 AI 모델의 위험을 측정하는 방법을 책임감 있게 설명하는 프레임워크
• 최첨단 AI 보안 모델에 대한 위험 완화 메커니즘을 확립하기 위한 명확한 프로세스.

Turing Award 수상자 Yoshua Bengio는 Frontier 인공 지능 안전 약속(Frontier Artificial Intelligence Safety Commitment) 서명이 "인공 지능 안전을 촉진하기 위한 국제 거버넌스 시스템을 구축하는 데 중요한 단계"라고 믿습니다.

중국의 대규모 모델 회사인 Zhipu AI도 이 새로운 최첨단 인공 지능 보안 약속에 서명했습니다. 전체 서명자 목록은 다음과 같습니다.

이와 관련하여 OpenAI는 Anna Makanju 글로벌 담당 부사장은 "프론티어 AI 보안 약속은 고급 AI 시스템 보안 관행의 광범위한 구현을 촉진하는 중요한 단계입니다"라고 말했습니다. "이러한 약속은 개발자가 중요한 최첨단 AI 보안 모범 사례를 확립하는 데 도움이 될 것입니다. Zhipu AI의 CEO인 Zhang Peng은 “첨단 기술에는 AI 보안을 보장하는 중요한 책임이 따른다”고 말했습니다. 최근 Zhipu AI는 최고의 AI 컨퍼런스인 ICLR 2024에 초청되어 이에 대한 구체적인 접근 방식을 공유했습니다. "ChatGLM의 AGI로 가는 길"이라는 제목의 기조 연설에서 AI 보안.

그들은 Superalignment 기술이 대형 모델의 보안을 향상시키는 데 도움이 될 것이라고 믿고 OpenAI와 유사한 Superalignment 계획을 시작했습니다. 이는 기계가 안전한 콘텐츠를 학습하기 위해 스스로 배우고 판단하는 방법을 배울 수 있기를 희망합니다.

GLM-4V에는 사용자 개인 정보 보호 및 데이터 보안을 보호하면서 유해하거나 비윤리적인 행동을 방지하기 위해 이러한 보안 조치가 내장되어 있다고 밝혔습니다. 업그레이드된 모델도 초지능과 초정렬 기술을 기반으로 해야 합니다.

또한 최근 발표된 논문에서 Zhipu AI와 Tsinghua 팀이 자체 생성된 부정어를 대량으로 사용하는 피드백 없는 대규모 언어 모델 정렬 방법을 도입했다는 사실도 발견했습니다.

논문 설명에 따르면 Self-Contrast는 감독된 미세 조정(SFT) 대상만 사용하여 LLM 자체를 사용하여 다양한 후보 단어를 대량으로 생성하고 사전 훈련된 임베딩 모델을 사용하여 여러 부정을 필터링할 수 있습니다. 텍스트 유사성에 기초한 단어.

문서 링크: https://arxiv.org/abs/2404.00604

세 가지 데이터 세트에 대한 DPO(직접 선호 최적화) 실험에서 Self-Contrast가 SFT 및 표준 DPO를 지속적으로 뛰어넘을 수 있음을 보여줍니다. 훈련. 또한 자체 생성된 네거티브 샘플의 수가 증가함에 따라 자체 대비 성능이 계속 향상됩니다.

전반적으로 본 연구는 선호도 데이터가 누락된 경우 새로운 정렬 방법(예: RLHF 방법)을 제공합니다. 선호도 데이터 주석이 비용이 많이 들고 얻기 어려운 경우, 레이블이 지정되지 않은 SFT 데이터를 사용하여 문법적 선호도 데이터를 구성하여 음성 샘플 수를 늘려 부족한 양성 샘플로 인해 발생하는 성능 손실을 보충할 수 있습니다.

유럽연합 이사회는 인공지능법을 공식 승인했습니다

같은 날 유럽연합 이사회에서도 세계 최초의 종합 규제인 인공지능법(AI Act)도 공식 승인했습니다. 다음 달 발효될 예정이며 현재 EU 법률 내 영역에만 적용되는 획기적인 인공 지능 규정은 비즈니스와 일상 생활에서 사용되는 기술에 대한 잠재적인 글로벌 벤치마크를 설정할 수 있습니다.

벨기에 디지털화부 장관 마티유 미셸(Mathieu Michel)은 성명을 통해 "세계 최초의 이 획기적인 규정은 글로벌 기술 과제를 해결하는 동시에 우리 사회와 경제를 위한 기회를 창출합니다"라고 말했습니다.

이 포괄적인 AI 법안은 '위험 기반' 접근 방식을 취합니다. 즉, 사회에 해를 끼칠 위험이 높을수록 규칙이 더욱 엄격해집니다. 예를 들어 시스템적 위험을 초래하지 않는 범용 AI 모델에는 일부 제한된 요구 사항이 적용되지만, 그러한 모델에는 보다 엄격한 규정이 적용됩니다.

인공지능법 위반에 대한 벌금은 위반 회사의 이전 회계연도 글로벌 연간 매출액의 백분율 또는 미리 결정된 금액 중 더 높은 금액으로 결정됩니다.

요즘에는 소규모 기술 기업이든, 대규모 정부 기관이든 AI 보안 문제를 예방하고 해결하는 것이 화두로 떠올랐습니다. 옥스포드 대학의 공학과 교수인 Philip Torr는 다음과 같이 말했습니다.

"마지막 AI 서밋에서 전 세계는 우리가 조치를 취해야 한다는 데 동의했지만 이제는 막연한 권고에서 구체적인 약속으로 옮겨야 할 때입니다. ."