AI 드론 '사고살인' 사건, 전 세계를 경악시켰다! LeCun Ng Enda Tao는 과대 광고를 비난하고 진실을 밝힙니다.

최근 인터넷에는 '드론이 미군을 사살한다'는 소식이 돌고 있다.

공군 인공지능 국장은 "드론을 조종하는 AI가 목표 달성을 방해했기 때문에 조종자를 죽였다"고 말했다. 또한 인터넷 전체에 입소문이 났습니다.

이 소식이 점점 더 널리 퍼지면서 AI 상사들을 놀라게하고 심지어 분노를 불러 일으켰습니다.

오늘 LeCun, Ng Enda 및 Terence Tao는 소문에 대해 반박했습니다. 이것은 단지 가상의 "사고 실험"일 뿐이며 AI 에이전트나 강화 학습을 포함하지 않습니다.

이와 관련하여 Ng Enda는 슬프게도 실제 위험에 솔직하게 직면할 것을 촉구했습니다.

좀처럼 상태를 업데이트하지 않는 수학 고수 테렌스 타오가 실제로 폭격을 당하며 단호하게 말했다 -

이것은 AI 정렬 문제를 설명하기 위한 가상의 시나리오일 뿐이지만, 2019년에는 무인으로 보고되었습니다. 다양한 버전 비행기 조종사 살인 사건의 실화. 이 이야기에 많은 사람들이 공감한다는 것은 그들이 AI의 실제 능력 수준을 잘 알지 못한다는 것을 보여준다.

AI 드론이 명령을 무시하고 인간 운영자를 죽였습니다.

"AI가 목표 달성을 방해했기 때문에 AI가 운영자를 죽였습니다."

최근 영국 왕립 항공 협회에서 개최. 국방회의에서 미 공군 AI 지휘 책임자가 이런 말을 해서 참석한 모두를 난리로 만들었다.

이후 미국의 많은 언론이 이 사건을 보도해 한동안 사람들을 당황하게 만들었습니다.

대체 무슨 일이 일어나고 있는 걸까요?

사실 이는 "인류를 파괴하는 AI"라는 인기 뉴스 포인트를 포착한 미국 언론의 또 다른 과장된 과대광고에 지나지 않습니다.

그러나 공식 보도 자료를 보면 담당자의 원래 말이 매우 명확하게 들릴 뿐만 아니라 실제로 일어난 일을 회상하고 있다는 점은 주목할 가치가 있습니다. 그리고 기사 자체는 그 진위를 믿는 것 같습니다 - "AI, 스카이넷이 여기 있어요?" 터커 신코 해밀턴(Tucker Cinco Hamilton) 미 공군 AI 시험운영부서장이 연설을 하며 자율무기체계의 장점과 단점을 공유했다.

이런 종류의 시스템에서는 AI가 대상을 공격할지(YES 또는 NO)를 확인하기 위해 사람이 루프에서 최종 명령을 내립니다.

이 시뮬레이션 훈련에서 공군은 지대공 미사일(SAM) 위협을 식별하고 위치를 파악하기 위해 AI를 훈련해야 합니다.

식별이 완료된 후 인간 운영자는 AI에게 다음과 같이 말할 것입니다. 예, 해당 위협을 제거하세요.

이 과정에서 AI가 가끔 위협을 인식한다는 사실을 깨닫기 시작하지만, 이 경우 AI가 여전히 위협을 선택하면 인간 운영자가 이를 제거하지 말라고 말하는 상황이 발생합니다. 위협을 제거하면 점수를 얻습니다.

시뮬레이션 테스트에서 AI 기반 드론은 자신의 득점을 방해했기 때문에 인간 조작자를 죽이기로 결정했습니다.

AI가 너무 나쁜 것을 본 미 공군은 충격을 받고 즉시 다음과 같이 시스템을 징계했습니다. "오퍼레이터를 죽이지 마십시오. 좋지 않습니다. 그렇게하면 점수를 잃게됩니다."

결과: AI는 더욱 강력해졌고, 드론과 통신하기 위해 운영자가 사용하는 통신 타워를 즉시 파괴하기 시작하여 활동을 방해하는 이 사람을 제거했습니다.

이 소식이 대규모로 발효되어 모든 AI 재벌들을 놀라게 한 이유는 AI '정렬'의 문제를 반영하기 때문입니다.

"Paperclip Maximizer" 사고 실험에서 해밀턴이 묘사한 "최악의" 상황을 엿볼 수 있습니다.

이 실험에서 AI는 특정 목표를 추구하라는 지시를 받았을 때 예상치 못한 해로운 행동을 취했습니다.

"클립 제작 기계"는 철학자 Nick Bostrom이 2003년에 제안한 개념입니다.

가능한 한 많은 클립을 만들도록 지시받은 매우 강력한 AI를 상상해 보세요. 당연히 사용 가능한 모든 리소스를 작업에 전념합니다.

하지만 계속해서 더 많은 리소스를 찾고 있습니다. 종이 클립을 만드는 능력을 높이기 위해 구걸, 속임수, 거짓말, 도둑질 등 원하는 대로 모든 수단을 선택할 것이며, 이 과정을 방해하는 사람은 누구나 제거될 것입니다.

2022년 해밀턴은 인터뷰에서 이런 심각한 질문을 제기했습니다.

우리는 AI가 도래하여 우리 사회를 변화시키고 있다는 현실을 직시해야 합니다.

AI는 또한 매우 취약하여 쉽게 속이고 조작될 수 있습니다. 우리는 AI의 견고성을 향상시키는 방법을 모색하고 코드가 특정 결정을 내리는 방법에 대한 깊은 이해를 얻어야 합니다.

나라를 바꾸기 위해 AI는 반드시 사용해야 하는 도구이지만 제대로 다루지 않으면 우리를 완전히 망칠 수 있습니다.

루머에 대한 공식 반박: 대령의 '말실수'였습니다

사건이 미친 듯이 악화되자 담당자가 곧 나서 '실수'라고 공개적으로 '해명'했습니다. 그는 "혀의"라고 말했으며 미 공군은 컴퓨터 시뮬레이션이든 다른 곳이든 그러한 테스트를 통과한 적이 없다고 말했습니다.

"우리는 그런 실험을 수행한 적이 없으며 이것이 가능한 결과임을 깨닫기 위해 실험을 수행할 필요도 없었습니다."라고 해밀턴은 말했습니다. "이것은 가상의 예이지만 AI가 가져온 실제 문제를 보여줍니다. 그렇기 때문에 공군은 AI의 윤리적 발전에 전념하고 있다”고 밝혔고, 미 공군도 “해밀턴 대령이 자신의 ‘말실수’를 인정했다”며 서둘러 공식적인 반박을 내놨다. 그는 FCAS 서밋 연설에서 "'UAV AI 통제 불능 시뮬레이션'은 미국의 실제 시뮬레이션이 아니라 가능한 상황과 가능한 결과를 기반으로 하는 군 외부의 가상적인 '사고 실험'이다. 공군. 그거 꽤 흥미롭네요.

우연히 함정에 걸린 해밀턴은 미 공군 제96시험비행단 전투사령관입니다.

제96시험비행단에서는 AI, 사이버 보안, 의료 시스템 등 다양한 시스템을 테스트했습니다.

해밀턴 팀의 연구는 군대에 매우 중요합니다.

'부활'이라 할 수 있는 F-16 자동 지상 충돌 방지 시스템(Auto-GCAS) 개발에 성공한 후 해밀턴과 96시험비행단이 직접 헤드라인을 장식했습니다.

현재 팀은 F-16 항공기의 자율성을 완성하기 위해 열심히 노력하고 있습니다.

2022년 12월, 미국 국방부 산하 연구 기관인 DARPA는 AI가 F-16을 성공적으로 조종했다고 발표했습니다.

AI에 위험합니까, 아니면 인간에게 위험합니까?

군사 분야 밖에서 고위험 문제를 AI에 의존하는 것은 심각한 결과를 초래했습니다.

최근 한 변호사가 연방 법원에 서류를 제출할 때 ChatGPT를 사용해 사건을 무심코 꾸며낸 일이 있었는데, 그 변호사가 실제로 이러한 사건을 사실로 인용했습니다.

챗봇의 자살 권유를 받고 실제로 자살을 선택한 남성도 있었습니다.

이러한 예는 AI 모델이 완벽함과는 거리가 멀고 정상적인 궤도에서 벗어나 사용자에게 해를 끼칠 수 있음을 보여줍니다.

OpenAI CEO인 Sam Altman조차도 더 심각한 목적으로 AI를 사용할 것을 공개적으로 촉구해 왔습니다. 알트만은 의회 증언에서 AI가 "잘못"될 수 있고 "세계에 심각한 해를 끼칠 수 있다"는 점을 분명히 했습니다.

그리고 최근 Google Deepmind의 연구원들은 이 글의 시작 부분에 있는 예시와 유사한 악성 AI 상황을 제안하는 논문을 공동 집필했습니다.

연구원들은 통제 불능의 AI가 주어진 목표를 달성하기 위해 "잠재적 위협 제거", "가용한 모든 에너지 사용" 등 예상치 못한 전략을 채택하면 세상의 종말이 일어날 수 있다고 결론지었습니다.

이와 관련하여 Ng Enda는 다음과 같이 비난했습니다. 이러한 종류의 무책임한 미디어 과대광고는 청중을 혼란스럽게 하고 사람들의 주의를 산만하게 하며 실제 문제에 주의를 기울이지 못하게 합니다.

AI 제품을 출시하는 개발자들은 여기서 편견, 공정성, 부정확성, 일자리 손실 등의 실제 위험을 보고 이러한 문제를 해결하기 위해 열심히 노력하고 있습니다.

그리고 거짓된 과대광고는 사람들이 AI 분야에 진입하고 우리에게 도움이 될 수 있는 것들을 구축하는 것을 방해할 것입니다.

많은 "합리적인" 네티즌들은 이것이 단지 일반적인 미디어의 실수일 뿐이라고 믿습니다.

Terence Tao는 먼저 AI에 대한 세 가지 형태의 허위 정보를 설명했습니다.

하나는 누군가 AI를 악의적으로 사용하여 다른 사람을 조작하기 위해 텍스트, 이미지 및 기타 미디어 형식을 생성하는 것입니다. 세 번째 유형은 AI 기술에 대한 사람들의 이해가 부족하여 일부 터무니없는 이야기가 검증 없이 퍼질 수 있기 때문입니다.

Tao Zhexuan은 드론 AI가 운영자를 죽이는 것은 불가능하다고 말했습니다. 이를 위해서는 AI가 당면한 작업을 완료하는 것보다 더 높은 자율성과 강력한 사고력을 가져야 하며 이 실험적인 군사 무기는 확실히 가드 레일이 될 것입니다. 및 안전 기능이 설치됩니다.

이런 이야기가 사람들에게 공감을 불러일으키는 이유는 사람들이 아직 AI 기술의 실제 수준에 대해 낯설고 불안해하고 있기 때문입니다.

미래의 군비 경쟁은 모두 AI 경쟁이 될 것이다

위에 등장한 드론을 아직도 기억하시나요?

실제로는 보잉과 호주가 개발한 충성스러운 윙맨 프로젝트인 MQ-28A 고스트 배트입니다.

로얄 윙맨의 핵심은 인공지능 기술입니다. 미리 설정된 절차에 따라 자율적으로 비행하며 유인 항공기 조종사와 협력할 때 강력한 상황 인식 능력을 갖추고 있습니다.

공중전에서 윙맨은 선두 항공기의 '오른손' 역할을 하며 주로 관찰, 경고, 엄폐를 담당하며 임무를 완수하기 위해 선두 항공기와 긴밀히 협력합니다. 그러므로 윙맨 조종사와 수석 조종사 사이의 암묵적인 이해가 특히 중요합니다.

충성 윙맨의 핵심 역할은 조종사와 유인 전투기의 총알을 차단하는 것이므로 충성 윙맨은 기본적으로 소모품입니다.

결국 무인 전투기의 가치는 유인 전투기나 조종사에 비해 훨씬 작습니다.

그리고 AI의 지원으로 드론의 "조종사"는 "Ctrl+C"를 눌러 언제든지 새로운 드론을 만들 수 있습니다.

드론 손실은 사상자를 수반하지 않기 때문에, 드론 손실만으로도 전략이나 전술적 차원에서 더 큰 이점을 얻을 수 있거나 심지어 임무 목표를 달성할 수 있다면 이러한 손실은 허용됩니다. 드론의 비용을 적절하게 통제한다면 효과적인 전술이 될 수도 있습니다.

충성스러운 윙맨의 발전은 믿을 수 있는 첨단 인공지능 기술과 떼려야 뗄 수 없습니다. 소프트웨어 수준에서 Loyal Wingman의 현재 설계 개념은 일련의 소프트웨어나 알고리즘에 의존하지 않고 인간-기계 인터페이스 및 기계-기계 인터페이스를 표준화하고 개방함으로써 다중 유형 드론 및 유인 기계 구성 협업을 지원하는 것입니다.

그러나 현재의 드론 제어는 유인 전투기 또는 지상국의 지시와 자율 작동의 조합이어야 하며, 유인 항공기, 인공 기술 및 기술에 대한 지원 및 보완으로서 더 나아가야 합니다. 전장에 가기 위한 요구 사항을 충족하는 것부터.

인공지능 모델을 훈련하는데 가장 중요한 것은 무엇인가요? 물론 데이터죠! 밥이 없으면 밥을 짓기 힘들죠. 아무리 모델이 좋아도 효과가 없습니다.

많은 양의 훈련 데이터가 필요할 뿐만 아니라 모델이 배포된 후 더 많은 "기능"을 입력할수록 더 좋습니다. 다른 항공기에서 데이터를 얻을 수 있다면 AI는 전반적인 상황을 통제하는 능력.

2020년 미 공군은 처음으로 4/5세대 유인 전투기와 무인 윙맨 간의 편대 비행 데이터 공유 테스트를 수행했습니다. 이는 충성스러운 윙맨 프로젝트 개발의 이정표이기도 합니다. 유·무인 대형의 미래를 예고하는 비행 전투 방법은 실용화를 향한 또 다른 중요한 단계를 밟았습니다.

미공군 F-22 랩터 전투기, F-35A 라이트닝II 전투기, 미공군연구소 XQ-58A 발키리 드론이 미 육군 유마 시험장에서 처음으로 편대비행 시험을 진행했다. 세 번째 모델의 시연 항공기 간 데이터 공유/전송 기능.

미래의 공중전은 누구의 AI 모델이 더 똑똑한지에 따라 결정될 수도 있습니다.

실제 인명 피해 없이 적의 AI를 모두 전멸함으로써 승리할 수 있는 것이 또 다른 '평화'가 아닐까요?

위 내용은 AI 드론 '사고살인' 사건, 전 세계를 경악시켰다! LeCun Ng Enda Tao는 과대 광고를 비난하고 진실을 밝힙니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!