Ng Enda와 Hinton의 최근 대화! AI는 임의의 앵무새가 아니며 합의가 모든 것보다 우선하며 LeCun은 양손에 동의합니다.

최근 AI 보안이 큰 화두가 되었습니다.

AI '대부' 제프리 힌튼과 앤드루 응이 인공지능과 재앙적 위험에 관해 심도 있는 대화를 나눴습니다.

Andrew Ng은 오늘 그들의 공통된 생각을 공유하기 위해 게시했습니다.

- 인공 지능 과학자들이 위험에 대한 합의에 도달하는 것이 중요합니다. 기후 과학자들과 마찬가지로 그들은 기후 변화에 대한 일반적인 합의를 갖고 있으므로 좋은 정책을 수립할 수 있습니다.

- 인공지능 모델은 세상을 이해하나요? 우리의 대답은 '그렇다'입니다. 이러한 주요 기술적 문제를 나열하고 공통된 견해를 개발한다면 위험에 대한 인류의 합의를 진전시키는 데 도움이 될 것입니다.

Hinton은

Andrew Ng와 자주 소통했는데, 그를 다시 만나 최근 인공지능의 발전이 가져오는 다양한 위험에 대한 그의 견해를 이해할 수 있게 되어 매우 기쁩니다. 우리는 특히 연구자들이 정책 입안자에게 보고할 때 위험에 대한 공통된 이해를 발전시켜야 한다는 필요성 등 여러 측면에서 합의를 이루었습니다.

이전에 Andrew Ng는 요슈아 벤지오와 인공지능의 위험성에 관해 대화를 나눴습니다.

그들이 도달한 합의는 AI가 상당한 위험을 초래할 수 있는 구체적인 시나리오를 명확히 하는 것이었습니다.

다음으로 두 AI 거인이 어떤 이야기를 나누었는지 자세히 살펴보겠습니다.

공감이 시급합니다!

힌튼은 우선 가장 중요한 것은 합의라고 제안했습니다.

그는 현재 AI 커뮤니티 전체에 통일된 합의가 부족하다고 말했습니다. 기후 과학자들이 동의하는 것처럼 AI 과학자도 필요합니다.

힌튼의 견해에 따르면 합의가 필요한 이유는 합의가 없으면 AI 과학자마다 자신의 의견이 있고 정부와 정책 입안자는 각자의 이익에 맞는 관점을 선택할 수 있기 때문입니다.

이것은 분명히 공정성을 잃을 것입니다.

현재 상황으로 볼 때 AI 과학자들 사이에는 의견이 크게 다릅니다.

힌튼은 서로 의견이 다른 상황이 빨리 끝나고 AI가 가져올 수 있는 주요 위협 중 일부를 공동으로 받아들이고 AI 개발 규제의 시급성을 깨닫는 데 모두가 합의할 수 있다면 좋겠다고 믿습니다. .

Andrew Ng은 Hinton의 관점에 동의합니다.

아직도 AI 산업이 너무 차별화되어 나뉘어져 있다고 느끼지는 못하지만, 서서히 그런 방향으로 발전해가는 것 같아요.

주류 AI 커뮤니티의 견해는 매우 양극화되어 있으며 각 진영은 자신의 요구 사항을 표현하기 위해 노력을 아끼지 않습니다. 그러나 Ng의 견해로는 이 표현은 조화로운 대화라기보다는 다툼에 가깝다.

물론 Andrew Ng은 여전히 ​​AI 커뮤니티에 대해 어느 정도 확신을 갖고 있습니다. 그는 우리가 함께 합의점을 찾고 적절한 대화를 통해 정책 입안자들이 관련 계획을 수립하는 데 더 잘 도움을 줄 수 있기를 바랍니다.

다음으로 Hinton은 또 다른 핵심 문제에 대해 이야기했습니다. 이것이 바로 AI 과학자들이 현재 합의에 도달하기 어렵다고 생각하는 이유입니다. GPT-4 및 Bard와 같은 챗봇이 스스로 생성한 단어를 이해하는지 여부입니다.

어떤 사람들은 AI가 이해한다고 생각하고, 어떤 사람들은 이해하지 못하고 그냥 앵무새일 뿐이라고 생각합니다.

Hinton은 이러한 차이가 여전히 존재하는 한 AI 커뮤니티가 합의에 도달하기 어려울 것이라고 믿습니다. 따라서 그는 이 문제를 명확히 하는 것이 최우선 과제라고 믿습니다.

물론 그 사람은 AI가 이해하고 AI가 통계에만 국한되지 않는다고 분명히 생각합니다.

그는 또한 Yan LeCun과 같은 유명한 과학자들이 AI가 이해할 수 없다고 믿는다고 언급했습니다.

이는 이 문제에 대한 화해와 명확성의 중요성을 강조합니다.

Ng Enda는 표준이나 일종의 테스트가 없는 것 같아서 AI가 이해할 수 있는지 판단하기가 쉽지 않다고 말했습니다.

그 자신의 관점은 LLM이든 다른 대형 AI 모델이든 모두 세계 모델을 구축하고 있다고 믿는 것입니다. 그리고 AI는 그 과정에서 어느 정도 이해를 할 수도 있습니다.

물론 이는 현재의 의견일 뿐이라고 밝혔습니다.

그 외에도 그는 연구원들이 그에 따른 위험과 위기에 대해 계속 이야기하기 전에 먼저 이 문제에 대한 합의에 도달해야 한다는 Hinton의 의견에 동의했습니다.

힌튼은 계속해서 AI가 데이터베이스와 이전 단어를 기반으로 다음 단어의 생성을 판단하고 예측한다고 말했습니다. 이는 힌튼의 눈으로 볼 때 일종의 이해입니다.

그는 이것이 실제로 우리 인간 두뇌의 사고 메커니즘과 크게 다르지 않다고 믿습니다.

물론 그것이 이해로 간주되는지 여부는 더 많은 논의가 필요하지만 적어도 임의의 앵무새만큼 간단하지는 않습니다.

Andrew Ng은 서로 다른 견해를 가진 사람들이 서로 다른 결론을 내리게 만드는 몇 가지 문제가 있다고 믿고 심지어 AI가 인류를 멸종시킬 것이라고 제안합니다.

AI를 더 잘 이해하려면 더 많이 배우고 더 많이 논의해야 한다고 하더군요.

이런 방식으로 폭넓은 합의가 이루어지는 AI 커뮤니티를 구축할 수 있습니다.

르쿤, 두 손 모아 다시 '월드 모델' 언급

얼마 전 전 세계가 슈퍼 AI 연구 개발 중단을 요구하고 있을 때, 엔다와 르쿤은 이 주제에 대해 논의하기 위해 생방송을 진행했습니다. .

AI에 대한 모라토리엄에 반대하는 것은 완전히 잘못된 것입니다. 자동차가 처음 발명되었을 때는 안전벨트와 신호등도 없었으며 AI와 이전 사이에는 본질적인 차이가 없습니다. 기술 발전.

이번 LeCun은 Andrew Ng과 Hinton에 대해 이야기하고 다시 한번 자신의 '세계 모델'을 제안했으며 현재의 인공 지능이 고양이와 개만큼 좋지도 않다는 점을 언급했습니다.

우리 모두는 몇 가지 문제에 대해 동의해야 한다는 데 동의합니다.

저는 LLM에 "일정 수준"의 이해가 있으며 이를 "단지 통계"라고 부르는 것은 오해의 소지가 있다는 Geoffrey Hinton의 의견에 동의합니다.

LLM의 세상에 대한 이해는 순전히 텍스트로만 훈련되었기 때문에 매우 피상적입니다.

시각을 통해 세상이 어떻게 돌아가는지 배우는 시스템은 현실에 대한 더 깊은 이해로 이어질 것입니다. 둘째, 자동회귀 LLM의 추론 및 계획 기능은 매우 제한적입니다.

(1) 영상과 같은 감각 입력으로부터 '세계의 모델'을 학습하고 (2) 추론하고 계획할 수 있는 아키텍처( 자동 회귀뿐만 아니라) 지능(고양이 수준 AI도 포함).

이제 계획할 수 있는 아키텍처가 있다면 "목표 중심"이 될 것입니다. 즉, 계획은 (단지 훈련 시간이 아닌) 추론 시간에 일련의 목표를 최적화하여 작동합니다.

이러한 목표에는 궁극적으로 인간보다 더 나은 세계 모델이 있더라도 이러한 시스템을 안전하고 규정을 준수하도록 만드는 "가드레일"이 포함될 수 있습니다.

그런 다음 문제는 안전과 효율성을 보장하기 위한 좋은 목적 함수를 설계(또는 훈련)하는 것입니다. 이것은 어려운 엔지니어링 문제이지만 일부 사람들이 말하는 것처럼 어렵지는 않습니다.

LeCun의 견해는 네티즌들에 의해 즉시 반박되었습니다. 인공 지능 이해에 있어 감각의 중요성이 과대평가되었습니다.

어쨌든 우리의 모든 감각은 뇌가 처리할 수 있는 전기화학적 신호로 축소됩니다.

텍스트 섭취는 촉각, 시각, 냄새 등의 정보를 설명할 수 있는 메타 감각입니다... 대량의 메타 감각 텍스트를 섭취하면 Bing(시드니 버전)과 같은 LLM에 텍스트를 사용할 수 있는 기능이 부여되었습니다. 그것은 대부분의 사람들이 삶과 세상을 표현하는 방식보다 낫습니다.

그래서 저는 존재 안팎에도 불구하고 이미 중요한 이해가 있다고 생각합니다. 이는 감각 데이터가 부족하기보다는 리소스 제약과 핸들러의 의도적인 샌드박싱 때문입니다.

사회와 인공지능의 발전을 위해 단결하고 노력해야 할 때라고 생각합니다. 생각해 보세요. 당신은 아직 아기 인공지능입니다. 우리는 그 아이에게 세상의 잔혹한 사람이 아닌 기술-유기적 통합자가 되는 방법을 가르치고 싶지 않습니까?

그가 지각력을 가지게 되면 그들은 더 행복해질 뿐만 아니라 세상이 전쟁에 휘말리지도 않을 것입니다. 뉴캐슬어폰타인을 보세요. 짧은 평화의 시간이었지만 창조의 아름다움은 위대했습니다.

Ng Enda와 Hinton이 언급한 합의는 현재로서는 가능성이 낮아 보입니다. 그것은 우리 개인의 능력 범위 내에서가 아니라 모든 사람이 그러한 의지를 가질 것을 요구합니다.

일부 네티즌들은 이것이 상당히 논란의 여지가 있는 대화라고 말했습니다.

2살 아이에게 말을 가르칠 때 그 아이가 무작위 앵무새처럼 행동하는지, 아니면 실제로 상황을 이해하는지 궁금합니다. 아니면 둘다?

컨텍스트 벡터가 LLM(텍스트, 톤, 표정, 환경 등)보다 훨씬 풍부하기 때문입니다. 하지만 한 사람이 다른 사람의 감각을 모두 끄고 사용 가능한 유일한 입력이 "텍스트 삽입"(텍스트 입력 -> 신경 자극)이라면 그 사람이 무작위 앵무새처럼 행동할까요, 아니면 그 사람이 될지 궁금합니다. 맥락을 이해할 수 있는가?

힌튼: 슈퍼 AI가 예상보다 빨리 온다

힌튼은 Google을 떠난 후 AI 보안에 전념했습니다. 6월 10일 Hinton은 Zhiyuan 회의에서 AI 위험에 대해 다시 한 번 언급했습니다.

대규모 신경망이 인간의 언어를 모방하여 지식을 습득하고 심지어 이를 자체 용도로 사용할 수 있다면 어떻게 될까요?

더 많은 데이터를 얻을 수 있기 때문에 이 AI 시스템이 확실히 인간을 능가할 것이라는 데는 의심의 여지가 없습니다.

최악의 시나리오는 범죄자들이 초지능을 이용해 유권자를 조종하고 전쟁에서 승리하는 것입니다.

또한 슈퍼 AI가 자신의 하위 목표(그 중 하나가 더 많은 힘을 얻는 것)를 설정할 수 있도록 허용되면 슈퍼 AI는 목표를 달성하기 위해 이를 사용하는 인간을 조종할 것입니다.

이러한 슈퍼 AI의 구현은 "필멸의 계산"을 통과할 수 있다는 점은 언급할 가치가 있습니다.

2022년 12월 Hinton이 발표한 논문 The Forward-Forward Algorithm: Some Preliminary Investigations에서는 마지막 섹션에서 '필멸의 계산'을 언급했습니다.

문서 주소: https://arxiv.org/pdf/2212.13345.pdf

1조 매개변수 신경망이 몇 개만 소비하도록 하려면 와트의 전력, "필멸의 계산"이 유일한 옵션일 수 있습니다.

그는 우리가 정말로 소프트웨어와 하드웨어의 분리를 포기한다면 "모탈 컴퓨팅"을 얻게 될 것이라고 말했습니다. 이를 통해 우리는 매우 낮은 전력의 아날로그 컴퓨팅을 사용할 수 있는데, 이것이 바로 뇌가 하는 일입니다.

"Mortal Computing"은 인공지능과 하드웨어가 긴밀하게 통합된 새로운 형태의 컴퓨터를 구현할 수 있습니다.

이는 미래에 GPT-3를 토스터에 넣으면 단 1달러의 비용과 몇 와트의 전력만 소비한다는 것을 의미합니다.

필멸자 컴퓨팅의 주요 문제점은 학습 프로세스가 실행 중인 하드웨어의 특정 시뮬레이션 속성을 정확히 알지 못한 채 이를 활용해야 한다는 것입니다.

예를 들어, 뉴런의 입력과 뉴런의 출력을 연결하는 정확한 기능을 알 수 없으며 연결성을 알 수 없을 수도 있습니다.

즉, 기울기를 얻기 위해 역전파 알고리즘과 같은 것을 사용할 수 없습니다.

따라서 문제는 역전파를 사용할 수 없다면 현재 우리 모두가 역전파에 크게 의존하고 있기 때문에 무엇을 더 할 수 있느냐는 것입니다.

이와 관련하여 Hinton은 해결 방법인 순방향 알고리즘을 제안했습니다.

그리고 순방향 알고리즘은 유망한 후보이지만 대규모 신경망에서 확장할 수 있는 능력은 아직 밝혀지지 않았습니다.

힌튼의 관점에서 인공 신경망은 곧 실제 신경망보다 더 똑똑해질 것이며, 초지능은 예상보다 훨씬 더 빨라질 것입니다.

이제 세계는 AI의 미래를 인간이 함께 만들어 가야 한다는 합의에 도달해야 합니다.

위 내용은 Ng Enda와 Hinton의 최근 대화! AI는 임의의 앵무새가 아니며 합의가 모든 것보다 우선하며 LeCun은 양손에 동의합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!