Tian Yuandong: GPT-4에 대한 몇 가지 생각

OpenAI가 어제 GPT-4를 출시했는데, 사용해 보니 정말 좋았습니다.

제가 주로 고민하는 스토리 생성 측면에서는 ChatGPT로 생성한 스토리에 비해 GPT-4가 문체도 좋고 디테일도 더 좋고, 생생하고 구체적인 설명도 더 좋고, 줄거리도 더 좋아요 흥미로운 변화가 시작되었습니다. 물론 전체적인 레이아웃과 스토리 기획력이 부족하고, 캐릭터가 돋보이지 않고, 서사적 전개가 지루하고, 이어지는 단락이 빨리 평범한 결말로 끝나는 등 ChatGPT의 일부 문제점은 여전히 ​​존재합니다. GPT-4에서.

성과 보고서를 보면 만점에 가까운 GRE Verbal과 비교했을 때 GRE Writing은 4점, Advanced Placement English Writing은 2점(3점 통과)만 있고 GPT-3부터는 to 4 진전이 부족한데, 이것이 이러한 문제와 관련이 있는지는 모르겠습니다.

어쨌든 GPT-4는 이미 우리가 많은 일상 업무를 수행하는 데 도움을 줄 수 있습니다. 2013년 딥러닝이 폭발적으로 시작된 지 불과 10년이 지났습니다. 우리에게는 이렇게 강력한 도구가 있고, 그 진화 속도는 상상을 초월한다고 할 수 있습니다.

2017년, 왜 일부 수학 학생들은 딥러닝을 싫어하고 심지어 경멸까지 할까요? 이 답변에는 "긴 밤 동안 무작정 더듬었는데 아직 해가 뜨지 않았다" 등 과감한 추측이 담겨 있었다. 이렇게 빨리.

기술이 미적분학처럼 보편적인 도구가 되면 앞으로 일어날 엄청난 변화를 예상할 수 있습니다.

장기적으로 보면 앞으로는 어떻게 될까요?

저도 2020년쯤에 생각이 좀 나서 공상과학소설에 담아봤습니다. 일반적으로 이러한 추세가 극단적으로 발전하고 실제 제품의 제조조차 현지 재료를 사용하여 완전히 자동화될 수 있다면 최종 결과는 "당신이 생각하는 것이 얻는 것"이 ​​될 것입니다. 아주 저렴한 비용으로 여러분 앞에 나타날 것입니다.

대부분의 반복적인 노동이 기계에 의해 제한 없이 복제될 수 있는 한, 그 가치는 거의 0으로 떨어지고 물과 공기처럼 어디에나 있는 공공재가 될 것입니다.

이러한 조건에서 '독창성'은 모두가 소중히 여기는 가치이자 의미가 될 것입니다. 아마도 미래에는 더 이상 학위 취득이나 시험 합격이 아니라 개인의 경험과 성취가 인재를 판단하는 주요 기준이 될 것입니다.

"같은 목표를 가지고 남보다 더 잘하는 것"도 독특하고, "아무도 가보지 못한 방향으로 가는 것"도 독특합니다. 여기에는 누구도 해결할 수 없는 문제를 해결하고, 새로운 학문적 방향을 창출하고 탐구하는 등 동료들이 인정하는 학문적 성과뿐만 아니라, 독특한 경험과 통찰력, 사고방식, 심지어 인간이라는 세 가지 관점까지 포함된다. 목발을 짚고 걷는 프로그래머, 남극을 탐험한 프로그래머는 세상에 대해 어떤 관점과 통찰, 통찰력을 갖게 될까요? 한때 달에 가기 위해 직접 만든 로켓을 만들었다가 기적적으로 구조된 역사학도는 이 경험을 자서전에서 어떻게 이야기할 것인가?

개인의 특성과 밀접하게 결합된 이러한 말할 수 있는 권리는 모든 사람이 인간 사회에서 고유한 생태학적 틈새를 차지할 수 있게 하고 "인간"의 궁극적인 닻이 될 수 있도록 해줄 것입니다. 미래에 의식이 업로드되고 디지털 트윈이 실현될 수 있다고 해도 이 고유한 성격은 여전히 ​​복제될 수 없습니다. 동일한 개인이 둘이 되어 서로 다른 외부 신호 자극을 받기 시작하는 한 그들의 내부 상태는 그에 따라 변합니다. 업데이트하면 트랙이 갈라지기 시작하여 다시 고유해집니다.

일반적으로 모든 사람은 자신의 선택을 증명하기 위해 자신만의 '도'를 사용하며, 과거의 선택으로 인해 자신만의 독특한 특성을 축적하게 됩니다. 누가 누구보다 낫다고 미리 판단하는 것은 불가능하다. 왜냐하면 이 판단 기능을 계산하는 것 자체가 개인이 자신의 길을 실천해야 하기 때문이다. 그리고 자신의 방향을 주장하는 수많은 사람들이 모이면 다양한 멋진 아이디어가 계속해서 나올 것이며, 그 중 일부는 실제로 옳다는 것이 입증되어 다른 사람들에게 영향을 미치고 추종자를 끌어들일 것입니다. 그리고 이 모든 개인을 포함하는 다양하고 포용적인 세상은 발전을 위한 동기로 가득 차게 될 것입니다.

너무 멀리 가고 있어요.

연구자들에게 GPT-4의 출현은 무엇을 의미하나요?

두 가지 극단적인 선택이 있습니다. 하나는 듣거나 보지 않고, 오래된 사고 관성을 이용해 연구 경로를 구상하고 계속해서 다음 기사를 게시하는 것입니다. 이제 이전 연구 아이디어를 버리고 모든 교과서를 찢고 컴퓨팅 능력이 왕이고 빅 모델과 빅 데이터가 전부라고 믿으십시오.

저는 이 두 가지 태도 모두 바람직하지 않다고 생각합니다. 연구의 패러다임은 더 이상 특정 지식을 발견하는 것이 아니라 모델 학습의 메커니즘을 연구하고 학습 능력의 근원을 찾는 것으로 바뀌어야 합니다. 예를 들어, 대규모 데이터 훈련을 통해 기존 모델은 자동으로 많은 개념을 학습할 수 있습니다.

모델은 이 개념을 어떻게 학습합니까? 대형 모델이 어떻게 더 빠르고 효과적으로 학습할 수 있나요? 데이터에서 이를 어떻게 발견하고, 모델에 포착하고, 훈련 중에 지속적으로 강화하나요? 고급 개념은 어떻게 형성되나요? 기존 모델은 이러한 개념을 어떻게 포착하며 어떤 메커니즘을 사용합니까? 나는 이것이 장기적으로 정말 의미 있는 기초 연구 방향이 될 수 있고, 또한 '인공지능'의 형이상학을 과학으로 진정으로 전환하기 위한 최종 출구가 될 것이라고 생각합니다.

물론 이런 공부를 하려면 많은 기초지식이 필요하고, 인내심도 있어야 하며, 자신의 수준을 넘어서는 새로운 것을 잘 받아들이는 능력도 필요합니다. 자신의 지식 범위를 원래의 작업 흐름과 연구 아이디어에 통합할 수 있습니다.

이것은 연구에 있어 나만의 독특한 "딩하이 심천"이라고 할 수 있으며 앞으로도 계속되기를 바랍니다.

위 내용은 Tian Yuandong: GPT-4에 대한 몇 가지 생각의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!