Kaifu Lee: 대형 AI 모델은 놓칠 수 없는 역사적 기회입니다.

"미래에 가장 혁신적인 AI 2.0 애플리케이션은 AI-First가 될 것이라고 생각합니다." Sinovation Ventures 회장 Kaifu Li는 연설에서 말했습니다.

AI-First 애플리케이션이란 무엇인가요? 대형 모델 없이는 존재할 수 없는 애플리케이션을 가리킨다.

5월 28일, Sinovation Ventures 회장 겸 CEO이자 Sinovation Ventures 인공지능공학연구소 소장인 Kaifu Li는 2023 Zhongguancun 포럼에서 "AI1.0에서 AI2.0으로의 새로운 기회"라는 제목의 연설을 했습니다.

그는 연설에서 대형 모델 개발의 상업적 가치, AI 2.0이 미래 응용 생태계에 미치는 영향, AI 개발 전망 등 대형 모델 개발에 대해 의구심을 갖고 있던 사람들에 대한 자신의 의견을 밝혔습니다. 중국의 대형 모델.

불완전한 대형 모델이라도 상품 가치가 수십조 달러에 달한다고 하더군요. 미래 AI 2.0 시장은 거대기업, 중소기업, 스타트업 등 3단계로 수용해 모바일 인터넷 규모의 10배 규모로 성장할 것으로 예상된다. 거대 기업과 중소기업, 마이크로 혁신 기업이 함께 발전할 수 있는 '혁신 단지'를 조성해 나가기를 기대합니다.

다음은 이개푸 선생님의 연설 전문(요약 포함)

저희 투자기관의 입장에서 최근의 AI 2.0을 살펴볼 수 있는 기회를 갖게 되어 매우 기쁩니다. AI 분야. 지난 2년 동안 AI2.0과 대규모 모델의 등장으로 인해 지난 5년간 관련 논문을 거의 다 읽었기 때문에 매우 기대됩니다. Sinovation Ventures의 투자 및 기술 팀도 이 분야를 연구하고 있습니다. 이러한 이유로 그들은 OpenAI, Google 및 Microsoft의 최신 개발 사항을 배우기 위해 미국까지 방문했습니다.

오늘 소개하고 싶은 것은 시노베이션 벤처스나 기타 실제 기업이 투자한 기업이 아니라 최근 AI2.0 대형 모델에 대한 많은 질문에 대한 답변으로 모든 분들께 도움이 될 수 있도록 비교적 간단한 설명을 드릴 수 있었으면 좋겠습니다. .

01

대형 모델의 비즈니스 가치

AI2.0이란 무엇인가요? 시노베이션벤처스 입장에서는 투자가 경제적 가치를 창출한다는 관점에서 AI의 발전 단계를 AI1.0과 2.0으로 나눈다. 딥러닝은 알파고 이후 AI1.0으로 발전해 다양한 산업에서 폭넓게 활용되며 가치를 창출했습니다.

1989년부터 AI1.0 개발이 시작되었습니다. 그러나 최근에는 대형 모델로 해결할 수 있는 몇 가지 어려움이 발생했습니다. AI1.0에서 발생하는 병목 현상은 무엇입니까? 당시에는 대규모 모델이 없었을 때 AI를 한 분야에 적용하려면 해당 분야의 데이터를 수집하고 정리하고 라벨을 붙인 다음 이를 사용하여 모델을 조정해야 했습니다. 매우 비싸다.

Douyin, Alibaba 또는 Baidu와 같은 대기업의 경우 문제가 없습니다. 데이터를 너무 많이 수집하고 돈을 벌 수 있는 기회가 많지만 은행, 보험 회사 또는 공장이라면 큰 문제가 있을 것입니다. AI 응용 프로그램을 구현하면 비용이 감당할 수 없을 것입니다.

대형 모델의 장점은 한 번 완전히 훈련한 후 전이 학습이나 미세 조정을 통해 적용할 수 있다는 것입니다. AI 1.0 시대에는 모든 애플리케이션이 고립되어 있다. 그러나 대형 모델이 등장하면서 대규모 데이터를 활용해 기본 대형 모델을 한번에 훈련할 수 있고, 이후 이 모델을 이용해 필요한 애플리케이션을 조정할 수도 있다. , 따라서 비용을 많이 절감합니다. 예를 들어, "Xiao Ai"와 같은 스피커 제품은 "Xiao Ai"가 이해하는 분야에서 벗어나면 혼란스러울 수 있습니다. 실제로는 스마트 스피커가 그다지 똑똑하지 않다는 것을 알게 될 것입니다. 음악, 날씨 확인 같은 간단한 일도, 할 수 없는 일도 많습니다. 하지만 ChatGPT와 같은 것을 넣으면 지식 보유가 활성화되어 대화 모드를 조정하기만 하면 매우 좋은 대화 로봇이 될 수 있습니다.

매우 완벽한 대규모 모델은 비즈니스에서도 상당한 가치를 가지며, 심지어 수조 규모에 이를 수도 있습니다. 인간이 어떻게 협력하느냐에 따라 달라지는데, 이를 소위 휴먼인더루프(Human in the Loop)라고 합니다.

기자들은 AI를 이용해 글을 쓰거나, 변호사들은 AI를 이용해 소송을 돕습니다. 결국 기사나 소송에 대한 책임은 여전히 인간에게 있고, AI가 예비 집필만 하는 한 문제가 없을 것입니다. 인공지능도 실수할 수 있다는 사실을 사람들이 학습했다는 점을 고려하여, 잘못된 정보로 인해 사용자가 피해를 입지 않도록 사용자를 보호하기 위해 사용자에게 직접 서비스를 제공하는 대신 초기에 원고 초안만 제공하도록 허용합니다.

AI는 방대한 데이터베이스의 장점을 최대한 활용합니다. 예를 들어 1,000개의 기사를 읽고 새로운 요약을 작성할 수 있고, 과거 10,000개의 역사적 소송을 읽은 것을 기반으로 요약을 작성할 수 있습니다. 또는 변호사가 유용한 정보를 얻고 AI가 실수를 했는지 사람들이 확인할 수 있게 해준다.

또한 일부 분야에서는 실제로 AI가 실수하는 것에 대해 사람들이 신경 쓰지 않습니다. 예를 들어 엔터테인먼트 응용 프로그램에서는 게임에서 영웅이 되어 수염이 길거나 짧거나 하는 것이 해롭지 않습니다. 잘못된 문장이라고 해도 상관없습니다. 어쨌든 관계는 모두 게임에서 조작된 것입니다. 실제로 많은 응용 분야에서는 이러한 불완전한 대형 모델을 허용할 수 있습니다. 이러한 사실에 대한 분석을 바탕으로 AI는 생산성 응용 분야에서 큰 잠재력을 가지고 있습니다. 물론 뉴스 검색, 정부 웹사이트, 의료 및 교육 관련 분야 등 일부 분야는 매우 중요하며 실수를 용납할 수 없습니다. 이러한 분야는 앞으로 대규모 모델 실수 문제가 해결되어야 합니다. 해결되었습니다.

02

AI2.0은 애플리케이션 생태계를 다시 작성합니다

오늘날의 Word, PowerPoint, Excel, Photoshop 및 기타 응용 프로그램은 모두 대규모 AI 모델을 사용하여 다시 작성되고 다시 작성한 후에는 사용자 경험이 바뀌고 비즈니스 모델도 바뀔 것이라고 완전히 상상할 수 있습니다. 푸시 광고처럼 실수로 인한 비용이 그리 높지 않은 영역도 있습니다. 광고가 잘못 푸시되어도 해가 되지 않습니다. 오늘날 우리는 실수로 수많은 광고를 밀고 있으며, TV나 웹사이트를 켰을 때 받는 광고는 타겟팅되지 않지만 AI는 가끔 실수를 하기도 하지만 더 타겟팅된 광고를 만들 수 있습니다.

그래서 위 분야들만으로도 수십조 달러의 가치가 있는 기회라고 생각합니다. 물론, 우리는 말도 안되는 빈도를 줄이기 위해 계속해서 열심히 노력해야 합니다. 여기에는 사전 훈련 데이터부터 훈련 정렬, 후속 처리, 일부 조기 경고 및 임시 빠른 수정 방법에 이르기까지 완전한 방법 세트가 있습니다. . 이 조합은 함께라면 할 수 있다고 믿습니다.

생산성은 최고의 기회입니다. AI2.0에는 대략 세 가지 생태계가 있습니다. 우리는 일반적으로 기본 모델로 하단 레이어에 대해 이야기합니다. 방금 이야기한 것은 원고 작성, 소송 작성, 그림 그리기, 그림 잘라내기 등을 돕는 상위 응용 프로그램 레이어입니다. 모델을 최적화하고 전이 학습을 구현하여 대규모 모델을 보다 효율적으로 적용할 수 있도록 다양한 도구를 제공하는 중간 계층도 있습니다. 중간 레이어는 두 부분으로 구성됩니다. 첫 번째는 기본 모델 레이어에서 바깥쪽으로 확장하는 것입니다. 예를 들어 모델이 너무 크면 추론이 필요할 때 축소할 수 있고 큰 모델을 작은 모델로 전환할 수 있습니다. 특정 분야에 대해? 또는 방금 언급한 말도 안되는 빈도를 줄이는 문제입니다.

다른 하나는 애플리케이션 레이어 아래에서 조정하는 것입니다. 예를 들어 Photoshop을 다시 작성하고 싶을 때 한 문장을 말하면 그림이 나오지만 더 나아가서 Photoshop의 색상을 변경하고 싶다고 말해야 할 수도 있습니다. 무지개 또는 내부 청중의 남성과 여성의 비율을 조정합니다. 이를 위해서는 대형 모델을 지능적으로 절단하고 일부 개체에 대한 이해가 필요합니다. 사실 이것들은 대형 모델 자체와 직접적인 관련은 없지만, 이러한 기능이 없으면 그림을 그리고 싶어하는 사람에게 포토샵을 강요하는 것은 불가능합니다.

중간층은 사실 매우 중요합니다. 중층은 우리에게 무엇을 생각하게 합니까? 예를 들어, Windows, Android, Apple에서 제공하는 중간 계층의 목적은 매우 간단합니다. 즉, 애플리케이션 개발 비용을 최소화하는 것입니다. 그래야만 애플리케이션 수가 늘어나고, 사용자가 더 많은 애플리케이션을 가져오는 선순환이 만들어질 수 있습니다.

저번 연설에서 플랫폼과 애플리케이션 모델이 결합된 AI 2.0 시대의 도래를 언급한 바 있습니다. 이 플랫폼 기술이 마스터되면 모든 분야를 변화시킬 것입니다. 예를 들어 게임을 만들 때 배경, 소품, 의상, 심지어 모든 코드까지 모든 캐릭터 생성이 결국 AI를 사용하여 작성되므로 일부 어린이가 사용할 가능성이 매우 높다는 것을 분명히 느낄 수 있습니다. 플레이하고 싶은 게임을 적어서 모두가 단어를 사용하여 서로에게 게임을 소개하면 몇 초 안에 플레이할 수 있습니다.

지금 언급한 전자상거래 및 광고도 한 예입니다. 개인의 필요, 인지도, 교육 수준 및 쇼핑 습관에 따라 광고와 사진을 맞춤화할 수 있습니다. 물론, 여기에는 규제 문제가 있을 것입니다. 작성한 내용이 허위이거나 사용자에게 피해를 준다면 어떻게 될까요? 이는 여전히 법적 감독이 필요하지만, 이 두 가지 예를 모두가 이해할 수 있기를 바랍니다. 이는 실제로 단순한 질문 및 답변 엔진이 아니라 오늘날 우리가 사용하는 모든 생태계를 변화시킬 것입니다.

03

대형모델 시대, AI First가 되기 위해

대형 모델은 인공지능을 개혁할 뿐만 아니라 플랫폼과 같은 거대한 격차를 가져올 것입니다. 모든 애플리케이션 중에서 AI-First가 가장 중요한 애플리케이션이 될 것입니다. AI-First란 무엇입니까? 다만 이 애플리케이션에 AI가 없으면 작동하지 않을 뿐입니다. 예를 들어, Meituan, Didi, Douyin 및 기타 회사와 같이 현재 우리가 사용하는 일부 Mobile-First 애플리케이션은 휴대폰이 없이도 사람들이 24시간 내내 휴대폰을 사용할 수 있다는 전제를 기반으로 합니다. 이러한 응용 프로그램은 사용할 수 없습니다.

이 회사들은 휴대폰이 제공하는 기능을 완전하게 활용하고 휴대폰에 적합한 새로운 애플리케이션을 개발했으며 지리적 위치를 확보하여 택시 호출 및 테이크아웃과 같은 활동을 완료하는 데 사용할 수 있습니다. 그리고 Sina, NetEase, Douban 등과 같은 다른 회사들도 모바일 인터넷 시대에 매우 좋은 성적을 거두었지만 PC 애플리케이션만 옮겨서 동일한 폭발을 얻지 못했습니다. 그 당시에는 모바일 인터넷에 사업을 시작하거나 투자하려면 모바일이 가능한 앱을 선택해야 했으니, 오늘날 인공지능 분야에서 사업을 시작하려면 모바일이 가능한 앱을 만들어야 합니다. 인공지능을 가지게 된다.

간단히 말해서 AI-First는 대형 모델이 없으면 애플리케이션이 완전히 쓸모 없게 된다는 것을 의미합니다. 이런 종류의 애플리케이션은 이 시대 미래의 사랑이 될 것입니다. 전체 사용자 경험은 우리에게 컴퓨터 언어를 배우도록 강요하기보다는 인간의 언어로 의사소통하는 방법을 배우는 것에 관한 것일 수 있습니다. .

물론 허위정보, 개인정보 보호 등의 문제를 포함해 아직 해결해야 할 과제가 많다는 점은 모두가 알고 있습니다. 감독 강화가 필요하다는 점을 강조하면서, 이러한 문제를 해결하기 위해서는 더 많은 기술이 필요합니다. 감독이나 기술만으로는 충분하지 않으며 두 가지 방법을 결합해야 합니다.

최근 시장에서는 “해외의 대형 오픈소스 모델을 이용해 중국판 OpenAI를 만들 수 있다”, “대형 모델을 만들 필요가 없고, 작은 모델이면 충분하다”, “대형 모델을 만들면 된다” 등 논란의 여지가 있는 목소리가 나왔다. 모델은 비싸고 노동집약적이다. 거대 기업만이 입장권을 갖고 있다", "중국에는 대형 모델 스타트업이 너무 많다" 등의 반응을 보였다. 제 생각에는 오픈소스가 매우 중요하다고 생각합니다. 중국의 기술은 앞으로 오픈소스가 반드시 필요할 것입니다. 왜냐하면 오픈소스가 없는 기업가가 아직 대학에 있고 시작할 힘을 얻기가 어렵기 때문입니다.

하지만 일부 사람들이 인터넷에서 말하는 것을 믿어서는 안됩니다. GPT-4와 같은 오픈 소스 모델을 사용하여 훈련했는데 갑자기 모델이 GPT-4만큼 좋다는 것을 알았으므로 대형 모델에는 없습니다. 가치가 있으며 그렇게 할 필요가 없습니다. 이것은 완전히 잘못된 것입니다.

첫째, 오픈소스 모델 자체에는 한계가 있을 수 있기 때문에 대규모 모델을 학습시킬 경우 GPU가 많이 필요하고 비용도 상대적으로 높습니다. 오픈 소스 모델은 기본적으로 모델의 상한선을 설정한 다음 내부에서 정렬 조정 및 학습 작업을 수행합니다. 이러한 작업이 모델에 가져오는 개선 사항은 상한선에 따라 결정됩니다. 처음부터 목표가 GPT-4와 같은 천장이라면 그보다 더 큰 모델을 만드는 것은 불가능할 것입니다. 둘째, 많은 사람들이 GPT-4를 사용하여 오픈 소스 모델을 훈련하지만 GPT-4가 앞으로도 계속해서 사용될 것이라고 보장할 수는 없습니다. 해외에서 훈련받은 모델을 국내에서 사용하기 위해 미세 조정하는 것은 위험합니다. 국내외의 문화, 습관, 법률 및 규정이 다르기 때문에 미국에서 훈련된 일련의 모델을 중국에서 디버깅하면 그러한 프레임워크가 국내 문제를 해결할 수 있다고 생각하십니까?

그래서 저는 아직도 대형 모델을 오픈소스화하는 것이 필요하다고 믿습니다. 물론 앞으로도 대형 모델 회사가 50개 정도는 되지 않을 것입니다. 당시 미국 검색 엔진이 10개 정도 있었던 것처럼 상대적으로 적은 수로 줄어들 것입니다. 처음 시작했고 나중에 인수합병을 통해 나머지 5~6개 회사도 아주 잘 발전하고 있습니다. 예를 들어 구글이 가장 늦게 나왔지만, 이제 첫 번째로 발전했기 때문에 주로 대기업이 될 것인지, 중소기업이 될 것인지는 더 구체적인 기업이 있을 것이라고는 결론을 내릴 수 없다. 너무 이르다. 누구에게나 아직 기회가 있다.

오늘날, 특히 이 분야를 따라잡는 이 시기에도 우리는 다양한 개발 모델을 장려해야 합니다. 왜냐하면 누가 그것을 성취할 수 있는지 알기 어렵기 때문입니다.

대형 모델의 진화에는 세 단계가 있습니다. 첫 번째 단계는 중형 대형 모델이며, 두 번째 단계는 현재 일부 대형 모델이 '출현' 단계에 있습니다. 중국의 대형 모델 기업은 이 수준에 이르렀다. 600억 개의 데이터 규모는 대략 2단계에 해당하지만, 중국의 데이터 품질은 3단계에 진입하기에는 충분하지 않다. 중요한 것은 세 번째 단계는 선도적인 대형 모델 회사가 되는 것입니다. 현재 3단계에 도달한 외국 기업은 단 두 곳으로, 모델 데이터 규모와 데이터 품질이 매우 좋으며, 인간 피드백 강화 학습도 갖추고 있어 많은 다운스트림 애플리케이션과 연결할 수 있습니다.

제가 이야기하고 싶은 부분은 특히 OpenAI의 GPT-4에서 다들 눈치채지 못한 부분이 하나 있는 것 같은데, 바로 이 기능이 바로 모델 확장(scale up) 기능이라고 합니다. 천분의 일 또는 만분의 1의 시간을 사용하여 모델 훈련의 성공 여부를 예측할 수 있습니다.

한 달 동안 대규모 모델을 학습할 때 실수를 하면 수천 개의 GPU가 낭비됩니다. 이러한 확장 기능 세트는 학습 성공 가능성을 어느 정도 정량화하고 낭비를 줄일 수 있습니다. 그러나 현재 우리는 OpenAI가 이러한 확장을 어떻게 운영하는지 알지 못합니다. 그들이 발행한 일부 논문에서만 이를 시도할 수 있습니다. GPU가 부족하더라도 GPU 사용을 극대화하는 방법을 이해하는 것은 여전히 필요합니다.

대형 모델 개발에서는 모델 크기만이 유일한 결정 요인이 아니며, 데이터 품질이 더 중요합니다. AI 1.0 시대에는 다양한 언어 모델을 학습할 때 데이터가 많을수록 실수가 많아도 문제가 되지 않습니다. 하지만 대규모 모델을 학습하면서 얻은 경험은 데이터의 질과 양 모두에서 그렇습니다. 중요하지만 품질에 비해 양보할 수 없는 부분이기 때문에 국가의 도움과 홍보가 필요하다고 생각합니다.

미국의 인터넷 데이터 품질은 중국보다 높습니다. 예를 들어 가족에게 건강 문제가 있으면 WebMD나 Cleveland Clinic에 가서 찾아야 하는데 중국에는 비슷한 웹사이트가 없습니다. 중국은 현재 공공복지 데이터 수집 플랫폼이 없기 때문에 고품질 데이터 수집을 촉진하고 외국과의 데이터 품질 격차를 좁히기 위해서는 여전히 중앙정부의 힘이 필요하다. 상태는 이 데이터 품질에 반영될 수 있습니다.

04

AI2.0 전망

미래에 가장 혁신적인 AI2.0 애플리케이션은 AI-First가 될 것이라고 믿습니다. 결국, 눈에 띄는 사람들은 신기술에 과감히 투자하는 선구자들입니다. 과거에는 인간이 컴퓨터 언어를 배워야 했지만, 미래에는 컴퓨터가 우리의 언어를 배우는 것이 가능해 시간을 크게 절약할 수 있을 것입니다. 우리가 하고 싶은 일을 AI에게 말하면 AI가 그 일을 해 줄 것입니다. 예를 들어, 내일이 아내의 생일이어서 꽃, 케이크, 선물이 필요하다고 스마트 비서에게 말하면 모든 것을 얻는 데 도움이 되어 많은 시간을 절약할 수 있습니다. 우리는 현재 시간을 절약하기 위해 이러한 작업을 도와줄 보조원을 모집하고 있습니다. 미래에는 AI 비서가 이러한 작업을 완료할 수 있습니다.

미래에는 빅모델이 단순한 채팅 도구가 아닌 점차 사용자의 기대를 뛰어넘어 지능적인 생산성 도구로 발전할 것이라고 믿습니다. 마침내 그날이 오면 현재의 비즈니스 모델이 바뀌고 App Store가 더 이상 존재하지 않게 될 것입니다.

예를 들어 아내 생일에 케이크와 꽃을 사달라고 AI에게 말하면 전자상거래 웹사이트에 갈 필요 없이 창고에 직접 주문할 수 있어 기존 비즈니스 모델을 전복하고 더 많은 경제적 기회를 가져옵니다. 지금 우리가 보는 AI 애플리케이션은 기본적으로 가상 세계에 있지만, 미래에는 AI가 물리적 세계로 옮겨갈 것이다. 우리는 Embodied AI라는 개념을 가지고 있는데, 이는 대규모 비디오를 훈련 데이터로 사용하면 로봇이 사용자의 요구 사항을 이해할 수 있다는 것을 의미합니다. 감자칩을 가져오라고 하면 서랍을 열고, 접시를 꺼내고, 쏟아 붓는 등의 작업을 해야 한다는 것을 알 수 있을 것이다. 물론, 향후 3~5회 안에 실제 적용에 들어가는 모습은 보기 어려울 수도 있다. 그러나 학문적, 산업적 조합으로 인해 이 모든 것이 그리 터무니없는 것처럼 보이지는 않습니다.

그래서 AI 빅 모델은 중국이 놓칠 수 없는 역사적 기회입니다. 이는 역사상 가장 큰 플랫폼 혁명이며, 이는 Windows와 Android가 가져온 변화보다 10배 더 큰 것입니다. 모든 애플리케이션을 다시 작성하고 인간 작업을 재구성하여 창의적인 사람들이 연구 작업에 더 잘 집중할 수 있도록 하고 독창성을 10배 이상 증폭시키는 동시에 많은 반복 작업을 대체할 것입니다.

중국은 미국보다 늦게 시작했지만 거대한 애플리케이션 시장과 경제 모든 측면의 강력한 연결성으로 인해 여전히 발전 가능성이 높습니다. 중국 정부는 자원 배분과 업무 배치 면에서 서방 국가보다 더 나은 성과를 거두고 있으며 더 많은 중국인을 자신에게 적합한 직위로 성공적으로 인도할 수 있습니다. 중국은 또한 엄청난 인재 우위를 가지고 있습니다. 중국에는 많은 수의 AI 엔지니어와 AI 과학자가 있지만, 중국의 많은 젊은 과학자들도 매우 강력합니다. 하지만 과거에는 우리의 컴퓨팅 파워도 미국만큼 좋지 않았고, 대형 모델에 대한 경험도 적었습니다. 그러나 정부의 공동 노력으로 대기업이 성공할 수 있었다고 믿습니다. , 그리고 투자회사 여러분, 우리는 곧 이 문제를 극복할 수 있을 것입니다.

미국의 유명한 투자 기관인 Andreessen Horowitz는 이 분야에 대해 다음과 같이 예측했습니다. "이 시장의 잠재적 규모는 파악하기 어렵습니다. 모든 소프트웨어와 모든 인간의 노력 사이에 있을 것으로 예상됩니다." 모바일 인터넷 규모의 10배에 달하는 규모로 거대기업과 중소기업, 마이크로 혁신기업이 함께 발전하는 '혁신단지'를 형성할 것으로 기대된다.

출처: 중국 기업가 매거진

위 내용은 Kaifu Lee: 대형 AI 모델은 놓칠 수 없는 역사적 기회입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!