최근 몇 년간 인공지능은 폭발적인 발전을 거듭했고, 최근에는 점차 인기가 하락하는 추세를 보이고 있습니다. 인공지능은 대기업만이 할 수 있는 게임이 된 것 같습니다.
그 이유는 인공지능의 '문턱'이 점점 높아지고 있기 때문입니다.
얼마 전 구글 AI의 대표 인물인 제프 딘(Jeff Dean)이 새로운 작품을 발표했는데, 업계에 적잖은 파문을 일으켰습니다. 그 이유는 작품 자체가 훌륭해서가 아니다. 이번 연구는 최근 결과에 비해 0.03% 개선에 그쳤지만, TPU 컴퓨팅 파워가 57,000달러가 넘는 비용이 들었다는 점은 큰 문제다.
많은 사람들은 현재의 AI 연구가 컴퓨팅 파워와 자원의 상징이 되어 일반 학자들은 더 이상 연구할 수 없다고 말합니다.
아직도 인공지능이 우리에게 어떤 변화를 가져왔는지 의구심을 갖는 분들이 많습니다. 바둑 외에 또 무엇을 할 수 있으며, 미래에는 어떤 일이 일어날까요?
이러한 질문들을 바탕으로 Feng Ji 박사님과 심도 있는 소통을 나누었습니다. 그는 Sinovation Ventures의 Nanjing AI Research Institute의 전무이사이자 Bei Yang Quantitative의 창립자입니다. 그는 AI 분야에서 다년간의 연구 경험을 갖고 있습니다. 이번 대화를 통해 우리는 AI의 미래 개발과 구현에 대해 새로운 이해를 갖게 되었습니다.
Google은 최근 이 문제에 대해 많은 관심을 받았습니다. 생각해 볼 만한 세 가지 문제가 있다고 생각합니다.
첫째, 대기업은 점차 "폭력적인 미학"으로 움직이기 시작했습니다. 즉, '초대규모 데이터' + '초대규모 컴퓨팅 파워'를 이용해 심층신경망의 천정을 맹렬하게 탐색한다. 그러나 이 접근 방식의 경계와 한계는 어디에 있습니까?
둘째, 학문적, 과학적 연구의 관점에서 볼 때 이 방법이 AI의 유일한 탈출구일까요? 실제로 지각 지능에서 인지 지능으로 전환하는 방법, 상대적으로 적은 양의 데이터를 사용하여 인공 지능이 직면한 문제를 해결하는 방법 등 다른 기술 경로를 탐색하는 연구가 이미 많이 있습니다.
셋째, 업계에서 실제로 응용하려면 이렇게 큰 컴퓨팅 성능이 꼭 필요한가요? 업계에는 비음성, 이미지, 텍스트와 관련된 수많은 작업이 있으며, 이는 학계에서도 좀 더 효율적인 알고리즘을 개발하도록 강요하고 있습니다.
1990년대 이전에도 '인공지능'의 대표적인 기술은 여전히 '상징주의', 즉 논리적 추론에 바탕을 둔 기획, 검색 등의 기술이었습니다.
2010년 이후 인공 지능에 중요한 변화가 일어났습니다. 즉, 신경망 기술을 사용하여 이러한 지각 작업을 더 잘 표현하는 것이었습니다. 그러나 논리적 추론을 어떻게 할 것인지, 상식을 어떻게 할 것인지, 기억력을 어떻게 더 잘 모델링할 것인지 등 인공지능이 해결하지 못한 '성배' 문제가 여전히 많다.
이러한 문제를 해결하려면 심층 신경망을 사용하는 것으로 충분합니까? 이는 학계와 업계가 더욱 우려하는 다음 중요한 방향일 수 있습니다.
일명 '지각 인공지능'은 실제로 이미지 인식, 음성-문자 변환, 일부 텍스트 생성 작업 등 최근 인공지능이 성공적으로 구현된 대표적인 예입니다.
그러나 더 중요한 것은 이러한 지각 작업에서 인지 능력이 있는 작업으로 어떻게 전환할 수 있는지, 특히 인공 지능을 사용하여 논리적 추론과 상식을 달성하여 진정한 일반 인공 지능을 실현하는 방법은 무엇일까요?
이 문제에 대해 제가 아는 한 학계에는 크게 세 가지 기술 루트가 있습니다.
첫째, 여전히 신경망의 길을 따르며 끊임없이 데이터와 컴퓨팅 파워를 쌓아 문제를 해결하려고 노력하세요.
둘째, 연결주의 + 상징주의의 결합인 상징주의 기술을 도입해 보세요.
셋째, 전통적인 논리적 추론 기술을 계속해서 향상시키는 것인데, 이 경로도 가장 어렵습니다.
인공지능 공학에서는 데이터가 점점 더 중요해지고 있습니다. 업계에서는 '데이터 중심' 개발 모델이라는 새로운 개념을 제안했습니다. 이에 비해 이전에는 '모델 중심'이라고 불렀습니다.
전통적으로 엔지니어는 모델을 구축하는 방법과 매개변수를 조정하여 시스템 성능을 향상시키는 방법에 더 많은 시간을 보냅니다. 하지만 요즘 모든 사람의 관심의 80%는 데이터 세트를 더 좋게 만드는 방법, 훈련 세트를 더 좋게 만드는 방법, 훈련 세트를 더 균형있게 만드는 방법, 그리고 모델이 좋은 데이터 세트에 대해 훈련되도록 하는 것입니다. 더 나은 결과.
데이터 개인 정보 보호에 대한 수요가 점차 증가함에 따라 데이터로 인한 일부 부정적인 영향과 비기술적 요구 사항도 증가하고 있습니다. 예를 들어, 여러 기관이 공동 모델링을 수행하는 경우 데이터 프라이버시 보호로 인해 기관 간에 데이터를 공유할 수 없습니다. 그래서 연합 학습과 같은 기술은 데이터 개인 정보를 보호하면서 공동 모델링을 달성하도록 설계되었습니다.
이제 모든 사람들은 특정 산업 발전에서 각 조직의 차이가 데이터라는 것을 점차 깨달았습니다. 매우 편리한 소프트웨어 오픈 소스 프레임워크와 매우 효율적인 하드웨어 구현이 있으므로 엔지니어는 데이터에 집중하게 되었습니다 - 이것이 패러다임 전환, 즉 패러다임 수준의 전환입니다.
내가 직접 인큐베이팅한 Bei Yang Quantitative는 AI 기술을 핵심으로 하는 헤지펀드입니다. 회사 내에서 매일 저장해야 하는 데이터의 양은 약 25~30TB 정도입니다. 그래서 우리는 "메모리 벽" 문제에 직면하게 됩니다.
대량 데이터가 메모리에 미치는 압박에 대처하기 위해 데이터를 콜드 데이터, 웜 데이터, 핫 데이터로 나누었습니다. "콜드 데이터"는 데이터 액세스 빈도가 그다지 높지 않으며 데이터베이스에 드롭될 수 있음을 의미합니다. "핫 데이터"란 읽고 쓰는 작업을 많이 해야 하고, 데이터가 일반적으로 분산되어 있고, 매번 읽고 쓰는 양이 매우 크다는 것을 의미합니다. 그렇다면 핫 데이터를 분산 방식으로 저장하는 방법은 무엇일까요?
순수한 SSD 솔루션과 비교할 때 이제 Optane 영구 메모리와 같은 더 나은 솔루션이 있습니다. 이는 메모리와 SSD 사이에 있으며 핫 데이터를 분산 방식으로 저장할 수 있어 "메모리 벽"을 최소화할 수 있습니다. " 문제.
현재 클라우드 컴퓨팅 인프라 재구성을 촉진하는 "클라우드 네이티브"라는 매우 인기 있는 개념이 있습니다. 그리고 인공지능을 위한 'AI 네이티브'가 실제로 일어났습니다. 특히 지난 10년 동안 컴퓨터 하드웨어 혁신은 실제로 인공지능 애플리케이션을 중심으로 발전했습니다.
예를 들어, 현재 클라우드에서 신뢰할 수 있는 컴퓨팅에 대한 수요가 점점 더 많아지고 있습니다. 예를 들어, AI 모델의 계산 프로세스는 기업의 핵심 지적 재산이므로 클라우드나 공용 플랫폼에 배치할 경우 당연히 계산 프로세스가 도난당할 위험에 대한 우려가 있을 것입니다.
이 경우 하드웨어 기반 솔루션이 있나요? 대답은 '예'입니다. 예를 들어, 우리는 하드웨어에서 계산을 보호할 수 있는 SGX 개인 정보 보호 샌드박스를 Intel 칩에 사용하고 있습니다. 이는 실제로 조직 간 협력을 위한 매우 중요한 기반입니다.
이것은 칩이나 하드웨어 제조업체가 수요에 따라 해당 솔루션을 제공하도록 강요하는 매우 전형적인 예입니다.
이 견해는 사실 다소 일방적입니다. BeiYang Quantitative의 일상 업무를 예로 들어보겠습니다. 퀀트 거래를 할 때 CPU에서 GPU로 데이터를 복사한 다음 다시 복사하면 많은 퀀트 거래 작업에 너무 늦습니다. 즉, 인공지능 모델 구현에 있어 매우 높은 성능의 CPU 버전이 필요합니다.
또 다른 예로 네트워크 카드의 데이터를 직접 분석하고 처리해야 하는 작업이 많은데, 네트워크 카드에는 대개 FPGA 칩이 있고, 처리하는 데이터를 GPU로 전송하기에는 너무 늦습니다. . 인공 지능 기술의 도움이 필요한 이러한 종류의 저지연 시나리오를 위해서는 이기종 아키텍처가 필요합니다.
즉, FPGA, ASIC, CPU, GPU 등 시나리오에 따라 용도가 다릅니다.
이기종 플랫폼을 위한 프로그래밍에 관해서는 업계에서는 이미 몇 가지 시도를 했다고 봅니다. 예를 들어 Intel의 oneAPI는 매우 중요한 도구라고 생각합니다. 즉, oneAPI를 사용하면 동일한 코드 세트를 CPU, FPGA 또는 기타 유형의 칩에 자동으로 적용할 수 있습니다. 이를 통해 엔지니어의 프로그래밍 어려움이 크게 줄어들고 알고리즘 혁신에 집중할 수 있습니다.
이것은 이기종 애플리케이션을 홍보하는 데 매우 중요하다고 생각합니다.
더 나은 엔드투엔드 솔루션이 필요할 수도 있다고 생각합니다. 이제 우리는 실제로 "소프트웨어 1.0"에서 "소프트웨어 2.0" 시대로 업그레이드했습니다. 즉, 전통적인 규칙을 기반으로 하는 복잡한 소프트웨어 엔지니어링 구축에서 데이터 기반 소프트웨어 엔지니어링 구축 방법까지.
이전에는 전체 프로그램을 실행하기 위해 일련의 정교한 시스템을 작성하기 위해 높은 독창성에 의존해야 했습니다. 이것은 기계식 시계와 유사합니다. 최고의 프로그래머는 "기어"의 작동을 구축하고 이 "시계"를 작동시키는 방법에 중점을 둡니다.
이제 이 작동 규칙 집합을 어떻게 결정해야 할지 모르겠다면 이를 대량의 데이터나 기계 학습 알고리즘에 제공하면 새로운 알고리즘이 생성됩니다. 우리가 얻고 싶은 것. 이 접근 방식은 로봇을 만드는 로봇을 만드는 것과 약간 비슷합니다.
소프트웨어 2.0 시대에는 소프트웨어 엔지니어링 전체의 개발 패러다임이 큰 변화를 겪게 될 것입니다. 핵심은 "데이터 중심"을 보다 편리하게 구현하는 것입니다. " 소프트웨어. 엔지니어링 개발.
아마 두 가지 측면이 있을 것 같아요. 첫째, 산업적 관점에서 볼 때 우리는 여전히 첫 번째 원칙, 즉 우리 자신의 필요에 기초하고 많은 비기술적 요소를 고려하는 것부터 시작해야 합니다. 예를 들어, 커뮤니티 보안을 위한 얼굴 인식 시스템을 개발하려는 회사를 보았는데, 출입구마다 매우 비싼 GPU 4개가 필요했습니다. 이는 필요성과 비용에서 시작하지 않는 전형적인 예입니다.
둘째, 학문적 연구가 반드시 유행을 따르지는 않습니다. 처음에 말했듯이, 모델의 크기를 놓고 서로 경쟁할 필요는 없습니다. 수천억이 있으면 내가 만들 것이고, 당신이 수조가 있으면 내가 만들 것입니다. 10조.
실제로 소규모 매개변수가 필요한 작업이 많거나 비용 및 기타 제약으로 인해 소수의 샘플만 제공할 수 있습니다. 이러한 상황에서 어떻게 혁신하고 돌파구를 찾을 수 있을까요? 이는 학계가 주도적으로 짊어져야 할 책임이다.
생각해보자. 1990년대 후반에는 웹사이트를 만드는 데 2만~3만 위안이 들었다. 당시에는 네트워크 프로그래밍 능력을 갖춘 사람이 거의 없었기 때문이다. 하지만 오늘날에는 고등학생이라면 누구나 단 한 번의 마우스 클릭만으로 웹사이트를 구축할 수 있습니다.
즉, 네트워크 지식은 이미 모든 일반 프로그래머의 도구 키트에 들어 있습니다.
사실 인공지능 기술도 마찬가지예요. 2015년쯤에는 딥 러닝 프레임워크를 구축하고 GPU에서 실행할 수 있는 사람이 전 세계적으로 1,000명도 채 되지 않았을 것입니다. 그러나 이제 기하급수적인 성장을 경험했기 때문에 많은 사람들이 그 방법을 알고 있습니다. 우리는 약 5년 안에 모든 프로그래머가 자신의 툴킷에 더 풍부한 인공 지능 솔루션을 갖게 될 것이며, 그 구현에 대한 임계값은 확실히 지속적으로 낮아질 것이라고 믿을 만한 이유가 있습니다. 그래야만 인공지능 기술이 모든 기업에서 더 일반적으로 사용될 수 있습니다.
그래서 큰 공장의 AI 연구소는 필연적으로 사라질 것입니다. 2000년대와 마찬가지로 많은 기업들이 기업의 네트워크 관련 모든 업무를 전담하는 연구소인 인터넷 랩(Internet Lab)을 운영하고 있으며, 이 랩에서 다른 사업부서에 기술적인 결과물을 제공하고 있습니다. 이 기술을 아는 사람이 거의 없어서 이렇게 해야 하기 때문이다.
AI Lab도 마찬가지입니다. AI 기술 도입의 문턱이 점차 낮아지고, 사업부서에서도 유사한 기술을 보유하는 사람이 많아지면 이런 AI Lab은 필연적으로 사라질 것입니다. 기술이 발전하면서 일시적인 제품이라는 생각이 듭니다. 좋은 일이죠. 대형 제조사에 AI 연구소가 없다면 아마도 인공지능이 꽃피우는 시대가 될 것입니다.
먼저 무어의 법칙의 축복도 필요합니다. 아직 많은 컴퓨팅 성능이 필요한 작업이 많이 있습니다. 우리는 계속해서 하드웨어를 반복하고 알고리즘을 업데이트해야 합니다. 클러스터에서 실행해야 하는 것들이 휴대폰에서 실행될 수 있어야 AI를 대량으로 구현할 수 있다.
둘째, 인공지능 혁신의 초점이 인터넷 비즈니스에서 일부 전통 산업으로 옮겨져야 합니다. 이전에는 인공 지능을 사용하여 더 나은 시각적 솔루션, 더 나은 추천 시스템 또는 더 나은 P-picture 소프트웨어를 만드는 방법에 모든 사람의 에너지가 집중되었습니다. 하지만 실물경제에는 실제로 데이터를 생성하는 수많은 부서와 기업이 존재합니다. 이러한 실제 경제 데이터가 더 잘 알려질 수 있다면, 그것이 가져오는 가치는 현재 가상 경제의 가치를 훨씬 뛰어넘을 수 있습니다.
위 내용은 인공 지능에 관한 10가지 질문: AI가 점점 더 복잡해짐에 따라 미래는 어디에 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
