내 리더 머스크: 회의를 싫어하고, 비기술적인 중간 관리자를 원하지 않으며, 해고를 옹호합니다.

아직 기회가 있다고 생각하시나요? OpenAI는 어떤 영역에서 계속해서 우위를 점하게 될까요?

Kapasi: 전체적인 인상은 OpenAI가 LLM 운영 체제를 구축하기 위해 열심히 노력하고 있다는 것입니다. 오늘 일찍 들었듯이 OpenAI는 플랫폼을 개발하려고 합니다. 이를 바탕으로 다양한 분야에서 다양한 회사를 구축할 수 있습니다.

Windows와 같은 운영 체제에는 브라우저와 같은 일부 기본 애플리케이션도 함께 제공되기 때문에 운영 체제 비유는 실제로 매우 흥미롭습니다.

그래서 OpenAI나 다른 회사도 일부 기본 애플리케이션을 시작할 수 있다고 생각합니다. 하지만 그렇다고 해서 해당 애플리케이션에서 다른 브라우저를 실행할 수 없다는 의미는 아니며 그 위에 다른 에이전트를 실행할 수 있습니다.

몇 가지 기본 앱이 있을 것이지만 특정 시나리오에 맞게 미세 조정된 다양한 앱을 갖춘 활기찬 생태계도 있을 것입니다.

저는 초기 iPhone 앱의 비유를 정말 좋아합니다. 이러한 앱은 모두 약간의 농담으로 시작하여 개발하는 데 시간이 걸립니다. 내 생각엔 우리도 지금 같은 일을 겪고 있는 것 같아. 사람들은 이것이 무엇에 좋은지 알아내려고 노력하고 있습니다. 당신은 무엇을 잘하지 못합니까? 어떻게 사용하나요? 프로그래밍하는 방법? 디버깅하는 방법? 실제 작업을 수행하도록 만드는 방법은 무엇입니까? 어떤 종류의 감독이 필요합니까? 상당히 자율적이지만 완전히 자율적이지는 않기 때문입니다. 그렇다면 감독은 어떤 모습이어야 할까요? 평가는 어떤 형태로 이루어져야 합니까? 생각하고 이해해야 할 것이 많습니다. 제 생각에는 이 새로운 인프라를 어떻게 활용해야 할지 알아내는 데 시간이 좀 걸릴 것 같습니다. 그래서 나는 우리가 앞으로 몇 년 안에 그것을 보게 될 것이라고 생각합니다.

Q: 이제 OpenAI, Anthropic, Mistral, Llama, Gemini 및 전체 오픈 소스 모델 생태계와 수많은 소규모 모델을 대상으로 대규모 언어 모델 경쟁이 본격화되었습니다. 향후 생태계 발전을 어떻게 예상하시나요?

Kapasi: 네, 다시 한번 말씀드리지만 운영 체제 비유가 흥미롭습니다. 우리는 Windows, macOS와 같은 폐쇄형 소스 시스템과 오픈 소스 Linux를 보유하고 있습니다. 큰 모델도 같은 패턴이 아닐까 싶습니다.

이러한 모델을 부를 때도 주의해야 합니다. Llama, Mistral 등과 같이 나열한 많은 모델이 진정한 오픈 소스라고 생각하지 않습니다. 이는 사용할 수 있지만 완전히 유용하지는 않은 운영 체제 바이너리를 버리는 것과 같습니다. 실제로 제가 완전히 오픈 소스라고 생각하는 일부 언어 모델이 있으며, 이는 데이터 수집에서 모델 교육에 이르기까지 "운영 체제"를 컴파일하는 데 필요한 모든 인프라를 완전히 릴리스합니다. 이는 모델을 미세 조정할 수 있기 때문에 모델 가중치를 얻는 것보다 확실히 낫습니다.

하지만 모델을 완전히 미세 조정할 수 없다는 미묘한 문제가 있다고 생각합니다. 미세 조정할수록 다른 모든 작업의 ​​성능이 저하되기 때문입니다.

그래서 다른 능력에 영향을 주지 않고 특정 능력을 추가하려면 실제로 이전 데이터 세트 분포와 새로운 데이터 세트 분포를 혼합하여 훈련해야 할 수도 있습니다. 모델 가중치만 주어진다면 실제로 이 작업을 수행할 수 없습니다. 훈련 루프, 데이터 세트 등이 필요합니다. 따라서 이러한 모델로 수행할 수 있는 작업은 실제로 제한되어 있습니다.

분명히 도움이 되지만 이를 설명하려면 더 나은 용어가 필요할 것입니다. 오픈 웨이트 모델, 오픈 소스 모델, 독점 모델 등 생태계는 이렇게 보일 수 있습니다. 그리고 그것은 오늘날 우리가 가지고 있는 생태계와 매우 유사할 가능성이 높습니다.

규모가 주요 결정 요인입니다

Q: 제가 묻고 싶은 또 다른 질문은 규모입니다. 간단히 말해서 크기가 가장 중요한 것 같습니다. 데이터 규모와 컴퓨팅 파워 규모. 따라서 대형 연구실, 거대 기술 기업은 오늘날 큰 이점을 누리고 있습니다. 이것에 대해 어떻게 생각하세요? 사이즈가 전부인가요? 그렇지 않다면 다른 무엇이 중요합니까?

Kapasi: 확실히 규모가 1위인 것 같아요.

정말 조심해야 할 몇 가지 세부 사항이 있습니다. 데이터 세트를 준비하는 것도 매우 중요하다고 생각합니다. 데이터를 매우 훌륭하고 깔끔하게 만들어 계산을 더욱 효율적으로 만들 수 있기 때문입니다.

하지만 규모가 주요 결정 요인이자 첫 번째 주요 성분이 될 것이라고 생각하며, 물론 다른 많은 것도 올바르게 해야 합니다.

규모가 없으면 근본적으로 이러한 대형 모델을 훈련할 수 없습니다. 단지 미세 조정과 같은 작업을 수행하는 경우 해당 규모가 필요하지 않을 수도 있지만 아직 완전히 실현되는 경우는 보지 못했습니다.

Q: 규모 외에 중요하다고 생각하는 다른 요소(우선순위가 낮을 수도 있음)에 대해 자세히 설명해 주실 수 있나요?

Kapasi: 우선, 이러한 모델을 훈련시키는 것만으로는 충분하지 않습니다. 자금과 규모만 제공한다면 이러한 모델을 실제로 교육하는 것은 여전히 ​​매우 어렵습니다.

그 이유 중 하나는 인프라가 너무 새롭고 아직 개발 중이며 아직 완료되지 않았기 때문입니다. 그러나 이 규모로 모델을 교육하는 것은 매우 어렵고 매우 복잡한 분산 최적화 문제입니다. 현재 이 분야의 인재는 매우 부족합니다. 모델이 수천 개의 GPU에서 실행되어 서로 다른 시점에서 무작위로 실패하는 것은 기본적으로 말도 안되는 일입니다. 이 프로세스를 모니터링하고 작동시키는 것은 실제로 매우 어려운 과제입니다.

최근까지 GPU는 10,000개의 GPU 워크로드를 처리할 수 있는 능력이 기대만큼 좋지 않았습니다. 따라서 저는 이러한 압박으로 인해 많은 인프라가 삐걱거리고 있으며 우리는 이를 해결해야 한다고 생각합니다.

이제 누군가에게 돈 덩어리나 GPU 덩어리만 줬다면 그들이 직접 대형 모델을 생산할 수 있을지 확신할 수 없기 때문에 단순히 규모의 문제가 아닙니다. 사실 인프라, 알고리즘, 데이터 등 전문성이 많이 필요하고, 굉장히 조심해야 합니다.

Q: 생태계는 매우 빠르게 성장하고 있으며, 1년 전에 존재했다고 생각했던 문제 중 일부가 점점 더 해결되고 있습니다. 환상, 상황별 창, 다중 모드 기능, 추론이 점점 더 빠르고 저렴해집니다. 지금 밤잠을 설치게 만드는 다른 언어 모델 연구 과제는 무엇입니까? 충분히 시급하지만 해결이 가능한 문제는 무엇이라고 생각하시나요?

Kapasi: 알고리즘 측면에서 제가 많이 생각하는 것 중 하나는 확산 모델과 자기회귀 모델의 분명한 차이입니다. 그것들은 모두 확률 분포를 나타내는 방법입니다. 서로 다른 양식이 분명히 둘 중 하나에 적합하다는 것이 밝혀졌습니다. 그것들을 통합하거나 어떤 방식으로든 연결할 여지가 있을 수 있다고 생각합니다.

또 하나 지적하고 싶은 점은 대형 모델을 운영하는 인프라의 본질적인 효율성입니다. 내 뇌는 약 20와트를 소비합니다. Huang은 방금 GTC에서 구축하고자 하는 대규모 슈퍼컴퓨터에 대해 이야기했는데 그 수치는 모두 메가와트 범위에 속합니다. 그러므로 뇌를 작동시키는 데 그렇게 많은 에너지가 필요하지 않을 수도 있습니다. 정확히 얼마나 걸릴지는 모르겠지만, 이러한 모델을 실행하는 데 있어 1,000배에서 1,000,000배 더 효율적인 결과를 얻을 수 있다고 말하는 것이 안전하다고 생각합니다.

현재 컴퓨터가 이 작업 부하에 적합하지 않은 것도 그 이유 중 하나라고 생각합니다. Nvidia의 GPU는 매우 높은 병렬성이 필요하기 때문에 이 방향으로 나아가는 좋은 단계입니다. 우리는 어떤 방식으로든 데이터에 의존하는 순차적 계산에는 별로 관심이 없습니다. 우리는 다양한 배열 요소에 대해 동일한 알고리즘을 수행하기만 하면 됩니다. 따라서 첫 번째는 새로운 데이터 워크플로를 수용할 수 있도록 컴퓨터 아키텍처를 조정하는 것이고, 두 번째는 현재 개선되고 있는 몇 가지 사항을 추진하는 것입니다.

첫 번째는 아마도 정확성일 겁니다. 우리는 읽는 논문에 따라 원래 64비트 double에서 현재 4, 5, 6비트 또는 심지어 1.5~8비트로 정확도가 떨어지는 것을 확인했습니다. 그래서 저는 정확성이 이 문제를 제어하는 ​​데 큰 지렛대라고 생각합니다.

두 번째는 물론 희소성입니다. 실제로 대형 모델의 많은 매개변수는 0이거나 0에 가깝습니다. 따라서 희소 행렬 곱셈을 보다 효율적으로 만드는 등 어떤 방식으로든 이를 활용할 수 있다면 좋을 것입니다. 이 분야에는 유망한 연구가 있습니다.

또한 이를 더 작은 행렬로 분해한 다음 다시 조립할 수 있는지 알아보기 위한 특이값 분해(SVD)와 같은 몇 가지 흥미로운 아이디어도 있습니다. 예를 들어, 역전파 없이 순방향 전파만 계산되며, 더 작은 모델이 더 큰 모델의 출력을 예측하도록 학습됩니다.

그래서 근본적으로 해결해야 할 두 가지 문제가 있다고 생각합니다.

하나는 더 적합한 하드웨어를 구축하는 것입니다. 또 다른 방법은 성능을 유지하면서 효율성을 높이는 더 나은 알고리즘을 찾는 것입니다.

두 측면 모두 아직 탐구할 여지가 많다고 생각합니다. 에너지 효율성의 관점에서 볼 때, 뇌와의 격차를 줄일 수 있다면 엄청난 개선이 될 것입니다. 이는 우리 각자가 모델을 구입할 여유가 있거나 클라우드에 연결하지 않고도 장치에서 모델을 실행할 수 있음을 의미할 수 있습니다.

Musk는 “세계에서 가장 큰 스타트업을 운영하고 있습니다”

Q: 좋아요, 화제를 바꾸겠습니다. 당신은 이 시대의 많은 위대한 인물들, 즉 Sam, Greg 및 OpenAI의 다른 팀원들과 Musk와 함께 일해왔습니다.

여기 계신 분들 중 미국 조정팀과 일본 조정팀에 대한 농담을 들어보신 적이 있으신가요? 이것은 흥미로운 이야기입니다. 머스크는 이 농담을 공유했는데, 이는 문화와 팀 구축에 대한 그의 철학을 많이 반영한다고 생각합니다. 이야기에는 두 팀이 있는데, 일본 팀은 노 젓는 사람 4명과 키잡이 1명, 미국 팀은 키잡이 4명과 키잡이 1명입니다. 미국 팀이 패배하면 무엇을 할지 추측할 수 있는 사람이 있나요? 발언. 정확히 말하면 저 노잡이를 해고할 겁니다.

머스크가 이 예를 공유했을 때 그는 적합한 인재를 채용하고 올바른 팀을 구성하는 것에 대한 자신의 견해를 설명하고 있었던 것 같습니다. 이 놀라운 리더들과 긴밀히 협력하면서 무엇을 배웠습니까?

Kappasi: 머스크가 회사를 운영하는 방식은 매우 독특하다고 말하고 싶습니다. 사람들이 그것이 얼마나 특별한지 실제로 깨닫지 못하는 것 같아요. 다른 사람의 이야기를 들어도 완전히 이해하기는 어렵습니다. 말로 설명하기가 어려운 것 같아요. 어디서부터 시작해야 할지조차 모르겠습니다. 하지만 정말 독특하고 색다른 방법입니다.

내 말에 따르면, 그는 세계 최대 규모의 스타트업 회사를 운영하고 있습니다. 지금으로서는 명확하게 설명하기 어려울 것 같고, 생각하고 요약하는 데 시간이 더 걸릴 수도 있을 것 같습니다.

하지만 우선 그는 강한 힘과 높은 기술 콘텐츠를 갖춘 소규모 팀으로 회사를 설립하는 것을 좋아합니다.

다른 회사에서는 개발 과정에서 팀 규모가 커지는 경우가 많습니다. 반면에 머스크는 항상 팀의 과도한 확장에 반대해 왔습니다. 직원을 채용하기 위해 열심히 일해야 했습니다. 나는 그에게 사람들을 모집할 수 있게 해달라고 간청해야 했습니다.

또한 대기업에서는 실적이 저조한 직원을 해고하는 것이 어려운 경우가 많습니다. 반면에 머스크는 직원을 해고하는 데 더 적극적입니다.

사실, 그는 항상 해고를 했기 때문에 일부 직원을 유지하기 위해 열심히 싸워야 했습니다.

그래서 첫 번째 포인트는 강력한 힘과 뛰어난 실력을 갖춘 소규모 팀을 유지하는 것입니다. 기술적이지 않은 중간 관리는 절대 없습니다. 이것이 가장 중요한 포인트입니다.

두 번째 포인트는 업무 분위기를 조성하는 방법과 사무실에 들어올 때 주는 느낌입니다.

그는 역동적인 업무 환경을 원합니다. 사람들은 돌아다니고, 사물에 대해 생각하고, 흥미로운 것에 집중합니다. 그들은 화이트보드에 글을 쓰고 그림을 그리거나 컴퓨터 앞에서 코드를 입력하고 있습니다. 그는 고인 물 웅덩이를 좋아하지 않으며 사무실의 삶의 부족함을 좋아하지 않습니다.

그리고 긴 회의를 좋아하지 않으며, 회의가 무의미할 때는 항상 결단력 있게 떠나도록 격려합니다. 회의에서 기여하거나 얻을 것이 없다면 그냥 나가도 된다는 것을 실제로 알 수 있었고 그는 이를 매우 지지했습니다. 다른 회사에서는 보기 힘든 것 같아요.

그래서 저는 긍정적인 업무 분위기를 조성하는 것이 그가 주입한 두 번째 중요한 개념이라고 생각합니다. 아마도 여기에는 회사가 규모가 커질수록 직원을 과잉 보호하는 경향도 포함됩니다. 그의 회사에서는 그렇지 않을 것이다. 회사의 문화는 자신의 전문적 능력을 100% 발휘해야 한다는 것이며, 업무 속도와 강도가 매우 높습니다.

마지막으로 가장 독특하고 흥미롭고 특이한 점은 그가 팀과 긴밀하게 연결되어 있다는 점입니다.

보통 회사의 CEO는 5계층의 부하직원을 관리하며 부사장하고만 소통하는 사람이고, 부사장은 부하직원하고만 소통하고, 상사는 직속 상사하고만 소통합니다. 상사. 그러나 머스크는 회사를 완전히 다르게 운영합니다. 그는 사무실로 와서 엔지니어들과 직접 이야기를 나눴습니다.

회의를 할 때마다 회의실에는 50명이 머스크와 직접 마주하는 경우가 많으며, 그는 엔지니어들과 직접 대화를 나눕니다. 그는 부사장이나 임원들과만 이야기하고 싶지 않았습니다.

보통 CEO는 부사장과 소통하는 데 99%의 시간을 보내고, 엔지니어와 소통하는 데 50%의 시간을 보냅니다. 따라서 팀의 규모가 작고 효율적이라면 엔지니어와 코드가 가장 신뢰할 수 있는 정보 소스입니다. 그들은 진리에 대한 직접적인 지식을 갖고 있습니다. 머스크는 엔지니어들과 직접 소통해 실제 상황을 이해하고 개선 방안을 논의하고 싶어한다.

그래서 그가 팀과 연결되어 있고 손이 닿지 않는 것이 매우 독특하다고 말하고 싶습니다.

그리고 회사 내에서 권력을 휘두르는 방식도 특이해요. 예를 들어 엔지니어와 대화를 나누고 프로젝트 진행을 방해하는 몇 가지 문제에 대해 알게 된 경우입니다. 예를 들어, 엔지니어가 "프로그램을 실행하는 데 GPU가 충분하지 않습니다."라고 말한다면 그는 이를 진심으로 받아들일 것입니다. 비슷한 불만을 두 번 들으면 "그래, 문제가 생겼어. 그럼 이제 시간표는 어떻게 되지? 언제 해결될까?"라고 말할 것입니다.

만족스러운 답변을 얻지 못하면 그는 이렇게 말할 것입니다. "GPU 클러스터 책임자에게 얘기하겠습니다." 그러면 누군가가 그 사람에게 전화를 하면 문자 그대로 "클러스터 용량을 두 배로 늘려주세요. 내일부터 클러스터 크기까지 일일 진행 보고서를 보내주세요."라고 말할 것입니다. 2배가 될 거예요.”

상대방은 아직 조달 과정을 거쳐야 하는데 6개월이 걸린다며 회피할 수도 있다. 이때 머스크는 눈살을 찌푸리며 "알겠습니다. 황런순과 얘기하고 싶습니다."라고 말한 다음 프로젝트 장애물을 직접 제거할 것입니다.

그래서 그가 다양한 업무에 얼마나 깊이 관여하고 장애물을 제거하고 영향력을 행사하는지 사람들이 잘 깨닫지 못하는 것 같아요.

솔직히 그런 환경을 떠나 평범한 회사에 다니면 이런 독특한 곳들이 정말 그리워질 것 같아요.