OpenAI 또는 DIY 자체 호스팅 대규모 언어 모델의 실제 비용을 알아내시나요?

대규모 언어 모델을 통합하여 귀하의 서비스 표준을 "AI 기반"으로 포지셔닝했습니다. 귀하의 웹 사이트 홈페이지는 대화형 데모와 사례 연구를 통해 AI 기반 서비스의 혁신적인 영향을 자랑스럽게 보여줍니다. 이는 귀사가 글로벌 GenAI 분야에 남긴 첫 번째 흔적이기도 합니다.

작지만 충성도가 높은 사용자 기반이 향상된 고객 경험을 누리고 있으며 향후 성장 가능성을 확인할 수 있습니다. 그러나 세 번째 주가 시작되면서 OpenAI로부터 다음과 같은 놀라운 이메일을 받게 됩니다.

1주일 전에는 고객과 대화하고 PMF(제품 시장 적합성)를 평가했는데 이제 수천 명의 사용자가 귀하의 사이트로 모여듭니다. (요즘 소셜 미디어에서는 무엇이든 입소문이 날 수 있습니다.) AI 기반 서비스가 중단될 수 있습니다.

결과적으로 한때 신뢰할 수 있었던 서비스는 기존 사용자를 좌절시킬 뿐만 아니라 신규 사용자에게도 영향을 미칩니다.

빠르고 확실한 해결 방법은 사용 제한을 늘려 즉시 서비스를 복원하는 것입니다.

그러나 이러한 임시 해결책은 불안감을 가져왔습니다. 자체 AI 및 관련 비용에 대한 통제력이 제한되어 단일 공급업체에 의존하고 있다는 느낌을 지울 수 없습니다.

“내가 직접 해야 하나?”라고 자문해 보세요.

오픈 소스 LLM(대형 언어 모델)이 현실이 되었다는 사실은 이미 알고 계십니다. Hugging Face와 같은 플랫폼에서는 수천 개의 모델을 즉시 사용할 수 있으며 이는 자연어 처리 가능성을 제공합니다.

그러나 여러분이 접하게 될 가장 강력한 LLM은 수십억 개의 매개변수를 갖고 있으며 수백 기가바이트에 달하며 확장하는 데 상당한 노력이 필요합니다. 짧은 대기 시간이 필요한 실시간 시스템에서는 기존 모델처럼 단순히 애플리케이션에 연결할 수 없습니다.

팀이 필요한 인프라를 구축할 수 있는 능력을 확신할 수 있지만 실제 우려 사항은 다음을 포함하여 이러한 변화가 비용에 미치는 영향입니다.

• 미세 조정 비용
• 호스팅 비용
• 서비스 비용

그래서 중요한 질문은 다음과 같습니다. 사용 제한을 늘려야 할까요, 아니면 자체 호스팅, 즉 "자체" 경로로 가야 할까요?

Llama 2로 몇 가지 계산을 해보세요

우선, 돈 서두르지 마세요. 이것은 큰 결정입니다.

ML(기계 학습) 엔지니어와 상담하면 Lama 2가 오픈 소스 LLM이고 대부분의 작업에서 현재 사용 중인 GPT와 동일하게 수행되기 때문에 좋은 선택처럼 보인다고 말할 것입니다. 마찬가지로 좋다.

또한 모델은 70억, 13억, 7억 개의 매개변수의 세 가지 크기로 제공되며 현재 사용 중인 OpenAI 모델과의 경쟁력을 유지하기 위해 가장 큰 70억 개의 매개변수 모델을 사용하기로 결정합니다.

LLaMA 2는 훈련에 bfloat16을 사용하므로 각 매개변수는 2바이트를 소비합니다. 이는 모델 크기가 140GB임을 의미합니다.

이 모델은 조정해야 할 부분이 많다고 생각되더라도 걱정하지 마세요. LoRA를 사용하면 배포 전에 전체 모델을 세부적으로 조정할 필요가 없습니다.

실제로 전체 매개변수 중 약 0.1%인 70M만 미세 조정하면 되며, 이는 bfloat16 표현에서 0.14GB를 소비합니다.

인상적이지 않나요?

미세 조정(예: 역전파, 활성화 저장, 데이터 세트 저장) 중에 메모리 오버헤드를 수용하려면 훈련 가능한 매개변수가 사용하는 메모리 공간의 약 5배를 유지하는 것이 가장 좋습니다.

자세히 분석해 보겠습니다.

LoRA 사용 시 LLaMA 2 70B 모델의 가중치는 고정되어 있으므로 메모리 오버헤드가 발생하지 않습니다. → 메모리 요구 사항 = 140GB.

그러나 LoRA 레이어를 조정하려면 0.14GB * (5x) = 0.7GB를 유지해야 합니다.

미세 조정 중에 총 메모리 요구 사항은 약 141GB입니다.

현재 교육 인프라가 없다고 가정하면 AWS 사용을 선호한다고 가정합니다. AWS EC2 온디맨드 가격에 따르면 컴퓨팅 비용은 시간당 약 $2.80이므로 미세 조정 비용은 하루 약 $67이며, 미세 조정이 며칠 동안 지속되지 않기 때문에 큰 비용은 아닙니다.

인공 지능은 레스토랑과 반대입니다. 주요 비용은 준비가 아닌 서비스에 있습니다.

배포 시 메모리에서 두 가지 가중치를 유지해야 합니다.

• 모델 가중치, 140GB의 메모리를 소비합니다.
• LoRA는 가중치를 미세 조정하고 0.14GB의 메모리를 소비합니다.

총 용량은 140.14GB입니다.

물론 그라데이션 계산을 취소할 수 있지만 예상치 못한 오버헤드를 고려하여 약 1.5배의 메모리(약 210GB)를 유지하는 것이 좋습니다.

AWS EC2 온디맨드 가격을 기준으로 하면 GPU 컴퓨팅 비용은 시간당 약 $3.70입니다. 이는 모델을 프로덕션 메모리에 유지하고 들어오는 요청에 응답하는 데 하루 약 $90입니다.

한 달에 약 $2,700에 해당합니다.

또 고려해야 할 점은 예상치 못한 실패가 항상 발생한다는 것입니다. 백업 메커니즘이 없으면 사용자는 모델 예측 수신을 중단합니다. 이런 일이 발생하지 않도록 하려면 첫 번째 모델 요청이 실패할 경우를 대비해 또 다른 중복 모델을 유지해야 합니다.

따라서 비용은 하루 $180 또는 월 $5400가 됩니다. 현재 OpenAI 사용 비용에 거의 근접했습니다.

OpenAI와 오픈소스 모델의 비용은 어느 시점에서 겹치나요?

OpenAI를 계속 사용하는 경우 위의 LLaMA 2 사용에 따른 미세 조정 및 서비스 비용에 맞춰 하루에 처리할 수 있는 단어 수는 다음과 같습니다. .

OpenAI 가격을 기준으로 GPT 3.5 Turbo 미세 조정 비용은 토큰 1000개당 $0.0080입니다.

대부분의 단어에 2개의 토큰이 있다고 가정하면 오픈 소스 LLaMA 2 70B 모델의 미세 조정 비용(일당 $67)에 맞게 OpenAI 모델에 약 415만 단어를 공급해야 합니다.

일반적으로 A4 용지의 평균 단어 수는 300개입니다. 이는 오픈 소스 미세 조정 비용에 맞춰 약 14,000페이지의 데이터를 모델에 공급할 수 있다는 의미이며, 이는 엄청난 금액입니다.

미세 조정 데이터가 그다지 많지 않을 수 있으므로 OpenAI를 통한 미세 조정 비용은 항상 저렴합니다.

또 다른 분명한 점은 이러한 미세 조정 비용이 훈련 시간이 아니라 모델이 미세 조정되는 데이터의 양과 관련이 있다는 것입니다. 오픈 소스 모델을 미세 조정하는 경우에는 그렇지 않습니다. 비용은 데이터 양과 AWS 컴퓨팅 리소스 사용 시간에 따라 달라지기 때문입니다.

서비스 비용에 관해서 OpenAI의 가격 페이지에 따르면 미세 조정된 GPT 3.5 Turbo의 비용은 입력 시 토큰 1000개당 $0.003, 출력 시 토큰 1000개당 $0.006입니다.

우리는 1000개 토큰당 평균 $0.004를 가정합니다. 하루 180달러의 비용에 도달하려면 API를 통해 하루에 약 2,220만 단어를 처리해야 합니다.

이는 페이지당 300단어로 구성된 74,000페이지가 넘는 데이터에 해당합니다.

그러나 OpenAI는 종량제 가격을 제공하므로 모델이 연중무휴 24시간 실행되도록 할 필요가 없다는 이점이 있습니다.

모델을 한 번도 사용하지 않은 경우 비용을 지불할 필요가 없습니다.

요약: 소유가 실제로 의미가 있는 때는 언제인가요?

처음에는 자체 호스팅 AI로 전환하는 것이 매력적인 시도처럼 보일 수 있습니다. 그러나 그에 수반되는 숨겨진 비용과 골칫거리를 조심하십시오.

AI 기반 서비스가 왜 다운되었는지 궁금해 하는 가끔 잠 못 이루는 밤을 제외하고, 타사 제공업체를 이용하면 프로덕션 시스템에서 LLM을 관리하는 데 따른 거의 모든 어려움이 사라집니다.

특히 귀하의 서비스가 주로 "AI"에 의존하는 것이 아니라 AI에 의존하는 다른 서비스의 경우.

대기업의 경우 연간 소유 비용 $65,000는 아주 적은 금액일 수 있지만 대부분의 기업에서는 무시할 수 없는 수치입니다.

또한 인력 및 유지 관리와 같은 기타 추가 비용도 잊어서는 안 됩니다. 이로 인해 총 비용이 연간 $200,000~$250,000 이상으로 쉽게 늘어날 수 있습니다.

물론 처음부터 모델을 사용하면 데이터 및 사용량에 대한 통제력을 유지하는 등의 이점이 있습니다.

그러나 셀프 호스팅을 실현하려면 하루 약 2,220만 단어라는 표준을 훨씬 넘어서는 사용자 요청량이 필요하며 인재와 물류를 모두 관리할 리소스가 필요합니다.

대부분의 사용 사례에서는 API를 사용하는 대신 모델을 보유하는 것이 재정적으로 가치가 없을 수 있습니다.