생성적 AI를 관리하는 방법

저자丨Dom Couldwell

Compilation丨Noah

제작 | 51CTO 기술 스택(WeChat ID: blog51cto)

McKinsey & Company의 추정에 따르면 생성 인공 지능은 전 세계적으로 26억 달러를 가져올 것으로 예상됩니다. 매년 1조 달러에서 4조 4천억 달러의 경제적 이익을 얻습니다. 이 예측은 여러 시장의 고객에게 개선, 효율성 향상 및 신제품을 제공할 것으로 예상되는 63개의 새로운 애플리케이션 시나리오를 기반으로 합니다. 이는 의심할 여지 없이 개발자와 IT 리더에게 큰 기회입니다.

제너레이티브 AI의 핵심은 데이터에 있습니다. 데이터는 생성 AI에 주변 세계를 이해하고 분석하는 능력을 제공할 뿐만 아니라 혁신적인 잠재력을 강화합니다. 생성 AI 분야에서 성공하려면 기업은 데이터를 효과적으로 관리하고 준비해야 합니다.

대규모 AI 서비스를 성공적으로 구축 및 운영하고 생성적 AI 프로젝트를 지원하려면 데이터 준비에 대한 숙제를 확실히 하고 스마트하고 지속 가능한 자금 조달 전략을 채택해야 합니다. 속도가 느리고 지원이 부족한 접근 방식은 인공 지능의 이점으로 이어지지 않습니다. 따라서 AI 서비스의 규모를 확대하는 것과 더불어 장기적인 발전과 지속적인 혁신을 촉진하기 위한 프로젝트에 대한 안정적인 재원 확보도 필요하다.

데이터 관리 방식을 개선하지 않거나 확장 및 비용 관리 문제를 처리하기 위한 올바른 접근 방식을 취하지 못하면 생성 AI의 엄청난 잠재력이 낭비될 것입니다. 다음은 데이터 관리에 대한 접근 방식을 개선하고 장기적으로 생성 AI 프로젝트를 지원할 수 있는 방법에 대한 몇 가지 생각입니다.

1. 데이터는 어디서 오는가?

데이터는 다양한 형태로 존재합니다. 각 형태의 데이터는 생성적 AI 통찰력의 풍부함과 품질을 향상시킬 수 있습니다.

첫 번째 형태는 구조화된 데이터로, 규칙적이고 질서 있고 일관된 방식으로 구성되며 제품 정보, 고객 인구통계 또는 재고 수준과 같은 항목을 포함합니다. 이러한 유형의 데이터는 생성 AI 프로젝트에 추가하여 응답 품질을 향상시킬 수 있는 체계적인 사실 기반을 제공합니다.

또한 일기 예보, 주가, 교통 흐름 등 내부의 구조화된 데이터 소스를 보완하는 외부 데이터 소스가 있을 수도 있습니다. 이 데이터는 의사 결정 프로세스에 실시간, 실제 맥락을 제공할 수 있으며 이를 프로젝트에 통합하면 추가적인 고품질 데이터를 제공할 수 있지만 이 데이터를 직접 생성할 필요는 없을 수도 있습니다.

또 다른 일반적인 데이터 세트는 분석 및 모델링 시나리오를 통해 생성된 데이터를 다루는 파생 데이터입니다. 이러한 통찰력에는 고객 의도 보고서, 계절별 판매 예측 또는 세그먼트 분석이 포함될 수 있습니다.

마지막 일반적인 데이터 형식은 분석가가 사용하는 일반 보고서나 데이터 형식과 다른 비정형 데이터입니다. 이러한 유형의 데이터에는 이미지, 문서, 오디오 파일과 같은 형식이 포함됩니다. 이러한 데이터는 인간의 의사소통과 표현의 뉘앙스를 포착합니다. 생성적 AI 프로그램은 생성적 AI 모델의 일반적인 입력 및 출력인 이미지나 오디오를 중심으로 작동하는 경우가 많습니다.

2. 생성 AI의 대규모 적용을 위해서는

이러한 다양한 데이터 세트가 각각 고유한 환경에 존재합니다. 생성적 AI 프로젝트에 유용하게 사용하려면 실시간 상황에서 다양한 데이터 환경에 액세스할 수 있도록 만드는 것이 중요합니다. 이렇게 많은 양의 잠재적 데이터가 관련되어 있으므로 모든 접근 방식은 수요가 증가함에 따라 동적으로 확장하고 데이터를 전 세계적으로 복제하여 요청 시 리소스가 사용자에게 가까이 있도록 보장하여 가동 중지 시간을 방지하고 트랜잭션 요청의 대기 시간을 줄일 수 있어야 합니다.

또한 이 데이터도 생성 AI 시스템이 효과적으로 활용할 수 있도록 전처리가 필요합니다. 여기에는 의미론적 의미를 나타내는 수학적 값 또는 벡터인 임베딩 생성이 포함됩니다. 임베딩을 사용하면 생성 AI 시스템이 특정 텍스트 일치를 넘어 데이터에 포함된 의미와 맥락을 수용할 수 있습니다. 원래 데이터 형식에 관계없이 임베딩을 생성한다는 것은 데이터의 의미와 맥락을 유지하면서 생성 AI 시스템에서 데이터를 이해하고 사용할 수 있음을 의미합니다.

이러한 임베딩을 통해 기업은 가치와 의미를 결합하면서 모든 데이터에서 벡터 또는 하이브리드 검색을 지원할 수 있습니다. 그런 다음 이러한 결과는 수집되어 결과를 통합하는 데 사용되는 대규모 언어 모델(LLM)로 다시 전달됩니다. LLM 자체에만 의존하기보다는 여러 소스에서 더 많은 데이터를 제공함으로써 생성 AI 프로젝트는 사용자에게 보다 정확한 결과를 제공하고 가상 콘텐츠의 위험을 줄일 수 있습니다.

이를 실제로 달성하려면 올바른 기본 데이터 아키텍처를 선택해야 합니다. 이 과정에서 데이터가 여러 솔루션에 분산되어 조각난 패치워크를 형성하는 것을 최대한 피해야 합니다. 왜냐하면 각 솔루션은 장기적인 지원, 쿼리 및 관리가 필요한 데이터의 섬을 나타내기 때문입니다. 사용자는 여러 구성 요소가 응답하고 모델에 따라 결과가 평가될 때까지 기다리지 않고 신속하게 LLM 질문을 하고 신속하게 응답을 받을 수 있어야 합니다. 통합 데이터 아키텍처는 원활한 데이터 통합을 제공하여 생성 AI가 사용 가능한 전체 데이터 스펙트럼을 완전히 활용할 수 있도록 해야 합니다.

3. 모듈식 접근 방식의 장점

생성 AI 구현을 확장하려면 채택 가속화와 중요 자산 제어 유지 사이에 균형이 필요합니다. 생성적 AI 에이전트를 구축하기 위해 모듈식 접근 방식을 취하면 구현 프로세스를 세분화하고 잠재적인 병목 현상을 방지하므로 이 프로세스를 더 쉽게 만들 수 있습니다.

애플리케이션에 마이크로서비스 설계를 적용하는 것과 유사하게 AI 서비스에 대한 모듈식 접근 방식은 애플리케이션 및 소프트웨어 설계에 대한 모범 사례를 장려하여 실패 지점을 제거하고 더 많은 잠재 사용자가 기술에 액세스할 수 있도록 합니다. 또한 이 접근 방식을 사용하면 기업 전체에서 AI 에이전트의 성능을 더 쉽게 모니터링하여 문제가 발생한 위치를 보다 정확하게 찾아낼 수 있습니다.

모듈화의 첫 번째 이점은 해석 가능성입니다. 생성 AI 시스템에 관련된 구성 요소가 서로 분리되어 있어 에이전트가 작동하고 결정을 내리는 방식을 더 쉽게 분석할 수 있기 때문입니다. AI는 종종 "블랙박스"로 간주되며, 모듈성을 통해 결과를 더 쉽게 추적하고 해석할 수 있습니다.

두 번째 이점은 보안입니다. 개별 구성 요소를 최적의 인증 및 권한 부여 메커니즘으로 보호하여 승인된 사용자만 중요한 데이터 및 기능에 액세스할 수 있도록 보장하기 때문입니다. 또한 모듈성은 개인 식별 정보(PII) 또는 지적 재산(IP)을 보호하고 기본 LLM과 별도로 보관할 수 있으므로 규정 준수 및 거버넌스가 더 쉬워집니다.

4. 지속적으로 유연한 자금 조달 모델 제공

마이크로서비스 접근 방식을 채택하는 것 외에도 전반적인 생성 AI 프로젝트에서는 플랫폼 사고방식을 채택해야 합니다. 이는 기존의 프로젝트 기반 소프트웨어 프로젝트 자금 조달 모델을 지속적이고 유연한 자금 조달 모델을 제공하는 모델로 바꾸는 것을 의미합니다. 이 접근 방식을 통해 참여자는 엄격한 자금 조달 주기나 비즈니스 사례에 제약을 받지 않고 가치 기반 결정을 내리고, 새로운 기회에 대응하고, 모범 사례를 개발할 수 있습니다.

이러한 방식으로 예산을 관리하면 개발자와 비즈니스 팀이 생성 AI를 조직의 기존 인프라의 일부로 보도록 장려하여 계획 워크로드의 최고점과 최저점을 더 쉽게 평탄화하고 "우수성"에 대한 조치를 더 쉽게 취할 수 있습니다. '중심' 접근 방식을 취하고 장기적으로 일관성을 유지합니다.

제너레이티브 AI를 순수한 소프트웨어가 아닌 회사 자체에서 운영하는 제품으로 취급하는 것도 비슷한 접근 방식입니다. AI 에이전트는 제품으로 관리되어야 합니다. 이렇게 하면 이들이 창출하는 가치를 더욱 효과적으로 반영하고 통합, 도구 및 팁을 위한 지원 리소스를 보다 쉽게 ​​사용할 수 있습니다. 이 모델을 단순화하면 생성적 AI에 대한 이해가 조직 전체에 확산되고, 모범 사례 채택이 촉진되며, 생성적 AI 개발에서 전문 지식을 공유하고 협업하는 문화가 조성됩니다.

제너레이티브 AI는 엄청난 잠재력을 갖고 있으며 기업은 새로운 도구, 에이전트 및 단서를 운영에 구현하기 위해 경쟁하고 있습니다. 그러나 이러한 잠재적인 프로젝트를 프로덕션으로 전환하려면 효과적인 데이터 관리, 시스템 확장을 위한 기반, 팀을 지원하기 위한 적절한 예산 모델이 필요합니다. 프로세스를 올바르게 설정하고 우선순위를 지정하면 귀하와 귀하의 팀이 이 기술의 혁신적인 잠재력을 발휘하는 데 도움이 됩니다.

참고주소 : https://www.infoworld.com/article/3713461/how-to-manage-generative-ai.html