회사에서 처음으로 인공 지능을 배포하고 기계 학습 프로젝트를 구축할 때 이론에 중점을 두는 경우가 많습니다. 그렇다면 필요한 결과를 제공할 수 있는 모델이 있을까요? 그렇다면 그러한 모델을 어떻게 구축하고 훈련시킬 수 있을까요?
IDC 데이터에 따르면 인공지능이나 머신러닝 솔루션을 배포하는 데 평균 9개월 이상이 소요됩니다. 주로 데이터 과학자가 이러한 개념 증명을 구축하는 데 사용하는 도구가 생산 시스템으로 제대로 변환되지 않는 경우가 많기 때문입니다. IDC 애널리스트 Sriram Subramanian은 "우리는 R&D 프로세스에 필요한 시간을 '모델 속도', 즉 처음부터 끝까지 걸리는 시간이라고 부릅니다."
기업은 MLOps를 사용하여 위의 문제를 해결할 수 있습니다. MLOps(기계 학습 운영)는 기업이 이론적 개념을 사용하여 AI 시스템을 검증하고 효과적으로 만드는 데이터, 모델, 배포, 모니터링 및 기타 측면을 관리하는 데 도움이 되는 일련의 모범 사례, 프레임워크 및 도구입니다.
Subramanian은 "DevOps를 사용하여 애플리케이션 구축의 평균 시간을 단축하는 것처럼 MLOps는 모델 속도를 몇 주, 때로는 며칠로 단축하므로 MLOps가 필요한 이유입니다." 모델, 더 빠른 혁신, 더 많은 사용 시나리오. "MLOps의 가치 제안은 분명합니다."
IDC에 따르면 2024년까지 기업의 60%가 MLOps를 사용하여 기계 학습 워크플로를 구현할 것입니다. Subramanian은 응답자들에게 AI 및 기계 학습 도입의 어려움에 대해 설문조사를 실시했을 때 가장 큰 장벽 중 하나는 비용 다음으로 두 번째로 MLOps가 부족하다는 점이었습니다.
이 기사에서는 MLOps가 무엇인지, MLOps가 어떻게 발전했는지, 조직이 이 새로운 AI 운영 방식을 최대한 활용하기 위해 달성하고 염두에 두어야 할 사항을 살펴봅니다.
몇 년 전 Eugenio Zuccarelli가 기계 학습 프로젝트 구축을 처음 시작했을 때 MLOps는 단지 모범 사례 집합에 불과했습니다. 그 이후로 Zuccarelli는 의료 및 금융 서비스 분야를 포함한 여러 회사에서 AI 프로젝트에 참여했으며 MLOps가 시간이 지남에 따라 다양한 도구와 플랫폼을 포함하도록 진화하기 시작하는 것을 확인했습니다.
현재 MLOps는 인공 지능 운영을 위한 상당히 강력한 프레임워크를 제공한다고 현재 CVS Health의 혁신적인 데이터 과학자인 Zuccarelli는 말하면서 재입원이나 질병과 같은 애플리케이션의 불리한 결과를 예측할 수 있는 시스템을 만들기 위해 작업했던 이전 프로젝트를 언급했습니다. 진행.
“우리는 최고의 모델의 특성을 찾기 위해 데이터 세트와 모델을 탐색하고 의사와 소통하고 있습니다. 하지만 이러한 모델이 진정으로 유용하려면 사용자가 실제로 이러한 모델을 사용해야 합니다.
즉, 안정적이고 빠르며 안정적인 모바일 애플리케이션을 구축하려면 백엔드에 API를 통해 연결된 기계 학습 시스템이 있습니다. "MLOps가 없었다면 이를 보장할 수 없었을 것입니다."라고 그는 말했습니다.
그의 팀은 H2O MLOps 플랫폼과 기타 도구를 사용하여 모델에 대한 건강 대시보드를 만들었습니다. "모델에 대한 큰 변경을 원하지 않으며, 편견을 도입하고 싶지도 않습니다. 상태 대시보드를 통해 시스템이 변경되었는지 확인할 수 있습니다.
MLOps를 사용하여 프로덕션 시스템을 업데이트할 수도 있습니다." 플랫폼. 그는 "애플리케이션 작업을 중단하지 않고 파일을 교체하는 것은 매우 어렵습니다. MLOps는 시스템에 미치는 영향을 최소화하면서 생산이 진행되는 동안 시스템을 교체할 수 있습니다."라고 말했습니다.
MLOps 플랫폼이 점차 진화하고 있다고 말했습니다. 기업이 모든 프로젝트에 대해 프레임워크를 다시 만들 필요가 없기 때문에 전체 모델 개발 프로세스가 가능합니다. 데이터 파이프라인 관리 기능도 AI 구현에 중요합니다.
“서로 통신해야 하는 데이터 소스가 여러 개 있는 경우 MLOps가 중요합니다. 기계 학습 모델로 유입되는 모든 데이터가 일관되고 품질이 좋기를 바랍니다. 모델의 정보가 좋지 않으면 예측 자체도 좋지 않습니다.”
하지만 사용할 수 있는 플랫폼과 도구가 너무 많다고 가정하지 마세요. MLOps의 핵심 원칙은 무시됩니다. MLOps를 처음 접하는 기업은 MLOps의 핵심이 데이터 과학과 데이터 엔지니어링 간의 강력한 연결을 만드는 것임을 기억해야 합니다.
Zuccarelli는 "MLOps 프로젝트의 성공을 보장하려면 데이터 엔지니어와 데이터 과학자가 동일한 팀에서 작업해야 합니다."
또한 편견 방지, 투명성 보장, 설명 가능성 제공 및 윤리적 플랫폼 지원이 필요합니다. 도구는 아직 개발 중입니다. "이 분야는 매우 새로운 분야이기 때문에 확실히 해야 할 일이 많습니다.
따라서 채택할 완전한 턴키 솔루션이 없다면 기업은 One을 사용할 것입니다." MLOps가 인공 지능의 모든 측면을 효과적으로 구현할 수 있는 방법을 잘 이해하고 있어야 합니다. 기술 컨설팅 회사 Insight의 AI 팀 국가 실무 관리자인 Meagan Gentry는 이는 광범위한 전문성을 구축하는 것을 의미한다고 말했습니다.
MLOps는 데이터 수집, 검증 및 분석부터 기계 리소스 관리 및 모델 성능 추적까지 전체 범위를 포괄합니다. 로컬, 클라우드 또는 엣지에 배포할 수 있는 많은 보조 도구가 있습니다. 일부는 독점적입니다.
그러나 기술을 마스터하는 것은 단지 하나의 측면일 뿐이며, MLOps는 DevOps의 민첩한 방법과 반복 개발의 원칙도 활용한다고 Gentry는 말했습니다. 또한 애자일 관련 분야와 마찬가지로 커뮤니케이션도 중요합니다.
“모든 역할에서의 의사소통은 매우 중요합니다. 데이터 과학자와 데이터 엔지니어 간의 의사소통, DevOps와의 의사소통, 전체 IT팀과의 의사소통입니다.”
이제 막 시작하는 기업의 경우 MLOps가 혼란스러울 수도 있습니다. 일반 원칙도 많고 공급업체도 수십 개이며 오픈 소스 도구 세트도 많습니다.
Capgemini Americas의 엔터프라이즈 아키텍처 수석 관리자인 Helen Ristov는 "여기에는 온갖 종류의 함정이 있습니다."라고 말했습니다. "그 중 다수는 아직 개발 중이며 공식적인 지침은 아직 없습니다. DevOps와 마찬가지로 이는 여전히 새로운 기술이며 지침 및 관련 정책을 발표하는 데 시간이 걸릴 것입니다.
Ristov는 기업이 이를 수행해야 한다고 제안했습니다." 데이터 플랫폼으로 MLOps 여정을 시작하세요. "데이터 세트가 있지만 서로 다른 위치에 있고 통합된 환경이 없을 수도 있습니다."
그녀는 기업이 모든 데이터를 하나의 플랫폼으로 이동할 필요는 없지만 서로 다른 플랫폼에서 데이터를 추출할 수 있는 방법이 필요하다고 말했습니다. 데이터가 데이터 소스에 도입되면 애플리케이션마다 상황이 다릅니다. 예를 들어, 데이터 레이크는 빈도가 높고 저렴한 스토리지에서 대량의 분석을 수행하는 기업에 이상적입니다. MLOps 플랫폼에는 데이터 파이프라인을 구축 및 관리하고 다양한 버전의 교육 데이터를 추적하기 위한 도구가 있는 경우가 많지만 이것이 모든 경우에 적용되는 단일 접근 방식은 아닙니다. 그런 다음 모델 생성, 버전 제어, 로깅, 기능 세트 측정, 모델 자체 관리 등과 같은 다른 측면이 있습니다.
Ristov는 "코딩이 많이 필요합니다."라고 Ristov는 말했습니다. MLOps 플랫폼을 구축하는 데는 몇 달이 걸릴 수 있으며 플랫폼 공급업체는 통합과 관련해 해야 할 일이 많습니다.
“이러한 다양한 방향으로 개발할 여지가 많고, 많은 도구가 여전히 개발 중이며, 생태계가 매우 크고, 사람들은 단지 필요한 것을 고르고 선택하고 있습니다. MLOps는 아직 '사춘기' 단계에 있으며 대부분의 단계에 있습니다. 기업 조직은 여전히 가장 이상적인 구성을 찾고 있습니다. "
IDC의 Subramanian은 MLOps 시장 규모가 2020년 1억 8,500만 달러에서 2025년에는 약 7억 달러로 성장할 것으로 예상하지만 이 시장은 MLOps 제품은 종종 더 큰 플랫폼과 함께 번들로 제공되기 때문에 심각하게 과소평가될 수도 있습니다. 그는 MLOps 시장의 실제 규모가 2025년까지 20억 달러를 초과할 수 있다고 말했습니다.
Subramanian은 MLOps 공급업체가 세 가지 주요 범주로 분류되는 경향이 있다고 말했습니다. 첫 번째는 AWS, Azure 및 Google Cloud와 같은 대규모 클라우드 제공업체가 MLOps 기능을 고객에게 서비스로 제공하는 것입니다.
두 번째 범주는 DataRobot, Dataiku, Iguazio 등과 같은 기계 학습 플랫폼 제조업체입니다.
"세 번째 범주는 Cloudera, SAS, DataBricks 등과 같은 데이터 관리 공급업체라고 부르는 것입니다. 이들의 장점은 데이터 관리 기능 및 데이터 운영에 있으며, 기계 학습 기능으로 확장되고 궁극적으로 MLOps 기능으로 확장됩니다. ."
Subramanian은 이 세 가지 영역이 폭발적인 성장을 보였으며 MLOps 벤더를 돋보이게 할 수 있는 것은 로컬 환경과 클라우드 배포 모델을 모두 지원할 수 있는지, 신뢰할 수 있고 책임감 있는 인공 지능을 구현할 수 있는지, 그리고 즉시 구현하십시오. 확장이 용이한지 여부는 플러그 앤 플레이 방식의 차이를 반영하는 측면입니다. ”
최근 IDC 조사에 따르면 책임 있는 AI를 구현하기 위한 다양한 방법의 부족은 인공 지능 및 머신 러닝 확산의 3대 장벽 중 하나이며, MLOps 부족과 함께 2위를 차지했습니다. MLOps를 채택하는 것 외에는 다른 선택의 여지가 없기 때문에 Gartner의 인공 지능 및 기계 학습 연구 분석가인 Sumit Agarwal은
“다른 방법은 수동이므로 실제로 다른 선택의 여지가 없습니다. 확장하려면 자동화가 필요합니다. 코드, 데이터 및 모델 추적성이 필요합니다. "
최근 Gartner 조사에 따르면 모델이 개념 증명에서 생산까지 걸리는 평균 시간이 9개월에서 7.3개월로 단축되었습니다. "하지만 7.3개월은 여전히 긴 시간이고 기회가 많습니다. 기업 조직을 위한 MLOps를 활용하세요. "
Genpact의 글로벌 분석 책임자인 Amaresh Tripathy는 MLOps를 구현하려면 엔터프라이즈 AI 팀으로서 문화적 변화도 필요하다고 말했습니다.
"데이터 과학자가 사람들에게 주는 인상은 대개 다음과 같습니다. 건초 더미에서 바늘을 찾으려는 미친 과학자의 이야기입니다. 그러나 실제로 데이터 과학자는 위젯을 생산하는 공장이 아니라 발견자이자 탐험가입니다. "기업은 필요한 노력을 과소평가하는 경우가 많습니다.
"사람들은 엔지니어링을 더 잘 이해할 수 있고 사용자 경험에 대한 이러한 요구 사항이 있지만 어떤 이유로 사람들은 배포 모델에 대해 완전히 다른 요구 사항을 가지고 있습니다. 테스트 환경에 능숙한 모든 데이터 과학자는 자연스럽게 이러한 모델을 배포하거나 소수의 IT 직원을 보내 배포할 수 있다고 가정하지만 이는 잘못된 것입니다. 사람들은 자신에게 필요한 것이 무엇인지 이해하지 못합니다. ”
많은 회사는 MLOps가 회사의 다른 측면에 미칠 수 있는 연쇄 효과를 인식하지 못하며, 이는 종종 회사 내에서 큰 변화로 이어집니다.
“MLOps를 콜센터에 배치하면 간단한 작업은 기계와 AI가 처리하게 되므로 평균 응답 시간이 실제로 늘어나는 반면, 인간에게 맡겨진 작업은 더 복잡해지기 때문에 실제로 시간이 더 오래 걸립니다. 이러한 직업이 무엇인지, 어떤 종류의 사람이 필요한지, 이들에게 어떤 기술이 필요한지 다시 생각해 볼 필요가 있습니다." Tripathy는 오늘날 이들 중 5% 미만이 기업 조직에 속해 있다고 말했습니다. 의사결정은 알고리즘에 의해 이루어지지만 이는 빠르게 변화하고 있습니다. "우리는 향후 5년 동안 의사결정의 20~25%가 알고리즘에 의해 주도될 것으로 예측하며, 우리가 보는 모든 통계는 우리가 인공지능의 급속한 확장에 있어 변곡점에 있음을 보여줍니다.
그는 믿습니다. MLOps는 핵심 부분입니다. MLOps가 없으면 AI를 일관되게 사용할 수 없습니다. MLOps는 엔터프라이즈 AI 확장을 위한 촉매제입니다.
위 내용은 AI 개발을 가속화하기 위해 기업은 어떻게 MLOps를 사용하여 생산 효율성을 향상할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
