Lorsque les entreprises commencent à déployer l’IA et à lancer des projets d’apprentissage automatique, l’accent est souvent mis sur un niveau théorique. Existe-t-il un certain modèle qui peut fournir les résultats nécessaires ? Comment construire ce modèle ? Comment entraîner ce modèle
Mais les outils utilisés par les data scientists pour développer ces preuves de concepts ne se traduisent souvent pas bien ? systèmes de production. Résultat : il faut en moyenne plus de neuf mois pour déployer une solution d’IA ou de machine learning, selon IDC.
L'analyste d'IDC, Sriram Subramanian, a déclaré : « Nous appelons cela la « vitesse du modèle », qui est le temps qu'il faut à un modèle pour aller du début à la fin.
C'est là que MLOps entre en jeu. » MLOps (Machine Learning Operations) est un ensemble de bonnes pratiques, de cadres et d'outils qui aident les entreprises à gérer les données, les modèles, le déploiement, la surveillance et d'autres aspects liés à l'adoption d'une preuve de concept théorique et à la mise en œuvre d'un système d'IA.
« Les MLOps peuvent réduire la vitesse du modèle à des semaines, parfois à des jours », a déclaré Subramanian. "Tout comme l'utilisation des opérations de développement (DevOps) peut réduire le temps moyen de développement d'une application, vous devez donc utiliser MLOps."
Il a déclaré qu'en utilisant MLOps, les entreprises peuvent créer plus de modèles, innover plus rapidement et gérer davantage. cas d'utilisation. "La proposition de valeur est très claire", a-t-il déclaré.
IDC prédit que d'ici 2024, 60 % des entreprises utiliseront MLOps pour mettre en œuvre leurs flux de travail d'apprentissage automatique. Subramanian a déclaré que lorsque les entreprises sont interrogées sur les défis auxquels elles sont confrontées lors de l'utilisation des technologies d'IA et d'apprentissage automatique, le manque de MLOps est apparu comme un obstacle majeur à l'adoption par les entreprises des technologies d'IA et d'apprentissage automatique, juste après le coût.
Ici, nous examinerons ce que sont les MLOP, comment ils évoluent et ce que les organisations doivent utiliser et garder à l'esprit pour tirer le meilleur parti de cette approche émergente lors de la mise en œuvre des technologies d'IA.
Quand Eugenio Zuccarelli a commencé à concevoir des projets d'apprentissage automatique il y a quelques années, MLOps n'était qu'un ensemble de bonnes pratiques. Depuis lors, Zuccarelli a travaillé sur des projets d'IA dans plusieurs entreprises, notamment dans les secteurs de la santé et des services financiers, et a vu au fil du temps les MLOps évoluer pour inclure une variété d'outils et de plates-formes.
Aujourd'hui, MLOps fournit un cadre assez puissant pour mettre en œuvre la technologie de l'IA, a déclaré Zuccarelli, aujourd'hui scientifique des données d'innovation chez CVS Health. À titre d'exemple, Zuccarelli a mentionné un projet antérieur sur lequel il a travaillé pour développer une application capable de prédire des résultats indésirables, tels que la réadmission à l'hôpital ou la progression de la maladie.
«Nous avons examiné des ensembles de données et des modèles et discuté avec des médecins pour déterminer les caractéristiques des meilleurs modèles», a-t-il déclaré. "Mais pour rendre ces modèles vraiment utiles, nous devons les présenter aux utilisateurs réels."
Cela signifie développer une application mobile fiable, rapide et stable, et disposer d'une API sur le backend. Apprentissage automatique connecté. systèmes. « Sans MLOps, nous ne serions pas en mesure de garantir cela », a-t-il déclaré.
Son équipe a créé un tableau de bord de santé pour le modèle à l'aide de la plateforme H2O MLOps et d'autres outils. "Vous ne voulez pas que le modèle change de manière significative", a-t-il déclaré. "Et vous ne voulez pas introduire de biais. Ce tableau de bord de santé nous permet de comprendre si des changements se sont produits dans le système."
L'utilisation de la plateforme MLOps nous permet également d'effectuer des mises à jour des systèmes de production. "Il est très difficile de remplacer un fichier sans arrêter l'exécution de l'application", a déclaré Zuccarelli. "Même si le système est en production, les outils MLOps peuvent remplacer le système avec une perturbation minimale du système lui-même."
Il a déclaré qu'à mesure que les plates-formes MLOps mûrissent, ces plates-formes accéléreront l'ensemble du processus de développement de modèles, car les entreprises ne le font pas. Vous n'aurez pas à faire un travail répétitif en vain pour chaque projet. Les capacités de gestion du pipeline de données sont également essentielles à la mise en œuvre de l’IA.
« MLOps entre en jeu si nous avons plusieurs sources de données qui doivent communiquer entre elles », a-t-il déclaré. « Vous voulez que toutes les données qui entrent dans votre modèle d'apprentissage automatique soient cohérentes et de haute qualité. Comme on dit, les informations qui entrent et qui sortent du modèle sont de mauvaise qualité, alors ses prédictions elles-mêmes seront mauvaises. .”
Mais ne pensez pas que simplement parce qu'il existe certaines plates-formes et outils maintenant disponibles, vous pouvez ignorer les principes fondamentaux du MLOps. Les entreprises qui débutent dans ce domaine doivent se rappeler qu’à la base, le MLOps consiste à créer un lien solide entre la science des données et l’ingénierie des données.
« Pour garantir le succès des projets MLOps, vous devez avoir à la fois des ingénieurs de données et des scientifiques de données dans la même équipe », a déclaré Zuccarelli.
De plus, doter la plateforme des outils nécessaires pour prévenir les préjugés, garantir la transparence, assurer l'explicabilité et soutenir l'éthique – des outils qui sont encore en cours de développement, a-t-il déclaré. "Cela demandera certainement beaucoup de travail car il s'agit d'un domaine très nouveau."
Donc, sans une solution complète clé en main disponible, les entreprises doivent maîtriser tous les aspects avant de mettre en œuvre la technologie de l'IA. C'est ce qui rend le MLOps si efficace. Cela signifie acquérir une expertise sur le tas, a déclaré Meagan Gentry, responsable des pratiques nationales de l'équipe IA de la société de conseil en technologie Insight basée à Tempe.
MLOps couvre tout, de la collecte, de la validation et de l'analyse des données à la gestion des ressources de la machine et au suivi des performances du modèle. Certains des outils qui aident les entreprises peuvent être déployés sur site, dans le cloud ou en périphérie. Ces outils peuvent être open source ou propriétaires.
Mais avoir des connaissances techniques n'est qu'une partie de la solution. MLOps s'appuie également sur des méthodes agiles issues des opérations de développement (DevOps) et des principes de développement itératif, a déclaré Gentry. De plus, comme dans les domaines liés au développement agile, la communication est cruciale.
« La communication entre chaque personnage est cruciale », a-t-elle déclaré. "Communication entre les data scientists et les ingénieurs de données. Communication avec DevOps et communication avec l'ensemble de l'équipe informatique.
Pour les entreprises qui débutent, le MLOps peut être déroutant. " Certains principes généraux peuvent être vus, il existe des dizaines de fournisseurs et il existe encore plus de boîtes à outils open source.
« Il existe certains pièges », a déclaré Helen Ristov, directrice principale de l'architecture d'entreprise chez Capgemini Americas. "Beaucoup de ces pièges se situent dans le processus de développement. Il n'y a pas d'ensemble formel de lignes directrices comme vous le voyez avec DevOps. Il s'agit d'une technologie émergente et certaines lignes directrices et stratégies prendront un certain temps à développer. »
Ristov a suggéré que les entreprises commencent leur parcours MLOps à partir de leur plateforme de données. "Peut-être qu'ils disposent de plusieurs ensembles de données, mais ils se trouvent à des endroits différents et pas dans un environnement très cohérent", a-t-elle déclaré.
Elle a déclaré que les entreprises n'ont pas besoin de déplacer toutes les données vers une seule plate-forme, mais qu'elles ont besoin d'un moyen d'importer des données provenant de différentes sources de données, qui peuvent varier en fonction de l'application. Par exemple, un lac de données convient parfaitement aux entreprises qui ont besoin d’un stockage à faible coût et effectuent fréquemment de grandes quantités d’analyses.
Elle a déclaré que les plates-formes MLOps fournissent généralement des outils pour créer et gérer des pipelines de données tout en enregistrant différentes versions des données de formation, mais il ne s'agit pas d'une solution unique.
Puis fournit également la création de modèles, la gestion des versions, la journalisation, les ensembles de fonctionnalités de mesure et d'autres aspects de la gestion du modèle lui-même.
« Cela implique beaucoup de codage », a déclaré Ristov, ajoutant que la mise en place d'une plate-forme MLOps peut prendre des mois et qu'en ce qui concerne le travail d'intégration, les fournisseurs de plate-forme ont encore beaucoup de travail à faire.
« Il y a beaucoup de croissance qui va dans des directions différentes », a-t-elle déclaré. "De nombreux outils sont en cours de développement, l'écosystème est très vaste et les gens se contentent de choisir ce dont ils ont besoin. MLOps en est à son stade immature. La plupart des organisations sont encore à la recherche de la meilleure configuration
Subramanian d'IDC a déclaré que la taille du marché MLOps devrait passer d'environ 185 millions de dollars en 2020 à environ 700 millions de dollars d'ici 2025. Mais il a ajouté que cela pourrait être une sérieuse sous-estimation, car les produits MLOps sont souvent regroupés avec des plates-formes plus grandes. La taille réelle du marché pourrait dépasser les 2 milliards de dollars d'ici 2025, a-t-il déclaré.
Subramanian a déclaré que les fournisseurs MLOps sont généralement divisés en trois catégories. La première est constituée des grands fournisseurs de cloud, notamment Amazon Web Services (AWS), Azure Cloud et Google Cloud. Ces plates-formes cloud utilisent les fonctions MLOps comme services.
Ensuite, il existe certains fournisseurs de plateformes d'apprentissage automatique, tels que DataRobot, Dataiku, Iguazio, etc.
«La troisième catégorie est ce qu'ils appelaient autrefois les fournisseurs de gestion de données», a-t-il déclaré. "Des entreprises telles que Cloudera, SAS et DataBricks. Leur avantage réside dans les capacités de gestion des données et les opérations de données, puis elles se développent pour avoir des capacités d'apprentissage automatique, et finalement des capacités MLOps
Subramanian a déclaré que les trois domaines connaissent des difficultés." croissance explosive, ajoutant que la clé pour que les fournisseurs de MLOps se démarquent est de savoir s'ils peuvent prendre en charge le déploiement de modèles à la fois sur site et dans le cloud, s'ils peuvent mettre en œuvre une IA fiable et responsable, s'ils peuvent fournir une solution plug-and-play et si leur solution peut être facilement étendue. "C'est là qu'interviennent les différences entre les fournisseurs", a-t-il déclaré.
Selon une récente enquête d'IDC, le manque de moyens de mettre en œuvre une IA responsable est l'un des trois principaux obstacles à l'utilisation des technologies d'IA et d'apprentissage automatique, à égalité en deuxième position avec le manque de MLOps lui-même.
Sumit Agarwal, analyste de recherche pour les technologies d'IA et d'apprentissage automatique au sein du cabinet de conseil Gartner, a déclaré que cela était en grande partie dû au fait qu'il n'y avait pas d'alternative à l'utilisation de MLOps.
« Toutes les autres méthodes sont manuelles », a-t-il déclaré. "Donc, il n'y a vraiment pas d'autre choix. Si vous voulez évoluer, vous avez besoin d'automatisation. Vous avez besoin de traçabilité de votre code, de vos données et de vos modèles."
Selon une enquête récente de Gartner Consulting, un modèle Le temps moyen de le délai de validation de principe jusqu'à la production est passé de 9 mois à 7,3 mois. "Mais 7,3 mois, c'est encore un long cycle", a déclaré Agarwal. "Il existe de nombreuses opportunités pour les organisations d'exploiter MLOps." .
Il a déclaré que les entreprises ont tendance à sous-estimer ce qu'elles ont à faire. .
« Les gens comprennent mieux le génie logiciel », a-t-il déclaré. « Il existe de nombreuses règles concernant l'expérience utilisateur et les exigences. Mais d'une manière ou d'une autre, les gens ne pensent pas qu'ils doivent suivre le même processus lorsqu'ils déploient un modèle. Il existe également une idée fausse selon laquelle tous les data scientists sont doués pour travailler dans un test. environnement Les gens déploieront naturellement et seront capables de déployer un certain modèle, ou ils peuvent envoyer quelques collègues informatiques pour terminer le travail. Les gens ne comprennent pas ce qu'ils doivent faire «
Les entreprises ne l'ont pas réalisé. peut avoir un effet d’entraînement sur d’autres parties de l’entreprise et entraîner souvent des changements radicaux.
« Vous pouvez déployer des MLOps dans le centre de service client, mais le temps de réponse moyen augmentera en fait car certaines tâches simples sont gérées par des machines et l'IA, tandis que les tâches confiées aux humains prennent en réalité plus de temps, car ces tâches sont plus complexe », a-t-il déclaré. « Vous devez donc repenser ce que sera le travail, le type de personnes dont vous avez besoin et les compétences qui devraient être présentes
Aujourd'hui, a-t-il déclaré, moins de 5 % des décisions dans une organisation sont motivées par. » algorithmes, mais cela évolue rapidement. "Nous prévoyons qu'au cours des cinq prochaines années, 20 à 25 % des décisions seront pilotées par des algorithmes. Chaque statistique que nous étudions montre que nous sommes à un point d'inflexion dans l'expansion rapide de l'IA.
Il a déclaré : MLOps est un élément clé.
« Cent pour cent », a-t-il déclaré. « Vous ne pouvez pas utiliser l’IA de manière durable sans que les MLOps soient le catalyseur de l’expansion de l’utilisation de l’IA dans l’entreprise. »
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!