Chaud sur GitHub ! Cet artefact est open source !

Récemment, les plus grandes entreprises mondiales de construction de voitures neuves ne peuvent pas être plus populaires ! L'éditeur est vraiment jaloux lorsqu'il voit le cours de l'action s'envoler. Quiconque connaît le secteur sait que les grandes entreprises, Tesla en tête, utilisent la vision par ordinateur comme base technique pour la conduite autonome. C'est grâce à la technologie de segmentation d'images que les voitures peuvent clairement distinguer où se trouve la route et où se trouvent les gens.

Dois-je souligner si la segmentation des images est importante ? La suite open source que je souhaite vous présenter aujourd'hui couvre les algorithmes de segmentation d'images les plus avancés du secteur et donne des résultats exceptionnels. Il s'agit de PaddleSeg ! ! OMG, qu'est-ce que tu attends ? ! Assiette-le ! Assiette-le ! Assiette-le !

Lors de la conférence mondiale de vision par ordinateur prévue CVPR2021, PaddleSeg a encore une fois brillé. Parmi eux, l'AutoNUE Challenge est un événement très influent dans le domaine de la compréhension des scènes de conduite autonome ces dernières années, qui teste les capacités de l'algorithme de segmentation sémantique des concurrents dans des environnements non structurés. L'équipe Baidu PaddleSeg a finalement battu les autres équipes participantes et a remporté le championnat en se classant première dans les trois indicateurs de test de niveau 1, niveau 2 et niveau 3.

Les amis anxieux peuvent accéder directement aux détails du jeu :

https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSeg.pdf

Alors, qu'est-ce que PaddleSeg exactement ? L'éditeur s'est rendu sur GitHub pour connaître l'explication officielle :

PaddleSeg est un kit de développement de segmentation d'images de bout en bout développé sur la base de PaddleSeg, couvrant un grand nombre de modèles de segmentation de haute qualité dans différentes directions telles que la haute précision et la légèreté. . Grâce à sa conception modulaire, il aide les développeurs à réaliser l'application complète de segmentation d'images, de la formation au déploiement. Laissez-moi vous parler des fonctionnalités et des mises à jour récentes de PaddleSeg :

a récemment mis à niveau la fonction de segmentation de portrait et fournit une solution de déploiement de modèles ultra-légère sur le Web

a lancé la solution de segmentation raffinée PaddleSeg- Matting ;

open source de l'algorithme de segmentation panoramique Panoptic-DeepLab, enrichissant les types de modèles

lancement de l'outil d'annotation intelligent EISeg pour la segmentation interactive ; Améliore considérablement l'efficacité de l'étiquetage.

Web Video Conferencing

Matting

Panoramic Split

Interactive Split

fournit une méthode de déploiement de niveau industriel. Désormais, de nombreuses nouvelles fonctionnalités ont été ajoutées. On peut dire que PaddleSeg peut répondre aux besoins des développeurs dans toutes les dimensions de manière globale et tridimensionnelle. Je dois dire haut et fort :

Un si bon produit, pourquoi ne vous y mettez-vous pas rapidement ?

Monter dans le bus :

https://github.com/PaddlePaddle/PaddleSeg

Solution de segmentation de portraits de niveau industriel PPSeg

La segmentation de portraits est une application très courante dans le domaine de l'image segmentation. Dans le processus de candidature actuel Les ensembles de données de portraits chinois proviennent de diverses sources. Les données peuvent provenir de téléphones portables, d'appareils photo, de systèmes de surveillance, etc. La taille de l'image peut être horizontale, verticale ou carrée. Il existe différents scénarios de déploiement, certaines applications sont côté serveur, certaines applications sont côté mobile et certaines applications sont côté Web. À cette fin, l'équipe PaddleSeg a lancé un modèle PPSeg de segmentation de portraits formé sur des données de portraits à grande échelle pour répondre aux besoins de multiples scénarios d'utilisation sur le serveur, le mobile et le Web (Paddle.js). Le modèle

PPSeg a été largement utilisé dans l'industrie. Récemment, « Baidu Video Conference » a également lancé une fonction d'arrière-plan virtuel, permettant aux utilisateurs de changer d'arrière-plan pendant les vidéoconférences. Parmi eux, le modèle à changement de fond de portrait adopte le modèle ultra-léger de la série de modèles PPSeg développé par l'équipe PaddleSeg. Grâce à Paddle.js, il est déployé côté web et utilise directement la puissance de calcul du navigateur pour effectuer la segmentation des images. L'effet de segmentation a été bien accueilli.

Explication détaillée des solutions de niveau industriel :

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg

Les amis peuvent également accéder à la page d'accueil de Baidu pour découvrir la vidéo Baidu conférence, découvrez intuitivement la fonction de segmentation de portraits fournie par PaddleSeg et Paddle.js.

Solution de segmentation raffinée PaddleSeg-Matting

Avec le développement de la technologie de segmentation, les exigences des gens en matière de segmentation raffinée sont de plus en plus élevées. Par exemple, dans certaines industries du cinéma et de la télévision, les écrans verts sont couramment utilisés pour modifier l'arrière-plan du tournage, mais si l'objectif n'est pas de filmer devant un écran vert, peut-il quand même obtenir une bonne fonction de segmentation de l'arrière-plan ?

La réponse est : Oui !

La récente solution open source de segmentation fine PaddleSeg-Matting de l'équipe PaddleSeg résout très bien ce problème. Les cheveux cibles sont segmentés avec précision.

PaddleSeg réalise la prédiction alpha grâce au mécanisme de génération trimap intégré, qui peut compléter la prédiction sans la saisie d'informations auxiliaires, réduisant ainsi considérablement les coûts de main-d'œuvre. Réduisez le nombre de paramètres réseau en partageant les poids des encodeurs et utilisez le module d'attention dans l'étage de décodeur pour implémenter le guidage du flux d'informations trimap pour la prédiction alpha. Utilisez ensuite la carte d'erreur pour extraire le patch de la zone mal estimée et affinez-le via le sous-réseau de raffinement pour obtenir l'alpha final.

Outil d'annotation intelligente de segmentation interactive

Il y a un dicton dans l'industrie à propos de l'intelligence artificielle : « À quel point l'apprentissage profond est intelligent, quelle quantité d'intelligence artificielle se cache derrière ». Cette phrase exprime directement la douleur dans le cœur des praticiens du deep learning. Après tout, la qualité du modèle joue un rôle important, mais le coût de l'étiquetage des données donne mal à la tête à de nombreux praticiens.

Pour cette raison, l'équipe PaddleSeg a lancé le logiciel d'annotation intelligente de segmentation interactive EISeg. Alors, qu'est-ce que la segmentation interactive exactement ? Découvrez-le grâce au graphique dynamique ci-dessous.

Il n'est pas difficile de constater que la segmentation interactive réalise une segmentation des bords de l'objet cible à travers une série de points verts (points positifs) et de points rouges (points négatifs). La principale direction d'application de la segmentation interactive est). l'édition d'images et l'annotation semi-automatique, qui peuvent être appliquées à des scénarios tels que l'annotation raffinée, la découpe et le post-traitement d'image auxiliaire (tel que PS).

L'équipe PaddleSeg et les membres de PaddleCV-SIG ont lancé le premier outil de segmentation interactif haute performance de l'industrie, EISeg, basé sur l'algorithme RITM. Nous prenons en charge l'ensemble du processus de formation, de prédiction et d'interaction du modèle RITM. Le modèle de segmentation interactif PaddleSeg prend non seulement en charge la formation de puissants modèles de scène généraux à partir de zéro, mais prend également en charge le réglage fin de données de scène spécifiques. Nous utilisons l'ensemble de données de portraits auto-construit de Baidu pour affiner le modèle et obtenir un modèle de segmentation interactif de portraits avec une vitesse de prédiction rapide, une grande précision et peu de points d'interaction.

Le logiciel propose une variété de méthodes d'installation, permettant aux utilisateurs d'utiliser pip et conda pour l'installation. De plus, des fichiers exécutables sont fournis sous Windows. Double-cliquez sur le fichier .exe pour exécuter le programme.

Panoptic-DeepLab

La segmentation panoramique est un nouveau domaine qui a émergé dans le domaine de la segmentation d'images ces dernières années. Elle a été proposée pour la première fois par FAIR et l'Université de Heidelberg en 2018.

Qu'est-ce que la segmentation panoramique ?

Les informations de l'image peuvent être divisées en choses et choses, où les choses représentent des objets dénombrables, tels que des voitures, des animaux, etc., et des choses représentent des objets innombrables, tels que les plages, le ciel, etc. La tâche de segmentation sémantique ne fait pas attention à savoir si l'image est un truc ou une chose, mais se concentre uniquement sur la catégorie sémantique à laquelle appartient chaque pixel, elle ne peut donc pas distinguer les objets d'instance. La segmentation des instances se concentre sur la segmentation des éléments, l'identification des éléments dans l'image, la distinction des différentes instances individuelles et des informations sémantiques correspondantes, et la zone des éléments est uniformément représentée comme arrière-plan. La segmentation panoramique est une technologie qui combine la segmentation sémantique et la segmentation d'instances. Pour les choses, différentes instances individuelles et les informations sémantiques correspondantes sont identifiées.

Panoptic DeepLab atteint pour la première fois des performances de pointe sous la forme d'algorithmes de mise en bouteille et à prise unique. Par rapport aux algorithmes descendants, Panoptic DeepLab atteint à la fois précision et rapidité avec une structure de réseau simple, pionnière. segmentation panoramique. Une nouvelle direction pour l'algorithme. Le classement actuel de la segmentation panoramique Cityscape est basé sur cet algorithme.

Vue complète de PaddleSeg

• Gamme d'algorithmes All-Star

20+ algorithmes de segmentation sémantique de haute précision qui sont globalement leaders dans des cadres similaires, plus de 50 modèles pré-entraînés ont été ajoutés algorithmes de segmentation panoramique, enrichissant la scène des applications. Fournit un algorithme de segmentation de portraits de haute précision HumanSeg pour répondre aux déploiements multi-extrémités.

• Le déploiement de l'ensemble de la chaîne industrielle

prend non seulement entièrement en charge le développement de graphiques dynamiques, et peut effectuer en douceur la conversion dynamique et statique, mais il facilite également l'ensemble du processus depuis le prétraitement des données, la formation et le réglage des algorithmes ; compression, déploiement multi-terminal, etc. L'intégration a considérablement amélioré la facilité de développement des utilisateurs et accéléré la mise en œuvre des applications industrielles des algorithmes. En particulier, Paddle.js prend en charge le déploiement côté Web, offrant ainsi plus de possibilités de déploiement côté Web.

Qu'attendez-vous ? ! Un produit d'une telle qualité développé avec tant de soin, pourquoi ne pas vous dépêcher et le collectionner dans votre collection Star !

Portail :

https://github.com/PaddlePaddle/PaddleSeg