Comment créer un nouveau modèle dans YII?

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

1. Introduction Au cours des dernières années, les YOLO sont devenus le paradigme dominant dans le domaine de la détection d'objets en temps réel en raison de leur équilibre efficace entre le coût de calcul et les performances de détection. Les chercheurs ont exploré la conception architecturale de YOLO, les objectifs d'optimisation, les stratégies d'expansion des données, etc., et ont réalisé des progrès significatifs. Dans le même temps, le recours à la suppression non maximale (NMS) pour le post-traitement entrave le déploiement de bout en bout de YOLO et affecte négativement la latence d'inférence. Dans les YOLO, la conception de divers composants manque d’une inspection complète et approfondie, ce qui entraîne une redondance informatique importante et limite les capacités du modèle. Il offre une efficacité sous-optimale et un potentiel d’amélioration des performances relativement important. Dans ce travail, l'objectif est d'améliorer encore les limites d'efficacité des performances de YOLO à la fois en post-traitement et en architecture de modèle. à cette fin

À la pointe de la technologie logicielle, le groupe de l'UIUC Zhang Lingming, en collaboration avec des chercheurs de l'organisation BigCode, a récemment annoncé le modèle de grand code StarCoder2-15B-Instruct. Cette réalisation innovante a permis une percée significative dans les tâches de génération de code, dépassant avec succès CodeLlama-70B-Instruct et atteignant le sommet de la liste des performances de génération de code. Le caractère unique de StarCoder2-15B-Instruct réside dans sa stratégie d'auto-alignement pur. L'ensemble du processus de formation est ouvert, transparent et complètement autonome et contrôlable. Le modèle génère des milliers d'instructions via StarCoder2-15B en réponse au réglage fin du modèle de base StarCoder-15B sans recourir à des annotations manuelles coûteuses.

La série de référence YOLO de systèmes de détection de cibles a une fois de plus reçu une mise à niveau majeure. Depuis la sortie de YOLOv9 en février de cette année, le relais de la série YOLO (YouOnlyLookOnce) a été passé entre les mains de chercheurs de l'Université Tsinghua. Le week-end dernier, la nouvelle du lancement de YOLOv10 a attiré l'attention de la communauté IA. Il est considéré comme un cadre révolutionnaire dans le domaine de la vision par ordinateur et est connu pour ses capacités de détection d'objets de bout en bout en temps réel, poursuivant l'héritage de la série YOLO en fournissant une solution puissante alliant efficacité et précision. Adresse de l'article : https://arxiv.org/pdf/2405.14458 Adresse du projet : https://github.com/THU-MIG/yo

En février de cette année, Google a lancé le grand modèle multimodal Gemini 1.5, qui a considérablement amélioré les performances et la vitesse grâce à l'ingénierie et à l'optimisation de l'infrastructure, à l'architecture MoE et à d'autres stratégies. Avec un contexte plus long, des capacités de raisonnement plus fortes et une meilleure gestion du contenu multimodal. Ce vendredi, Google DeepMind a officiellement publié le rapport technique de Gemini 1.5, qui couvre la version Flash et d'autres mises à jour récentes. Le document fait 153 pages. Lien du rapport technique : https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf Dans ce rapport, Google présente Gemini1

Le projet TinyLLaVA+ est créé conjointement par l'équipe du professeur Wu Ji du Laboratoire de traitement des signaux multimédias et de l'information intelligente (MSIIP) du Département d'électronique de l'Université Tsinghua et l'équipe du professeur Huang Lei de l'École d'intelligence artificielle de l'Université de Beihang. Le laboratoire MSIIP de l'Université Tsinghua s'engage depuis longtemps dans des domaines de recherche tels que les soins médicaux intelligents, le traitement du langage naturel et la découverte de connaissances, ainsi que la multimodalité. L'équipe de Beijing Airlines est engagée depuis longtemps dans des domaines de recherche tels que l'apprentissage profond, la multimodalité et la vision par ordinateur. L'objectif du projet TinyLLaVA+ est de développer un petit assistant intelligent multilingue doté de capacités multimodales telles que la compréhension du langage, les questions et réponses et le dialogue. L'équipe du projet exploitera pleinement leurs avantages respectifs, surmontera conjointement les problèmes techniques et réalisera la conception et le développement d'assistants intelligents. Cela offrira des opportunités de soins médicaux intelligents, de traitement du langage naturel et de connaissances.

De manière générale, plus il faut de calculs pour entraîner un réseau de neurones, meilleures sont ses performances. Lors de la mise à l'échelle d'un calcul, une décision doit être prise : augmenter le nombre de paramètres du modèle ou augmenter la taille de l'ensemble de données : deux facteurs qui doivent être pris en compte dans un budget de calcul fixe. L'avantage de l'augmentation du nombre de paramètres du modèle est que cela peut améliorer la complexité et la capacité d'expression du modèle, permettant ainsi de mieux ajuster les données d'entraînement. Cependant, un trop grand nombre de paramètres peut conduire à un surajustement, ce qui rend le modèle peu performant sur des données invisibles. D’un autre côté, l’augmentation de la taille de l’ensemble de données peut améliorer la capacité de généralisation du modèle et réduire les problèmes de surajustement. Laissez-nous vous le dire : tant que vous allouez les paramètres et les données de manière appropriée, vous pouvez maximiser les performances dans le cadre d'un budget informatique fixe. De nombreuses études antérieures ont exploré la mise à l'échelle des modèles de langage neuronal.

L'équipe de recherche de Beihang a utilisé un modèle de diffusion pour « reproduire » la Terre ? Partout dans le monde, le modèle peut générer des images de télédétection de plusieurs résolutions, créant ainsi des « scènes parallèles » riches et diverses. De plus, des caractéristiques géographiques complexes telles que le terrain, le climat et la végétation ont toutes été prises en compte. Inspirée par Google Earth, l'équipe de recherche de Beihang a « chargé » des images de télédétection satellitaire de la Terre entière dans un réseau neuronal profond depuis une perspective aérienne. Sur la base d'un tel réseau, l'équipe a construit MetaEarth, un modèle global de génération visuelle descendante. MetaEarth possède 600 millions de paramètres et peut générer des images de télédétection avec de multiples résolutions, illimitées et couvrant n’importe quel emplacement géographique dans le monde. Par rapport aux recherches précédentes, le modèle mondial de génération d’images de télédétection a