Conversation exclusive avec Li Yan : Financée par Suhua, Jingwei et Redpoint, la première startup de « recommandation générative » AI Pioneers |

^{Les êtres humains inaugurent une mise à jour explosive dans le domaine de l'intelligence artificielle. Chaque étape de l'expansion de la technologie vers l'inconnu attire une attention presque étonnante.}

^{Dans le processus de repousser les limites de l'intelligence artificielle, des innovations et des différences de parcours techniques sur des pistes importantes cohabitent. Le jugement et les choix des pionniers de la technologie influencent les traces de nombreux adeptes.}

^{Au cours de la dernière année, ce site Web a pris les devants en exclusivité en présentant à tout le monde des entreprises exceptionnelles telles que Dark Side of the Moon, Shengshu Technology, Aishi Technology et Wuwen Core Dome, leur laissant leurs premiers « dix mille mots » " dans le monde d'Internet. Transcription de l'entretien. " À une époque où les voies technologiques n’ont pas encore convergé, nous voyons le leadership d’entrepreneurs en IA qui ont véritablement foi, courage et cognition systématique.}

^{Auteur : Jiang Jingling}

Chemin de mise en œuvre technique : Choisissez des données de meilleure qualité pour entraîner le modèle, afin que le modèle ait des valeurs

Ce site : je viens de dire que j'espère créer du contenu qui aide les utilisateurs obtiennent un meilleur flux de produits, pourquoi commencez-vous par créer un meilleur LLM ?

Li Yan :Nous pensons que le LLM est un nœud très important menant à l'AGI. Les grands modèles linguistiques peuvent mieux comprendre les utilisateurs et le contenu, et savoir ce qui intéresse, aime et n'aime pas les utilisateurs. Tous les intérêts et passe-temps personnels de l'utilisateur peuvent être symbolisés, et les grands modèles peuvent très bien les comprendre.

Le système de recommandation précédent n'était pas en mesure d'atteindre ce niveau de compréhension. Il ne pouvait étiqueter l'utilisateur qu'avec de nombreuses étiquettes discrètes, et les utiliser pour essayer de caractériser et de comprendre l'utilisateur. Désormais, les grands modèles peuvent non seulement mieux comprendre les intérêts existants des utilisateurs, mais également améliorer l'exploration des intérêts des utilisateurs et déduire leurs intérêts et passe-temps implicites.

Avec le grand modèle, nous pouvons compresser un corpus de la plus haute qualité sur l'ensemble d'Internet et compresser la civilisation humaine véhiculée dans le texte, utilisant ainsi ces civilisations et appliquant davantage ces capacités à des recommandations génératives, il aura ses valeurs. et la vision du monde, et ont ainsi un système de valeurs recommandées de dimension supérieure.

Le grand modèle joue en fait le rôle d'un pont, reliant ces cognitions les plus avancées à votre consommation d'informations, améliorant ainsi encore votre niveau de consommation de contenu.

Ce site : Ces contenus « avancés » font-ils référence à des articles ? Inclut-il à la fois les sciences sociales et les sciences naturelles, ou est-il davantage axé sur une seule d’entre elles ?

Li Yan : Le grand modèle lira toute la civilisation avancée et les informations accumulées par les humains sur l'ensemble d'Internet, et il peut être avancé dans tous les aspects.

Ce site : Comment le grand modèle détermine-t-il ce qu'est une « civilisation avancée » ?

Li Yan : En fait, nous, les humains, avons déjà porté des jugements sur cette question, plutôt que de grands modèles. Par exemple, nos articles et revues faisant autorité, ainsi que les livres écrits par des universitaires bien connus, sont ceux-ci. ne sont pas de grandes définitions de modèles, mais des informations de haute qualité établies par les humains eux-mêmes sur une longue période de temps.

Ce site : Eh bien, qu'est-ce que c'est exactement que cette partie des données de haute qualité ? source?

Li Yan : Nous valorisons la construction de capacités de modèles basées sur les données. Dans notre modèle, nous utilisons des algorithmes pour augmenter la quantité de données disponibles de haute qualité de plus d'un ordre de grandeur. De plus, en termes de sélection de données, nous utilisons des livres, des théories et des articles plus classiques pour former nos grands modèles, afin que nos modèles aient la capacité de comprendre plus en profondeur les utilisateurs. Plus précisément, lorsqu'il s'agit de recommandation de contenu, nous. ne laissera pas aveuglément les utilisateurs rester dans le plaisir à court terme. Au lieu de cela, il y a le bonheur à long terme d’accumuler des informations de haute qualité.

Ce site : Je viens de mentionner que l'algorithme de recommandation générative peut améliorer la compréhension des utilisateurs. Existe-t-il une norme quantitative pour comparer la compréhension des utilisateurs par différents algorithmes de recommandation ?

Li Yan :Étant donné que différentes entreprises poursuivent des objectifs différents, les objectifs d'optimisation sont également différents. De manière générale, il peut s'agir de la durée, du taux de clics et de la rétention. Étant donné que nos principes techniques et notre orientation commerciale sont de nouveaux domaines, nous disposons actuellement d'un système de données interne très complexe pour évaluer cette question.

Ce site : Sur LLM, quels sont les avantages techniques actuels du Yuanshi ?

Li Yan :Dès le premier jour de la création de l'entreprise, c'est-à-dire vers avril 2023, la première version du grand modèle était basée sur l'architecture MoE. La sélection globale des itinéraires techniques sur le marché est très prospective. D’avril 2023 à maintenant depuis plus d’un an, notre modèle a itéré quatre versions. Sur de nombreux ensembles de tests publics, nos résultats sont meilleurs que ceux de nombreux autres modèles.

De plus, notre corpus de haute qualité rend la qualité des réponses très élevée et le modèle a la capacité de réfléchir en profondeur. Troisièmement, la vitesse de notre grand modèle est également très compétitive, avec une latence extrêmement faible. Nous avons réalisé des optimisations extrêmes dans la formation et l'inférence des modèles, ce qui a considérablement réduit le coût de formation des grands modèles. Nous sommes désormais gratuits et n'avons pas besoin de payer pour une utilisation pendant les périodes de pointe.

Ce site : Pourquoi pensez-vous que le MoE est la meilleure voie ?

Li Yan : Nous pensons que pour fabriquer nos propres produits, nous avons besoin de la capacité d'intégrer les liens sous-jacents du modèle. À l'ère des grands modèles, l'effet de modèle est meilleur, ce qui est souvent le cas. signifie que le nombre de paramètres est plus grand. Mais en tant que produit global, si le coût de l’inférence de modèle est élevé, il ne fonctionnera pas commercialement. Par conséquent, nous avons besoin à la fois d’un grand nombre de paramètres et d’un faible coût d’inférence. Comme condition préalable à la faisabilité commerciale, nous ne pouvons finalement choisir que MoE. Nous avons clairement réfléchi à ce problème dès le premier jour, et la première ligne de code que nous avons écrite était MoE.

Ce site : Parce que Yuanshi se positionne comme une société d'applications, avez-vous envisagé d'utiliser certains modèles open source pendant le processus de recherche et développement, ce qui peut être plus économique ?

Li Yan : Notre objectif n'est pas d'être une entreprise de modèle, mais la raison pour laquelle nous choisissons toujours de développer nous-mêmes de grands modèles est que nous pensons que les modèles des autres ne servent pas nos objectifs. Oui, nous sommes une entreprise de produits dirigée par notre propre grand modèle.

Nous n'avons fait aucune tentative de business model au niveau du modèle Ceci est lié à mes connaissances personnelles. Certaines personnes pensent que les grands modèles sont constitués d'eau et d'électricité, ce qui signifie qu'une fois que j'ai réalisé un bon grand modèle, vous n'avez pas besoin de le faire et vous pouvez tous utiliser mes capacités. Mais nous pensons que la plus grande importance du grand modèle réside dans sa capacité à servir les utilisateurs à l'extrême et dans ses capacités basées sur des scénarios. Il sert mieux les utilisateurs dans un scénario fixe et offre une expérience totalement indisponible auparavant.

De plus, il s'avère que la capacité d'affiner les changements est limitée. Parce que nous sommes assez innovants dans ce domaine, nous devons apporter des changements majeurs à l’architecture du modèle sous-jacent. Nous utiliserons également nos modèles auto-développés en interne pour comparer avec les modèles open source. Les faits ont prouvé que les résultats de nos modèles internes auto-développés sont bien meilleurs que ceux des modèles open source. Parce que ce modèle est entièrement construit pour mon scénario, beaucoup de travail a été effectué depuis la construction des données d'entraînement jusqu'à la conception de l'algorithme.

Ce site : Vous êtes également l'un des premiers explorateurs de la multi-modalité en Chine. Avez-vous un calendrier pour la multi-modalité ?

Li Yan : À l'heure actuelle, le texte grand modèle est toujours le cœur du noyau. C'est la base de l'intelligence.

Valeur du produit : Capable de prêter plus d'attention aux besoins personnalisés des utilisateurs

Ce site : La forme du produit de la technologie Yuanshi est en fait différente de presque tous les grands modèles C-end produits sur le marché. Pourquoi souhaitez-vous définir un tel produit ?

Li Yan : Nous ne sommes pas un produit destiné à un groupe spécifique de personnes, nous ciblons un large éventail de personnes et nous ne sommes pas une communauté de contenu verticale. Nous pensons qu'avec l'amélioration des capacités de génération et de distribution de l'IA, les limites des futures catégories de contenu à l'ère de l'IA deviendront de plus en plus floues.

Au niveau du produit, notre produit a actuellement deux fonctions, l'une est Feed et l'autre est Chat. Nous l'appelons « Demandez à Xiaobai ». L'un des aspects est que les utilisateurs peuvent lui poser toutes les questions dans leur vie. D'un autre côté, Xiaobai "demande". Sur la base des questions que les utilisateurs posent à l'IA, Xiaobai prendra également l'initiative de se soucier des utilisateurs et de les pousser activement vers les utilisateurs. Le nom est Xiaobai, en espérant que les utilisateurs auront un sentiment de sécurité et d'intimité, abandonneront l'IA froide ou l'IA violente et pourront avoir un contact étroit avec les utilisateurs.

Ce site : peut-il donc être compris comme un produit de contenu doté de fonctions d'IA ?

Li Yan : Oui, en plus, c'est aussi un ami en ligne en temps réel qui comprend vos préférences en tant qu'utilisateur, vous pouvez l'arranger pour faire quelque chose si vous avez quelque chose à faire, et il peut vous observer et voir si vous n'avez rien à faire. Prenez l'initiative de faire quelque chose qui peut vous aider.

Ce site : Tous les contenus du flux de flux proviennent-ils de l'AIGC ? Comment garantir la qualité de ce contenu ?

Li Yan : Si vous utilisez un grand modèle pour produire du contenu, vous devez d'abord savoir quel type de contenu les utilisateurs aiment, puis générer et organiser du contenu d'articles de haute qualité basé sur ces sujets. Ces deux niveaux sont la capacité de compréhension d'une part et la capacité de génération d'autre part. À l'heure actuelle, il y a encore beaucoup de place à l'amélioration dans les grands modèles de capacités dans ces deux aspects. C'est aussi la raison pour laquelle nous avons démarré notre entreprise, car nous pensons que nous avons la capacité d'améliorer considérablement ce domaine.

Ce site : Le produit ressemble un peu à la version IA de Zhihu, Xiaohongshu et Toutiao Par rapport à ceux-ci, quelles sont les différences et les avantages ?

Li Yan : Tout d'abord, nous accordons plus d'attention aux besoins personnalisés des utilisateurs. Pour tous les produits dont vous venez de parler dans la génération précédente, le principe le plus fondamental de leur système de recommandation est le filtrage collaboratif, c'est-à-dire que si un utilisateur aime A et B, et qu'un autre utilisateur aime A et C, alors B et C. sont également similaires. Ensuite, nous vous recommanderons respectivement B et C. Il y a un problème très évident avec cette méthode de filtrage collaboratif, c'est-à-dire qu'elle vous recommande toujours certaines catégories vertébrales.

Pourquoi ? C'est parce que si vous aimez un sujet, il y a de fortes chances que vous, comme les autres personnes qui aiment ce sujet, soyez plus susceptibles d'aimer les belles femmes et les beaux hommes, et ils ont tous tendance à aimer les divertissements. Ainsi, le système finira par déterminer que vous aimez réellement le divertissement et que vous aimez les beaux mecs et les belles femmes.

Cette méthode a ses avantages, elle peut rapidement faire gagner du temps à l'utilisateur pour continuer à se développer. Mais son problème est qu’il enterre les intérêts personnels et les intérêts de niche des utilisateurs, ce qui rend difficile la compréhension détaillée des utilisateurs.

Et nous faisons cela à partir de grands modèles. Tout d'abord, nous espérons prendre soin de vos intérêts personnalisés, plutôt que de vous recommander des beaux mecs, des beautés ou du contenu de divertissement. Dans ce cas, ce système de recommandation n'est pas un système de recommandation véritablement personnalisé.

Ainsi, un système de recommandation suffisamment intelligent devrait théoriquement être capable de prendre en charge tous les intérêts des utilisateurs. Qu'il s'agisse de vos intérêts généraux ou d'intérêts personnalisés de niche. Jusqu’à présent, on n’en a pas fait assez.

Ce site : Pourquoi avez-vous choisi cette direction lors du démarrage d'une entreprise, au lieu de la forme courante de chatbot ou de produit de compagnonnage émotionnel ?

Li Yan :Nous pensons que l'intégration LLM avec recommandations a l'opportunité de définir un nouveau type d'interaction, une expérience fluide qui ne nécessite pas d'interaction « active ». À l'heure actuelle, les interactions pures de type chat ont encore certains seuils d'utilisation pour les utilisateurs, et les utilisateurs doivent activement lancer des questions. Dans une certaine mesure, cela limite également la pénétration et l’utilisation d’un plus large éventail d’utilisateurs. En plus de tous les produits recommandés que nous utilisons aujourd'hui, même si les utilisateurs les utilisent beaucoup, nous voyons encore des utilisateurs les désinstaller à plusieurs reprises. Faire semblant à plusieurs reprises signifie qu'il ne peut pas vivre sans, mais reporter cela à plusieurs reprises signifie qu'il n'est pas satisfait à 100 %. C’est un point qui nous fait penser que les produits recommandés ont encore de grandes opportunités.

Sur cette base, nous pensons que l'expérience de notre équipe est très appropriée pour ce faire. Personnellement et l'équipe avons une profonde expérience dans la recherche, la recherche sur l'IA et la mise en œuvre de produits à grande échelle.

Ce site : Cependant, les produits basés sur le contenu se heurtent actuellement généralement au dilemme de voies de commercialisation peu claires et ne connaissent pas beaucoup de succès. Qu'en pensez-vous ?

Li Yan : Nous en sommes encore au stade de démontrer plus pleinement la valeur de nos utilisateurs. Il est logique de parler de valeur commerciale basée sur une grande valeur utilisateur. De nombreux produits ont fourni des exemples très réussis des fortes capacités de monétisation de produits à contenu à grand volume, tels que Kuaishou.

Ce site : Retour au produit, quelle est la valeur du produit avec une meilleure capacité de réponse ?

Li Yan : Je pense qu'il y en a deux. La première est que plus vos réponses sont bonnes, plus la fidélité des utilisateurs sera élevée. Dans ce cas, vous pourrez connaître plus de signaux utilisateur et mieux comprendre les utilisateurs. En fin de compte, le système peut les utiliser pour créer du contenu pour les utilisateurs qu'ils aiment et dont ils ont réellement besoin. Formez continuellement une expérience positive et un cycle de données.

Ce site : En pensant avec optimisme, quel impact la maturité progressive des algorithmes de recommandation générative peut-elle avoir sur l'industrie du contenu ? Dans votre imagination, à quoi pourrait ressembler un « Ask Novice » mature ?

Li Yan : La recommandation générative injecte une nouvelle vitalité dans la piste de contenu, permettant d'apporter d'énormes changements dans ce secteur, plutôt que d'élaborer des améliorations.

À l'heure actuelle, les grands modèles et autres technologies connexes progressent à pas de géant, mais il existe un goulot d'étranglement évident dans la communication homme-IA. Nous avons la capacité de faire mieux dans les deux aspects. Demandez à Xiaobai, demande Xiaobai, nous espérons promouvoir grandement l'inclusivité de la technologie de l'IA et permettre aux utilisateurs ordinaires qui ont davantage besoin de l'IA de ressentir la puissance de l'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!