La grande séance de partage d'articles modèles de Xiaohongshu a réuni des auteurs de quatre grandes conférences internationales

Les grands modèles mènent un nouveau cycle de recherche, avec de nombreux résultats innovants émergeant tant dans l'industrie que dans le monde universitaire.

L'équipe technique de Xiaohongshu explore également constamment cette vague, et les résultats de recherche de nombreux articles ont été fréquemment présentés lors de conférences internationales de premier plan telles que ICLR, ACL, CVPR, AAAI, SIGIR et WWW.

Quels nouvelles opportunités et défis découvrons-nous à l'intersection des grands modèles et du traitement du langage naturel ?

Quelles sont les méthodes d'évaluation efficaces pour les grands modèles ? Comment mieux l’intégrer dans les scénarios d’application ?

Le 27 juin, de 19h00 à 21h30, [REDtech arrive] Le onzième numéro du « Little Red Book 2024 Large Model Frontier Paper Sharing » sera diffusé en ligne !

REDtech a spécialement invité l'équipe de recherche de la communauté de Xiaohongshu dans la salle de diffusion en direct. Ils partageront 6 documents de recherche modèles à grande échelle publiés par Xiaohongshu en 2024. Feng Shaoxiong, responsable du Xiaohongshu Jingpai LTR, s'est joint à Li Yiwei, Wang Xinglin, Yuan Peiwen, Zhang Chao et d'autres pour discuter de la dernière technologie de décodage et de distillation de grands modèles, des méthodes d'évaluation de grands modèles et de l'utilisation de grands modèles. modèles dans Applications pratiques sur la plateforme Xiaohongshu.

Agenda d'activités

01 Échapper à un coût exorbitant : arrêt précoce de l'auto-cohérence pour un raisonnement en plusieurs étapes / Sélectionné pour l'ICLR 2024

Échapper à un coût exorbitant : arrêt précoce de l'auto-cohérence pour Méthode sexuelle de raisonnement en plusieurs étapes | Partagé par : Li Yiwei

L'auto-cohérence (SC) a toujours été une stratégie de décodage largement utilisée dans le raisonnement en chaîne de pensée. Elle génère plusieurs chaînes de pensée et prend la réponse majoritaire comme réponse finale. performances du modèle. Mais c’est une méthode coûteuse qui nécessite plusieurs échantillons d’une taille prédéfinie. Lors de l'ICLR 2024, Xiaohongshu a proposé un processus d'échantillonnage simple et évolutif : l'auto-cohérence à arrêt précoce (ESC), qui peut réduire considérablement le coût du SC. Sur cette base, l'équipe a ensuite développé un schéma de contrôle ESC pour sélectionner dynamiquement l'équilibre performance-coût pour différentes tâches et modèles. Les résultats expérimentaux sur trois tâches de raisonnement courantes (mathématiques, bon sens et raisonnement symbolique) montrent que l'ESC réduit considérablement le nombre moyen d'échantillons sur six tests tout en conservant presque les performances d'origine.

Adresse papier : https://arxiv.org/abs/2401.10480

02 Intégrer l'essence et éliminer les scories : auto-cohérence à grain fin pour la génération de langages de forme libre / Sélectionné pour l'ACL 2024

Sélectionner les points les plus fins : méthode d'auto-cohérence à grain fin pour les tâches de génération de forme libre｜ Sharer : Wang Xinglin

Xiaohongshu a proposé la méthode d'auto-cohérence à grain fin (FSC) dans ACL 2024, qui peut améliorer considérablement l'auto-cohérence -méthode de cohérence dans Performance sur les tâches de génération de forme libre. L’équipe a d’abord analysé par des expériences que les lacunes des méthodes auto-cohérentes existantes pour les tâches de génération de forme libre proviennent d’une sélection d’échantillons communs à gros grain, qui ne peut pas utiliser efficacement les connaissances communes entre des fragments à grain fin de différents échantillons. Sur cette base, l'équipe a proposé une méthode FSC basée sur l'auto-fusion de grands modèles, et les expériences ont confirmé qu'elle permettait d'obtenir des performances nettement meilleures dans les tâches de génération de code, de génération de résumés et de raisonnement mathématique, tout en maintenant une consommation considérable.

Adresse de l'article : https://github.com/WangXinglin/FSC

03 BatchEval : Towards Human-like Text Evaluation / Sélectionné pour l'ACL 2024, le président de terrain a donné toutes les notes et a recommandé le meilleur article

Mai Vers une évaluation de texte au niveau humain｜ Shareer : Yuan Peiwen

Xiaohongshu a proposé la méthode BatchEval dans ACL 2024, qui peut obtenir des effets d'évaluation de texte de type humain avec une surcharge moindre. L’équipe a d’abord analysé, d’un point de vue théorique, que les lacunes des méthodes d’évaluation de textes existantes en matière de robustesse de l’évaluation proviennent de la répartition inégale des scores d’évaluation, et que les performances sous-optimales en matière d’intégration des scores proviennent du manque de diversité des perspectives d’évaluation. Sur cette base, inspiré par la comparaison entre des échantillons dans le processus d'évaluation humaine pour établir un référentiel d'évaluation plus tridimensionnel et plus complet avec des perspectives diverses, BatchEval a été proposé par analogie. Par rapport à plusieurs méthodes de pointe actuelles, BatchEval atteint des performances nettement supérieures en termes de temps système et d'effet d'évaluation.

Adresse papier : https://arxiv.org/abs/2401.00437

04 Évaluation mal supervisée pour SuperLLM via la cohérence mutuelle / Sélectionné pour l'ACL 2024

Atteindre un niveau surhumain en l'absence de signal de supervision précis par le biais de la mutuelle cohérence Évaluation d'un grand modèle de langage｜ Partager : Yuan Peiwen

小红书在 ACL 2024 中提出了 PEEM 方法，其能够通过模型间的互一致性实现对于超越人类水平的大语言模型的准确评测。团队首先分析了当前大语言模型迅猛发展的趋势会加速其在多个方面逐渐达到甚至超越人类水平，在此情况下，人类将难以再提供准确的评测信号。为实现该场景下的能力评测，团队提出了以模型间的互一致性为评测信号的设想，并推导出了在评测样本无穷时，如果存在参考模型与待评测模型间预测分布独立，则与该参考模型间的一致性可以作为模型能力的准确度量。在此基础上，团队提出了基于 EM 算法的 PEEM 方法，实验证实其能够有效缓解现实中上述条件的不充足，从而实现对超越人类水平的大语言模型的准确评测。

论文地址：https://github.com/ypw0102/PEEM

05 Turning Dust into Gold：Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data / 入选 AAAI 2024 Oral

利用负样本促进大模型推理能力的蒸馏 ｜ 分享人：李易为

大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。在 AAAI 2024 上，小红书搜索算法团队提出了一个创新框架，首次提出并验证了负样本在模型蒸馏过程中的价值，构建一个模型专业化框架，除了使用正样本外，还充分利用负样本来提炼 LLM 的知识。该框架包括三个序列化步骤，包括负向协助训练（NAT）、负向校准增强（NCE）和动态自洽性（ASC），涵盖从训练到推理的全阶段过程。一系列广泛的实验，展示了负向数据在 LLM 知识蒸馏中的关键作用。

论文地址：https://arxiv.org/abs/2312.12832

06 NoteLLM: A Retrievable Large Language Model for Note Recommendation / 入选 WWW 2024

基于大语言模型的笔记内容表征推荐系统 ｜ 分享人：张超

小红书 APP 每天都有大量新笔记产生，如何有效地将这些新内容推荐给感兴趣的用户呢？基于笔记内容的推荐表征是缓解笔记冷启动问题的一种方法，也是众多下游应用的基础。近年来，大语言模型因其强大的泛化性和文本理解能力而备受关注。因此，我们希望利用大语言模型构建笔记内容表征推荐系统，以增强笔记内容的理解。我们从生成增强表征以及多模态内容表征两个角度介绍我们近期的工作。目前该系统已应用于小红书多个业务场景并取得显著收益。

论文地址：https://arxiv.org/abs/2403.01744

直播观看方式

• 直播时间：2024 年 6 月 27 日 19：00-21：30

• 直播平台：微信视频号【小红书技术 REDtech】，B 站、抖音、小红书同名账号实时直播。

欢迎你填写问卷告诉我们，关于大模型你关心的问题，在直播期间与嘉宾深入互动。

扫描?下方二维码进入直播交流群，将第一时间获取直播链接及开播提醒；可一键打包获取精心整理的【论文 PDF 合集】，还有机会与论文作者直接交流！

邀请好友预约直播好礼

小红书社区搜索团队多岗位热招中，团队负责小红书搜索效果的优化和前沿技术的探索，致力于打造中国最大的生活搜索引擎。期待你的加入！

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!