腾讯混元大模型正式亮相,我们抢先试了试它的生产力

王林
王林 转载
2023-09-08 19:57:12 328浏览

国内首批大型模型备案上周获批,开始向全社会开放服务,标志着大型模型进入了规模应用的新阶段。在之前发布应用的公司中,一些科技巨头似乎还没有行动

在2023年9月7日,腾讯在腾讯全球数字生态大会上正式公开了混元大模型,并向外界开放了腾讯云

作为一个超千亿参数的大模型,混元使用的预训练语料超过两万亿 token,凭借多项独有的技术能力获得了强大的中文创作能力、复杂语境下的逻辑推理能力,以及可靠的任务执行能力。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

腾讯集团副总裁蒋杰表示:「腾讯混元大模型是从第一个 token 开始从零训练的,我们掌握了从模型算法到机器学习框架,再到 AI 基础设施的全链路自研技术。」

打开大模型,全部都是生产力

腾讯一直表示在大模型的相关方向上早已有所布局,专项研究一直有序推进。

这个大模型的级别不是「新技术」是什么?在大会上,蒋杰透露了一些基本信息,通过直接询问混元大模型。它的参数量达到了千亿级,训练所使用的数据截止到今年7月份。此外,腾讯还表示大模型的知识将每月更新一次

在现场展示的内容包括腾讯混元大模型小程序、腾讯文档中的AI助手以及腾讯会议AI助手的功能

本站第一时间获得测试资格尝试了一番,首先是微信小程序。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

当我们进入小程序时,我们惊喜地发现其中的内容不亚于其他大型应用程序。在这里,我们可以发现一些灵感,看看混元能够提供哪些功能

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

从生产力、生活、娱乐到编程开发,它开放的能力可谓非常全面了,符合一个千亿级大模型的身份。那么混元真的能有效地完成这些任务吗?

我需要准备一份PPT,我已经确定了主题,但不知道从哪里开始写。我向混元大模型提问,只用了几秒钟,AI就给出了一个包含七个部分的大纲,每个部分还包含了细分的要点

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

输入一篇 arXiv 上 9 月份谷歌提交的论文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》摘要和介绍部分,长长的好几段,很多大模型根本不支持这么多输入内容,混元大模型直接进行了总结顺便翻译成中文。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

大概意思是,人工智能可以替代人类在大规模模型训练中的强化学习反馈(RLHF)的作用

一个到了实用阶段的大模型,是可以帮我们写代码的。现在我们给 AI 一段代码,让它解释一下其中看不懂也没有注释清楚的内容:

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

它详细解释了平方根倒数算法里面数字的意义(不过对注释理解得不太透彻)。或许过不了多久,我们做开发的时候就离不开大模型了。

然后是腾讯文档。很多人已经把 GPT-4 等大模型工具用在了自己的工作流程中,混元大模型在腾讯文档推出的智能助手功能中已有应用。在 PC 端新建智能文档,输入 “/”,就能根据需求实现内容生成、翻译、润色等操作。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

随后输入自然语言指令,大模型的生成能力就可以帮你在腾讯文档中进行长文本总结归纳:

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

写论文时,它似乎是非常有用的

当然,如果你给出了一个主题,它能进行文本创作,你再选定生成内容的一部分,AI 也可以多次细化编辑。写完了还能一键翻译:

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

此外,表格的数据计算和图表生成也都是一句话的事。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

目前这些功能正在内测阶段,将在成熟后面向用户开放。

在腾讯会议中,混元大模型的应用可以帮助你在会议期间不再走神。例如,你可以随时向AI助手询问刚才发言的内容,或者询问那两个人之间的争论是关于什么。AI可以将内容悄悄总结成简短的几句话,并清晰地列出一二三条

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

当然,开完会后,混元大模型也可以更快速、更全面地总结会议内容,并标注好待办事项

已经覆盖了腾讯超过50个业务

蒋杰总结了混元大模型的三大特点:具备强大的中文创作能力、复杂语境下的逻辑推理能力以及可靠的任务执行能力。

目前不少业内大模型在场景中的应用依然有限,主要问题集中在容错率高,只适用于任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

腾讯集团副总裁蒋杰在活动中露面

针对大模型容易「胡言乱语」的问题,腾讯优化了预训练算法及策略,通过自研的「探真」技术,让混元大模型的「幻觉」相比主流开源大模型降低了 30-50%。

「业界的做法是提供搜索增强,知识图谱等『外挂』来提升大模型开卷考试的能力。这种方式增加了模型的知识,但在实际应用中存在很多局限性,」蒋杰表示。「混元大模型在开发初期就考虑完全不依赖外界数据的方式,进行了大量研究尝试,我们找到的预训练方法,很大程度上解决了幻觉的问题。」

腾讯还利用强化学习的方法,让模型学会识别陷阱问题,并通过位置编码的优化,提高了模型处理超长文本的效果和性能。在逻辑方面,腾讯提出了思维链的新策略,使得大型模型能够像人一样结合实际应用场景进行推理和决策

腾讯混元大模型能够理解上下文的含义,具有长文记忆能力,可以流畅地进行专业领域的多轮对话。除此之外,它还能进行文学创作、文本摘要、角色扮演等内容创作,做到充分理解用户意图,并高效、准确的给出有时效性的答复。这样的技术落地之后,才能真正提升生产力。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

需要重新写的内容是:写一篇4000字的文章,GPT-4无法满足要求,但是混元大模型可以做到

在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中,混元大模型共测评 66 个能力项,在「模型开发」和「模型能力」两个领域的综合评价获得了当前最高分。在主流的评测集 MMLU、CEval 和 AGI-eval 上,混元大模型均有优异的表现,特别是在中文的理科、高考题和数学等子项上表现突出。

构建大模型的意义在于行业应用。据了解,腾讯内部已有超过50个业务和产品接入并测试了腾讯混元大模型,包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等,并取得了初步效果。腾讯的程序员们已经开始使用大模型工具提高开发效率了

此外,腾讯还通过自研机器学习框架 Angel,使模型的训练速度相比业界主流框架提升 1 倍,推理速度比业界主流框架提升 1.3 倍。

用于构建大模型的基础设施也没有拉下。此前腾讯曾表示已于今年年初构建了大规模算力中心,近期 MiniMax 和百川智能旗下的大模型都使用了腾讯的算力。

腾讯也在努力将行业数据与自身能力相结合,利用外部客户的行业化数据来解决特定行业的问题,并与实体行业结合,不断推动大型模型的社会、经济利益和商业价值

「根据公开数据显示,国内已有 130 个大模型发布。其中既有通用模型也有专业领域模型。混元作为通用模型能够支持腾讯内部的大部分业务,今天我展示的几个深度接入的业务都有很大的用户量。大模型已在我们的核心领域获得了深度应用,」蒋杰说道。「我大模型首先是服务企业本身,其次是通过腾讯云对外开放。」

在开放给客户使用时,混元大模型将作为腾讯云模型即服务 MaaS 的底座。客户既可以直接调用混元 API,也能将混元作为基座模型,为不同的产业场景构建专属应用。

可见,腾讯在大模型领域的策略讲究的是一个稳字:专注打好基础,不急于拿出半成品展示。而这一出手,就展现出了过硬的实力。

腾讯混元大模型正式亮相,我们抢先试了试它的生产力

大模型的发展仍在持续进行,正如蒋杰所说:“毫不夸张地说,腾讯已经全面拥抱大模型。我们的能力一直在不断演进,相信AIGC的潜力是无限的,我们已经踏上了这条道路。”

以上就是腾讯混元大模型正式亮相,我们抢先试了试它的生产力的详细内容,更多请关注php中文网其它相关文章!

声明:本文转载于:机器之心,如有侵犯,请联系admin@php.cn删除