Found a total of 2154 related content
基于重排序的新量化方法RPTQ:实现大型语言模型的 3 比特量化
Article Introduction:大型语言模型(LLMs)在各种任务上表现出色,但由于其庞大的模型规模,部署方面存在挑战。在这篇论文中,来自后摩智能、腾讯 AI Lab、华中科技大学、北京大学、伊利诺伊理工学院的研究人员发现量化大型语言模型的主要挑战来自于通道之间不同的激活范围,而不仅仅是离群值问题。作者提出了一种新颖的基于重排序的量化方法 RPTQ,解决了量化大型语言模型激活的问题。RPTQ 通过重新排列激活中的通道,然后将它们分簇进行量化,从而降低通道范围差异的影响。
2023-04-10
comment 0
1343
字节开源大模型量化新思路,2-bit量化模型精度齐平fp16
Article Introduction:过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com随着深度学习大语言模型的越来越火爆,大语言模型越做越大,使得其推理成本也水涨船高。模型量化,成为一个热门的研究课题。最近,字节跳动推出了一个全新的量化思路,抛弃传统的量化范式,从数学优化
2024-05-13
comment
892
计算机朝着大型化和什么化发展
Article Introduction:计算机朝着大型化和多元化两个方向发展。计算工具的演化经历了由简单到复杂、从低级到高级的不同阶;向"深"度方向发展,即向信息的智能化发展;是向“广”度方向发展,计算机发展的趋势就是无处不在,以至于像“没有计算机一样”。
2019-12-25
comment 0
5912
计算机朝着大型化和什么两个方面发展
Article Introduction:计算机朝着大型化和微型化两个方面发展。巨型化是指计算机具有极高的运算速度、大容量的存布空间、更加强大和完善的功能,主要用于航空航天、军事、气象、人工智能、生物工程等学科领域。微型化:大规模及超大规模集成电路发展的必然;计算机芯片集成度越来越高,所完成的功能越来越强,使计算机微型化的进程和普及率越来越快。
2020-12-03
comment 0
10320
使用PhpFastCache优化大型数据库查询
Article Introduction:使用PhpFastCache优化大型数据库查询摘要:在处理大规模数据库查询时,为了提高查询速度和效率,我们可以使用PhpFastCache作为缓存工具。本文将介绍如何使用PhpFastCache来优化大型数据库查询,并且提供一些代码示例。引言:在处理大规模数据库查询时,查询速度和效率是至关重要的。
2023-07-07
comment 0
794
Vue大型项目中实现模块化开发指南
Article Introduction:在现代化的Web开发中,Vue作为一款灵活、易上手且功能强大的前端框架,被广泛应用于各种网站和应用程序的开发中。在开发大型项目时,如何简化代码的复杂度,使项目更易于维护,是每个开发者必须面对的问题。而模块化开发,可以帮助我们更好地组织代码,提高开发效率和代码可读性。下面,我将分享一些在Vue大型项目中实现模块化开发的经验和指南:1.分工明确在一个大型项目中
2023-06-09
comment 0
1351
golang转化int类型
Article Introduction:Golang是一种开源的编程语言,作为一门静态类型的语言,其中有些数据类型的转换需要注意。其中一个常见的转化就是将int类型转化为其他类型。本文将介绍如何在Golang中进行int类型的转化。在Golang中,int类型的位数和具体实现会根据不同的操作系统而有所不同。在大多数系统中,int类型的大小为32位或64位,取决于操作系统的架构。无论是32位还是64位的int类型,它们
2023-05-14
comment 0
654
联发科宣布与 OPPO 合作共建轻量化大模型,强化生成式 AI 应用
Article Introduction:IT之家10月11日消息,联发科今日宣布携手OPPO和ColorOS,合作共建轻量化大模型端侧部署方案,共同推动大模型能力在端侧逐步落地。▲图源联发科官博据介绍,联发科AI处理器APU与AI开发平台NeuroPilot,构建了完整的终端侧AI与生成式AI计算生态,可加速边缘AI计算的应用开发与落地,强化大语言模型和生成式AI应用的性能。联发科表示,OPPO的大型模型AndesGPT通过采用4位量化技术,在不降低精度的情况下,逐步将大型模型应用于终端设备,并实现更优异的性能根据IT之家之前的报道,
2023-10-11
comment 0
455
ChatGPT:强大模型、注意力机制和强化学习的融合
Article Introduction:本文主要介绍为ChatGPT提供动力的机器学习模型,将从大型语言模型的介绍开始,深入探讨使GPT-3得到训练的革命性的自注意机制,然后深入到从人类反馈强化学习,这是使ChatGPT出类拔萃的新技术。大型语言模型ChatGPT是一类机器学习自然语言处理进行推断的模型,称为大型语言模型(LLM)。LLM消化了大量的文本数据,并推断出文本中单词之间的关系。在过去的几年里,随着计算能力的进步,这些模型也在不断发展。随着输入数据集和参数空间大小的增加,LLM的能力也在增加。语言模型的最基本的训练涉及到预测
2023-05-08
comment 0
873
模板化编程在大型软件项目中的作用?
Article Introduction:现代大型软件开发中,模板化编程可显著提高代码质量。它允许定义可重用代码,其行为取决于传递的参数,创建可适用于不同类型数据的单个容器实现。模板化编程的优点包括代码重用、类型安全性、可扩展性和效率,但需要注意编译时间开销、可读性挑战和维护复杂性等注意事项。
2024-05-09
comment 0
270
大型C++项目中算法效率的优化实践
Article Introduction:优化大型C++项目的算法效率的实践包括:选择合适的算法。使用数据结构(如向量、哈希表、队列)。避免不必要的复制。优化循环(使用范围循环、优化器标志、并行技术)。实战案例:将图像分类项目的训练循环并行化为OpenMP并行循环,减少了40%的执行时间。
2024-06-06
comment 0
582
让大模型“瘦身”90%!清华&哈工大提出极限压缩方案:1bit量化,能力同时保留83%
Article Introduction:对大模型进行量化、剪枝等压缩操作,是部署时最常见不过的一环了。不过,这个极限究竟有多大?清华大学和哈工大的一项联合研究给出的答案是:90%。他们提出了大模型1bit极限压缩框架OneBit,首次实现大模型权重压缩超越90%并保留大部分(83%)能力。可以说,玩儿的就是“既要也要”~一起来看看。大模型1bit量化方法来了从剪枝、量化,到知识蒸馏、权重低秩分解,大模型已经可以实现压缩四分之一权重而几乎无损。权重量化通常是将大型模型的参数转换为低位宽的表示形式。这可以通过对经过充分训练的模型进行转换(
2024-03-11
comment 0
736
AI大模型,将为智慧城市带来哪些新变化?
Article Introduction:近日,在第十六届(2023)中国国际社会公共安全产品博览会上,商汤科技分享了AI大模型在智慧城市中的应用——不仅为高效解决交通、公共安全等多元化城市管理难题带来全新路径,还将有效降低应用门槛,为智慧城市发展构建新一代商汤展区摆脱低效大模型赋能城市管理新范式随着AI技术不断深入城市的“神经末梢”,场景需求指数级攀升,场景分布愈发碎片化,算法模型的开发面临巨大挑战。此外,管理软件复杂的交互逻辑也需要依赖具有专业技能的混合型人才,使用门槛困境也愈发突显。本次安博会上,面对城市数字化升级需
2023-06-12
comment 0
386
量化、剪枝、蒸馏,这些大模型黑话到底说了些啥?
Article Introduction:量化、剪枝、蒸馏,如果你经常关注大语言模型,一定会看到这几个词,单看这几个字,单看这几个字,我们很难理解它们都干了什么,但是这几个词对于现阶段的大语言模型发展特别重要。这篇文章就带大家来认识认识它们,理解其中的原理。模型压缩量化、剪枝、蒸馏,其实是通用的神经网络模型压缩技术,不是大语言模型专有的。模型压缩的意义压缩后,模型文件会变小,其使用的硬盘空间也会变小,加载到内存或者显示时使用的缓存空间也会变小,并且模型的运行速度还可能会有一些提高。通过压缩,使用模型将消耗更少的计算资源,这可以极大的扩展
2024-04-26
comment 0
356
百度发布国内首个“产业级”医疗大模型“灵医大模型”:百度推出中国首个“产业级”医疗大模型“灵医大模型”
Article Introduction:9月19日消息,百度今日发布国内首个“产业级”医疗大模型——灵医大模型,并面向大健康上下游产业开放灵医大模型测评、试用,推动医疗行业的数字化和智能化进程。在具体使用场景上,灵医大模型能够结合自由文本秒级生成结构化病历,根据医患对话精准分析生成主诉、现病史等内容。此外,灵医大模型是支持多篇中英文文献同时解析的大模型,基于文献解析内容实现智能问答。在辅助诊疗方面,灵医大模型可实现通过多轮对话了解病人病情,实时辅助医生确诊疾病,推荐治疗方案,提升就诊全流程的效率和体验,并成为患者的24小时“健康管家”
2023-09-20
comment 0
1042
C++ 框架如何简化大型项目的部署和维护
Article Introduction:通过提供代码组织、自动依赖项管理和自动化任务,C++框架简化了大型项目的部署和维护,帮助开发人员轻松创建并维持复杂且可维护的应用程序。
2024-07-02
comment
505
如何优化 C++ 框架在大型项目中的性能
Article Introduction:在大型C++项目中优化框架性能的关键建议包括:避免虚函数调用,改用重载或内联函数。使用内存池优化内存分配,避免频繁的内存分配和释放。利用多线程并行化计算,提升性能。通过实施这些建议,可以显著优化C++框架的性能,提升图像处理アプリケーション的处理速度和减少内存使用量。
2024-06-15
comment
790
“触心”文生图大模型,定制化将会是AI的未来
Article Introduction:触心大模型是由触站AI自主研发的一款国内文生图大模型,预计将于2023年1月发布。作为国内较早发布的文生图模型之一,它具备高质量的生成能力、快速的处理速度以及个性化定制等特点什么是触心大模型触心大模型是一款基于深度学习的文生图生成模型,能够根据用户输入的描述,生成符合用户需求的图像。触心大模型的训练数据集包含了大量的中文描述,因此能够很好地满足国内用户的需求。触心大模型的特点*生成质量高:触心大模型采用了最新的深度学习技术,能够生成高质量的图像,满足用户对图像质量的要求。
2023-11-13
comment 0
854
生成式AI大模型将重塑网络文化并带来三大变革——百度梁志祥的观点
Article Introduction:2023年9月15日,在北京举行的文化论坛上,百度集团资深副总裁梁志祥发表了题为《生成式人工智能大模型重塑网络文化新发展》的演讲。生成式人工智能技术的迅猛发展正在全球范围内引发科技创新的革命,大模型正在重塑各行各业。梁志祥指出,生成式人工智能和大模型技术将对文化产业格局进行重塑,从根本上改变文化生产、消费和传承的方式今年3月,百度在全球大厂中第一个推出了预训练生成式大语言模型——文心一言,并在8月31日正式向全社会开放,成为国内首批获批上线的大模型产品。
2023-09-22
comment 0
765
可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了
Article Introduction:大模型的发展可谓一日千里,指令微调方法犹如雨后春笋般涌现,大量所谓的ChatGPT“平替”大模型相继发布。在大模型的训练与应用开发中,开源、闭源以及自研等各类大模型真实能力的评测已经成为提高研发效率与质量的重要环节。具体来说,在大模型的训练和应用中,大家可能遇到过以下问题:1、在大模型微调或者增强预训练中使用了不同的基座和参数,根据观察到的样例效果,模型的表现在不同场景下各有优劣,如何确定在实际应用中使用哪个模型?2、使用ChatGPT对模型输出进行评估,但是ChatGPT对相同输入在不同时间得
2023-05-25
comment 0
1222