11월 4일, Open Atom 오픈소스 재단의 제2회 OpenHarmony 기술 컨퍼런스가 베이징에서 성공적으로 개최되었습니다. 오후에 열린 OS 네이티브 인텔리전스 서브 포럼에는 Huawei Shengsi MindSpore의 수석 설계자인 Jin Xuefeng이 프로듀서로, Huawei의 AI 대형 모델 애플리케이션 개발 플랫폼 설계자인 Wang Lei가 사회자로 참여했습니다. Huawei, Chinasoft International Co., Ltd., Shenzhen Ruoxin Technology Co., Ltd. 등 기업계의 기술 리더들과 Tsinghua University, Shanghai Jiao Tong University 등의 학계 전문가 및 학자들이 각자의 분야에서 AI를 결합한 방법을 공유했습니다. OpenHarmony 생태계 내 대형 모델 관련 기술을 활용하여 기술적 문제를 혁신하고 돌파하며, AI의 미래에 대해 공동 논의했습니다. 대형 모델과 단말 운영체제를 결합하는 기술 발전 추세는 번영하는 OpenHarmony 생태계의 공동 구축에 기여합니다.
Jin Xuefeng은 Huawei MindSpore의 수석 설계자입니다
사회자: Huawei AI 대형 모델 애플리케이션 개발 플랫폼 설계자 Wang Lei
먼저 칭화대학교 보조연구원 Li Yuanchun이 "대형 모델 기반 단말 지능형 에이전트"라는 주제로 보고를 하고, 대형 모델 기반 지능형 개인 에이전트 시스템의 설계 및 구현을 소개하고, 사용 방법을 공유했습니다. mobile 애플리케이션의 자동 분석 및 대형 모델 지식의 임베딩을 통해 애플리케이션 내 도메인 지식과 대형 모델의 상식 지식을 유기적으로 결합하여 보다 정확하고 효율적인 작업 자동화를 실현합니다. Li Yuanchun은 지능형 개인 에이전트는 항상 단말 시스템 연구자와 개발자가 주목하는 핵심 기술 중 하나였지만 사용자 의도 이해, 작업 계획, 도구 사용 등의 기능이 부족하여 현재의 지능 및 확장성이 부족하다고 지적했습니다. 지능형 개인 에이전트에는 여전히 큰 결함이 있습니다. Li Yuanchun은 "대형 언어 모델로 대표되는 대형 모델의 출현은 해당 분야의 발전에 새로운 기회를 가져왔습니다. 강력한 기능을 통해 해당 분야의 발전을 크게 향상시킬 것으로 기대됩니다." 의미론적 이해와 상식 추론 기능을 통해 지능형 개인 에이전트 지원의 폭과 깊이를 향상시킵니다.”
칭화대학교 보조연구원 Li Yuanchun이 주제를 공유합니다
Zhang Zhaosheng은 ChinaSoft International Co., Ltd.의 지능형 IoT Legion 제품 R&D 관리 부서의 총책임자이자 OpenHarmony 프로젝트 그룹의 기술 운영 위원회 회원이기도 합니다. 그는 대형 모델 및 장치-에지 협업 분야에 대한 심오한 통찰력을 바탕으로 "OpenHarmony의 장치-에지-클라우드 애플리케이션의 시각적 대형 모델"이라는 제목의 보고서를 작성했습니다. 그는 인텔리전스 시대에 대형 모델과 기반 컴퓨팅 파워 기술의 지속적인 개선으로 엣지와 터미널 측에 대형 모델을 배치하는 것이 불가피한 추세가 되었다고 지적했습니다. 그는 디지털 기반으로서 OpenHarmony의 가치와 의의를 높이 평가하면서 "만물 인터넷 시대의 기술 기반으로서 OpenHarmony는 다양한 컴퓨팅 성능 시나리오에서 널리 사용될 수 있으며 다중 연결, 높은 현실성 등의 비즈니스 요구 사항을 충족할 수 있습니다. - 시간과 대규모 이기종 데이터를 활용하여 하드웨어 컴퓨팅 성능을 하향으로 활용하고 대규모 애플리케이션을 상향으로 활성화할 때입니다. “Zhang Zhaosheng의 관점에서는 OpenHarmony를 기반으로 엣지 엔드 대형 모델 기능을 통합하고 엔드 엣지 협업 비즈니스 시나리오를 구축하면 더욱 경쟁력 있는 혁신을 제공할 수 있습니다. 생태계 확장을 가속화하는 솔루션
ChinaSoft International Co., Ltd.의 지능형 IoT Legion 제품 R&D 관리 부서 총책임자이자 OpenHarmony 프로젝트 그룹의 기술 운영 위원회 회원인 Zhang Zhaosheng이 주제를 공유했습니다
Huawei Xiaoyi 건축가 Zhou Jianhui는 단말기 제품에 대한 Huawei Xiaoyi의 지능형 서비스 기술 사고를 기반으로 "의도 프레임워크를 기반으로 한 단말기 측 네이티브 지능형 대형 모델의 생태학적 구축 탐색"에 대한 주제 보고서를 발표했습니다. 본 보고서에서는 의도 프레임워크가 다차원적인 시스템 인식, 대형 모델 및 기타 기능을 통해 글로벌 의도 패러다임을 구축하여 사용자의 명시적이고 잠재적인 의도를 이해하고 적시에 정확하게 식별하는 시스템 수준 의도 표준 시스템이라고 언급했습니다. 사용자 요구 사항을 생태학적 파트너에게 전달하고 시기적절한 서비스를 제공하며 사용자에게 다중 모드 및 개인화된 고급 장면 경험을 제공합니다.
Huawei Xiaoyi 건축가 Zhou Jianhui의 테마 공유
Shanghai Jiao Tong University 컴퓨터 과학 및 공학과 부교수 Zheng Wenli는 기계 학습 방법에 중점을 두고 "기기-에지-클라우드 협업 추론에서 심층 신경망의 동적 분할"에 대한 보고서를 발표했습니다. 디바이스-에지 클라우드 환경에서 네트워크 로드와 서버 로드의 동적인 변화를 맞추기 위해 Zheng Wenli 교수는 머신러닝 기반의 DNN 분할 최적화 알고리즘을 제안하고 이를 Shengsi MindSpore에 구현하여 다양한 실행이 가능하도록 했습니다. 일반적인 CNN, RNN은 가장 낮은 추론 지연 시간을 유지하기 위해 엔드, 에지/클라우드 측면에서 배포를 자동으로 조정합니다. 동시에 그는 "리소스 제한은 엣지 컴퓨팅이 직면한 주요 과제입니다. 리소스 제한을 극복하려는 노력을 통해서만 엣지 이점을 극대화하고 지능을 모든 사람의 삶에 실제로 도입할 수 있습니다"라고 지적했습니다.
화웨이 노아의 방주 연구소 연구원인 Hou Lu는 현장에서 '압축 가속 및 대규모 언어 모델의 효율적인 배포'라는 제목의 보고서를 공유했습니다. 이 보고서는 아키텍처 설계, 비용, 처리량, 대기 시간, 긴 시퀀스 등과 같은 측면에서 추론 단계에서 대규모 언어 모델이 직면한 메모리, 메모리 액세스 및 컴퓨팅 문제를 소개하고 모델 및 KVcache 양자화 압축 및 융합에 대해 논의합니다. 대규모 연산자와 대규모 언어 모델의 효율적인 추론에서 추측적 추론이 가져오는 이점
Shenzhen Ruoxin Technology Co., Ltd.의 CTO Zhou Peng은 "유비쿼터스 지능: 장치에 대한 대규모 뇌 영감 모델의 응용 및 솔루션"에 대한 연설을 하고 참가자들에게 대규모 언어 모델의 컴퓨팅 성능을 소개했습니다. 오버헤드 문제 및 인간 두뇌와 유사한 정보 처리 방식을 사용하여 Transformer 아키텍처를 개선하는 방법. 3세대 신경망 SNN을 사용하여 신경망을 구축함으로써 네트워크의 데이터를 펄스 시퀀스를 사용하여 저장하고 전송하므로 네트워크의 지능에 영향을 주지 않고 추론 오버헤드가 크게 줄어듭니다. Zhou Peng은 "이 기술을 사용하여 훈련된 대형 모델은 동일한 매개변수 수준에서 최적의 에너지 소비, 지연 및 컴퓨팅 전력 요구 사항을 달성할 뿐만 아니라 소비자 등급 장치에서 로컬로 배포 및 실행될 수 있는 능력도 성공적으로 갖추고 있습니다. "
Huawei Shengsi MindSpore의 설계자인 Li Zheng은 MindSpore 프레임워크에 대한 기술적 탐색과 실제 경험을 바탕으로 "MindSpore 클라이언트측 대형 모델 배포가 OS 인텔리전스에 도움이 됩니다"라는 보고서를 공유했습니다. 그는 대규모 AI 모델의 배포 및 적용 문제를 해결하는 방법을 설명했습니다. Li Zheng은 "제너레이티브 AI 대형 모델은 사람들의 일과 생활을 조용히 변화시키고 있습니다. AI 대형 모델과 스마트 단말기의 결합은 필연적으로 새로운 경험으로 이어질 것입니다. 그러나 단말기 컴퓨팅 성능과 스토리지의 제약으로 인해 AI는 대형 모델 측면 배포는 많은 과제에 직면해 있습니다." 보고서에서 그는 대형 모델 측면 배포 및 추론 가속화에 대한 MindSpore의 탐색 및 관련 기술 아이디어를 소개했습니다. 클라우드 에지와 전체 시나리오 교육 및 홍보를 통합하는 오픈 소스 AI 프레임워크인 MindSpore는 HarmonyOSAI 지능형 비즈니스 시나리오의 성능 최적화에 깊이 관여하고 있습니다. Huawei 휴대폰, 태블릿, 시계, 노트북, 스마트 스크린, 스마트 자동차 및 기타 단말기 제품에 널리 사용되었습니다
OS 네이티브 인텔리전스 하위 포럼의 마지막 세션에서는 포럼 주최자인 Huawei AI 대형 모델 애플리케이션 개발 플랫폼 설계자 Wang Lei, Huawei Shengsi MindSpore 수석 설계자 Jin Xuefeng, 프로듀서 및 연사들이 OS 네이티브 인텔리전스 하위 포럼에 대해 연설했습니다. "기기 측 대형 모델 및 애플리케이션"이라는 주제로 "기술 개척 과제 및 솔루션 아이디어" 원탁 토론에서는 AI 애플리케이션 아키텍처 및 프레임워크, 모델 훈련 프레임워크, 모델 아키텍처 및 OS 네이티브 알고리즘의 기술 개념과 아이디어에 대해 심도 있게 논의했습니다. 지능.
지금까지 제2회 OpenHarmony 기술 컨퍼런스의 OS 네이티브 인텔리전스 하위 포럼이 성공적으로 마무리되었습니다. 기술 전문가와 업계 리더들의 공유는 네이티브 인텔리전스 분야에서 OpenHarmony의 기술적 잠재력과 적용 사례를 보여주었습니다. 또한 AI 대형 모델과 운영 터미널의 심층 통합이 대형 모델 기능의 확장을 가져올 것이라고 예측했습니다. 단말기 장비 개발 스마트한 “win-win” 전망. 네이티브 인텔리전스 분야의 점점 더 많은 기술 전문가와 업계 엘리트가 OpenHarmony 커뮤니티에 참여함에 따라 OpenHarmony 생태계는 확실히 번성할 것입니다. OpenHarmony 기술과 생태계의 공동 구축에 더 많은 파트너가 참여하고 "기술로 생태계를 구축하고 지능으로 미래를 승리"하기 위해 함께 협력하기를 기대합니다.
위 내용은 단말 운영체제 분야 AI 대형 모델 혁신 동향 탐구, OpenHarmony 기술 컨퍼런스 OS 네이티브 인텔리전스 서브 포럼 개최의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
