마법처럼 수정된 RNN이 Transformer에 도전하고 RWKV가 새로워졌습니다: 두 가지 새로운 아키텍처 모델 출시
기사 소개:Transformer의 일반적인 경로를 택하는 대신 RNN의 새로운 국내 아키텍처 RWKV가 수정되어 새로운 진전을 이루었습니다. 두 가지 새로운 RWKV 아키텍처, 즉 Eagle(RWKV-5)과 Finch(RWKV-6)가 제안되었습니다. 이 두 시퀀스 모델은 RWKV-4 아키텍처를 기반으로 하며 개선되었습니다. 새로운 아키텍처의 디자인 발전에는 다중 헤드 매트릭스 값 상태 및 동적 반복 메커니즘이 포함됩니다. 이러한 개선 사항은 RNN의 추론 효율성 특성을 유지하면서 RWKV 모델의 표현 기능을 향상시킵니다. 동시에 새로운 아키텍처는 다음을 포함하는 새로운 다국어 코퍼스를 도입합니다.
2024-04-15
논평 0
856