7262편의 논문이 제출되어 ICLR 2024가 히트를 쳤고, 국내 논문 2편이 우수논문 후보로 지명됐다.-일체 포함-php.cn

올해는 총 5개의 우수논문상과 11개의 우수가작이 선정되었습니다.

ICLR은 International Conference on Learning Representation의 약자로 올해로 12회째를 맞이하는 컨퍼런스로 오스트리아 비엔나에서 5월 7일부터 11일까지 개최됩니다.

머신러닝 커뮤니티에서 ICLR은 딥러닝 분야의 거물이자 Turing Award 수상자인 Yoshua Bengio와 Yann LeCun이 주최하는 비교적 "젊은" 최고 학술 컨퍼런스입니다. 2013년에 막 첫 번째 세션이 열렸습니다. 그러나 ICLR은 학계 연구자들로부터 빠르게 폭넓은 인정을 받았으며 딥러닝 분야 최고의 학술 컨퍼런스로 간주됩니다.

이번 컨퍼런스에는 총 7262편의 논문이 접수되었고, 2260편의 논문이 접수되었으며 전체 합격률은 약 31%로, 작년(31.8%)과 동일했습니다. 또한 Spotlights 논문의 비율은 5%, Oral 논문의 비율은 1.2%입니다.

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名

전년도에 비해 참가자 수나 논문 투고 수에서 ICLR의 인기가 크게 높아졌다고 할 수 있습니다. R 이전 ICLR 논문 자료에 대하여

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名

최근 발표된 수상논문에서 학회에서는 우수논문상 5개와 명예노미상 11개를 선정하였습니다.

^{5개 우수 논문상}

우수 논문 수상자

논문: 확산 모델의 일반화는 기하학 적응 조화 표현에서 발생합니다.

논문 주소: https://openreview.net / pdf?id=ANvmVS2Yr0

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名

기관: New York University, Collège de France

저자: Zahra Kadkhodaie, Florentin Guth, Eero P. Simoncelli, Stéphane Mallat
이 문서에서는 이미지 확산 모델을 일반화하고 중요 기억에 대한 심층 분석. 저자는 이미지 생성 모델이 메모리 입력에서 일반화 모드로 전환될 때 실증적으로 연구하고 이를 기하학적 적응 조화 표현을 통한 조화 분석 아이디어와 연결하고, 이 현상을 건축적 귀납 편향의 관점에서 더 설명합니다. 이 논문은 시각의 생성 모델에 대한 우리의 이해에서 누락된 핵심 부분을 다루며 향후 연구에 큰 영향을 미칩니다.
논문: 학습 대화형 실제 세계 시뮬레이터

논문 주소: https://openreview.net/forum?id=sFyTZEqmUY

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名

기관: UC Berkeley, Google DeepMind, MIT, Al University of Berta

저자: Sherry Yang, Yilun Du, Kamyar Ghasemipour, Jonathan Tompson, Leslie Kaelbling, Dale Schuurmans, Pieter Abbeel
로봇의 기본 모델을 교육하기 위해 여러 소스에서 데이터를 집계하는 것은 장기적인 작업입니다. 목표. 서로 다른 로봇은 서로 다른 감각운동 인터페이스를 가지고 있기 때문에 이는 대규모 데이터 세트에 대한 훈련에 상당한 어려움을 안겨줍니다.
UniSim
은 시각적 인식 및 제어에 대한 텍스트 설명을 기반으로 하는 통합 인터페이스를 활용하여 데이터를 집계하고 비전 및 언어의 최신 발전을 활용하는 이러한 방향의 중요한 단계이자 엔지니어링 업적입니다. .

요약하자면, 이 기사에서는 생성 모델을 통해 실제 상호 작용을 학습하기 위한 범용 시뮬레이터인 UniSim을 살펴보고 범용 시뮬레이터를 구축하기 위한 첫 단계를 밟습니다. 예를 들어 UniSim은 "서랍 열기"와 같은 상위 수준 지침과 하위 수준 지침의 시각적 결과를 시뮬레이션하여 인간과 에이전트가 세계와 상호 작용하는 방식을 시뮬레이션할 수 있습니다.

이 문서는 대량의 데이터(인터넷 텍스트-이미지 쌍, 탐색, 인간 활동, 로봇 동작 등의 풍부한 데이터, 시뮬레이션 및 렌더링 데이터 포함)를 조건부 비디오 생성 프레임워크에 결합합니다. 그런 다음 이 문서는 다양한 축을 따라 풍부한 데이터를 신중하게 조정함으로써 UniSim이 다양한 데이터 축의 경험을 성공적으로 병합하고 데이터를 넘어 일반화하여 정적 장면과 개체의 세밀한 모션 제어를 통해 풍부한 상호 작용을 가능하게 할 수 있음을 보여줍니다.

아래 그림 3에서 볼 수 있듯이 UniSim은 주방 장면에서 손 씻기, 그릇 가져오기, 당근 자르기, 손 말리기 등 다양한 동작을 시뮬레이션할 수 있습니다. 그림 3은 두 가지 탐색 장면을 보여줍니다. ㅋㅋㅋ > 그림 3의 오른쪽 하단에 있는 탐색 장면

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名

논제: 처음부터 훈련하지 마세요: 긴 시퀀스 모델의 공정한 비교에는 데이터 기반 사전 변수가 필요합니다

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名

종이 주소: https://openreview.net/forum?id=PdaPky8MUn

기관: Tel Aviv University, IBM

작성자: Ido Amos, Jonathan Berant, Ankit Gupta

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名 이 문서에서는 장기 시퀀스 종속성을 모델링하기 위해 최근 제안된 상태 공간 모델 및 변환기 아키텍처.

논문: 개별 걷기-점프 샘플링을 통한 단백질 발견
논문 주소: https://openreview.net/forum?id=zMPHKOmQNb

기관: Genentech, New York University

저자: Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, 조경현, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名 이 논문은 단백질 서열 생성 모델의 시의적절하고 중요한 적용인 서열 기반 항체 설계의 문제를 다루고 있습니다.

논문: Vision Transformers Need Registers
논문 주소: https://openreview.net/forum?id=2dnO3LLiJ1

기관: Meta et al

저자: Timoth 에 다르세 t. Maxime Oquab, Julien Mairal, Piotr Bojanowski

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名 이 문서는 낮은 정보 배경 영역에서 높은 표준 토큰을 특징으로 하는 비전 변환기 네트워크의 기능 맵에서 아티팩트를 식별합니다.

이 논문은 훌륭하게 작성되었으며 연구 수행의 좋은 예를 제공합니다. "문제를 식별하고, 문제가 발생하는 이유를 이해한 다음 해결책을 제안합니다."
11개의 우수 가작
논문: 대규모 언어 모델에서 다루기 힘든 추론을 상각

기관: 몬트리올 대학교, 옥스퍼드 대학교

저자: Edward J Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio , Nikolay Malkin

논문 주소: https://openreview.net/forum?id=Ouj6p4ca60

이 논문은 베이지안 추론의 관점에서 대규모 언어 모델의 자동 회귀 디코딩에 대한 대안을 제안합니다. 후속 연구에 영감을 줄 수 있습니다.

Paper : 확률 론적 최적화를 통한 정상 형식 게임에서 내쉬 평형을 근사화 : DeepMind
Author : Ian Gemp, Luke Marris, Georgios Piliouras
paper 주소 : https : // Open review .net/forum?id=cc8h3I3V4E

이 문서는 효율적이고 확장 가능한 Nash 솔버 개발의 중요한 문제를 해결하는 데 크게 기여하는 매우 명확하게 작성된 문서입니다.

논문: Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

기관: Peking University, Beijing Zhiyuan Artificial Intelligence Research Institute
저자: Zhang Bohang Gai Jingchu Du Yiheng Ye Qiwei Hedi Wang Liwei
논문 주소: https://openreview.net/forum?id=HSKaGOi7Ar

GNN의 표현 능력은 중요한 주제이며, 현재 솔루션에는 여전히 큰 한계가 있습니다. 저자는 동형 계산에 기반한 새로운 표현성 이론을 제안합니다.

Paper: Flow Matching on General Geometries

기관: Meta
저자: Ricky T. Q. Chen, Yaron Lipman
논문 주소: https://openreview.net/forum?id=g7ohDlTITL

이 논문은 일반 기하 다양체에 대한 생성 모델링의 까다롭지만 중요한 문제를 탐구하고 실용적이고 효율적인 알고리즘을 제안합니다. 이 논문은 훌륭하게 제시되었으며 다양한 작업에 대해 완전히 실험적으로 검증되었습니다.

Paper: ImageNet이 1개의 비디오에 가치가 있나요? 1개의 긴 라벨이 없는 비디오에서 강력한 이미지 인코더를 학습하세요

기관: University of Central Florida, Google DeepMind, University of Amsterdam 등
저자: Shashanka Venkataramanan, Mamshad Nayeem Rizve, Joao Carreira, Yuki M Asano, Yannis Avrithis
논문 주소: https://openreview.net/forum?id=Yen1lGns2o

본 논문은 새로운 자기 지도 영상 사전 훈련 방법을 제안합니다. 즉, 연속 비디오를 통해 학습하여 학습합니다. 이 논문은 새로운 유형의 데이터와 새로운 데이터로부터 학습하는 방법을 모두 제공합니다.

논문: Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

기관: City University of Hong Kong, Tencent AI Lab, Xi'an Jiaotong University 등
저자: Yichen Wu, Long-Kai Huang, Renzhen Wang, Deyu Meng, and Ying Wei
논문 주소: https://openreview.net/forum?id=TpD2aG1h0D

저자는 새로운 메타 연속 학습 분산을 제안했습니다. 감소 방법. 이 방법은 효과적이며 실질적인 영향을 미칠 뿐만 아니라 후회 분석에서도 뒷받침됩니다.

논문: 모델이 알려 주는 폐기 항목: LLM용 적응형 KV 캐시 압축

기관: University of Illinois at Urbana-Champaign, Microsoft
저자: Suyu Ge, Yunan Zhang, Liyuan Liu, Minjia Zhang, Jiawei Han, Jianfeng Gao
논문 주소: https://openreview.net/forum?id=uNrFpDPMyo

이 기사는 KV 캐시 압축 문제에 중점을 둡니다(이 문제는 Transformer에 큰 영향을 미칩니다. based LLM)은 메모리를 줄이고 비용이 많이 드는 미세 조정이나 재교육 없이 배포할 수 있는 간단한 아이디어를 가지고 있습니다. 이 방법은 매우 간단하며 매우 효과적인 것으로 입증되었습니다.

논문: 블랙박스 언어 모델의 테스트 세트 오염 증명

기관: Stanford University, Columbia University
저자: Yonatan Oren, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, Tatsunori Hashimoto
논문 주소: https://openreview.net/forum?id=KS8mIvetg2

이 논문은 지도 학습 데이터 세트가 훈련의 대규모 언어 모델에 포함되었는지 테스트하기 위해 간단하고 우아한 방법을 사용합니다.

논문: 강력한 에이전트 학습 인과 세계 모델