7262篇提交，ICLR 2024爆火，兩篇國內論文獲傑出論文提名

今年共選出 5 篇傑出論文獎以及 11 篇榮譽提名。

ICLR全稱為國際學習表徵會議（International Conference on Learning Representations），今年是第十二屆會議，於5月7日至11日在奧地利維也納舉辦。

在機器學習社群中，ICLR 是較為「年輕」的頂尖學術會議，它由深度學習巨頭、圖靈獎得主Yoshua Bengio 和 Yann LeCun 主辦，2013年才剛舉辦第一屆。不過 ICLR 很快就獲得了學術研究者們的廣泛認可，被認為是深度學習的頂級學術會議。

本屆會議共收到了 7262 篇提交論文，接收 2260 篇，整體接收率約為 31%，與去年持平（31.8%）。 此外 Spotlights 論文比例為 5%，Oral 論文比例為 1.2%。

比比起於往年，無論是參加人數或論文提交量，ICLR 的熱度可以說是有極大的提升。

                                ^{歷屆ICLR 論文數據圖}

在近日公佈的獲獎論文中，大會評選出了5 篇傑出論文獎和11 篇榮譽提名獎。

5 篇傑出論文獎

Outstanding Paper winners

論文：Generalization in diffusion models arises from geometry -adaptive harmonic representations

• #論文網址：https://openreview.net/pdf?id=ANvmVS2Yr0

• 機構：紐約大學、法蘭西公學院

• 作者：Zahra Kadkhodaie 、Florentin Guth 、Eero P. Simoncelli 、Stéphane Mallat

本文對影像擴散模型的泛化和記憶方面進行了重要的深入分析。作者透過實證研究了影像生成模型何時從記憶輸入切換到泛化模式，並透過幾何自適應諧波表示與諧波分析的想法建立聯繫，從架構歸納偏差的角度進一步解釋了這一現象。本文涵蓋了我們對視覺生成模型理解中缺少的關鍵部分，對未來研究啟發巨大。

論文：Learning Interactive Real-World Simulators

• 論文網址：https://openreview. net/forum?id=sFyTZEqmUY

• 機構：UC 柏克萊、 Google DeepMind 、 MIT 、阿爾伯塔大學

#作者：Sherry Yang、 Yilun Du 、 Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans、Pieter Abbeel

跨多個來源聚合資料以訓練機器人基礎模型是長期目標。由於不同的機器人具有不同的感知運動接口，這給跨大規模資料集的訓練帶來了重大挑戰。

UniSim

，是朝著這個方向邁出的重要一步，也是一項工程壯舉，它利用了基於視覺感知和控制的文本描述的統一接口來聚合數據，並透過利用視覺和語言領域的最新發展來訓練機器人模擬器。

總結而言，本文探討了透過產生模型學習真實世界互動的通用模擬器 UniSim，邁出了建立通用模擬器的第一步。例如 UniSim 可以透過模擬「打開抽屜」等高階指令和低階指令的視覺結果來模擬人類和智慧體如何與世界互動。 ######本文將大量數據（包括網路文字 - 影像對，來自導航、人類活動、機器人動作等的豐富數據，以及來自模擬和渲染的數據）結合到一個條件影片生成框架中。然後透過仔細編排沿著不同軸的豐富數據，本文表明 UniSim 可以成功地合併不同軸數據的經驗並泛化到數據之外，透過對靜態場景和物件的細粒度運動控制來實現豐富的互動。 ###

如下圖3 所示，UniSim 能夠模擬一系列豐富動作，例如廚房場景中洗手、拿碗、切胡蘿蔔、擦乾手這一系列動作；圖3 右上是按下不同的開關；圖3 下是兩個導航場景。

                               ^{對應上圖3 右下的導航場景}

                             ^{上圖3 右下方的導航情境}

Sue

• ##論文網址：https://openreview.net/forum?id=PdaPky8MUn

• 機構：特拉維夫大學、IBM

• 作者：Ido Amos、Jonathan Berant、Ankit Gupta

這篇論文深入探討了最近提出的狀態空間模型和transformer 架構對建模長期序列依賴性的能力。

令人驚訝的是，作者發現從頭開始訓練 transformer 模型會導致其性能被低估，並且透過預訓練和微調設定可以實現顯著的效能提升。該論文在關注簡潔性和系統性見解方面表現極佳。

論文：Protein Discovery with Discrete Walk-Jump Sampling

• 論文網址：https:// openreview.net/forum?id=zMPHKOmQNb

• #機構：基因泰克、紐約大學

• 作者：Nathan C. Frey、Dan Berenberg、 Karina Zadorozhny、Joseph Kleinhenz、Julien Lafrance-Vanasse、Isidro Hotzel、Yan Wu、Stephen Ra、Richard Bonneau、Kyunghyun Cho、Andreas Loukas、Vladimir Gligorijevic、Saeed Saremi

#這篇論文解決了基於序列的抗體設計問題，這是蛋白質序列生成模型的一個及時且重要的應用。

為此，作者引入了一種創新而有效的新建模方法，用來專門針對處理離散蛋白質序列資料的問題。除了在矽中驗證方法外，作者還進行了大量的濕法實驗室實驗，以測量體外抗體結合親和力，展示了他們生成方法的有效性。

論文：Vision Transformers Need Registers

• #論文網址：https://openreview.net/ forum?id=2dnO3LLiJ1

• 機構：Meta 等

##作者：Timothée Darcet、Maxime Oquab、Julien Mairal、Piotr Bojanowski
這篇論文辨識了vision transformer 網路的特徵圖中的人工痕跡，這些痕跡以低資訊背景區域中的高範數tokens 為特徵。

作者提出了這種現象發生的關鍵假設，並提供了一個簡單而優雅的解決方案，使用額外的 register tokens 來解決這些痕跡，從而增強了模型在各種任務上的性能。從這項工作中獲得的見解還可以影響其他應用領域。

這篇論文行文極佳，為進行研究提供了一個很好的示範：「辨識問題，理解其發生的原因，然後提出解決方案。」

11篇榮譽提名

除了5 篇傑出論文，ICLR 2024 也選出了11 篇榮譽提名獎。

論文：Amortizing intractable inference in large language models

機構：蒙特利爾大學、牛津大學
#作者：Edward J Hu、Moksh Jain、Eric Elmoznino、Younesse Kaddar、Guillaume Lajoie、Yoshua Bengio、Nikolay Malkin
論文地址：https://openreview.net/forum? id=Ouj6p4ca60
這篇論文從貝葉斯推理的角度提出了一種在大型語言模型中替代自回歸解碼的有前景的方法，這可能會激發後續研究。

論文：Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

機構：DeepMind
#作者：Ian Gemp、Luke Marris、Georgios Piliouras
#論文網址：https://openreview.net/forum?id=cc8h3I3V4E
#這是一篇寫得非常清晰的論文，對解決開發高效且可擴展的納許求解器這一重要問題意義重大。

論文：Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

• 機構：北京大學、北京智源人工智慧研究院

• 作者：張博航蓋景初杜逸恆葉啟威賀笛王立威

• 論文網址：https://openreview.net/forum?id=HSKaGOi7Ar

GNN 的表達能力是一個重要課題，而目前的解決方案仍然存在很大的限制。作者提出了一個基於同態計數的新表達理論（expressivity theory）。

論文：Flow Matching on General Geometries

• #機構：Meta

• ##作者：Ricky T. Q. Chen、Yaron Lipman

• 論文地址：https://openreview.net/forum?id=g7ohDlTITL

##本文探討了在一般幾何在流形上進行生成建模這一具有挑戰性但又十分重要的問題，並提出了一個實用且高效的演算法。本文的呈現非常出色，並在廣泛的任務上進行了全面的實驗驗證。

論文：Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video

# 機構：中佛羅裡達大學、 Google DeepMind、阿姆斯特丹大學等
作者：Shashanka Venkataramanan、Mamshad Nayeem Rizve、Joao Carreira、Yuki M Asano、Yannis Avrithis
論文地址：https: //openreview.net/forum?id=Yen1lGns2o
#本文提出了一種新穎的自監督圖像預訓練方法，即透過從連續視訊中學習。本文既貢獻了新類型的數據，也貢獻了一種從新數據中學習的方法。

論文：Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

# 機構：香港城市大學、騰訊AI 實驗室、西安交通大學等
作者：Yichen Wu、Long-Kai Huang、Renzhen Wang、Deyu Meng、魏穎（Ying Wei）
#論文地址：https://openreview.net/forum?id=TpD2aG1h0D
#作者提出了一種新的元連續學習方差減少方法。此方法表現良好，不僅具有實際影響，而且還得到了 regret 分析的支持。

論文：Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

機構：伊利諾大學厄巴納-香檳分校、微軟
作者：Suyu Ge、Yunan Zhang、Liyuan Liu、Minjia Zhang、Jiawei Han、Jianfeng Gao
論文地址：https:/ /openreview.net/forum?id=uNrFpDPMyo
#本文針對KV 快取壓縮問題（該問題對基於Transformer 的LLM 影響很大），透過一個簡單的想法來減少內存，並且無需耗費大量資源進行微調或重新訓練即可部署。這種方法非常簡單，事實證明它非常有效。

論文：Proving Test Set Contamination in Black-Box Language Models

機構：史丹佛大學、哥倫比亞大學

• 作者：Yonatan Oren、Nicole Meister、Niladri S. Chatterji、Faisal Ladhak、Tatsunori Hashimoto

• 論文地址：https://openreview.net/forum?id= KS8mIvetg2

本文使用了一個簡單而優雅的方法，用於測試受監督的學習資料集是否已包含在大型語言模型的訓練中。

論文：Robust agents learn causal world models

• 機構：Google DeepMind

• 作者： Jonathan Richens、Tom Everitt

• 論文網址：https://openreview.net/forum?id=pOoKI3ouv1

##這篇論文在奠定理論基礎方面取得了長足進展，以便理解因果推理在智能體推廣到新領域的能力中所起到的作用，對一系列相關領域也產生了影響。

論文：The mechanistic basis of data dependence and abrupt learning in an in-context classification task

#機構：普林斯頓大學、哈佛大學等
作者：Gautam Reddy
#論文網址：https://openreview.net/forum?id=aN4Jf6Cx69
這是一項及時且極為系統性的研究，探討了我們在開始理解這些現象的時候，in-context 學習與in-weight 學習之間的機制。

論文：Towards a statistical theory of data selection under weak supervision

機構：Granica Computing

######## ##作者：Germain Kolossov、Andrea Montanari、Pulkit Tandon#############論文網址：https://openreview.net/forum?id=HhfcNgQn6p########### ##這篇論文為資料子集選擇建立了統計基礎，並確定了流行的資料選擇方法的缺點。 ############參考連結：https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/##########

以上是7262篇提交，ICLR 2024爆火，兩篇國內論文獲傑出論文提名的詳細內容。更多資訊請關注PHP中文網其他相關文章！