今年は優秀論文賞5件と佳作11件が選出されました。
ICLRはInternational Conference on Learning Representationsの略で、今年で12回目となり、5月7日から11日までオーストリアのウィーンで開催されました。
ICLR は、機械学習コミュニティの中で比較的「若い」トップ学術会議であり、深層学習の巨人であり、チューリング賞受賞者の Yoshua Bengio 氏と Yann LeCun 氏が主催しており、2013 年に最初のセッションが開催されたばかりです。しかし、ICLR はすぐに学術研究者から広く認知されるようになり、深層学習に関する最高の学術会議とみなされています。
この会議には合計 7,262 件の論文が投稿され、2,260 件の論文が採択されました。全体の採択率は約 31% で、昨年 (31.8%) と同じでした。 さらに、Spotlights 論文の割合は 5%、Oral Paper の割合は 1.2% です。
例年に比べて、参加者数にしても論文投稿数にしても、ICLRの人気は大きく高まったと言えます。 R 以前の ICLR 論文データについては
5優れた紙賞授与済み紙の受賞者
ペーパー：拡散モデルの一般化は、幾何学的に適応性のある高調波表現から生じる紙の住所：https：//openreview.net/ pdf?id=ANvmVS2Yr0
機関: ニューヨーク大学、コレージュ・ド・フランス
著者: Zahra Kadkhodaie、Florentin Guth、Eero P. Simoncelli、Stéphane Mallat
この記事は、画像拡散モデルと重要なことを一般化しています。記憶の詳細な分析。著者らは、画像生成モデルがメモリ入力から一般化モードに切り替わるタイミングを実証的に研究し、それを幾何学的適応調和表現による調和解析の考え方と結びつけ、アーキテクチャ誘導バイアスの観点からこの現象をさらに説明します。この論文は、視覚の生成モデルの理解において欠けていた重要な部分をカバーしており、将来の研究に大きな意味を持ちます。
論文: インタラクティブな現実世界シミュレーターの学習
論文のアドレス: https://openreview.net/forum?id=sFyTZEqmUY
機関: UC Berkeley、Google DeepMind、MIT、Alベルタ大学
著者: Sherry Yang、Yilun Du、Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans、Pieter Abbeel
ロボットの基本モデルをトレーニングするために複数のソースにわたるデータを集約するのは長期的な作業です。ゴール。ロボットごとに感覚運動インターフェースが異なるため、大規模なデータセットにわたるトレーニングには大きな課題が生じます。
UniSim
下の図 3 に示すように、UniSim は、キッチンのシーンで手を洗う、ボウルを取る、ニンジンを切る、手を乾かすなどの一連の豊富なアクションをシミュレートできます。図 3 は 2 つのナビゲーション シーンを示しています。 bigure図3の右下にあるナビゲーションシーンestesis：ゼロからトレーニングしないでください：長いシーケンスモデルの公正な比較には、データ駆動型のpriorsepaperが必要ですアドレス: https://openreview.net/forum?id=PdaPky8MUn
著者: Ido Amos、Jonathan Berant、Ankit Gupta
このペーパーでは、機能について詳しく説明します。長期シーケンス依存関係をモデル化するために最近提案された状態空間モデルと変換器アーキテクチャの概要。
驚くべきことに、著者らは、変圧器モデルを最初からトレーニングするとそのパフォーマンスが過小評価されることになり、事前トレーニングと設定の微調整によって大幅なパフォーマンスの向上が達成できることを発見しました。この論文は、簡潔さと体系的な洞察に重点を置いている点で優れています。 論文: 離散ウォークジャンプサンプリングによるタンパク質の発見
論文のアドレス: https://openreview.net/forum?id=zMPHKOmQNb
機関: Genentech, New York University
著者: ネイサン・C・フライ、ダン・ベレンバーグ、カリーナ・ザドロジニー、ジョセフ・クラインヘンツ、ジュリアン・ラフランス＝ヴァナス、イシドロ・ホッツェル、ヤン・ウー、スティーブン・ラー、リチャード・ボノー、キョンヒョン・チョー、アンドレアス・ロウカス、ウラジミール・グリゴリジェヴィッチ、サイード・サレミ
この論文では、タンパク質配列生成モデルのタイムリーかつ重要な応用である配列ベースの抗体設計の問題について取り上げます。
論文のアドレス: https://openreview.net/forum?id=2dnO3LLiJ1
機関: Meta et al
著者: ティモシー・ダースt. Maxime Oquab、Julien Mairal、Piotr Bojanowski
この論文では、低情報背景領域の高ノルム トークンによって特徴付けられる、ビジョン トランスフォーマー ネットワークの特徴マップ内のアーティファクトを特定します。
この論文は素晴らしく書かれており、「問題を特定し、それが発生する理由を理解し、解決策を提案する」という研究の実施の良い例を提供しています
11 件の佳作に加えて5 つの優れた論文に加えて、 ICLR 2024でも11件の佳作が選ばれました。
論文: 大規模言語モデルにおける扱いにくい推論の償却
論文: 確率的最適化による正規形ゲームにおけるナッシュ均衡の近似
機関: DeepMind
著者: Ian Gemp、Luke Marris、Georgios Piliouras
論文: Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness
機関: 北京大学、北京知源人工知能研究所
著者: Zhang Bohang Gai Jingchu Du Yiheng Ye Qiwei Hedi Wang
論文アドレス: https://openreview.net/forum?id=HSKaGOi7Ar
GNN の表現能力は重要なテーマですが、現在のソリューションには依然として大きな制限があります。著者は、準同型計数に基づいた新しい表現理論を提案します。
論文: 一般幾何学上のフローマッチング
機関: Meta
著者: Ricky T. Q. Chen、Yaron Lipman
論文のアドレス: https://openreview.net/forum?id=g7ohDlTITL
この論文では、一般的な幾何学的多様体における生成モデリングの困難だが重要な問題を調査し、実用的で効率的なアルゴリズムを提案します。この論文は素晴らしく提示されており、幅広いタスクに関して完全に実験的に検証されています。
論文: ImageNet は 1 つのビデオに相当しますか? 1 つのラベルのない長いビデオから強力な画像エンコーダーを学習します
機関: セントラルフロリダ大学、Google DeepMind、アムステルダム大学など
著者: Shashanka Venkataramanan、 Mamshad Nayeem Rizve、Joao Carreira、Yuki M Asano、Yannis Avrithis
論文アドレス: https://openreview.net/forum?id=Yen1lGns2o
この論文は、新しい自己教師あり画像事前トレーニング方法を提案していますつまり、連続ビデオから学習することでトレーニングします。この論文は、新しいタイプのデータと新しいデータから学習する方法の両方に貢献します。
論文: メタ継続学習の再考: 分散削減によるオンラインヘシアン近似の暗黙的な強化
機関: 香港城市大学、Tencent AI Lab、西安交通大学など
著者: Yichen Wu、Long-Kai Huang、Renzhen Wang、Deyu Meng、および Ying Wei
論文アドレス: https://openreview.net/forum?id=TpD2aG1h0D
著者らは、新しいメタ連続学習分散を提案しました削減方法。この方法は優れたパフォーマンスを発揮し、実用的な効果があるだけでなく、リグレス分析によってもサポートされています。
論文: モデルが何を破棄すべきかを教えてくれる: LLM の適応型 KV キャッシュ圧縮
機関: イリノイ大学アーバナシャンペーン校、Microsoft
著者: Suyu Ge、Yunan Zhang、Liyuan Liu、Minjia Zhang、Jiawei Han、Jianfeng Gao
論文アドレス: https://openreview.net/forum?id=uNrFpDPMyo
この記事は、KV キャッシュ圧縮問題に焦点を当てています (この問題は、Transformer に大きな影響を与えます)。 LLM ベース) を使用しており、メモリを削減するシンプルなアイデアにより、コストのかかる微調整や再トレーニングを行わずに導入できます。この方法は非常に簡単で、非常に効果的であることが証明されています。
論文: ブラックボックス言語モデルにおけるテストセットの汚染の証明
機関: スタンフォード大学、コロンビア大学
著者: Yonatan Oren、Nicole Meister、Niladri S. Chatterji、Faisal Ladhak、Tetsunon 橋本
論文アドレス: https://openreview.net/forum?id=KS8mIvetg2
この論文では、教師あり学習データセットがトレーニング中の大規模な言語モデルに含まれているかどうかをテストするために、シンプルで洗練された方法を使用しています。
論文: ロバストエージェントは因果世界モデルを学習する
機関: Google DeepMind
著者: Jonathan Richens、Tom Everitt
論文のアドレス: https://openreview.net/forum?id= pOoKI3ouv1
この論文は、エージェントが新しい領域に一般化する能力における因果推論の役割を理解するための理論的基礎を築く上で大きな進歩をもたらし、さまざまな関連分野に影響を与えています。
論文: インコンテキスト分類タスクにおけるデータ依存性と突然学習の機構的基礎
機関: プリンストン大学、ハーバード大学など
著者: Gautam Reddy
論文のアドレス: https://openreview.net/forum?id=aN4Jf6Cx69
これは、これらの現象を理解し始めるにつれて、コンテキスト内学習とウェイト内学習の関係を調査する、タイムリーで非常に体系的な研究です。
論文: 弱い監視下でのデータ選択の統計理論に向けて
機関: Granica Computing
著者: Germain Kolossov、Andrea Montanari、Pulkit Tandon
論文のアドレス: https://openreview .net/forum?id=HhfcNgQn6p
この論文では、データ サブセット選択の統計的基礎を確立し、一般的なデータ選択方法の欠点を特定します。
参考リンク：https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/
以上が7,262 件の論文が投稿され、ICLR 2024 は好評を博し、国内論文 2 件が優秀論文にノミネートされました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
