大規模言語モデルの空間推論能力を刺激する: 思考の視覚化のヒント

#大規模言語モデル (LLM) は、言語理解とさまざまな推論タスクにおいて優れたパフォーマンスを示します。しかし、人間の認知の重要な側面である空間推論におけるそれらの役割は、依然として十分に研究されていません。人間には、心の目として知られるプロセスを通じて、目に見えない物体や行動の精神的なイメージを作成する能力があり、目に見えない世界を想像することが可能になります。この認知能力に触発されて、研究者たちは「思考の視覚化 (VoT)」 を提案しました。 VoT は、LLM の推論の兆候を視覚化することで LLM の空間推論をガイドし、それによって後続の推論ステップをガイドすることを目的としています。研究者らは、VoT を、自然言語ナビゲーション、視覚ナビゲーション、2 次元グリッド世界での視覚舗装などのマルチホップ空間推論タスクに適用しました。 実験結果は、VoT が LLM の空間推論能力を大幅に強化することを示しています。特に、VoT は、これらのタスクに関して既存のマルチモーダル大規模言語モデル (MLLM) よりも優れたパフォーマンスを発揮します。 はじめに 近年、大規模言語モデル (LLM) は、さまざまな言語関連のタスクで目覚ましいパフォーマンスを達成しています。彼らは数学的推論、常識的推論、および記号的推論や論理的推論などの他の推論タスクでは成功しているにもかかわらず、空間的推論における能力は依然として解明されていません。 空間推論は人間の認識の基本的な機能です。

これにより、私たちは環境と対話することができます。これにより、オブジェクトとその動きの間の空間的関係についての理解と推論が必要なタスクが容易になります。言語モデルの空間推論は、空間情報について推論するために言語に大きく依存しており、人間の認知能力は言語推論をはるかに超えています。人間は、視覚的な認識からタスクに関連した抽象的な表現を作成できるだけでなく、心の目を通して目に見えないシーンを想像することもできます。これは、神経科学、心の哲学、認知科学の分野で

として知られる研究トピックです。この認知機能に基づいて、人間は、ナビゲーション、精神的回転、精神的紙折り、精神的シミュレーションなどの心的イメージの操作を通じて空間推論を促進します。図 1 は、ナビゲーション タスクに関わる人間のプロセスを示しています。人間は、ナビゲーション指示や地図画像などのさまざまな感覚入力を利用して、心の中で経路のイメージを作成することで、空間認識を強化し、意思決定を導きます。次に、彼らは心の目を通して経路計画をシミュレーションしました。

図 1: 人間は、空間推論中に精神的なイメージを作成することで、空間認識を強化し、意思決定を導くことができます。同様に、大規模言語モデル (LLM) は内部の精神的なイメージを構築できます。研究者らは、各中間ステップで LLM の思考を視覚化することで LLM の「心の目」を引き起こし、それによって空間的推論を促進する VoT を提案しました。 この認知メカニズムに触発されて、研究者らは、LLM には空間推論のために心の目の中で心的イメージを作成および操作する能力があると推測しています。図 1 に示すように、LLM はさまざまな形式の空間情報を処理および理解できる可能性があります。彼らは内部状態を視覚化し、心の目を通してこれらの心的イメージを操作して、空間的推論を強化するためのその後の推論ステップを導くことができるかもしれません。したがって、研究者らは、この能力を引き出すための 思考の視覚化 (VoT)

空間推論における VoT の有効性を評価するために、研究者らは、

を含む、LLM の空間認識を必要とする 3 つのタスクを選択しました。これらのタスクでは、空間的、方向的、および幾何学的形状の推論を理解する必要があります。人間のような多感覚知覚をシミュレートするために、研究者らは、LLM の視覚ナビゲーションおよび視覚敷設タスクで豊富な入力形式として特殊文字を使用する 2D グリッド世界を設計しました。これら 3 つのタスクについて、さまざまなモデル (GPT-4、GPT-4V) とプロンプト手法を比較しました。研究結果によると、

図 2: さまざまな設定でのナビゲーション マップの例。家の絵文字が出発地を表し、オフィスの絵文字が目的地を表しています。

空間的推論