プロンプトの言葉は必要ありません。安定性 AI は MindEye を実証します: ターゲットは望むものを何でも生成できます

3月21日のニュース AIの波が押し寄せる 以前は「即語エンジニア」が新たな職種になると思われていたが、AIの到来MindEye の結果は、この位置には既存の値がない可能性があることを示しています。

AI 時代の鍵はモデル自体の力ではなく、人間がこれらの AI モデルを効果的に使用して特定のタスクを完了できるかどうかであると多くの人が信じてきました。

そこで、より深い理解能力を持ち、人工知能により正確な即語を提供できる「即語エンジニア」という概念が提案され、AI がユーザーのニーズをより適切に満たせるように支援します。

StabilityAI は、2023 年 7 月に MindEye1 をリリースし、最近再び MindEye2 をリリースしました。これにより、「プロンプト ワード エンジニア」の価値が大幅に低下しました。このモデルは、特定のプロンプト ワードに依存せず、ユーザーの脳に直接基づいています。電波の生成、つまりユーザーの脳が望むものは、将来的にはモデルが生成できるようになるでしょう。

MindEye は、fMRI 脳活動から直接画像を再構成して取得し、2D 画像を 3D ビデオに変換できます。

機能的磁気共鳴画像法 (fMRI) は、脳への血流の変化を検出することで脳の活動を測定する神経画像技術です。この技術の主な目的は、脳の機能をマッピングし、脳の活動を研究し、神経疾患の潜在的な治療法を評価するための重要なデータを提供することです。 fMRI テクノロジーを通じて、さまざまなタスクを実行するときの脳の活動パターンを深く理解できるようになり、科学者が脳の仕組みをより深く理解できるようになります。 MRI ベース イメージング スキャナーで参加者の脳活動のデータ セットを観察するシステム。研究チームはこれらの記録を使用して、生の画像を分析および取得したり、再構成された画像を生成したりできるシステムをトレーニングしました。このシステムは、参加者が一連の静止画像を閲覧した際の脳活動から見た画像を再構成することができ、研究者に貴重な洞察と情報を提供します。このようにして、MindEye は研究者が視覚処理中の脳の活動パターンとメカニズムをより深く理解するのに役立ちます。このテクノロジーは神経科学研究に有望です

研究者らは、MindEye が画像検索タスクにおいて以前の方法を上回り、候補画像から元の画像を 90% 以上の精度で識別できることを実証しました。再構築には、MindEye は事前にトレーニングされた生成モデルを使用します。

MindEye はさまざまな分野に応用できます。医療分野では、脳の活動から視覚認識を再構築する機能が、特に患者のコミュニケーションが困難な状況での診断および評価方法に使用できる可能性があります。 MindEye のリアルタイム分析の可能性は、ブレイン コンピューター インターフェイスのパフォーマンスの向上を約束します。

研究チームは、必要な長いスキャン時間や、参加者の動きや不注意によるデータノイズの可能性など、データ収集に関する制限を強調しました。

このサイトには参考文献が添付されています

• 心の目の再構築: 対照学習と拡散事前分布を使用した fMRI から画像への変換
• MindEye2: 共有被験者モデルにより 1 時間のデータで fMRI から画像への変換が可能
• #MindEye2: 共有被験者モデルにより 1 時間のデータで fMRI から画像への変換が可能データの数