彼氏とデートするときに言語モデルについて聞く必要がありますか?自然: アイデアを提案し、メモを要約する GPT-3 は現代の「科学研究者」になりました

猿にタイプライターのキーをランダムに押させてください。十分な長さだけ押し続ける限り、猿はシェイクスピアの全作品をタイプすることができます。

文法と意味論を理解するサルだったらどうなるでしょうか?答えは、科学的研究さえもあなたのために行うことができるということです。

言語モデルの開発の勢いは非常に急速です。数年前には、入力メソッドで入力される次の単語を自動的に完成させることしかできませんでしたが、現在ではすでに研究者を支援できるようになりました。科学論文を分析して執筆し、コードを生成します。

#大規模言語モデル (LLM) のトレーニングには、通常、サポートのために大量のテキスト データが必要です。

2020 年に、OpenAI は 1,750 億のパラメーターを備えた GPT-3 モデルをリリースしました。詩を書いたり、数学の問題を実行したり、生成モデルでできることはほぼすべて実行できます。GPT-3 はすでに現在でも、GPT-3 は、比較され、超えられる多くの言語モデルのベースラインです。

GPT-3 のリリース後、すぐに Twitter やその他のソーシャル メディアで激しい議論が巻き起こり、多くの研究者がこの奇妙な「人間のような書き込み」手法に驚きました。

GPT-3 がオンライン サービスをリリースした後、ユーザーは自由にテキストを入力し、モデルに次の結果を返させることができます。処理された 750 ワードあたりの最低料金はわずか 0.0004 ドルで、非常に手頃な価格です。 。

最近、Nature コラムに科学とテクノロジーに関する記事が掲載されました。意外なことに、これらの言語モデルは、エッセイを書くのに役立つだけでなく、「科学研究を行う」のにも役立ちます。

機械に考えさせましょう

アイスランド大学レイキャビクのコンピューター科学者、ハフスタイン・エイナーソン氏は次のように述べています。論文の要約の改訂など、GPT-3 を毎日実行します。

Einarsson が 6 月の会議でコピーを準備していたとき、GPT-3 は多くの役に立たない修正提案を行っていましたが、いくつかの有益な提案もありました。 「要旨」「原稿の冒頭のほうがわかりやすい」など、他人に読んでもらったりしない限り、自分で原稿を読んだときにはこの種の問題に気づかない。 「GPT-3」？

言語モデルは、実験計画の改善にも役立ちます。

別のプロジェクトで、Einarsson は Pictionary ゲームを使用して参加者間の言語データを収集したいと考えました。

ゲームの説明を行った後、GPT-3 はゲームの修正についていくつかの提案を行いました。理論的には、研究者は実験プロトコルの新しい試みを要求することもできます。

#研究者の中には、言語モデルを使用して論文のタイトルを生成したり、テキストを読みやすくしたりする人もいます。

スタンフォード大学のコンピューターサイエンス教授である博士課程の学生、ミナ・リー氏が使用した方法は、GPT-3 に「これらのキーワードを使用して論文タイトルを生成する」と入力することです。プロンプトとしてモデルが表示されます。いくつかのタイトルを考えるお手伝いをします。

いくつかの章を書き直す必要がある場合は、イスラエルのテルアビブにある AI21 研究所がリリースした人工知能ライティング アシスタントである Wordtune も使用します。必要なのは、[書き直す] をクリックするだけです。変換するには 複数のバージョンでパッセージを書き直すだけで、慎重に選択できます。

リーさんはまた、GPT-3 に人生のいくつかのことについてアドバイスを求める予定です。たとえば、「彼氏を両親に紹介する方法」と尋ねると、GPT-3 は次のようなことを提案しました。ビーチ、レストラン。

ニューヨーク州ブルックリンにあるテクノロジー新興企業 Scite のコンピューター科学者、Domenic Rosati は、Generate 言語モデルを使用してアイデアを再編成しました。

リンク: https://cohere.ai/generate

Generate はカナダ人によって運営されていますNLP Cohere 社によって開発されたモデルのワークフローは GPT-3 と非常によく似ています。

メモを入力するか、いくつかのアイデアについて話し合うだけで、最後に「要約」または「抽象概念に変換」を追加するだけで、モデルが自動的にそれを整理します。あなたのアイデア。

なぜ自分でコードを書くのでしょうか?

OpenAI の研究者は、書籍、ニュース記事、Wikipedia のエントリ、ソフトウェア コードなどの大規模なテキスト セットで GPT-3 をトレーニングしました。

その後、チームは GPT-3 が通常のテキストと同じようにコードを完成できることに気づきました。

研究者らは、Codex と呼ばれるアルゴリズムの微調整バージョンを作成し、コード共有プラットフォーム GitHub からの 150G 以上のテキストでトレーニングしました。GitHub は、Codex を Copilot In the Service に統合しました。 、ユーザーはコードの作成を支援できます。

ワシントン州シアトルにあるアレン人工知能研究所 AI2 のコンピューター科学者、ルカ ソルダイニ氏は、オフィス内の少なくとも半数の人が Copilot を使用していると述べています

Soldaini 氏は、Copilot は反復的なプログラミングのシナリオに最も適していると述べました。たとえば、彼のプロジェクトの 1 つは PDF を処理するためのテンプレート コードの作成に関係しており、Copilot がそれを直接完成させました。

ただし、Copilot の補完コンテンツは間違いが多いため、使い慣れた言語で使用することをお勧めします。

文献検索

おそらく、言語モデルの最も成熟したアプリケーション シナリオは、ドキュメントの検索と要約です。

AI2 が開発した Semantic Sc​​holar 検索エンジンは、TLDR 言語モデルを使用して各論文の Twitter のような説明を提供します。

この検索エンジンは、主に生物医学とコンピューター サイエンスの約 2 億件の論文をカバーしています。

TLDR は、Meta によって以前にリリースされた BART モデルに基づいて開発され、その後 AI2 研究者が人間が書いた要約に基づいてモデルを微調整しました。

今日の標準からすると、TLDR には約 4 億個のパラメーターしか含まれていないのに対し、GPT-3 の最大バージョンには 1,750 億個のパラメーターが含まれているため、大規模な言語モデルではありません。

TLDR は、AI2 によって開発された拡張科学論文アプリケーションである Semantic Reader でも使用されます。

ユーザーが Semantic Reader でテキスト内の引用を使用すると、TLDR の概要を含む情報ボックスがポップアップ表示されます。

Semantic Sc​​holar のチーフサイエンティスト、Dan Weld 氏は、言語モデルを使用して読書体験を向上させることが目的であると述べました。

言語モデルがテキストの要約を生成するとき、モデルは記事に存在しないいくつかの事実を生成する可能性があります。研究者はこの問題を「幻想」と呼んでいますが、実際には言語モデルは単にでっちあげたり、嘘をついたりするだけです。

TLDR は信頼性テストで良好なパフォーマンスを示し、論文の著者は TLDR の精度を 2.5 ポイント (3 ポイント中) と評価しました。

ウェルド氏は、要約の長さが約 20 単語しかなく、おそらくアルゴリズムが本文に登場しない単語を要約に含めないため、TLDR の方が現実的であると述べました。

検索ツールに関しては、カリフォルニア州サンフランシスコの機械学習非営利団体である Oought が 2021 年に Elicit を立ち上げました。ユーザーが「マインドフルネスが意思決定に与える影響は何ですか?」と尋ねたら、 「作成していますか？」と尋ねると、10 個の論文を含むテーブルが出力されます。

ユーザーは、概要やメタデータ、研究参加者に関する情報などを列に入力するようソフトウェアに要求できます。 、方法と結果の情報。GPT-3 などのツールを使用して論文から抽出または生成されます。

メリーランド大学カレッジパーク校の Joel Chan は、人間とコンピューターのインタラクションを研究しており、新しいプロジェクトを開始するたびに、Elicit を使用して関連する論文を検索しています。

ストックホルムのカロリンスカ研究所の神経科学者であるグスタフ ニルソンヌ氏も、Elicit を使用して、プールされた分析に追加できるデータを含む論文を見つけました。他の検索でファイルが見つかりました。

進化するモデル

AI2 のプロトタイプは、LLM に未来的な雰囲気を与えます。

研究者は科学論文の要約を読んだ後に質問があるものの、全文を読む時間がまだない場合があります。

AI2 のチームは、NLP の分野でこれらの質問に答えることができるツールも開発しました。

#このモデルでは、研究者はまず NLP 論文の要約を読んでから、関連する質問 (「分析された会話の属性は 5 つありますか?」など)を行う必要があります。

その後、研究チームは他の研究者に論文全体を読んだ後にこれらの質問に答えるように依頼しました。

#AI2 は、Longformer 言語モデルの別のバージョンを完全な論文として入力としてトレーニングし、収集されたデータセットを使用しました。他の論文に関するさまざまな質問に対する回答を生成します。

ACCoRD モデルは、NLP に関連する 150 の科学概念の定義と類推を生成できます。

MS2 は、470,000 件の医療文書と 20,000 件の複数文書の概要を含むデータセットです。MS2 で BART を微調整した後、研究者は質問と一連の文書を提示し、A を生成することができました。メタ分析の簡単な概要。

2019 年、AI2 は 2018 年に Google が作成した言語モデル BERT を微調整し、Semantic Sc​​holar の論文に基づいて 1 億 1,000 万のパラメータを備えた SciBERT を作成しました。

Scite は人工知能を使用して科学検索エンジンを作成し、SciBERT をさらに微調整して、検索エンジンが対象論文を引用する論文をリストする際に、それらの論文を支持論文、対照論文、またはその他の方法でその論文を参照する方法として分類できるようにしました。

ロザティ氏は、このニュアンスは人々が科学文献の限界やギャップを特定するのに役立つと述べました。

AI2 の SPECTER モデルも、論文をコンパクトな数学的表現に単純化する SciBERT に基づいています。

カンファレンスの主催者は、提出された論文を査読者と照合するために SPECTER を使用し、Semantic Sc​​holar はユーザーのライブラリに基づいて論文を推奨するために SPECTER を使用している、と Weld 氏は述べています。

ヘブライ大学と AI2 のコンピュータ科学者であるトム・ホープ氏は、効果的な薬剤の組み合わせ、遺伝子と病気の関連性、新型コロナウイルス感染症の研究と方向性における科学的課題を特定するために、言語モデルを微調整する研究プロジェクトを行っていると述べた。

しかし、言語モデルはより深い洞察や発見機能を提供できるでしょうか?

5 月、ホープとウェルドはマイクロソフトの最高科学責任者エリック ホーヴィッツと共著で、この目標を達成するための課題を概説する解説文を執筆しました。その内容には、「) は再組織化の結果であると推測するためのモデルの指導も含まれます」と書かれています。 2つのコンセプトです。」

Hope 氏は、これは OpenAI の DALL・E 2 画像生成モデル「宇宙に飛んでいる猫の画像を生成する」のと基本的に同じことだと述べていますが、どうすれば複合的な抽象化に移行できるでしょうか。非常に複雑な科学概念についてはどうですか?

これは未解決の質問です。

今日に至るまで、大規模な言語モデルは研究に大きな影響を与えてきました。人々が仕事を支援するためにこれらの大規模な言語モデルを使い始めていない場合、こうした機会を逃すことになります。

参考資料:

https://www.nature.com/articles/d41586-022-03479-w

以上が彼氏とデートするときに言語モデルについて聞く必要がありますか?自然: アイデアを提案し、メモを要約する GPT-3 は現代の「科学研究者」になりましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。