合計 3226 件の関連コンテンツが見つかりました
モデルの微調整を使用したセンチメント分析
記事の紹介:微調整とは、パフォーマンスを向上させるために、特定のタスクに関して事前トレーニングされたモデルにわずかな調整を行うことを指します。感情分析では、事前トレーニングされた自然言語処理モデル (BERT、RoBERTa、ALBERT など) を基本モデルとして使用し、特定の感情分析データセットと組み合わせて微調整して、より正確な感情分析結果を得ることができます。微調整を通じて、特定のタスクのニーズに応じてモデルを適応させ、特定のタスクにおけるモデルのパフォーマンスを向上させることができます。モデルを微調整する目的は、一般的な自然言語処理モデルを微調整して、感情分析タスクにおける認識能力と予測精度を向上させることです。微調整を通じて、モデルの学習機能を特定の領域に移し、特定のタスクの要件により適したものにすることができます。このような微調整
2024-01-22コメント 0745
大規模言語モデルの効率的なパラメータ微調整 - BitFit/Prefix/Prompt 微調整シリーズ
記事の紹介:2018 年に Google が BERT をリリースしました。リリースされると、11 個の NLP タスクの最先端 (Sota) 結果を一気に打ち破り、NLP 界の新たなマイルストーンとなりました。BERT の構造は次のとおりです。下の図では、左側は BERT モデルのプリセット、右側はトレーニング プロセス、右側は特定のタスクの微調整プロセスです。このうち、微調整ステージは、テキスト分類、品詞のタグ付け、質問と回答システムなど、その後のいくつかの下流タスクで使用されるときに微調整するためのものです。BERT はさまざまな上で微調整できます。構造を調整せずにタスクを実行できます。 「事前トレーニング済み言語モデル + 下流タスク微調整」のタスク設計により、強力なモデル効果をもたらします。以来、「言語モデルの事前トレーニング + 下流タスクの微調整」が NLP 分野のトレーニングの主流になりました。
2023-10-07コメント 0909
ReFT (Representation Fine-tuning): PeFT よりも優れた新しい大規模言語モデル微調整テクノロジ
記事の紹介:ReFT (Representation Finetuning) は、大規模な言語モデルを微調整する方法を再定義する画期的な手法です。スタンフォード大学の研究者らがarxivに最近(4月)発表した論文によると、ReFTは従来の重みベースの微調整手法とは大きく異なり、これらの大規模モデルを新しいものに適応させるためのより効率的かつ効果的な方法を提供するという。タスクとエリア!この論文を紹介する前に、PeFT について見てみましょう。パラメーターの効率的な微調整 PeFTParameterEfficientFine-Tuning (PEFT) は、少数または追加のモデル パラメーターを微調整するための効率的な微調整方法です。従来の予測ネットワークによる微調整
2024-04-15コメント812
OpenAI、新しい AI 微調整ツールをリリース: 「大多数の組織がカスタム モデルを開発することになる」
記事の紹介:OpenAI は、微調整 API の大幅な機能強化と、カスタム モデル ルーチンの拡張を発表しました。これらのアップデートにより、開発者は AI モデルを微調整するための前例のない制御が可能になり、特定のビジネス ニーズに合わせてカスタマイズされたモデルを構築する新しい方法が提供されます。 2023 年 8 月の発表以来、GPT-3.5 の微調整 API は、洗練された AI モデルを組み合わせて特定のタスクを実行する上での転換点となりました。微調整ツールは、AI モデルの開発において重要な役割を果たします。これらにより、開発者は特定のデータ セットとアプリケーション シナリオに基づいてモデルのパフォーマンスを最適化できます。 2022 年 4 月に、OpenAI は微調整 API に対する一連の改善をリリースしました。これらの改善により、モデルの柔軟性と精度が向上するだけでなく、開発者にさらに多くの機能が提供されます。
2024-04-07コメント844
初めて: Microsoft は GPT-4 を使用して大規模なモデル命令を微調整し、新しいタスクのゼロサンプルのパフォーマンスがさらに向上しました。
記事の紹介:Google T5 モデルから OpenAI GPT シリーズの大規模モデルに至る大規模言語モデル (LLM) は、コンテキスト学習や思考連鎖推論などの優れた一般化機能を実証していることがわかっています。同時に、LLM が自然言語の命令に従い、現実世界のタスクを完了できるようにするために、研究者は LLM の命令を微調整する方法を模索してきました。これは 2 つの方法で行われます。人間による注釈付きのプロンプトとフィードバックを使用して幅広いタスクでモデルを微調整する方法と、手動または自動で生成された指示で強化された公開ベンチマークとデータセットを使用して微調整を監視する方法です。このうち、Self-Instruct 微調整は、SOTA の指示から教師を微調整するシンプルで効果的な方法です。
2023-04-10コメント 01200
两个小模型互相验证,直接比肩大模型?微软的rStar甚至没用CoT和微调
記事の紹介:互相检查,让小模型也能解决大问题。众所周知,LLM很强大,但执行复杂推理的能力还不够强。举个例子,在GSM8K数据集上,Mistral-7B即使使用思维链(CoT)等技术,也只能达到36.5%的准确度。尽管微调确实也能有效地提升推理能力,但大多数LLM依靠的微调数据都是经过GPT-4等更强大模型蒸馏过的,甚至可能原本就是这些强大模型合成的。同时,研究者们也在积极开发一种能提供辅助但也更困难的方法:使用一个更优的教师LLM来提升推理能力。为了在没有更优模型的前提下提升推理能力,一种颇有希望的范式是利用LLM
2024-08-16コメント944
OpenAI は Scale AI と提携してエンタープライズ GPT モデルの微調整を改善します
記事の紹介:OpenAI は最近、エンタープライズ環境における GPT-3.5 Turbo および GPT-4 大規模言語モデルのパフォーマンス向上を目的として、ScaleAI との緊密な協力関係を発表しました。モデルは企業のニーズに合わせてカスタマイズでき、ニーズをパーソナライズし、企業により良いサービスを提供できます。同時に当局者らは、微調整APIを通じて送信されるすべてのデータは顧客の所有物に属し、OpenAIやその他の組織が他のモデルをトレーニングするために使用することはないと強調し、OpenAIはScaleAIを「優先パートナー」に指定したと発表した。これは、両当事者がそれぞれの利点を最大限に発揮し、共同して企業向けにより優れた、より包括的な A を作成することを示しています。
2023-09-18コメント 0243
RAGか微調整か? Microsoft は、特定の分野における大規模モデル アプリケーションの構築プロセスに関するガイドをリリースしました
記事の紹介:検索拡張生成 (RAG) と微調整は、大規模な言語モデルのパフォーマンスを向上させる 2 つの一般的な方法です。特定のドメインでアプリケーションを構築する場合、どちらがより効率的ですか? Microsoft のこのペーパーは、選択する際の参考になります。大規模な言語モデル アプリケーションを構築する場合、独自のドメイン固有データを組み込むために、検索拡張生成と微調整という 2 つのアプローチがよく使用されます。検索強化生成では、外部データを導入することでモデルの生成機能が強化され、微調整によって追加の知識がモデル自体に組み込まれます。しかし、これら 2 つのアプローチの長所と短所については十分に理解されていません。この記事では、農業業界向けにコンテキスト固有の適応型応答機能を作成するために Microsoft の研究者が提案した新しい焦点を紹介します。
2024-02-16コメント 0910
最強の API 呼び出しモデルが登場! LLaMA 微調整に基づいて、GPT-4 を超えるパフォーマンスを実現
記事の紹介:アルパカに続いて動物の名前がついたモデルがあり、今回はゴリラです。 LLM は現在脚光を浴びており、多くの進歩を遂げており、さまざまなタスクにおけるそのパフォーマンスも注目に値しますが、API 呼び出しを通じてツールを効果的に使用するこれらのモデルの可能性については、まだ調査する必要があります。 GPT-4 などの今日の最先端の LLM であっても、API 呼び出しは困難なタスクです。これは主に、正確な入力パラメーターを生成できないことと、LLM が API 呼び出しの誤った使用法を幻覚する傾向があるためです。いいえ、研究者らは、API 呼び出しの記述において GPT-4 をも上回る、微調整された LLaMA ベースのモデルである Gorilla を作成しました。ドキュメントレトリーバーと組み合わせると
2023-06-10コメント 01334
RoSA: 大規模なモデルパラメータを効率的に微調整するための新しい方法
記事の紹介:言語モデルが前例のない規模に拡大するにつれて、下流タスクの包括的な微調整には法外なコストがかかります。この問題を解決するために、研究者はPEFT法に注目し、採用し始めました。 PEFT 手法の主なアイデアは、微調整の範囲を少数のパラメータ セットに制限して、自然言語理解タスクで最先端のパフォーマンスを達成しながら計算コストを削減することです。このようにして、研究者は高いパフォーマンスを維持しながらコンピューティング リソースを節約でき、自然言語処理の分野に新たな研究のホットスポットをもたらします。 RoSA は、一連のベンチマークでの実験を通じて、同じパラメーター バジェットを使用した以前の低ランク適応 (LoRA) および純粋なスパース微調整手法よりも優れたパフォーマンスを発揮することが判明した新しい PEFT 手法です。この記事ではさらに詳しく説明します
2024-01-18コメント 0147
OpenAI は Scale AI と提携して、エンタープライズ GPT モデルの微調整機能を向上させます
記事の紹介:IT House は 8 月 26 日、OpenAI が最近、エンタープライズ環境で GPT-3.5 Turbo および GPT-4 言語モデルを強化するために ScaleAI との緊密な協力を発表するプレス リリースを発行したと報告しました。 OpenAIは、両者の綿密な協力を通じて、企業がOpenAIの大規模な言語モデルをカスタマイズして企業の個別のニーズを満たすことができると述べた。 OpenAIはコンテンツの中で、ファインチューニングAPIを通じて送信されるすべてのデータは顧客の所有物に属し、OpenAIやその他のエンティティが他のモデルをトレーニングするために使用することはないと改めて強調した。 OpenAI はそれらを「優先パートナー」としてリストしています。 OpenAI は最近ブログ投稿を公開しました。
2023-09-04コメント 01032
大規模モデルパラメータの包括的な分析と効率的な微調整、清華大学の研究が Nature サブジャーナルに掲載
記事の紹介:近年、清華大学コンピュータサイエンス学部のSun Maosong氏のチームは、大規模な言語モデルパラメータの効率的な微調整方法のメカニズムと特性を徹底的に調査し、学内の他の関連チームと協力して研究を完了しました。その成果「大規模事前トレーニング言語モデルの効率的なパラメータ微調整」(大規模事前トレーニング言語モデルのパラメータ効率的微調整)が、3月2日付けの「Nature Machine Intelligence」に掲載されました。研究結果は、コンピュータサイエンス学部のSun Maosong氏、Li Juanzi氏、Tang Jie氏、Liu Yang氏、Chen Jianfei氏、Liu Zhiyuan氏、深セン国際大学院のZheng Haitao氏らによって寄稿された。
2023-04-11コメント 01034
大規模なモデルではグローバルな微調整ができないわけではなく、LoRA の方がコスト効率が高く、チュートリアルが用意されているというだけです。
記事の紹介:これは著者のセバスティアン・ラシュカが何百もの実験を経て得た経験であり、一読の価値があります。データとモデル パラメーターの量を増やすことが、ニューラル ネットワークのパフォーマンスを向上させる最も直接的な方法であると認識されています。現在、主流の大規模モデルのパラメータ数は数千億にまで拡大しており、「大規模モデル」の大型化傾向はますます激しくなるでしょう。この傾向は、さまざまなコンピューティング能力の課題を引き起こしています。数千億のパラメータを持つ大規模な言語モデルを微調整したい場合、トレーニングに時間がかかるだけでなく、大量の高性能メモリ リソースも必要になります。大規模モデルの微調整コストを「下げる」ために、Microsoft の研究者は低ランク適応 (LoRA) テクノロジを開発しました。 LoRA の繊細さは、元の大きなモデルに取り外し可能なプラグインを追加することに相当することです。
2023-12-04コメント 0196
大きなモデルを「ビッグ Mac」から解放する これは、大きなモデルのパラメータの効率的な微調整に関する最新のレビューです。
記事の紹介:AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com。近年、大規模言語モデルやヴィンセントグラフモデルなどの大規模AIモデルが急速に発展しています。このような状況の下、急速に変化するニーズにどのように適応し、大規模なモデルをさまざまな下流タスクに迅速に適応させるかが重要な課題となっています。コンピューティング リソースによる制限、従来のフルパラメータ マイクロ
2024-04-28コメント863
WeChatをブラックモードに設定するにはどうすればよいですか?
記事の紹介:WeChatを黒にする方法: 1. WeChatアプリを開いてホームページに入り、「自分」-「設定」をクリックします; 2. 設定インターフェイスで、「一般」-「ダークモード」オプションをクリックします; 3. モードを選択しますインターフェースで「ダークモード」にチェックを入れて「完了」をクリックすると、WeChat が黒くなります。
2020-10-27コメント 0461973
大型モデルの 0 コード微調整が人気で、必要な手順は 5 つだけで、コストはわずか 150 元です
記事の紹介:0 コードで大規模モデルを微調整するコストは 20 ドル (約 144 元) 未満ですか?手順も非常に簡単で、たったの5ステップです。 LLaMA、GPT、StableLM などの一般的なオープンソース生成モデルはすべて実行できます。画像 これは、最新の人気 API プラットフォームである MonsterAPI です。オープンソース分野でのこの新しい研究により、AI 開発のゲームルールが書き換えられ、AI アプリケーションの速度が加速される可能性があると考える人もいます。写真の中で、将来 GPT-3/GPT-4 に接続されるのですか? と興奮気味に尋ねた人もいました。画像 それでは、それは具体的にどのように実装されているのでしょうか? MonsterAPI は 5 つのステップとゼロコードで理解しやすく、微調整ステップを可能な限りシンプルにすることで、開発者が一連の設定を手動で実行する必要がなく、また低コストで提供します。
2023-07-16コメント 01180
微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉
記事の紹介:大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合到参数中。
2024-05-30コメント691
GPT-3.5 を選択しますか、それとも Llama 2 などのオープンソース モデルを微調整しますか?総合的に比較した結果、答えは次のようになります。
記事の紹介:GPT-3.5 の微調整には非常にコストがかかることが知られています。このペーパーでは、実験を使用して、手動で微調整したモデルが数分の 1 のコストで GPT-3.5 のパフォーマンスに近づくことができるかどうかを検証します。興味深いことに、この記事はまさにそれを行っています。この記事では、SQL タスクと関数表現タスクの結果を比較して、GPT-3.5 が両方のデータ セット (Spider データ セットのサブセットと Viggo 関数表現) で、Lora によって微調整された CodeLlama34B よりもわずかに優れたパフォーマンスを示したことがわかりました。表現データセット)。 GPT-3.5 のトレーニングコストは 4 ~ 6 倍であり、導入コストも高くなります
2023-10-16コメント 0557
美颜相机脸型怎么调整
記事の紹介:脸型调整步骤:1)选择脸型模板;2)调整脸型轮廓;3)微调脸型细节(下巴尖度、颧骨高度、额头宽度);4)保存调整。
2024-07-12コメント598
レビュー!深いモデルの融合 (LLM/基本モデル/フェデレーテッド ラーニング/ファインチューニングなど)
記事の紹介:9 月 23 日、論文「DeepModelFusion:ASurvey」が国立国防技術大学、JD.com、北京理工大学によって発表されました。ディープ モデルの融合/マージは、複数のディープ ラーニング モデルのパラメーターまたは予測を 1 つのモデルに結合する新しいテクノロジーです。さまざまなモデルの機能を組み合わせて、個々のモデルのバイアスとエラーを補償し、パフォーマンスを向上させます。大規模な深層学習モデル (LLM や基本モデルなど) での深層モデルの融合は、高い計算コスト、高次元のパラメーター空間、異なる異種モデル間の干渉など、いくつかの課題に直面しています。この記事では、既存のディープ モデル フュージョン手法を 4 つのカテゴリに分類します。 (1) 「パターン接続」。損失低減パスを介して重み空間内の解を接続し、より適切な初期モデル フュージョンを取得します。
2024-04-18コメント521