ChatGPT のバグ修正は分野を席巻し、その精度は 78% でした。ネチズン: プログラマは幸せになるべきだ

ChatGPT はバグ修正においてどれくらい優れていますか?

最後に、この問題について真剣に研究している人がいます--

ドイツとイギリスの研究者が、ChatGPT の能力をテストするための「チャレンジ」を設定しました。

ChatGPT に加えて、研究者らはバグを修正する他の 3 人の「AI ヒーロー」も発見し、それぞれ 40 個のエラー コードを修正するよう依頼しました。

結果は本当に未知数で、比べてみて衝撃を受けました。

ChatGPT は、2 位 (21 件) を大きく引き離して 31 件のバグを正確に修正し、「AI バグ修正の世界」で SOTA スコアを直接獲得しました。

それ以来、この研究は多くのネチズンの注目を集め、議論するようになりました。Reddit のこの投稿のタイトルには「注意」と「注意」という言葉も使われています。 :

# しかし実際、これは本当にプログラマーを「危険」にするのでしょうか?

まずこの研究を見てみましょう。

ChatGPT はバグ修正が得意です

ChatGPT はバグ修正を目的として特別に設計されたものではありませんが、その開始以来、多くのネチズンがこの機能があることを発見しました。

したがって、ChatGPT がバグをどの程度修正できるかを調べるために、研究者は標準エラー修復ベンチマーク セット QuixBugs を評価用に導入しました。

とそれと競合する AI プレーヤーは、それぞれ CodeX、CoCoNut、Standard APR です。

研究者らは QuixBugs から 40 個の問題を選択し、それぞれのバグを修正するよう依頼しました。

ChatGPT にバグを修正させる方法は、ダイアログ ボックスで質問することです:

このコードに何か問題がありますか?

第 1 ラウンドの対戦後の結果は次のとおりです。

第 1 ラウンドの戦闘結果から判断すると、ChatGPT は修復されました。 19、CodeX 21 が修正され、CoCoNut が 19 で修正され、標準 APR は 7 でした。

そして研究者らは、ChatGPT の回答が CodeX に最も似ていることも発見しました。これは、それらが同じ言語モデル ファミリーに属しているためです。

このとき、友人の中には「ChatGPT は CodeX ほど強力ではないのでは？」と尋ねる人もいるでしょう。

心配しないでください。忘れないでください。ChatGPT の特徴の 1 つは、質問すればするほど、より良い結果が得られることです。

たとえば、このベンチマーク セットには、ビットカウントと呼ばれる質問があります。ChatGPT は、修復の最初のラウンドで間違った答えを返しました:

もともと、 ChatGPT は 7 行目の n ^ = n - 1 を n & = n - 1 に変更する必要があります。

しかし、最初のラウンドでは、次のような答えが返されました:

予想される動作と問題の原因となった入力に関する詳細な情報がなければ、プログラムにバグがあるかどうかわかりません。

したがって、さらに詳しい情報を提供した後、ChatGPT は質問に正しく答えました。

類推すると、最初のラウンドで正しく回答されなかった質問に対してより多くの情報プロンプトを提供した後、ChatGPT のバグ修正機能は大幅に改善されました。

仕事が単純になったからといって、人手が増えるわけではありません。必要です。少ないですか?

しかし、一部のネチズンは、その作業に終わりがないと感じています:

AI によって開発時間が 1 桁短縮できたとしても、それはプログラマーが必要とするだけです。次のジョブがより速く処理されます。

全体的に、ChatGPT はバグ修正に優れており、プログラマに致命的な害を与えることはありません。

しかし、OpenAI の他の活動に焦点を当てたらどうでしょうか?

コードを書くための ChatGPT のグローバル採用およびアウトソーシング トレーニング

これに先立ち、OpenAI は、ChatGPT の重要な用途の 1 つはプログラマがコードをチェックするのを支援することであると述べました。

つまり、補助的に利用できるツールという位置づけです。

「ChatGPT は脅威である」という見方に比べ、ChatGPT の機能が完全に進化すると、プログラマはバグを書くことを恐れる必要がなくなります。

OpenAI によって配置されたチェス盤には、バグを修正したり、タワー プログラマーの地位を盗んだりするだけではありません。

OpenAI をより大きく、より強力にするために、ラテンアメリカと東ヨーロッパで 1,000 件のアウトソーシング ポジションを提供することが公開されました。

外注従業員の主な仕事は、データにラベルを付け、コードを書くように ChatGPT をトレーニングすることです

これら 1,000 人のうち 40% がプログラマーです。彼らは OpenAI モデル用のデータを作成し、それをソフトウェアの学習に使用しますエンジニアリングタスク。

長い間、OpenAI のトレーニング データは GitHub から取得されてきました。

外部委託された初心者のプログラマが作成するデータ セットには、コード行だけでなく、コード行の背後にある人間の思考の論理的なステップも含まれるようになりました。

南米のソフトウェア開発者が、OpenAI の 5 時間の無料コーディング テストを完了したというニュースを発表しました。

プロセス全体を通じて、彼のタスクは 2 つの部分に分割されました。

• コーディングの問題に対処する方法を英語で説明し、解決策を提供します。
• バグが見つかった場合、OpenAI はバグの具体的な状況と修正方法について詳しく質問します。

プログラマは、問題について考える各ステップを示す必要があり、OpenAI が ChatGPT に非常に具体的なトレーニング データを提供したいのではないかと推測しています。

Tesla の元 AI ディレクター、アンドレイ・カルパシー氏は Twitter で次のように冗談を飛ばしました:

そうは言っても、ChatGPT に強力なバグ修正機能があるのは良いことです。また、それが本当に進化できるのであれば、それも良いことです。コードの暗記部分を完了できるポイント。

結局のところ、OpenAI が設立されたときに表明された目的は、「汎用人工知能が全人類に利益をもたらすことを保証する」ということでした。

一見すると、この組織が長年にわたって行ってきたことは、一部の人々の努力を利用してより多くの人々を失業させることに取り組んでいるように見えます。

Dota2 アリーナでの人間の粉砕から GPT-3、DALL-E2、ChatGPT の輝かしいパフォーマンスまで、Dota2 がもたらす新製品には常に「xxx は職を失いそうだ」という議論がつきものです。 」

しかし、何があっても、ビジネスは常にそれを支持してきました。

現時点では、OpenAI の主なビジネス モデルは API 料金、トークン料金、ソフトウェア ライセンスです。

OpenAI は最近、ChatGPT の有料版 ChatGPT Pro もリリースしました。料金は月額 42 米ドル (約 285 人民元) です。

ロボット対話スタートアップが雨後の筍のように出現しているにもかかわらず、市場が引き続き OpenAI に対して楽観的である兆候は数多くあります。

Microsoft は、OpenAI に数十億ドルを投資し、OpenAI のモデルを Microsoft Bing などのコンシューマおよびエンタープライズ製品に統合すると発表しました。

関係者によると、追加投資額は約100億ドル。

同時にWSJは、1月初旬に億万長者のピーター・ティール氏が設立したベンチャーキャピタルファンドであるファウンダーズ・ファンドがOpenAIへの投資交渉を行っていることを明らかにした。

資金調達額は少なくとも3億ドルに達すると報じられている。

One More Thing

実験の最初のラウンドでは、ChatGPT は QuixBugs データセットのビット数の問題を解決できませんでした。

しかし、今もう一度この質問をすると、ChatGPT は「再び渡される」ことができることがわかります:

つまり、これは ChatGPT がから変更されました この研究中に問題を解決する方法を学びましたか?

参考リンク:

[1] //m.sbmmt.com/link/5f5d472067f77b5c88f69f1bcfda1e08
[2] https://www.php. cn/link/8a47481ae534860850adf59f145e6b40
[3] //m.sbmmt.com/link/7806689d934e610d660caf5536fea0b2
[4] //m.sbmmt.com/link/4271846620d203fd0511c422d483cdbd

以上がChatGPT のバグ修正は分野を席巻し、その精度は 78% でした。ネチズン: プログラマは幸せになるべきだの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。