定慧は受け入れ基準を下げる必要がありますか?ゲーム理論を使用して、最適なレビューと意思決定のメカニズムを探ります

近年、人工知能の分野では、大規模なコンピュータ会議の審査メカニズムに対する批判が高まっています。このすべての背後にある矛盾は、論文著者、会議主催者、査読者の利害が一致していないことに起因しています。

• 論文の著者は自分の論文が学会に受理されることを望んでいます;
• カンファレンスの主催者は評判を高めるためにより質の高い論文を受け取ることを望んでいます会議の内容 (会議の品質);
• レビュー担当者は、過剰なレビュー作業負荷 (レビューのプレッシャー) を避けたいと考えています。

したがって、論文数が大幅に増加した環境下で、会議の質と審査のプレッシャーのバランスをいかに取るかが、三者間の利益のバランスをとるための中心的な課題となります。 。昨年、人工知能分野の学者らは、会議のレビューと意思決定メカニズムを改善する方法について数多くの意見や提案を提出し、これらのアイデアは 23 ページの Google ドキュメントにまとめられました。アイデアの 1 つは非常に興味深いもので、多くの人に認められています:

##ドキュメント リンク: https: //docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

このアイデアは、このような直感に反する現象から生じており、この記事ではこれを再投資と呼んでいます。パラドックス (再提出のパラドックス):

毎年、多数の論文が拒否されることになります (NeurIPS などの主要な人工知能カンファレンスの採択率は、年間を通じて 30% 未満であることがよくあります) 、そして、これらの論文のほとんどは、わずかな調整を加えて再投稿に参加するか、まったく変更しない場合でも、常に同じ会議または同じレベルの会議で受け入れられます。ほとんどの論文は最終的には受理されるので、再投稿を減らしてより多くの論文を受理できるように、受理基準を下げてみてはいかがでしょうか。これにより、査​​読者が同じ論文を繰り返し読むことがなくなり、査読のプレッシャーが軽減されます。

#このアイデアは非常に合理的であるように見えますが、この記事の著者は、ゲーム理論モデルを使用して次のことを行うことを提案しています。著者とその会議について説明し、この考えに対して否定的な回答をしましたが、この研究論文はEconomics and Computation (2022)に受理されました。このモデルに基づいて、この記事では、次の問題など、会議の品質とレビューのプレッシャーを比較検討する際の、さまざまなレビューおよび意思決定メカニズムのパフォーマンスについて説明します。最高 優れた許容閾値?

論文の査読者の数を増やす必要がありますか?

• レビューの品質を向上させるメリットは何ですか?
• 著者は論文に対する以前のレビュー コメントも提供する必要がありますか?
• ……
紙のリンク: https://arxiv.org/pdf/2303.09020v1.pdf
• #1. モデルの概要

##この記事では、著者が学会に論文を投稿し、それを審査するというプロセスを繰り返しゲームとしてモデル化しています。 :

まず、各著者が投稿できる論文を用意します。投稿の各ラウンドで、著者は 2 つの決定のうち 1 つを行います。論文をトップの会議に投稿するか、確実に投稿するか (権威の低い第 2 カテゴリーの会議など) です。 IM カンファレンスに提出される結果は、レビューの仕組みと論文の品質によって決まります:

IM は一定の確率で論文を受理します。 ;

確実に論文が受理されることが保証されますが、そのメリットはわずかです。

• その中で、レビューを承認するかどうかは、レビュー担当者のレビューの意見に完全に依存します。たとえば、承認しきい値を設定し、レビューの平均スコアが以下の場合にのみ承認します。この論文と著者の収入は、再投稿の回数に応じて指数関数的に減少します。
• Ding Conference はレビュー/意思決定メカニズムを約束しており、著者はこのメカニズムに最適な戦略を立てることになります。Ding Conference はレビューと意思決定メカニズムを設計する必要があります。著者の最適な対応戦略に基づく、会議の質とレビューのプレッシャーのバランスを取るための最適なメカニズム。

2. 主な結論

上記のモデリング手法を使用して、この文書ではいくつかのことを導き出します。結論 次のような重要な結論:

1) 著者の最適な戦略

#簡略化されたモデル (より複雑なモデルについては原文を参照してください) では、この記事では、次の仮定が行われます: 著者は自分の論文の真の品質を知っており、会議の決定は記憶に残りません (各ラウンドの査読の決定はそのラウンドの査読者の意見にのみ依存します)、そして著者には無制限の再投稿の機会があります。この場合、著者はしきい値最適化戦略を持っています:

• #論文の品質がしきい値よりも高い場合、著者は論文を学術機関に投稿することを選択します。トップレビューであり、どれだけ拒否されたとしても、著者は原稿が承認されるまで再提出することを選択します;
• 論文の品質がしきい値より低い場合、著者はすぐに確実な賭けを選択します。

通常、次の図に示すように、著者の提出しきい値 Θ はカンファレンスの受理しきい値 τ よりも低くなります。

上記の結論は、再投稿のパラドックスを説明するために使用できます。なぜより多くの論文を受け入れても本質的に審査を減らすことができないのかプレッシャー？これは、会議の受理閾値 τ を下げると、同時に著者の投稿閾値 Θ も下がり、それによって質の低い論文の投稿が増えることになるからです。下図に示すように、採択基準値が引き下げられると、これまで第 2 カテゴリーの会議に投稿するために選ばれていた一部の論文 (紫色の領域) が、上位の会議に投稿されるように選ばれるようになります。

2) 会議の質とレビューのプレッシャー

トップ会議のレビュー/意思決定メカニズムは、次のことを行う必要があります。会議の質とレビューのプレッシャーを比較検討しますが、両方を兼ね備えることはできません。

• 会議の質 = 受理されたすべての論文の質の合計
• レビューのプレッシャー = 論文の提出から最終受理まで原稿がレビューされる回数の期待値

承認しきい値を変更すると、会議の質とレビューの圧力の両方が変化します (以下に示すように)。

図は、会議の質 (縦軸) と承認に関するレビューのプレッシャー (横軸) の関係を示しています。しきい値変化曲線、σ はレビューアのノイズの標準偏差です。

次の 3 つの状況では、会議の品質とレビューのプレッシャーの間のより良いトレードオフが発生する可能性があります (同じ会議の品質を達成するには、レビューのプレッシャーを軽減する必要があります):

• レビューの品質が向上—レビュー担当者のノイズが減少;
• #レビューの評判が低い———Sure bet と比較して、トップの収入は低くなります。
• 著者はより近視眼的です。著者の収入は、複数回の再投資で大幅に減少します。

3. 結論

この記事の目的は、論文著者の査読や決定を改善する際に、さまざまなメカニズムによってもたらされるインセンティブを考慮するよう学会に呼びかけることです。さらに興味深い結論については、論文の原文を参照してください。たとえば、論文の受理率に主に影響を与える要因は何ですか?論文の品質について正確な知識を持たない著者にとって最適な戦略は何でしょうか?著者に論文に対する以前のレビューコメントの提供を義務付けることは、会議にどのような影響を及ぼしますか?

もちろん、この記事の理論モデルには、さまざまなレベルで多くの制限があります。たとえば、この記事では、レビューの圧力がレビューの品質に及ぼす否定的なフィードバックの影響と、その影響については考慮していません。著者の収入に対する会議の質の低下、ポジティブフィードバック効果、リジェクトプロセス中に論文の品質は向上しないと考えられるなど。会議の査読システムの議論と改善はここで終わりではありません. ゲームの観点から会議の査読メカニズムを理解することが特に重要です. 興味のある読者は, 論文の原文を閲覧するか, 記事の著者に手紙を書いてください.研究の詳細について話し合います。

以上が定慧は受け入れ基準を下げる必要がありますか?ゲーム理論を使用して、最適なレビューと意思決定のメカニズムを探りますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。