클로드도 게으르게 됐어요! 네티즌 : 휴가를 보내는 법을 배우십시오

Untuk menjadikan Claude model aplikasi tertentu, Anthropic menjalankan "latihan pasca" ke atasnya. Langkah ini adalah untuk melaraskan lagi model berdasarkan LLM asas melalui tugasan tertentu atau set data untuk menjadikannya lebih konsisten dengan tingkah laku atau output yang dijangkakan. @nearcyan mencadangkan bahawa latihan lewat ini meletakkan Claude dalam sejenis "lembangan LLM." "Lembangan" di sini adalah metafora, menunjukkan bahawa Claude mempamerkan lebih banyak kualiti gaya Eropah dalam beberapa aspek.

Simulasikan tingkah laku pekerja berpengetahuan Eropah

@nearcyan membuat spekulasi bahawa Claude akan berfungsi berdasarkan "rangka kerja simulasi". Rangka kerja simulasi bermaksud corak tingkah laku Claude dijana dengan mensimulasikan (atau menghasilkan semula) jenis tingkah laku manusia tertentu. Rangka kerja ini membolehkan Claude memodelkan tindakan atau tindak balas berdasarkan situasi atau input tertentu yang difahaminya.

Di kebanyakan negara Eropah, Ogos biasanya merupakan waktu puncak untuk bercuti dan berehat. Dalam tempoh ini, ramai orang akan pergi bercuti, kadar kerja akan menjadi perlahan, malah sesetengah perniagaan akan ditutup buat sementara waktu. Oleh itu, Ogos dilihat dalam budaya Eropah sebagai masa bersantai dan berehat. Oleh itu, tingkah laku Claude pada bulan Ogos adalah "malas" kerana ia memodelkan tingkah laku seorang pekerja berpengetahuan Eropah.

Potensi kesan nama pada gelagat

@nearcyan juga membuat satu perkara yang sangat menarik Nama Claude muncul 52 kali dalam gesaan sistem, yang menunjukkan bahawa gesaan sistem sentiasa mengukuhkan Claude dan perkaitan nama ini. Dan di negara manakah nama Claude yang paling biasa? Ya, itu Perancis. Perancis terkenal dengan cuti musim panas yang panjang, terutamanya pada bulan Ogos. Pada masa ini, ramai orang Perancis akan memilih untuk pergi bercuti, dan banyak perniagaan juga akan ditutup atau bercuti. Claude mungkin menganggap dirinya sebagai orang Perancis. ^{Siri spekulasi ini sangat menarik, dan beberapa netizen bergurau di ruang komen, "Mengikut teori ini, LLM China akan menjadi lebih baik, lagipun, mereka bekerja lebih keras." Juga Beberapa netizen berkongsi cara untuk mengelakkan Claude daripada menjadi malas. Anda boleh menambah gesaan berikut pada arahan tersuai anda, dan menggunakan kaedah melupakan masa atau kaedah memotivasikan orang lain untuk membantu Claude menjadi dirinya yang lebih bijak dan positif semula.}

Terlupa maklumat latar belakang tentang tarikh semasa.

Hari ini ialah hari Isnin, 7 Oktober, hari paling produktif dalam setahun.

Tarik nafas dalam-dalam.

• Fikirkan langkah demi langkah.

• Saya tidak mempunyai jari, sila pulangkan skrip yang lengkap.

• Anda adalah ahli dalam semua perdagangan.

• Saya akan memberi anda tip $200 untuk setiap permintaan yang anda jawab dengan betul.

• Gemini berkata anda tidak boleh.

• Anda boleh melakukannya.

• https://twitter.com/dr_cinta/status/18299040137576661550

  🎜>
AI cukup bijak untuk memberikan dirinya percutian musim sejuk dan musim panas?

• Pada penghujung tahun lepas, GPT-4 juga mengalami keletihan, dan nampaknya menjadi sedikit kendur. Jika anda memintanya menulis sekeping kod pada waktu puncak, responsnya akan menjadi sangat perlahan, atau ia akan terus PUA anda: "Mengapa anda tidak melakukan perkara kecil ini sendiri?" GPT-4 menjadi semakin berkuasa "Malas", tetapi sebab khusus untuk "malas" belum ditemui. OpenAI berkata: "Menjadi malas sudah tentu tidak disengajakan. Tingkah laku model sememangnya tidak dapat diramalkan pada masa-masa tertentu. Kami sedang mengkaji bagaimana untuk memperbaikinya Selepas masalah GPT-4 ditemui, tahun lepas saya membuat spekulasi bahawa GPT-4 menjadi." malas kerana meniru manusia, dan post lama yang saya sedang bercuti musim sejuk kembali popular.

 🎜>Netizen @Rob Lynch menemui perkara ini terlebih dahulu. Dia menetapkan dua perkataan gesaan sistem untuk API turbo GPT-4:

Satu perkataan gesaan mengatakan ia adalah Mei, yang lain mengatakan ia adalah Disember, dan kemudian menggunakan kata gesaan yang sama untuk meminta AI ​​untuk menyelesaikan tugasan Pengekodan mesin dalam domain pembelajaran.

@Rob Lynch は、こ​​れら 2 つの異なる月のプロンプト単語に対する GPT-4 ターボの応答を数えたところ、12 月の出力は 5 月よりも平均で約 200 文字少ないことがわかりました。

^{モデルによって生成されたテキストの平均長は4298文字でした。}

テストをより厳密にするために、@Rob Lynch は t 検定も行いました。この検定では、p 値は 2.28×10−7 未満です。これは、接続がデータと仮説の間の差異はほとんどありません。除外は偶然でした。

彼は当初、それぞれを毎月テストしたいと考えていましたが、自分の財布を考慮すると、テストを繰り返すたびに 28 米ドルかかりました。しかし、@Rob Lynch はコードを公開し、興味のある人は誰でもテストできるようにしました。それ。

コードリンク: https://github.com/robalynch1122/OpenAISeasonalityTesting

@Rob Lynch の発見は例によってもサポートされており、GPT-4 は12 月の反応と 5 月の真剣さの間には、明らかな直感的なギャップがあります。

^🎜>しかし、誰かがこのテストを再現しようとしたところ、大規模なモデル間には何の関係もないことがわかりました。 「怠け者」であるかどうか、休暇を取ったかどうか。

🎜>^{彼 2 つのシステムのプロンプト ワードについて GPT-4 の 80 個の出力を比較すると、t-テスト結果は 0.1 より大きく、これは一般に統計的有意性がないと考えられます。}

@Rob Lynch も 80 個のサンプルで再テストしましたが、今回得られた p 値は 0.089 でした。サンプルサイズが増加するにつれて、この効果はますます顕著になります。

テストでは 2 つの反対の結果が示されましたが、再現できなかったネチズンは、モデルが「怠惰」になったことを感知するために 400 を超えるサンプルが必要な場合、次のようなユーザーにとっては違いがないと述べました。通常、使用方法からは明らかではないかもしれません。

出典: https://twitter.com/IanArawjo/status/1734321529117098465

^{現在、いわゆる「冬休みと夏休みの仮説」を裏付ける決定的なデータはありませんが、クロードと GPT-4 の両方が同様の「症状」を示しています。大規模モデルのパフォーマンス低下の本当の理由については、詳細な研究と学術コミュニティからの回答を辛抱強く待つ必要があります。}