Menggunakan teknologi penjanaan yang dipertingkatkan carian untuk menyelesaikan masalah halusinasi kecerdasan buatan

#🎜🎜 ## 作#Author#🎜🎜 ## 🎜🎜#|

🎜🎜#Rahul Pradhan#🎜🎜 ## 🎜🎜 ## 🎜 🎜 ##🎜 🎜 ##🎜 🎜 ## 🎜#Sumber |. https://www.infoworld.com/article/3708254/addressing-ai-hallucinations-with-retrieval-augmented-generation.html# 🎜🎜 Kecerdasan buatan dijangka menjadi teknologi paling berpengaruh pada zaman kita. Kemajuan terkini dalam transformer

teknologi dan kecerdasan buatan generatif telah menunjukkan potensinya untuk membuka kunci inovasi dan kepintaran pada skala.

Walau bagaimanapun, AI generatif bukan tanpa cabarannya—cabaran yang mungkin sangat menghalang penerapan dan penciptaan nilai teknologi transformatif ini. Memandangkan model AI generatif terus meningkat dalam kerumitan dan kuasa, mereka juga memberikan cabaran unik, termasuk menjana output yang tidak berdasarkan data input

ialah apabila model menghasilkan hasil output yang. , walaupun koheren, mungkin bercerai daripada fakta atau konteks input. Artikel ini akan memperkenalkan secara ringkas kesan transformatif kecerdasan buatan generatif, mengkaji kelemahan dan cabaran teknologi, dan membincangkan teknik yang boleh digunakan untuk mengurangkan halusinasi.

Kesan transformatif kecerdasan buatan generatif

#🎜🎜🎜🎜🎜#🎜🎜🎜🎜 Model AI Generatif memanfaatkan proses pengiraan kompleks pembelajaran mendalam untuk mengenal pasti corak dalam set data yang besar dan menggunakan maklumat ini untuk mencipta output baharu yang menarik. Model ini menggunakan rangkaian saraf dalam teknologi pembelajaran mesin, yang diilhamkan oleh cara otak manusia memproses dan mentafsir maklumat, serta belajar dan bertambah baik dari semasa ke semasa model Generatif AI seperti GPT-4 #OpenAI dan janji PaLM 2 Google untuk membawa inovasi. automasi, analisis data dan pengalaman pengguna. Model ini boleh menulis kod, meringkaskan artikel, dan juga membantu mendiagnosis penyakit. Walau bagaimanapun, kebolehlaksanaan dan nilai muktamad model ini bergantung pada ketepatan dan kebolehpercayaannya. Dalam bidang kritikal seperti perkhidmatan penjagaan kesihatan, kewangan atau undang-undang, kebolehpercayaan ketepatan adalah kritikal. Tetapi untuk semua pengguna merealisasikan potensi penuh AI generatif, cabaran ini mesti ditangani #

LLM pada asasnya adalah probabilistik dan tidak menentukan. Mereka menjana teks berdasarkan kemungkinan urutan perkataan tertentu akan berlaku seterusnya. LLM tidak mempunyai tanggapan tentang pengetahuan dan bergantung sepenuhnya pada navigasi melalui korpus data terlatih sebagai enjin cadangan. Teks yang mereka hasilkan secara amnya mengikut peraturan tatabahasa dan semantik, tetapi sepenuhnya berdasarkan ketekalan statistik dengan gesaan.

Sifat kebarangkalian LLM ini adalah kelebihan dan kekurangan. Jika matlamatnya adalah untuk mendapatkan jawapan yang betul atau membuat keputusan kritikal berdasarkan jawapan, maka halusinasi adalah buruk dan boleh menyebabkan kerosakan. Walau bagaimanapun, jika matlamatnya adalah usaha kreatif, kreativiti artistik boleh dipupuk dengan LLM, menghasilkan penciptaan karya seni, jalan cerita dan lakon layar dengan agak cepat.

Walau bagaimanapun, kegagalan untuk mempercayai output model

LLM boleh membawa akibat yang serius, tanpa mengira matlamat. Ini bukan sahaja akan menghakis kepercayaan terhadap keupayaan sistem ini, ia juga akan mengurangkan dengan ketara kesan AI dalam mempercepatkan produktiviti dan inovasi manusia.

Akhirnya, kecerdasan buatan hanya sebaik data yang dilatihnya.

Ilusi LLM terutamanya disebabkan oleh kecacatan dalam set data dan latihan, termasuk aspek berikut

:

#🎜 🎜#

Overfitting:

Overfitting berlaku apabila model belajar terlalu baik tentang data latihan (termasuk hingar dan outlier). Kerumitan model, data latihan yang bising atau data latihan yang tidak mencukupi semuanya boleh membawa kepada pemasangan berlebihan. Ini menghasilkan pengecaman corak berkualiti rendah di mana model tidak membuat generalisasi dengan baik kepada data baharu, yang membawa kepada ralat klasifikasi dan ramalan, output yang tidak betul secara fakta, output dengan nisbah isyarat-ke-bunyi yang rendah atau halusinasi secara terang-terangan.

Kualiti Data: #🎜🎜🎜 dalam data latihan Pelabelan dan salah klasifikasi mungkin memainkan peranan penting dalam halusinasi. Data berat sebelah atau kekurangan data yang berkaitan sebenarnya boleh menghasilkan output model yang kelihatan tepat tetapi boleh terbukti berbahaya, bergantung pada skop keputusan yang disyorkan oleh model.

Kekurangan Data: #🎜 atau data adalah terhad atau segar Keperluan untuk data adalah salah satu isu utama yang mencipta ilusi dan menghalang perniagaan daripada menggunakan AI generatif. Menyegarkan data dengan kandungan terkini dan data kontekstual membantu mengurangkan ilusi dan berat sebelah. Menyelesaikan halusinasi dalam model bahasa besar Terdapat beberapa pendekatan untuk

masalah halusinasi dalam LLM, termasuk teknik seperti penalaan halus, kejuruteraan pembayang dan penjanaan dipertingkatkan semula (RAG).
• • Penalaan halus merujuk kepada melatih semula model menggunakan set data khusus domain untuk menjana kandungan yang berkaitan dengan domain tersebut dengan lebih tepat. Walau bagaimanapun, latihan semula atau penalaan halus model mengambil masa yang lama, dan sebagai tambahan, data menjadi lapuk dengan cepat tanpa latihan berterusan. Selain itu, latihan semula model juga membawa beban kos yang besar.
  • Kejuruteraan segera bertujuan untuk menjadi Tip untuk membantu #🎟#🎜 LLM menghasilkan hasil yang berkualiti tinggi. Menyediakan model dengan konteks tambahan dan membumikannya dalam fakta mengurangkan kemungkinan model itu berhalusinasi.
  • Penjanaan peningkatan perolehan semula (#🎜 Ia adalah fokus RA digunakan untuk menyediakan rangka kerja asas untuk LLM dengan maklumat yang paling tepat dan terkini. Responsif LLM boleh dipertingkatkan dengan memberi model dengan fakta daripada pangkalan pengetahuan luaran dalam masa nyata.
  Dapatkan penjanaan yang dipertingkatkan dan data masa nyata

  #🎜🎜🎜#Penjanaan semula dipertingkatkan model bahasa besar Salah satu teknologi yang paling menjanjikan untuk ketepatan. Ternyata

  RAG digabungkan dengan data masa nyata dapat mengurangkan halusinasi dengan ketara. RAG membolehkan perusahaan memanfaatkan LLM dengan memanfaatkan data proprietari dan kontekstual terkini. Di samping itu, RAG juga boleh memperkayakan kandungan input dengan maklumat kontekstual tertentu, dengan itu membantu model bahasa menjana respons yang lebih tepat dan berkaitan kontekstual. Dalam persekitaran perusahaan, penalaan halus selalunya tidak praktikal, tetapi RAG menawarkan alternatif kos rendah dan hasil tinggi untuk menyampaikan pengalaman pengguna yang diperibadikan dan termaklum

  #🎜🎜 #Secara teratur untuk meningkatkan kecekapan model RAG

  , adalah perlu untuk menggabungkan RAG dengan stor data operasi yang mampu menyimpan data dalam bahasa ibunda LLM, yang dipanggil vektor matematik berdimensi tinggi terbenam yang digunakan untuk mengekod makna teks. Apabila pengguna bertanya pertanyaan, pangkalan data menukarnya menjadi vektor berangka. Dengan cara ini, teks berkaitan boleh disoal melalui pangkalan data vektor tanpa mengira sama ada ia mengandungi istilah yang sama atau tidak.

  Pangkalan data berprestasi tinggi yang tersedia yang mampu menyimpan dan menanyakan sejumlah besar data tidak berstruktur menggunakan carian semantik adalah komponen utama bahagian proses

  RAG .

Atas ialah kandungan terperinci Menggunakan teknologi penjanaan yang dipertingkatkan carian untuk menyelesaikan masalah halusinasi kecerdasan buatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!