Graf pengetahuan: rakan kongsi yang ideal untuk model besar

Model bahasa berskala besar (LLM) mempunyai keupayaan untuk menghasilkan teks yang lancar dan koheren, membawa prospek baharu ke bidang seperti dialog kecerdasan buatan dan penulisan kreatif. Walau bagaimanapun, LLM juga mempunyai beberapa had utama. Pertama, pengetahuan mereka terhad kepada corak yang diiktiraf daripada data latihan, kurang pemahaman sebenar tentang dunia. Kedua, kemahiran menaakul adalah terhad dan tidak boleh membuat inferens logik atau menggabungkan fakta daripada pelbagai sumber data. Apabila berhadapan dengan soalan yang lebih kompleks dan terbuka, jawapan LLM mungkin menjadi tidak masuk akal atau bercanggah, dikenali sebagai "ilusi." Oleh itu, walaupun LLM sangat berguna dalam beberapa aspek, ia masih mempunyai had tertentu apabila berhadapan dengan masalah kompleks dan situasi dunia sebenar.

Untuk merapatkan jurang ini, sistem Retrieval Augmented Generation (RAG) telah muncul dalam beberapa tahun kebelakangan ini, idea terasnya adalah untuk menyediakan konteks kepada LLM dengan mendapatkan semula pengetahuan yang berkaitan daripada sumber luar untuk membuat respons yang lebih termaklum. Sistem semasa kebanyakannya menggunakan persamaan semantik bagi pembenaman vektor untuk mendapatkan petikan, namun, pendekatan ini mempunyai kelemahannya sendiri, seperti kekurangan korelasi yang benar, ketidakupayaan untuk mengagregatkan fakta dan kekurangan rantai inferens. Bidang aplikasi graf pengetahuan boleh menyelesaikan masalah ini. Graf pengetahuan ialah perwakilan berstruktur bagi entiti dan perhubungan dunia sebenar. Dengan mengekodkan kesalinghubungan antara fakta kontekstual, graf pengetahuan mengatasi kelemahan carian vektor tulen, dan carian graf membolehkan penaakulan pelbagai peringkat yang kompleks merentas pelbagai sumber maklumat.

Gabungan pembenaman vektor dan graf pengetahuan boleh meningkatkan keupayaan penaakulan LLM dan meningkatkan ketepatan dan kebolehtafsirannya. Perkongsian ini menggabungkan dengan sempurna semantik permukaan dengan pengetahuan dan logik berstruktur, membolehkan LLM menggunakan pembelajaran statistik dan perwakilan simbolik secara serentak.

Gambar

1. Had carian vektor

Kebanyakan sistem RAG mencari konteks LLM melalui carian vektor bagi petikan dalam koleksi dokumen. Terdapat beberapa langkah utama dalam proses ini.

1. Pengekodan Teks: Sistem menggunakan model benam seperti BERT untuk mengekod teks daripada perenggan dalam korpus ke dalam perwakilan vektor. Setiap artikel dimampatkan menjadi vektor padat untuk menangkap semantik.
2. Indeks: Vektor saluran ini diindeks dalam ruang vektor berdimensi tinggi untuk membolehkan carian jiran terdekat yang pantas. Kaedah popular termasuk Faiss dan Pinecone, antara lain.
3. Pengekodan pertanyaan: Pernyataan pertanyaan pengguna juga dikodkan ke dalam perwakilan vektor menggunakan model benam yang sama.
4. Pendapatan semula persamaan: Carian jiran terdekat dijalankan merentas perenggan yang diindeks, mencari perenggan yang paling hampir dengan vektor pertanyaan berdasarkan metrik jarak (seperti jarak kosinus).
5. Kembalikan hasil perenggan: Kembalikan vektor perenggan yang paling serupa, ekstrak teks asal untuk menyediakan konteks untuk LLM.

Saluran paip ini mempunyai beberapa had utama:

• vektor saluran mungkin tidak menangkap sepenuhnya maksud semantik pertanyaan, benam tidak boleh mewakili sambungan inferens tertentu dan konteks penting akhirnya diabaikan.
• Memadatkan seluruh perenggan menjadi satu vektor akan kehilangan nuansa dan butiran penting penting yang dibenamkan dalam ayat akan menjadi kabur.
• Pemadanan dilakukan secara bebas untuk setiap perenggan, tiada analisis bersama merentas perenggan yang berbeza, dan terdapat kekurangan fakta yang menghubungkan dan tiba pada jawapan yang perlu diagregatkan.
• Proses pemeringkatan dan pemadanan adalah legap, tiada ketelusan untuk menjelaskan mengapa petikan tertentu dianggap lebih relevan.
• Hanya persamaan semantik dikodkan dan tiada perwakilan perhubungan, struktur, peraturan dan kandungan lain antara sambungan yang berbeza.
• Tumpuan tunggal pada persamaan vektor semantik membawa kepada kekurangan pemahaman sebenar dalam pencarian semula.

Apabila pertanyaan menjadi lebih kompleks, batasan ini menjadi semakin ketara dalam ketidakupayaan untuk membuat alasan tentang kandungan yang diambil.

2. Sepadukan graf pengetahuan

Graf pengetahuan adalah berdasarkan entiti dan perhubungan, menghantar maklumat melalui rangkaian yang saling berkaitan dan meningkatkan keupayaan mendapatkan semula melalui penaakulan yang kompleks.

• Fakta Eksplisit Fakta ditangkap terus sebagai nod dan tepi dan bukannya dimampatkan menjadi vektor legap, yang mengekalkan butiran kritikal.
• Butiran konteks, entiti mengandungi atribut kaya, seperti perihalan, alias dan metadata yang menyediakan konteks utama.
• Struktur rangkaian menyatakan sambungan sebenar, peraturan tangkapan, hierarki, garis masa, dll. antara entiti pemodelan hubungan.
• Penaakulan pelbagai peringkat adalah berdasarkan traversal perhubungan dan menghubungkan fakta daripada sumber yang berbeza untuk mendapatkan jawapan yang memerlukan penaakulan merentasi pelbagai langkah.
• Taakulan bersama memaut ke objek dunia sebenar yang sama melalui resolusi entiti, membolehkan analisis kolektif.
• Korelasi yang boleh ditafsir, topologi graf menyediakan ketelusan yang boleh menjelaskan mengapa fakta berasaskan tertentu relevan berdasarkan sambungan.
• Pemperibadian, menangkap atribut pengguna, konteks dan interaksi sejarah untuk menyesuaikan hasil.

Graf pengetahuan bukan sekadar padanan mudah, tetapi proses merentasi graf untuk mengumpul fakta kontekstual yang berkaitan dengan pertanyaan. Kaedah penarafan yang boleh ditafsir mengeksploitasi topologi graf untuk meningkatkan keupayaan mendapatkan semula dengan mengekodkan fakta berstruktur, perhubungan dan konteks, dengan itu membolehkan penaakulan berbilang langkah yang tepat. Pendekatan ini memberikan korelasi dan kuasa penjelasan yang lebih besar berbanding dengan carian vektor tulen.

Membenamkan graf pengetahuan dalam ruang vektor berterusan ialah tempat tumpuan penyelidikan semasa. Graf pengetahuan menggunakan benam vektor untuk mewakili entiti dan perhubungan untuk menyokong operasi matematik. Selain itu, kekangan tambahan boleh mengoptimumkan lagi perwakilan.

• Kekangan bukan negatif, mengehadkan pembenaman entiti kepada nilai positif antara 0 dan 1 menghasilkan jarang, memodelkan sifat positifnya secara eksplisit dan meningkatkan kebolehtafsiran.
• Kekangan implikasi secara langsung mengekod peraturan logik seperti simetri, penyongsangan, gubahan, dsb. ke dalam kekangan tertanam secara perhubungan untuk menguatkuasakan corak ini.
• Pemodelan keyakinan, kekangan lembut dengan pembolehubah kendur boleh mengekodkan keyakinan peraturan logik berdasarkan bukti.
• Pengaturan, yang mengenakan bias induktif yang berguna dan hanya menambah langkah unjuran tanpa menjadikan pengoptimuman lebih kompleks.
• Kebolehtafsiran, kekangan berstruktur memberikan ketelusan kepada corak yang dipelajari oleh model, yang menerangkan proses inferens.
• Ketepatan, kekangan meningkatkan generalisasi dengan mengurangkan ruang hipotesis kepada perwakilan yang memenuhi keperluan.

Kekangan mudah dan universal ditambah pada pembenaman graf pengetahuan, menghasilkan perwakilan yang lebih optimum, lebih mudah untuk ditafsir dan serasi secara logik. Pembenaman memperoleh bias induktif yang meniru struktur dan peraturan dunia sebenar tanpa memperkenalkan banyak kerumitan tambahan untuk penaakulan yang lebih tepat dan boleh ditafsir.

Graf pengetahuan memerlukan penaakulan untuk memperoleh fakta baharu, menjawab soalan dan membuat ramalan Teknologi yang berbeza mempunyai kelebihan yang saling melengkapi:

pengetahuan logik dan peraturan logik. penaakulan lengkap melalui pembuktian teorem, dan pemprosesan ketidakpastian terhad. Pembenaman graf ialah struktur graf pengetahuan terbenam yang digunakan untuk operasi ruang vektor, yang boleh mengendalikan ketidakpastian tetapi tidak mempunyai ekspresif. Rangkaian saraf yang digabungkan dengan carian vektor adalah adaptif, tetapi inferensnya adalah legap. Peraturan boleh dibuat secara automatik melalui analisis statistik struktur dan data graf, tetapi kualitinya tidak pasti. Talian paip hibrid mengekodkan kekangan eksplisit melalui peraturan logik, benam menyediakan operasi ruang vektor, dan rangkaian saraf mendapat faedah gabungan melalui latihan bersama. Gunakan kaedah logik berasaskan kes, kabur atau probabilistik untuk meningkatkan ketelusan, menyatakan ketidakpastian dan keyakinan terhadap peraturan. Kembangkan pengetahuan dengan menjelmakan fakta yang disimpulkan dan peraturan yang dipelajari ke dalam graf, menyediakan gelung maklum balas.

Kuncinya ialah mengenal pasti jenis inferens yang diperlukan dan memetakannya kepada teknik yang sesuai, menggabungkan bentuk logik, perwakilan vektor dan saluran paip komponen neuron yang boleh digubah untuk memberikan keteguhan dan kebolehtafsiran.

4.1 Mengekalkan aliran maklumat LLM

Mendapatkan kembali fakta dalam graf pengetahuan untuk LLM memperkenalkan kesesakan maklumat yang perlu dikekalkan oleh reka bentuk untuk mengekalkan perkaitan. Memecahkan kandungan kepada bahagian kecil meningkatkan pengasingan tetapi kehilangan konteks sekeliling, yang menghalang penaakulan antara bahagian. Menjana ringkasan blok menyediakan konteks yang lebih ringkas, dengan butiran utama yang dipekatkan untuk menyerlahkan makna. Lampirkan ringkasan, tajuk, teg, dsb. sebagai metadata untuk mengekalkan konteks tentang kandungan sumber. Menulis semula pertanyaan asal ke dalam versi yang lebih terperinci boleh menyasarkan pengambilan semula kepada keperluan LLM dengan lebih baik. Fungsi traversal graf pengetahuan mengekalkan hubungan antara fakta dan mengekalkan konteks. Mengisih secara kronologi atau mengikut kaitan boleh mengoptimumkan struktur maklumat LLM, dan menukar pengetahuan tersirat kepada fakta eksplisit yang dinyatakan untuk LLM boleh memudahkan penaakulan.

Matlamatnya adalah untuk mengoptimumkan perkaitan, konteks, struktur dan ekspresi eksplisit pengetahuan yang diperolehi untuk memaksimumkan keupayaan penaakulan. Keseimbangan perlu dicapai antara butiran dan perpaduan. Hubungan graf pengetahuan membantu membina konteks untuk fakta terpencil.

4.2 Membuka kunci keupayaan penaakulan

Gabungan graf pengetahuan dan teknologi terbenam mempunyai kelebihan untuk mengatasi kelemahan masing-masing.

Graf pengetahuan menyediakan ungkapan berstruktur entiti dan perhubungan. Tingkatkan keupayaan penaakulan yang kompleks melalui fungsi traversal dan kendalikan penaakulan berbilang peringkat mengekod maklumat untuk operasi berasaskan persamaan dalam ruang vektor, menyokong carian anggaran yang berkesan pada skala tertentu dan memaparkan corak yang berpotensi. Pengekodan bersama menjana pembenaman untuk entiti dan perhubungan dalam graf pengetahuan. Rangkaian saraf graf beroperasi pada struktur graf dan elemen terbenam melalui hantaran mesej yang boleh dibezakan.

Graf pengetahuan mula-mula mengumpulkan pengetahuan berstruktur, dan kemudian membenamkan carian dan perolehan tertumpu pada kandungan yang berkaitan dengan perhubungan graf pengetahuan eksplisit memberikan kebolehtafsiran untuk proses penaakulan. Pengetahuan yang disimpulkan boleh diperluaskan kepada graf, dan GNN menyediakan pembelajaran perwakilan berterusan.

Perkongsian ini boleh dikenali melalui corak! Skala daya dan rangkaian saraf meningkatkan perwakilan pengetahuan berstruktur. Ini adalah kunci kepada keperluan pembelajaran statistik dan logik simbolik untuk memajukan AI linguistik. .

1. Carian Jiran Terdekat - Untuk pertanyaan carian, cari nod dengan benam yang paling serupa.
2. Pelarasan Kolaboratif - Sambungan berasaskan nod, menggunakan algoritma seperti PageRank untuk menyebarkan dan melaraskan skor persamaan.
3. Berat tepiーLaraskan berat berdasarkan jenis tepi, kekuatan, keyakinan, dsb.
4. Penormalan Skor ーーMenormalkan skor yang dilaraskan untuk mengekalkan kedudukan relatif.
5. Keputusan disusun semulaーーKeputusan awal disusun semula berdasarkan skor kerjasama yang dilaraskan.
6. Konteks penggunaーーditala selanjutnya berdasarkan profil pengguna, sejarah dan pilihan.
8. Gambar
5. Menjana Enjin RAG - Roda Gila Data
9. Membina data yang sentiasa bertambah baik Retrieval Augmentation Generation (RAG) mungkin memerlukan sistem data flywheel. Graf pengetahuan membuka kunci keupayaan penaakulan baharu untuk model bahasa dengan menyediakan pengetahuan dunia berstruktur. Walau bagaimanapun, membina peta berkualiti tinggi masih mencabar. Di sinilah roda tenaga data masuk, dengan menganalisis interaksi sistem untuk meningkatkan graf pengetahuan secara berterusan.

Log semua pertanyaan sistem, respons, skor, tindakan pengguna dan banyak lagi untuk memberikan keterlihatan tentang cara graf pengetahuan digunakan, gunakan pengagregatan data untuk memaparkan respons buruk, kelompok dan analisis respons ini untuk mengenal pasti corak yang menunjukkan jurang pengetahuan. Semak respons sistem yang bermasalah secara manual dan jejak isu kembali kepada fakta yang hilang atau salah dalam peta. Kemudian, ubah suai carta secara terus untuk menambah data fakta yang tiada, menambah baik struktur, meningkatkan kejelasan dan banyak lagi. Langkah-langkah di atas diselesaikan dalam gelung berterusan, dan setiap lelaran meningkatkan lagi graf pengetahuan.

Menstrim sumber data masa nyata seperti berita dan media sosial menyediakan aliran maklumat baharu yang berterusan untuk memastikan graf pengetahuan terkini. Menggunakan penjanaan pertanyaan untuk mengenal pasti dan mengisi jurang pengetahuan kritikal adalah di luar skop apa yang disediakan oleh penstriman. Cari lubang dalam graf, tanya soalan, dapatkan semula fakta yang hilang dan tambahkannya. Untuk setiap kitaran, graf pengetahuan dipertingkatkan secara beransur-ansur dengan menganalisis corak penggunaan dan membetulkan masalah data Graf yang dipertingkatkan meningkatkan prestasi sistem.

Proses roda tenaga ini membolehkan graf pengetahuan dan model bahasa berkembang bersama berdasarkan maklum balas daripada penggunaan dunia sebenar. Peta diubah suai secara aktif agar sesuai dengan keperluan model.

Ringkasnya, roda tenaga data menyediakan perancah untuk peningkatan berterusan dan automatik bagi graf pengetahuan dengan menganalisis interaksi sistem. Ini menguasakan ketepatan, perkaitan dan kebolehsuaian model bahasa yang bergantung kepada graf.

6. Ringkasan

Kecerdasan buatan perlu menggabungkan pengetahuan luaran dan penaakulan, di mana graf pengetahuan masuk. Graf pengetahuan menyediakan perwakilan berstruktur bagi entiti dan perhubungan dunia sebenar, pengekodan fakta tentang dunia dan perkaitan antara mereka. Ini membolehkan penaakulan logik yang kompleks merentasi pelbagai langkah dengan merentasi fakta yang saling berkaitan itu

Walau bagaimanapun, graf pengetahuan mempunyai hadnya sendiri seperti keterbatasan dan kekurangan pengendalian ketidakpastian, yang merupakan tempat pembenaman graf membantu lokasi. Dengan mengekodkan elemen graf pengetahuan dalam ruang vektor, pembenaman membenarkan pembelajaran statistik daripada korpora besar kepada perwakilan corak terpendam, dan juga membolehkan operasi berasaskan persamaan yang cekap.

Tiada graf pengetahuan atau pembenaman vektor dengan sendirinya tidak mencukupi untuk membentuk kecerdasan bahasa seperti manusia, tetapi bersama-sama ia menyediakan gabungan perwakilan pengetahuan berstruktur yang berkesan, penaakulan logik dan pembelajaran statistik, dan graf pengetahuan merangkumi model rangkaian saraf Beyond keupayaan untuk mengenali logik dan perhubungan simbolik, teknik seperti rangkaian saraf graf menyatukan lagi pendekatan ini melalui struktur graf pemindahan maklumat dan benam. Hubungan simbiotik ini membolehkan sistem menggunakan kedua-dua pembelajaran statistik dan logik simbolik, menggabungkan kelebihan rangkaian saraf dan perwakilan pengetahuan berstruktur.

Masih terdapat cabaran dalam membina graf pengetahuan berkualiti tinggi, ujian penanda aras, pemprosesan hingar, dsb. Walau bagaimanapun, teknologi hibrid yang merangkumi rangkaian simbolik dan saraf kekal menjanjikan. Apabila graf pengetahuan dan model bahasa terus berkembang, penyepaduan mereka akan membuka bidang baharu AI yang boleh dijelaskan.

Atas ialah kandungan terperinci Graf pengetahuan: rakan kongsi yang ideal untuk model besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!