Microsoft melancarkan model AI LLaVA-Med untuk menganalisis kes patologi perubatan

Menurut berita pada 14 Jun, penyelidik Microsoft baru-baru ini menunjukkan model LLaVA-Med, yang digunakan terutamanya untuk penyelidikan bioperubatan dan boleh menyimpulkan keadaan patologi pesakit berdasarkan CT, gambar X-ray, dll.

Dilaporkan bahawa penyelidik Microsoft telah bekerjasama dengan sekumpulan hospital dan memperoleh set data besar yang sepadan dengan teks imej bioperubatan untuk melatih model AI berbilang modal. Set data termasuk X-ray dada, MRI, histologi, patologi dan imej CT, dsb., dengan liputan yang agak komprehensif.

▲ Sumber gambar Microsoft

Microsoft menggunakan GPT-4, berdasarkan Vision Transformer dan model bahasa Vicuna, untuk melaksanakan LLaVA-Med pada lapan GPU NVIDIA A100 Ia dilatih untuk memasukkan "semua maklumat pra-analisis untuk setiap imej" dan digunakan untuk menjana soalan dan jawapan tentang imej, memenuhi visi pembantu yang boleh "menjawab soalan tentang imej bioperubatan dalam bahasa semula jadi."

Dalam proses pembelajaran, model tertumpu terutamanya pada "menghuraikan kandungan imej sedemikian" dan "menghuraikan konsep bioperubatan (Nota Rumah IT: Nilaikan rupanya daripada gambar)". Menurut Microsoft, model itu akhirnya mempunyai "keupayaan dialog pelbagai mod yang sangat baik" dan "pada tiga set data bioperubatan standard untuk menjawab soalan visual, LLaVA-Med menerajui model lanjutan lain dalam industri dalam beberapa penunjuk ".

▲ Sumber imej Microsoft

Pasukan penyelidik berkata: "Walaupun kami percaya bahawa model LLaVA-Med mewakili satu langkah ke arah membina pembantu visual bioperubatan yang berguna adalah satu langkah penting, tetapi model LLaVA-Med semasa masih mempunyai kelemahan tertentu, iaitu masalah biasa contoh palsu dan ketepatan yang lemah dalam model besar Pasukan penyelidik akan menumpukan pada peningkatan kualiti dan kebolehpercayaan model pada masa hadapan untuk membuat model Ia suatu hari nanti boleh digunakan dalam bioperubatan komersil.”

IT House menyedari bahawa model itu kini sumber terbuka, dan anda boleh mencari maklumat yang berkaitan di GitHub.

Atas ialah kandungan terperinci Microsoft melancarkan model AI LLaVA-Med untuk menganalisis kes patologi perubatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!