Kajian baharu: AI perubatan kurang tepat dalam menilai hasil rawatan untuk pesakit baharu skizofrenia

Berita pada 12 Januari, satu kajian baru mendapati bahawa algoritma komputer yang digunakan untuk membantu doktor dalam merawat pesakit skizofrenia tidak menyesuaikan diri dengan baik kepada data baharu yang belum pernah dilihat dalam proses pembangunan sebelumnya. Akibatnya, jenis AI perubatan ini berprestasi sangat teruk apabila menilai hasil rawatan untuk pesakit yang tidak pernah didedahkan.

Alat perubatan ini menggunakan kecerdasan buatan untuk menemui ciri dalam set data yang besar dan meramalkan tindak balas individu terhadap rawatan tertentu, yang merupakan teras perubatan ketepatan. Pakar penjagaan kesihatan berharap dapat menggunakan alat ini untuk menyesuaikan rawatan kepada setiap pesakit. Dalam artikel yang diterbitkan dalam jurnal Sains, para penyelidik menyatakan bahawa model kecerdasan buatan boleh meramalkan hasil rawatan untuk pesakit yang termasuk dalam sampel latihan dengan tahap ketepatan yang tinggi. Walau bagaimanapun, apabila berurusan dengan data pesakit yang tidak kelihatan sebelum ini, prestasi model menurun dengan ketara kepada hanya lebih baik sedikit daripada meneka secara rawak.

Untuk memastikan keberkesanan ubat ketepatan, model ramalan perlu mengekalkan ketepatan yang stabil dalam keadaan berbeza dan meminimumkan kemungkinan keputusan berat sebelah atau rawak.

"Ini adalah masalah besar yang orang tidak sedar lagi," kata pengarang bersama kajian Adam Chekroud, pakar psikiatri di Universiti Yale di New Haven, Connecticut. "Kajian ini pada asasnya menunjukkan bahawa algoritma masih perlu diuji pada berbilang sampel."

Ketepatan Algoritma

Para penyelidik menilai algoritma yang biasa digunakan dalam model ramalan psikosis. Mereka menggunakan data daripada lima ujian klinikal antipsikotik yang melibatkan 1,513 sukarelawan yang didiagnosis dengan skizofrenia di Amerika Utara, Asia, Eropah dan Afrika. Percubaan, yang dijalankan antara 2004 dan 2009, mengukur gejala sukarelawan sebelum dan empat minggu selepas mengambil salah satu daripada tiga ubat antipsikotik.

Pasukan penyelidik menggunakan set data untuk melatih algoritma untuk meramalkan tahap peningkatan gejala pesakit selepas empat minggu rawatan ubat antipsikotik. Pertama, para penyelidik menguji ketepatan algoritma dalam percubaan di mana ia dibangunkan, membandingkan ramalan dengan kesan sebenar yang direkodkan dalam percubaan dan mendapati ketepatannya adalah tinggi.

Mereka kemudian menggunakan pelbagai kaedah untuk menilai seberapa tepat model AI ini menganalisis data baharu. Para penyelidik melatih model pada subset data daripada satu percubaan klinikal dan kemudian menggunakannya pada subset data lain daripada percubaan yang sama. Mereka juga melatih algoritma pada semua data daripada percubaan atau set ujian, dan kemudian menguji prestasi model pada data percubaan klinikal yang lain.

Didapati model AI berprestasi lemah dalam ujian ini, dengan ramalan yang dihasilkan oleh model kelihatan hampir rawak apabila digunakan pada set data yang tidak terlatih. Pasukan penyelidik mengulangi eksperimen menggunakan algoritma ramalan yang berbeza, tetapi memperoleh hasil yang serupa.

Pengujian yang lebih baik

Pengarang kajian berkata penemuan mereka menyerlahkan cara model ramalan klinikal harus diuji dengan teliti pada set data yang besar untuk memastikan kebolehpercayaannya. Kajian sistematik terhadap 308 model ramalan klinikal untuk hasil psikiatri mendapati hanya kira-kira 20% daripada model telah disahkan pada set data selain daripada sampel yang digunakan untuk pembangunan.

"Kita harus memikirkan pembangunan model lebih seperti membangunkan dadah," kata Chekrud. Beliau menjelaskan bahawa banyak ubat berfungsi dengan baik dalam ujian klinikal awal tetapi menghadapi masalah pada peringkat kemudian. "Kita mesti mematuhi prinsip bagaimana untuk membangunkan dan menguji algoritma ini. Kita tidak boleh melakukannya sekali sahaja dan menganggapnya benar."

Atas ialah kandungan terperinci Kajian baharu: AI perubatan kurang tepat dalam menilai hasil rawatan untuk pesakit baharu skizofrenia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!