Kredit: Area Publik Unsplash/CC0
Alat AI seperti ChatGPT telah dipuji karena janjinya untuk meringankan beban dokter dengan melakukan triase pasien, mencatat riwayat medis, dan bahkan memberikan prognosis awal.
Alat-alat ini, yang dikenal sebagai mannequin bahasa besar, sudah digunakan oleh pasien untuk memahami gejala dan hasil tes medis mereka.
Meskipun mannequin AI ini mendapat skor yang mengesankan pada tes medis standar, seberapa baik mannequin tersebut bekerja dalam situasi yang lebih mirip dengan dunia nyata?
Tidak terlalu bagus, menurut temuan studi baru yang dipimpin oleh para peneliti di Harvard Medical College dan Stanford College.
Untuk analisis mereka, yang diterbitkan pada 2 Januari di Nature Medication, para peneliti merancang kerangka evaluasi—atau pengujian—yang disebut CRAFT-MD (Kerangka Percakapan untuk Penilaian Penalaran Pengujian dalam Kedokteran) dan menerapkannya pada empat mannequin bahasa besar untuk melihat seberapa baik kinerjanya di lingkungan yang sangat mirip dengan interaksi sebenarnya pasien.
Keempat mannequin berbahasa besar merespons dengan baik pertanyaan bergaya pemeriksaan medis, namun performanya menurun saat terlibat dalam percakapan yang lebih mirip interaksi di dunia nyata.
Kesenjangan ini, kata para peneliti, menyoroti adanya dua kebutuhan: pertama, untuk menciptakan penilaian yang lebih realistis yang dapat menilai dengan lebih baik kesesuaian mannequin AI klinis untuk penggunaan di dunia nyata dan, kedua, untuk meningkatkan kemampuan alat-alat ini dalam membuat prognosis. berdasarkan interaksi yang lebih realistis sebelum diterapkan di klinik.
Alat evaluasi seperti CRAFT-MD, kata tim peneliti, tidak hanya dapat mengevaluasi mannequin AI secara lebih akurat untuk kebugaran dunia nyata, namun juga dapat membantu mengoptimalkan kinerjanya di klinik.
“Pekerjaan kami mengungkap sebuah paradoks yang mencolok – meskipun model AI ini unggul dalam tinjauan dewan medis, mereka kesulitan dalam mengurutkan kunjungan dokter dasar,” kata penulis studi senior Pranav Rajpurkar, asisten profesor informatika biomedis di Harvard Medical College. .
“Sifat percakapan medis yang dinamis—kebutuhan untuk mengajukan pertanyaan yang tepat pada waktu yang tepat, mengumpulkan informasi yang tersebar, dan memikirkan gejalanya—menimbulkan tantangan unik yang lebih dari sekadar menjawab pertanyaan pilihan ganda.” Ketika kita beralih dari pengujian standar untuk percakapan alami ini, bahkan mannequin AI paling canggih pun menunjukkan penurunan akurasi diagnostik yang signifikan.”
Tes yang lebih baik untuk memeriksa kinerja AI di dunia nyata
Saat ini, pengembang sedang menguji kinerja mannequin AI dengan meminta mereka menjawab pertanyaan medis pilihan ganda, yang biasanya berasal dari ujian nasional untuk mahasiswa kedokteran pascasarjana atau tes yang diberikan kepada dokter sebagai bagian dari sertifikasi mereka.
“Pendekatan ini mengasumsikan bahwa semua informasi relevan disajikan dengan jelas dan ringkas, seringkali dengan terminologi atau frasa medis yang menyederhanakan proses diagnostik, namun di dunia nyata proses ini jauh lebih berantakan,” kata rekan penulis studi Shreya Johri, seorang mahasiswa PhD. di Laboratorium Rajpurkar di Harvard Medical College.
“Kami memerlukan kerangka pengujian yang lebih mencerminkan kenyataan dan oleh karena itu lebih baik dalam memprediksi seberapa baik kinerja model.”
CRAFT-MD dirancang untuk menjadi salah satu meteran yang lebih realistis.
Untuk mensimulasikan interaksi di dunia nyata, CRAFT-MD mengevaluasi seberapa baik mannequin bahasa besar dapat mengumpulkan informasi tentang gejala, pengobatan, dan riwayat keluarga, lalu membuat prognosis. Agen AI digunakan untuk berperan sebagai pasien, menjawab pertanyaan dengan gaya percakapan dan alami.
Agen AI lainnya mengevaluasi keakuratan prognosis akhir yang diberikan oleh mannequin bahasa besar. Pakar manusia kemudian mengevaluasi hasil dari setiap pertemuan dalam hal kemampuan mengumpulkan informasi pasien yang relevan, keakuratan diagnostik ketika disajikan dengan informasi yang tersebar, dan kepatuhan terhadap instruksi.
Para peneliti menggunakan CRAFT-MD untuk menguji empat mannequin AI—baik yang berpemilik atau komersial dan open supply—untuk mengetahui kinerjanya pada 2.000 sketsa klinis dengan kondisi yang umum terjadi pada perawatan primer dan 12 spesialisasi medis.
Semua mannequin AI telah menunjukkan keterbatasan, terutama dalam kemampuannya melakukan percakapan klinis dan memberikan alasan berdasarkan informasi yang diberikan oleh pasien. Hal ini pada gilirannya membahayakan kemampuan mereka untuk mencatat riwayat penyakit dan membuat prognosis yang tepat. Misalnya, mannequin sering kali kesulitan mengajukan pertanyaan yang tepat untuk mengumpulkan riwayat pasien yang relevan, melewatkan informasi penting selama pengambilan riwayat, dan mengalami kesulitan dalam mensintesis informasi yang tersebar.
Keakuratan mannequin ini menurun ketika disajikan dengan informasi terbuka dibandingkan dengan jawaban pilihan ganda. Mannequin-model ini juga berkinerja lebih buruk ketika terlibat dalam percakapan bolak-balik—seperti kebanyakan percakapan di dunia nyata—dibandingkan ketika terlibat dalam percakapan ringkasan.
Rekomendasi untuk mengoptimalkan kinerja AI di dunia nyata
Berdasarkan temuan ini, tim menawarkan serangkaian rekomendasi bagi pengembang AI yang merancang mannequin AI dan regulator yang bertugas mengevaluasi dan menyetujui alat-alat ini.
Ini termasuk:
Penggunaan pertanyaan percakapan dan terbuka yang lebih akurat mencerminkan interaksi dokter-pasien yang tidak terstruktur dalam desain, pelatihan, dan pengujian alat AI. lebih banyak percakapan dan mengintegrasikan informasi darinya Merancang mannequin AI yang dapat mengintegrasikan information tekstual (catatan percakapan) dengan information non-tekstual (gambar, EKG) Merancang agen AI yang lebih canggih yang dapat menafsirkan isyarat non-verbal seperti ekspresi wajah, nada suara, dan bahasa tubuh
Selain itu, evaluasi harus mencakup agen AI dan pakar manusia, menurut rekomendasi para peneliti, karena hanya mengandalkan pakar manusia memerlukan banyak tenaga dan biaya. Misalnya, CRAFT-MD mengungguli evaluator manusia, memproses 10.000 percakapan dalam 48 hingga 72 jam, ditambah 15-16 jam evaluasi ahli.
Sebaliknya, pendekatan berbasis manusia memerlukan rekrutmen ekstensif dan sekitar 500 jam untuk simulasi pasien (hampir tiga menit per wawancara) dan sekitar 650 jam untuk penilaian ahli (hampir empat menit per wawancara). Menggunakan evaluator AI sebagai lini pertama memiliki manfaat tambahan yaitu menghilangkan risiko memaparkan pasien pada alat AI yang belum terbukti.
Para peneliti mengatakan mereka berharap CRAFT-MD sendiri akan diperbarui dan dioptimalkan secara berkala untuk mengintegrasikan mannequin pasien AI yang lebih baik.
“Sebagai ilmuwan dokter, saya tertarik pada model AI yang dapat meningkatkan praktik klinis secara efisien dan etis,” kata rekan penulis studi Rokana Daneshou, asisten profesor ilmu information biomedis dan dermatologi di Universitas Stanford.
“CRAFT-MD menciptakan kerangka kerja yang lebih mencerminkan interaksi di dunia nyata sehingga membantu kemajuan dalam pengujian kinerja model AI dalam layanan kesehatan.”
Informasi lebih lanjut: Kerangka evaluasi untuk penggunaan klinis mannequin bahasa skala besar dalam tugas interaksi pasien, Nature Medication (2024). DOI: 10.1038/s41591-024-03328-5
Disediakan oleh Sekolah Kedokteran Harvard
Kutipan: Tes baru menilai keterampilan komunikasi dunia nyata dokter AI (2025, 2 Januari) Diakses pada 2 Januari 2025, dari https://medicalkpress.com/nevs/2024-12-ai-doctors-real-vorld-communication. html
Dokumen ini memiliki hak cipta. Kecuali untuk transaksi wajar untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.
solusi praktis menikah
solusi praktis
praktek solusi
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah king slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
jablay88 permainan paling prime dan garansi imbal balik hasil besar bersama https://jablay88.biz/
jadijp88 permainan paling prime dan garansi imbal balik hasil besar bersama https://jadijp88.com/
jazz88 permainan paling prime dan garansi imbal balik hasil besar bersama https://jazz88.biz/
jurutogel88 permainan paling prime dan garansi imbal balik hasil besar bersama https://jurutogel88.internet/
kangbet88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kangbet88.biz/
kilau88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kilau88.asia/
kuningtoto88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kuningtoto88.internet/
lomboktoto88 permainan paling prime dan garansi imbal balik hasil besar bersama https://lomboktoto88.org/
mager88 permainan paling prime dan garansi imbal balik hasil besar bersama https://mager88.biz/
mantul888 permainan paling prime dan garansi imbal balik hasil besar bersama https://mantul888.biz/
mawartoto88 permainan paling prime dan garansi imbal balik hasil besar bersama https://mawartoto88.asia/
meriah88 permainan paling prime dan garansi imbal balik hasil besar bersama https://meriah88.biz/
moba88 permainan paling prime dan garansi imbal balik hasil besar bersama https://moba88.org/
paristogel88 permainan paling prime dan garansi imbal balik hasil besar bersama https://paristogel88.biz/
parsel88 permainan paling prime dan garansi imbal balik hasil besar bersama https://parsel88.internet/
paus13 permainan paling prime dan garansi imbal balik hasil besar bersama https://paus13.com/
pay7777 permainan paling prime dan garansi imbal balik hasil besar bersama https://pay7777.internet/
planetliga88 permainan paling prime dan garansi imbal balik hasil besar bersama https://planetliga88.internet/
ratuslot88 permainan paling prime dan garansi imbal balik hasil besar bersama https://ratuslot88.biz/
rtp100 permainan paling prime dan garansi imbal balik hasil besar bersama https://rtp100.internet/
ruby88 permainan paling prime dan garansi imbal balik hasil besar bersama https://ruby88.org/
rungkad88 permainan paling prime dan garansi imbal balik hasil besar bersama https://rungkad88.biz/
senopati88 permainan paling prime dan garansi imbal balik hasil besar bersama https://senopati88.biz/
sis88 permainan paling prime dan garansi imbal balik hasil besar bersama https://sis88.biz/
sistoto permainan paling prime dan garansi imbal balik hasil besar bersama https://sistoto.internet/
sontogel88 permainan paling prime dan garansi imbal balik hasil besar bersama https://sontogel88.com/
spin98 permainan paling prime dan garansi imbal balik hasil besar bersama https://spin98.biz/
totosaja88 permainan paling prime dan garansi imbal balik hasil besar bersama https://totosaja88.com/
warung22 permainan paling prime dan garansi imbal balik hasil besar bersama https://warung22.com/
warung88 permainan paling prime dan garansi imbal balik hasil besar bersama https://warung88.asia/
winrate999 permainan paling prime dan garansi imbal balik hasil besar bersama https://winrate999.biz/
wuzz888 permainan paling prime dan garansi imbal balik hasil besar bersama https://wuzz888.com/
999jitu permainan paling prime dan garansi imbal balik hasil besar bersama https://999jitu.org/
adu88 permainan paling prime dan garansi imbal balik hasil besar bersama https://adu88.asia/
basket88 permainan paling prime dan garansi imbal balik hasil besar bersama https://basket88.internet/
batu88 permainan paling prime dan garansi imbal balik hasil besar bersama https://batu88.biz/
berita88 permainan paling prime dan garansi imbal balik hasil besar bersama https://berita88.biz/
bukalapak88 permainan paling prime dan garansi imbal balik hasil besar bersama https://bukalapak88.internet/
cipit888 permainan paling prime dan garansi imbal balik hasil besar bersama https://cipit888.asia/
delta888 permainan paling prime dan garansi imbal balik hasil besar bersama https://delta888.biz/
dosen88 permainan paling prime dan garansi imbal balik hasil besar bersama https://dosen88.org/
jago17 permainan paling prime dan garansi imbal balik hasil besar bersama https://jago17.com/
jalantoto88 permainan paling prime dan garansi imbal balik hasil besar bersama https://jalantoto88.biz/
janjigacor88 permainan paling prime dan garansi imbal balik hasil besar bersama https://janjigacor88.org/
jitujp88 permainan paling prime dan garansi imbal balik hasil besar bersama https://jitujp88.com/
jokiwin88 permainan paling prime dan garansi imbal balik hasil besar bersama https://jokiwin88.internet/
juragan66 permainan paling prime dan garansi imbal balik hasil besar bersama https://juragan66.biz/
kenzototo88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kenzototo88.biz/
kkslot77slot permainan paling prime dan garansi imbal balik hasil besar bersama https://kkslot77slot.com/
kompas88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kompas88.biz/
kopi88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kopi88.biz/
kudajitu88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kudajitu88.biz/
kursi88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kursi88.biz/
liputan88 permainan paling prime dan garansi imbal balik hasil besar bersama https://liputan88.internet/
livitoto88 permainan paling prime dan garansi imbal balik hasil besar bersama https://livitoto88.internet/
lotus88 permainan paling prime dan garansi imbal balik hasil besar bersama https://lotus88.asia/
m77casino88 permainan paling prime dan garansi imbal balik hasil besar bersama https://m77casino88.com/
majujp88 permainan paling prime dan garansi imbal balik hasil besar bersama https://majujp88.org/
mamikos permainan paling prime dan garansi imbal balik hasil besar bersama https://mamikos.org/
mamikos88 permainan paling prime dan garansi imbal balik hasil besar bersama https://mamikos88.com/
masterplay88 permainan paling prime dan garansi imbal balik hasil besar bersama https://masterplay88.asia/
masterplay999 permainan paling prime dan garansi imbal balik hasil besar bersama https://masterplay999.internet/
medantoto88 permainan paling prime dan garansi imbal balik hasil besar bersama https://medantoto88.biz/
medusa888 permainan paling prime dan garansi imbal balik hasil besar bersama https://medusa888.com/
meja88 permainan paling prime dan garansi imbal balik hasil besar bersama https://meja88.biz/
midasplay88 permainan paling prime dan garansi imbal balik hasil besar bersama https://midasplay88.biz/
mijit888 permainan paling prime dan garansi imbal balik hasil besar bersama https://mijit888.internet/
mposun88 permainan paling prime dan garansi imbal balik hasil besar bersama https://mposun88.internet/
ibisbudget88 permainan paling prime dan garansi imbal balik hasil besar bersama https://ibisbudget88.com/
mercure88 permainan paling prime dan garansi imbal balik hasil besar bersama https://mercure88.com/
hotel88 permainan paling prime dan garansi imbal balik hasil besar bersama https://hotel88.internet/
sheraton88 permainan paling prime dan garansi imbal balik hasil besar bersama https://sheraton88.com/
ubud88 permainan paling prime dan garansi imbal balik hasil besar bersama https://ubud88.asia/
hardrock88 permainan paling prime dan garansi imbal balik hasil besar bersama https://hardrock88.com/
kuta88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kuta88.asia/
nasigoreng88 permainan paling prime dan garansi imbal balik hasil besar bersama https://nasigoreng88.com/
sate88 permainan paling prime dan garansi imbal balik hasil besar bersama https://sate88.com/
rendang88 permainan paling prime dan garansi imbal balik hasil besar bersama https://rendang88.asia/
gadogado permainan paling prime dan garansi imbal balik hasil besar bersama https://gadogado.org/
kfc88 permainan paling prime dan garansi imbal balik hasil besar bersama https://kfc88.internet/
pizzahut88 permainan paling prime dan garansi imbal balik hasil besar bersama https://pizzahut88.internet/
starbucks88 permainan paling prime dan garansi imbal balik hasil besar bersama https://starbucks88.dwell/
sederhana permainan paling prime dan garansi imbal balik hasil besar bersama https://sederhana.org/
kopikenangan permainan paling prime dan garansi imbal balik hasil besar bersama https://kopikenangan.asia/
angkawin permainan paling prime dan garansi imbal balik hasil besar bersama https://angkawin.internet/
rockygerung88 permainan paling prime dan garansi imbal balik hasil besar bersama https://rockygerung88.com/
monopoli88 permainan paling prime dan garansi imbal balik hasil besar bersama https://monopoli88.com/
kimjongun permainan paling prime dan garansi imbal balik hasil besar bersama https://kimjongun.asia/
catur88 permainan paling prime dan garansi imbal balik hasil besar bersama https://catur88.asia/
tato88 permainan paling prime dan garansi imbal balik hasil besar bersama https://tato88.org/
speaker88 permainan paling prime dan garansi imbal balik hasil besar bersama https://speaker88.internet/
rajah permainan paling prime dan garansi imbal balik hasil besar bersama https://rajah.asia/
kunci gitar permainan paling prime dan garansi imbal balik hasil besar bersama https://kuncigitar.org/
gitar88 permainan paling prime dan garansi imbal balik hasil besar bersama https://gitar88.asia/
gambartato permainan paling prime dan garansi imbal balik hasil besar bersama https://gambartato.com/
gambar88 permainan paling prime dan garansi imbal balik hasil besar bersama https://gambar88.org/
maxwin888slot permainan paling prime dan garansi imbal balik hasil besar bersama https://maxwin888slot.com/
rumah permainan paling prime dan garansi imbal balik hasil besar bersama https://rumah.asia/
nada888 permainan paling prime dan garansi imbal balik hasil besar bersama https://nada888.data/
musik88 permainan paling prime dan garansi imbal balik hasil besar bersama https://musik88.asia/
sewarumah permainan paling prime dan garansi imbal balik hasil besar bersama https://sewarumah.biz/
slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo permainan paling prime dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot permainan paling prime dan garansi imbal balik hasil besar bersama https://kdwapp.com/
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo permainan paling prime dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot permainan paling prime dan garansi imbal balik hasil besar bersama https://jebswagstore.com
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://demoslotgacor.professional
akun demo slot gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://demoslotgacor.professional
akun slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://demoslotgacor.professional
akun demo slot pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://demoslotgacor.professional
akun slot demo pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://demoslotgacor.professional
akun slot demo permainan paling prime dan garansi imbal balik hasil besar bersama https://demoslotgacor.professional
akun demo slot permainan paling prime dan garansi imbal balik hasil besar bersama https://demoslotgacor.professional
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://situsslotterbaru.internet
akun demo slot gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://situsslotterbaru.internet
akun slot demo gacor permainan paling prime dan garansi imbal balik hasil besar bersama https://situsslotterbaru.internet
akun demo slot pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://situsslotterbaru.internet
akun slot demo pragmatic permainan paling prime dan garansi imbal balik hasil besar bersama https://situsslotterbaru.internet
akun slot demo permainan paling prime dan garansi imbal balik hasil besar bersama https://situsslotterbaru.internet
akun demo slot permainan paling prime dan garansi imbal balik hasil besar bersama https://situsslotterbaru.internet
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
situs slot terbaru
slot terbaru
