Koroner Arter Hastalığına İlişkin Chatbot Yanıtlarının Karşılaştırmalı Değerlendirilmesi

AMAÇ
Koroner arter hastalığı (KAH), dünya çapında morbidite ve mortalitenin önde gelen nedenidir. Doğal dil işleyen sohbet robotlarına (NLPC) olan ilginin artması, bunların sağlık alanında kaçınılmaz olarak yaygın bir şekilde benimsenmesini sağlamıştır. Bu çalışmanın amacı ChatGPT, Gemini ve Bing gibi NLPC'lerin CAD ile ilgili sık sorulan sorulara verdiği yanıtların doğruluğunu ve tekrarlanabilirliğini kontrol etmektir.

YÖNTEM
KAH ile ilgili sık sorulan 50 soru ChatGPT, Gemini ve Bing üzerinden 1 hafta arayla 2 kez soruldu. İki kardiyolog bağımsız olarak cevapları 4 gruba ayırdı: kapsamlı/doğru (1), eksik/kısmen doğru (2), doğru ve yanlış/yanıltıcı karışımı (3) ve tamamen yanlış/ilgisiz (4). Her NLPC'nin yanıtlarının doğruluğu ve tekrarlanabilirliği değerlendirildi.

BULGULAR
ChatGPT'nin puanlaması %14 eksik/kısmen doğru ve %86 kapsamlı/doğruydu. Öte yandan Gemini %68 kapsamlı/doğru yanıt, %30 eksik/kısmen doğru yanıt ve %2 karma doğru ve yanlış/yanıltıcı yanıt verdi. Son olarak Bing, %60 kapsamlı/doğru yanıtlar, %26 eksik/kısmen doğru yanıtlar ve %8 doğru ve yanlış/yanıltıcı bilgilerin bir karışımı olan yanıtlar verdi. Tekrarlanabilirlik değerleri ChatGPT için %88, Gemini için %84 ve Bing için %70 idi.

SONUÇ
ChatGPT, Bing ve Gemini ile karşılaştırıldığında daha hassas ve doğru cevaplar sağlayarak koroner arter hastalığı hakkında hasta eğitimini artırmada önemli bir potansiyele sahiptir.