Yapay zeka sohbet botlarının sağlık tavsiyelerinin %70’i hatalı çıktı. BMJ Open araştırması, botların bilimsel dayanağı zayıf bilgiler sunduğunu ve kaynakçalarının uydurma makaleler içerdiğini ortaya koydu.
Yapay zeka sohbet botlarının sağlık tavsiyelerinin önemli bir kısmının sorunlu olduğu ortaya kondu. BMJ Open’da yayımlanan bir araştırmaya göre, beş farklı yapay zeka botuna yöneltilen 50 tıbbi soruya verilen yanıtların yüzde 70’i hatalı veya eksik bulundu.
Araştırmacılar, kanser, aşılar, kök hücre, beslenme ve atletik performans gibi konularda botlara sorular yöneltti. Uzmanlar tarafından yapılan değerlendirmelerde, yanıtların yüzde 20’si ‘yüksek derecede sorunlu’, yüzde 50’si ‘sorunlu’ ve yüzde 30’u ise ‘kısmen sorunlu’ olarak sınıflandırıldı.
Sohbet botlarının sunduğu tıbbi bilgilerin bilimsel dayanaktan yoksun olduğu belirlendi. Botların hiçbirinin tam olarak doğru bir referans listesi sağlayamadığı gözlemlendi. Kaynakçaların çoğunda yanlış yazar bilgileri, çalışmayan bağlantılar veya tamamen uydurulmuş makaleler tespit edildi.
Platformlar arasında en düşük performansı yüzde 58 hata oranıyla Grok sergiledi. ChatGPT yüzde 52, Meta AI ise yüzde 50 hata oranıyla onu takip etti. Yapay zeka, özellikle internette çelişkili bilginin yoğun olduğu beslenme ve atletik performans gibi alanlarda daha fazla hata yaptı.
Açık uçlu soruların hata riskini artırdığı saptandı. Yapay zeka, ‘doğru mu yanlış mı’ gibi kapalı uçlu sorularda daha başarılı olurken, günlük hayatta sıkça kullanılan açık uçlu sorulara verilen yanıtların yüzde 32’si yüksek derecede sorunlu bulundu.
Dil modellerinin gerçek bilgiye sahip olmadığı, yalnızca eğitim verilerindeki istatistiksel olasılıklara göre kelime tahmini yaptığı belirtildi. Bu eğitim verilerinin forum siteleri ve sosyal medya tartışmalarını da içermesi, hatalı sonuçların temel nedenlerinden biri olarak gösterildi.
Nature Medicine’da yayımlanan başka bir çalışma, yapay zeka modellerinin tıbbi sorulara kendi başına yüzde 95 doğru yanıt verebildiğini, ancak kullanıcılar bu araçları kullandığında doğru bilgiye ulaşma oranının yüzde 35’e düştüğünü ortaya koydu. Bilim insanları, yapay zekanın karmaşık konuları özetleme veya doktora sorulacak soruları hazırlama gibi konularda yardımcı olabileceğini, ancak tek başına tıbbi otorite olarak kabul edilmemesi gerektiğini vurguladı. Kullanıcılara, yapay zekadan alınan sağlık tavsiyelerinin mutlaka doğrulanması ve sunulan kaynakların kontrol edilmesi tavsiye edildi.
Yorum Yap