Ortopedi Uzmanlık Eğitimi Geliştirme Sınavlarında Yapay Zeka Modellerinin Ortopedi Asistanlarına Karşı PerformansıEnver Ipek, Yusuf Sulek, Bahadir BalkanliTürkiye Sağlık Bilimleri Üniversitesi, Şişli Hamidiye Etfal Eğitim ve Araştırma Hastanesi, Ortopedi Kliniği, İstanbul
Amaç: Yapay zeka (AI) ilerlemeye devam ettikçe, tıp eğitimine ve klinik karar verme sürecine entegrasyonu büyük ilgi görmüştür. ChatGPT-4o, Gemini, Bing AI ve DeepSeek gibi büyük dil modelleri, özellikle uzmanlık eğitimi sınavlarında sağlık uzmanlarını destekleme potansiyelini göstermiştir. Bununla birlikte, bu modellerin uzmanlaşmış tıbbi değerlendirmelerde insan performansını bağımsız olarak ne ölçüde eşleştirebileceği veya aşabileceği belirsizliğini korumaktadır. Bu çalışma, 2010-2021 yılları arasında gerçekleştirilen Uzmanlık Eğitimi Geliştirme Sınavlarında (UEGS) bu AI modellerinin performansını ortopedi asistanları ile sistematik olarak karşılaştırmayı ve doğruluklarına, açıklama derinliklerine ve klinik uygulanabilirliklerine odaklanmayı amaçlamaktadır.
Yöntemler: Bu retrospektif karşılaştırmalı çalışma, UEGS sorularının ChatGPT-4o, Gemini, Bing AI ve DeepSeek'e sunulmasını içermektedir. Sınavlara 2010-2021 yılları arasında giren ortopedi asistanları kontrol grubu olarak görev yapmıştır. Yanıtlar doğruluk, açıklayıcı ayrıntı ve klinik uygulanabilirlik açısından değerlendirilmiştir. İstatistiksel analiz, performans karşılaştırması için tek yönlü ANOVA ve post-hoc testleri ile SPSS Version 27 kullanılarak gerçekleştirilmiştir.
Bulgular: Tüm AI modelleri doğruluk açısından ortopedi asistanlarından daha iyi performans göstermiştir. Bing AI en yüksek doğruluk oranlarını (%64,0 ila %93,0) gösterirken, onu Gemini (%66,0 ila %87,0) ve DeepSeek (%63,5 ila %81,0) takip etmiştir. ChatGPT-4o, yapay zeka modelleri arasında en düşük doğruluğu göstermiştir (%51,0 ila %59,5). Ortopedi asistanları sürekli olarak en düşük doğruluğa sahip olmuştur (%43,95 ila %53,45). Bing AI, Gemini ve DeepSeek 5 yıldan fazla tıbbi deneyime eşdeğer bilgi seviyeleri gösterirken, ChatGPT-4o 2-5 yıl arasında değişmektedir.
Sonuç: Bu çalışma, yapay zeka modellerinin, özellikle Bing AI ve Gemini'nin ortopedi uzmanlık muayenelerinde yüksek düzeyde performans gösterdiğini ve eğitim destek araçları olarak potansiyele sahip olduğunu göstermektedir. Bununla birlikte, ChatGPT-4o'nun daha düşük doğruluğu, değerlendirmeler için uygunluğunu azaltmaktadır. Bu sınırlamalara rağmen, yapay zeka tıp eğitiminde umut vaat etmektedir. Gelecekteki araştırmalar güvenilirliği artırmaya, görsel veri yorumlamasını dahil etmeye ve klinik entegrasyonu keşfetmeye odaklanmalıdır. (SETB-2025-03-073) Anahtar Kelimeler: Yapay zeka, chatbot ortopedi, ortopedi eğitimi, ortopedik muayene, ortopedik cerrahi, travmatoloji
Performance of AI Models vs. Orthopedic Residents in Turkish Specialty Training Development Exams in OrthopedicsEnver Ipek, Yusuf Sulek, Bahadir BalkanliDepartment of Orthopedics, University of Health Sciences Türkiye, Sisli Hamidiye Etfal Training and Research Hospital, Istanbul, Türkiye
Background: As artificial intelligence (AI) continues to advance, its integration into medical education and clinical decision making has attracted considerable attention. Large language models, such as ChatGPT-4o, Gemini, Bing AI, and DeepSeek, have demonstrated potential in supporting healthcare professionals, particularly in specialty training examinations. However, the extent to which these models can independently match or surpass human performance in specialized medical assessments remains uncertain. This study aimed to systematically compare the performance of these AI models with orthopedic residents in the Specialty Training Development Exams (UEGS) conducted between 2010 and 2021, focusing on their accuracy, depth of explanation, and clinical applicability.
Methods: This retrospective comparative study involved presenting the UEGS questions to ChatGPT-4o, Gemini, Bing AI, and DeepSeek. Orthopedic residents who took the exams during 2010-2021 served as the control group. The responses were evaluated for accuracy, explanatory details, and clinical applicability. Statistical analysis was conducted using SPSS Version 27, with one-way ANOVA and post-hoc tests for performance comparison.
Results: All AI models outperformed orthopedic residents in terms of accuracy. Bing AI demonstrated the highest accuracy rates (64.0% to 93.0%), followed by Gemini (66.0% to 87.0%) and DeepSeek (63.5% to 81.0%). ChatGPT-4o showed the lowest accuracy among AI models (51.0% to 59.5%). Orthopedic residents consistently had the lowest accuracy (43.95% to 53.45%). Bing AI, Gemini, and DeepSeek showed knowledge levels equivalent to over 5 years of medical experience, while ChatGPT-4o ranged from to 2-5 years.
Conclusion: This study showed that AI models, especially Bing AI and Gemini, perform at a high level in orthopaedic specialty examinations and have potential as educational support tools. However, the lower accuracy of ChatGPT-4o reduced its suitability for assessment. Despite these limitations, AI shows promise in medical education. Future research should focus on improving the reliability, incorporating visual data interpretation, and exploring clinical integration. Keywords: Artificial intelligence, chatbot orthopedics, orthopedic education, orthopedic exam, orthopedic surgery, traumatology
Sorumlu Yazar: Enver Ipek
|
|
Yazdır
Alıntıyı İndir
RIS
E-Postala
Paylaş
PubMed