Влияние больших языковых моделей на диагностическое мышление врачей: результаты рандомизированного клинического исследования

В последние годы большие языковые модели (LLM) становятся всё более популярными в различных областях, в том числе в медицине. Эти технологии демонстрируют высокие результаты в тестах на знание медицинских дисциплин, однако их реальная эффективность в практике врачей остаётся под вопросом. Недавнее исследование, опубликованное в JAMA Network Open, направлено на то, чтобы выяснить, насколько использование LLM улучшает диагностические способности врачей по сравнению с традиционными ресурсами.

Цели и методология исследования

Исследование проводилось с 29 ноября по 29 декабря 2023 года и включало 50 врачей, специализирующихся на семейной медицине, терапии и неотложной медицинской помощи. Участники были разделены на две группы: одна имела доступ к LLM в дополнение к традиционным диагностическим ресурсам, другая использовала только традиционные ресурсы. Врачи должны были решить до шести клинических случаев за 60 минут. Основной целью исследования было измерить точность дифференциального диагноза и выявить, какие факторы подтверждают или опровергают диагноз.

Основные результаты

показали, что группа, использующая LLM, набрала в среднем 76% баллов за диагностическое мышление по сравнению с 74% у группы, использующей традиционные ресурсы. Однако разница в 2 процентных пункта не была статистически значимой (P = 0,60). Время, затраченное на решение одного случая, также немного отличалось: в группе LLM — 519 секунд, в группе традиционных ресурсов — 565 секунд, но эта разница также не была значимой (P = 0,20). Однако автономное использование LLM показало значительно более высокие результаты, на 16 процентных пунктов больше, чем у группы с традиционными ресурсами (P = 0,03).

Заключение и значение исследования

Исследование показало, что интеграция LLM в диагностическую практику врачей пока не приводит к значительному улучшению их клинических решений по сравнению с традиционными методами. Однако автономный LLM демонстрирует высокий потенциал, что подчёркивает необходимость дальнейших разработок в области сотрудничества врачей и искусственного интеллекта. Это открывает новые возможности для улучшения клинической практики, но требует тщательной интеграции технологий и подготовки кадров.

Перспективы дальнейших исследований

Несмотря на полученные результаты, исследование подчеркивает важность продолжения исследований в этой области. Необходимы дополнительные усилия для понимания того, как можно эффективно интегрировать LLM в клиническую практику. Это включает в себя разработку улучшенных методов взаимодействия человека и машины, а также оптимизацию способов подачи информации от LLM для поддержки врачебных решений.

В заключение, LLM представляют собой перспективный инструмент для медицинской диагностики, но их полная интеграция в клиническую практику требует дальнейших исследований и разработок. В будущем эти технологии могут существенно изменить подход к медицинской диагностике, повышая качество медицинской помощи и снижая количество диагностических ошибок.