Что нужно для того, чтобы доверять моделям искусственного интеллекта в здравоохранении?

Что нужно для того, чтобы доверять моделям искусственного интеллекта в здравоохранении?

Поскольку ChatGPT и аналогичные инструменты искусственного интеллекта (ИИ) класса Large Language Model (LLM) собирают и систематизируют данные в ответах, важно понимать, каким образом эти данные были обработаны. Медицинская наука постоянно развивается, и ранее принятые выводы и стандарты вытесняются новой информацией. Однако объем устаревшей, а иногда и опровергнутой литературы зачастую все еще достаточно велик.

Например, шунтирование наружной и внутренней сонных артерий при церебральной ишемии, обусловленной стенозом цереброваскулярных сосудов, имеет десятилетнюю историю доказательств своих преимуществ вплоть до того момента, когда они были опровергнуты хорошо спланированным окончательным исследованием. Как и следовало ожидать, после того как было показано, что преимущества такого шунтирования ограничены, дальнейшие исследования практически не проводились.

Однако по объему старые опровергнутые данные значительно превосходят новые, более точные. Кроме того, что еще больше запутывает проблему, каждый год создается огромное количество информации, основанной на необъективных и мошеннических "исследованиях", проводимых ради финансовой выгоды и по другим мотивам.

Учитывая то, как сейчас готовят LLM, существует значительный риск того, что эти инструменты будут собирать и гомогенизировать старые, новые и необъективные данные. В результате LLM предложит конечному пользователю недостоверную информацию и выводы.

С развитием генеративных моделей растет озабоченность тем, что существующие нормативные рамки, обеспечивающие безопасность и эффективность ИИ, неадекватны. По мере выявления все большего числа примеров использования, когда врачи обращаются к ИИ в моменты принятия клинических решений, многие представители отрасли считают, что у нас нет необходимых инструментов для обеспечения соответствия LLM наилучшим интересам пациента.

Учитывая эти риски, как мы можем курировать медицинскую информацию, чтобы устранить риск обучения модели и помочь алгоритмам избежать простого усреднения всей информации? И можно ли избежать возникновения у LLM "галлюцинаций", когда выводы оказываются сфабрикованными?

Вот три подхода, которые следует рассмотреть:

1. Периодически переобучать модели на профессионально подготовленных данных, отражающих самые последние и передовые идеи в данной области. Это включает в себя исключение из набора данных устаревшей и/или опровергнутой информации. Для этого необходим доступ к базовой модели, которая в настоящее время не имеет открытого исходного кода.

2. Подключение LLM к дополнительным частным источникам данных и информации. Это может быть сделано с помощью LLM с расширенным поиском или публичных баз данных/знаний с помощью "плагинов", таких, как Wolfram Alpha для ChatGPT. Подобные подходы позволят не только повысить информативность LLM, но и снизить уровень "галлюцинаций".

3. Со временем установить лучшие практики разработки, внедрения и управления генеративными моделями. Регулирующие органы должны предпринять согласованные усилия для обеспечения большей прозрачности разработки моделей, независимого мониторинга их эффективности с течением времени и разработки системы управления для обеспечения надлежащего управления жизненным циклом. Эти регулирующие органы должны также поддержать разработку четкого набора оценочных показателей и методов для оценки безопасности и эффективности генеративных моделей, а также лучших практик для создания надежных защитных механизмов для этих моделей в будущем.

Несомненно, могут быть рассмотрены и другие подходы. Но независимо от подхода, самой большой проблемой будет получение наборов данных для обучения LLM. Для этого профессиональные медицинские организации должны собирать медицинскую информацию, которая может быть использована для обучения и/или тонкой настройки LLM, и создавать сводную информацию, необходимую для улучшения диагностики, лечения и профилактики заболеваний.

Несмотря на неопределенность, опасения и споры, нет никаких сомнений в том, что ИИ и его потомство LLM будут продолжать развиваться и определять будущее здравоохранения. Настало время создать надлежащие механизмы контроля, чтобы направить это развитие таким образом, чтобы оптимизировать потенциальные выгоды и избежать подводных камней, которые сопровождали новые технологии, начиная с деления атома и заканчивая Интернетом.

Источник: HIT Consultant

По материалам сайта EverCare.Ru