Развивающаяся концепция использования инструментов обработки больших объемов данных и машинного обучения для улучшения качества периоперационного ухода, исследований и повышения безопасности пациентов

by Майкл Р. Мэтис (Michael R. Mathis), дипломированный врач; Роберт Б. Шонбергер (Robert B. Schonberger), дипломированный врач, магистр наук по оказанию медицинской помощи; Энтони Л. Эдельман (Anthony L. Edelman), дипломированный врач, магистр делового администрирования; Эллисон М. Джанда (Allison M. Janda), дипломированный врач; Дуглас А. Колкахун (Douglas A. Colquhoun), бакалавр медицины и хирургии, магистр естественных наук, магистр здравоохранения; Майкл Л. Бернс (Michael L. Burns), дипломированный врач, доктор философии; Нирав Дж. Шах (Nirav J. Shah), дипломированный врач

В эпоху практически полного внедрения электронных медицинских карт (ЭМК) и объединения медицинских данных разных отделений и учреждений возросло признание вариативности практики. Периоперационное ведение не является исключением: это подтверждают недавние исследования, демонстрирующие значительную вариативность практик на уровне учреждений, в частности используемых методов анестезии1, препаратов2,3 и моделей укомплектования операционной персоналом4. В некоторых случаях вариативность практики является оправданной, например из-за различий в специализации, ограничений выделяемых ресурсов и ожиданий пациентов. Однако в других ситуациях вариативность нельзя объяснить или оправдать; она может быть связана с отсутствием анализа по эталонам практики, неоптимальным распределением ресурсов в больнице и невозможностью адаптироваться к потребностям пациентов5,6.

Иногда такая вариативность практики может быть вызвана более серьезными факторами, такими так модели укомплектованности анестезиологическими кадрами4, несоответствие больницей требованиям по безопасности7 и коэффициент случаев, когда не удалось предотвратить ухудшение состояния пациента8.

Чтобы решить проблему необъяснимой или неоправданной вариативности, современные инициативы по исследованиям и улучшению качества все чаще применяют подходы многоцентровых обучающихся систем здравоохранения: данные сравнительной эффективности, полученные на основе вариативности практики в разных центрах, интегрируются, чтобы разработать эталонные показатели эффективности и критерии качества9,10. При наличии стратегических многоцентровых инфраструктур такие эталоны и показатели качества могут быть распространены среди участвующих учреждений для быстрого внедрения передовых практик и повышения безопасности пациентов, а также ценности здравоохранения11,12. Одной из обучающихся систем здравоохранения, связанных с периоперационным уходом, является Многоцентровая группа периоперационных исходов (Multicenter Perioperative Outcomes Group, MPOG). Она рассматривается в этой статье, чтобы проиллюстрировать (i) подходы, необходимые для интеграции периоперационных ЭМК с целью проведения исследований и улучшения качества (Quality Improvement, QI); (ii) инструменты, позволяющие эффективно собирать большие объемы данных о периоперационном уходе; (iii) ценностное предложение создания сообщества, обменивающегося результатами исследований и показателями качества для улучшения периоперационного лечения и повышения безопасности пациентов. Наконец, учитывая растущую популярность искусственного интеллекта и машинного обучения, предлагающих новые возможности для оптимизации сбора медицинских данных и принятия клинических решений, мы описываем ключевые трудности на пути к успешному внедрению этих технологий, а также способы их преодоления.

ПРИНЦИПЫ РАБОТЫ МНОГОЦЕНТРОВОЙ ГРУППЫ ПЕРИОПЕРАЦИОННЫХ ИСХОДОВ — МНОГОЦЕНТРОВАЯ ГРУППА ПЕРИОПЕРАЦИОННЫХ ИСХОДОВ (MPOG)

Данные ЭМК сильно различаются по учреждениям

Обучающейся является та система здравоохранения, в которой «генерирование знаний настолько внедрено в медицинскую практику, что является естественным следствием и продуктом оказания медицинской помощи и ведет к постоянному улучшению качества обслуживания»13. MPOG стремится уделять наибольшее внимание периоперационному ведению для постоянного повышения стандартов QI, исследований и безопасности пациентов (рисунок 1). MPOG была запущена в 2008 году несколькими академическими центрами, заинтересованными в многоцентровом обсервационном анализе своих недавно разработанных электронных систем ведения анестезиологической документации. Однако вскоре выяснилось, что тот же самый набор данных, при наличии соответствующего управления и сотрудничества, может стать основой обучающейся системы здравоохранения, данные которой генерируют знания. Эти знания приводит к изменениям в практике, а те, в свою очередь, — к появлению новых данных. Эффект маховика, вызываемый таким подходом, способствовал добавлению почти 100 больниц в MPOG на сегодня. В свою очередь, MPOG разработала инструменты для извлечения, ввода, очистки и анализа этих данных в целях проведения исследований, QI и обучения. Минимальный набор данных, предоставляемый каждым учреждением, включает сведения о физиологических показателях, назначении препаратов, персонале, ключевых событиях, введении и выведении жидкостей в периоперационный период, а также текстовые примечания. Эта информация выводится из данных, сопоставленных с данными учреждения в существующих анестезиологических записях, и в значительной степени не зависит от конкретного поставщика ЭМК, используемого в каждом учреждении. Набор также включает предоперационный анамнез и физиологические данные, результаты лабораторных анализов, а также административные сведения, например коды по современной врачебной терминологии (Current Procedural Terminology, CPT), диагнозы при выписке и данные о смертности в больнице.

Рисунок 1: Основные компоненты мер по проведению исследований и улучшения качества Многоцентровой группы периоперационных исходов (MPOG).

Рисунок 1: Основные компоненты мер по проведению исследований и улучшения качества Многоцентровой группы периоперационных исходов (MPOG).

Данные ЭМК сильно различаются по учреждениям. В результате основополагающим компонентом MPOG является методология преобразования данных ЭМК участвующих учреждений в предварительно вычисленные, проверенные фенотипы, используемые для исследований и QI14. Этот сложный процесс предусматривает применение алгоритмов для интеграции комбинаций всех типов данных в рамках MPOG, чтобы создавать более надежные клинические заключения. Эти заключения служат основой, позволяющей исследователям проводить анализы, а руководителям по QI и врачам понимать вариации в шаблонах ухода. Примерами фенотипов, которые представляют собой основные компоненты исследований и QI на основе MPOG, являются метод анестезии, физический статус пациента по шкале Американского общества анестезиологов (American Society of Anesthesiologists, ASA) и его курительный статус. В каждом из этих случаев существуют тысячи способов документирования таких данных в разных учреждениях, а программные алгоритмы, разработанные MPOG, преобразовывают эти сведения в совместимые фенотипы.

ИНСТРУМЕНТЫ MPOG ДЛЯ ПРЕОБРАЗОВАНИЯ ПЕРИОПЕРАЦИОННЫХ ДАННЫХ ЭМК В ЗНАНИЯ И МЕРЫ ПО УЛУЧШЕНИЮ БЕЗОПАСНОСТИ ПАЦИЕНТОВ

MPOG разработала программы и инструменты для анализа больших объемов данных

MPOG разработала программы и инструменты для анализа больших объемов данных, а также создания заключений, чтобы реализовывать детальные и значимые меры исследовательских проектов, а также действия по QI, направленные на повышение безопасности пациентов.

Достижением миссии MPOG по QI управляет Комитет по обеспечению качества (Quality Committee), в который входят анестезиологи с соответствующей специализацией из каждого участвующего учреждения. Этот комитет утверждает и поддерживает меры по QI, которые отражают наилучшие имеющиеся данные, и регулярно пересматривает их, чтобы учесть расширяющуюся базу знаний в этой сфере. Члены комитета генерируют идеи для новых инициатив по QI, а его специализированные подкомитеты (посвященные педиатрической, акушерской, гериатрической и кардиологической анестезии) включают экспертов по обеспечению качества из участвующих учреждений. Деятельность таких комитетов способствует открытым обсуждениям, сотрудничеству и обмену наилучшими практиками, а также извлеченными уроками.

Чтобы осуществить изменения в участвующих учреждениях, MPOG разработала серию программ, созданных на основе вычисленных фенотипов. Эти программы включают разработку мер QI, отзывы об уровне реализованной практики, отзывы отдельных поставщиков, наборы инструментов QI и собрания по улучшению качества (см. таблицу 1). С другими мерами QI можно ознакомиться на сайте https://spec.mpog.org/Measures/Public. Работу отдельных поставщиков можно отследить, а соответствующие отзывы — предоставить конкретным лицам (рисунок 2).

Таблица 1. Программы по улучшению качества, разработанные Многоцентровой группой периоперационных исходов.

Таблица 1: Программы по улучшению качества, разработанные Многоцентровой группой периоперационных исходов.

Рисунок 2: Отзывы для отдельных поставщиков о качестве периоперационного ухода: Персонализованные электронные письма о результатах.

Рисунок 2: Отзывы для отдельных поставщиков о качестве периоперационного ухода: Персонализованные электронные письма о результатах.

Кроме миссии по QI, MPOG также работает над достижением исследовательской миссии. Этим управляет Исследовательский комитет (Research Committee), проверяющий запросы на проведение клинических исследований и отслеживающий реализацию текущих проектов. Этот комитет, состоящий из главных исследователей MPOG из каждого участвующего учреждения, оценивает все предложения по научной деятельности MPOG, дает решающие указания по гипотезам и методологии, а также обеспечивает научную целесообразность клинических исследований с использованием данных MPOG до утверждения проекта. Чтобы в этой научной активности применялись сведения MPOG, специалисты группы разработали несколько программ и инструментов, обращающихся к реестру. Эти программы включают организацию регулярных собраний исследовательского комитета и ежегодного мероприятия MPOG Retreat, а также программные инструменты (например, DataDirect®, Ann Arbor, Michigan) для объединения исследователей и оптимизации запросов на проведение испытаний.

УЛУЧШЕНИЕ ЭФФЕКТИВНОСТИ РАБОТЫ В ШТАТЕ МИЧИГАН

В штате Мичиган MPOG является частью программы QI, финансируемой компанией Blue Cross Blue Shield of Michigan, которая функционирует как обучающаяся система здравоохранения17. Эта программа спонсирует группы QI по целому ряду специальностей и заболеваний18. Благодаря описанным выше механизмам демаскированные оценки эффективности, собрания экспертов разных специальностей и поддерживаемые финансовые инициативы приводят к существенной оптимизации сферы медицинского обслуживания. Об этом свидетельствуют улучшения в таких важных областях анестезиологического ухода, как контроль гликемии и температуры, а также снижение затрат для участвующих больниц (таблица 2)19.

Таблица 2. Примеры воздействия Многоцентровой группы периоперационных исходов на улучшение качества.

Таблица 2: Примеры воздействия Многоцентровой группы периоперационных исходов на улучшение качества.

ИССЛЕДОВАТЕЛЬСКАЯ ИНИЦИАТИВА: ОЦЕНКА ВАРИАТИВНОСТИ МНОГОЦЕНТРОВОЙ ПРАКТИКИ И СТРУКТУРЫ ПЕРИОПЕРАЦИОННОЙ ПОМОЩИ

Учитывая широкую вариативность периоперационной практики среди разных врачей и учреждений, в исследованиях MPOG количественно определяется степень, в которой практические модели объясняются врачом или учреждением, а не пациентом или операцией. Такие различия в практике, потенциально свидетельствующие о подготовке врачей, их личных предпочтениях или структуре клинической помощи и инфраструктуры на уровне учреждения, были использованы для изучения влияния на результаты лечения пациентов. В некоторых случаях различия в практике, включая соотношение персонала анестезиологов, соблюдение правил безопасности на уровне больницы7 и случаев, когда не удалось предотвратить ухудшение состояния пациента8, связаны с худшими исходами; в то время как в других случаях отсутствует связь с неблагоприятными исходами, например совпадающие операции лечащего хирурга20 или операции, в которых хирург оперировал ночью за день до процедуры21.

ВОЗМОЖНОСТИ И ТРУДНОСТИ, ПРЕДСТАВЛЕННЫЕ ИСПОЛЬЗОВАНИЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И МАШИННОГО ОБУЧЕНИЯ В ПЕРИОПЕРАЦИОННОМ УХОДЕ

Существуют проблемы, препятствующие безопасному внедрению искусственного интеллекта

Одновременно с развитием инструментов для обработки больших объемов данных в ЭМК для проведения многоцентровых исследований и QI появились возможности применения технологий искусственного интеллекта и машинного обучения, чтобы повышать качество данных, разрабатывать меры по QI и улучшать клинический уход путем создания прогностических алгоритмов. Учитывая сложность и детализацию периоперационных данных ЭМК, методы искусственного интеллекта / машинного обучения, способные обрабатывать большое количество сложных нелинейных взаимодействий между переменными, иногда дают существенные преимущества по сравнению с классическими статистическими подходами. Тем не менее, существуют проблемы, препятствующие безопасному внедрению методов на основе искусственного интеллекта / машинного обучения в периоперационные обучающиеся системы здравоохранения. Это, в частности, (i) широкие различия в имеющейся базе знаний врачей о преимуществах и ограничениях этих технологий; (ii) необходимость надзора и управления клиническими алгоритмами; (iii) необходимость обеспечения достоверности исходных данных, на которых обучаются алгоритмы искусственного интеллекта / машинного обучения; (iv) систематический подход к распознаванию и устранению предубеждений, потенциально распространяющихся в системах поддержки принятия клинических решений на основе искусственного интеллекта / машинного обучения (рисунок 3).

Рисунок 3: Особенности безопасного внедрения искусственного интеллекта и машинного обучения в периоперационный уход.

Рисунок 3: Особенности безопасного внедрения искусственного интеллекта и машинного обучения в периоперационный уход.

Тема искусственного интеллекта и машинного обучения включается в медицинские образовательные программы и тренинги для повышения квалификации врачей22. Что касается управления и надзора за алгоритмами, то в рамках усилий по QI и безопасности пациентов для комитетов предлагаются регламенты мониторинга моделей искусственного интеллекта / машинного обучения, развернутых в системе здравоохранения23. В отношении достоверности данных предоставляются подходы к диагностике и устранению изменений в качестве сведений ЭМК («сдвиг набора данных»)24, в которых основное внимание уделяется поддержанию обратной связи между ведущими врачами и комитетами по управлению алгоритмами. Это, в свою очередь, может улучшить безопасность пациентов за счет повышения осведомленности о недостаточной эффективности модели и тем самым обучить врачей тому, в каких клинических ситуациях на модель прогнозирования можно полагаться, а в каких — нет. Наконец, поскольку опасения по поводу систематических ошибок в алгоритмах сохраняются, возможности для решения проблемы дифференцированной эффективности моделей в различных клинических подгруппах — в частности, по расовому, этническому и половому признаку25 — включают в себя явное изучение эффективности моделей искусственного интеллекта / машинного обучения в таких подгруппах.

ЗАКЛЮЧЕНИЕ

Появились возможности для объединения периоперационных данных ЭМК разных пациентов, врачей, учреждений и регионов для проведения сравнительных исследований по эффективности типов анестезиологического ухода, а также повышения его качества и безопасности. Периоперационные обучающиеся системы здравоохранения, оснащенные инструментами обработки больших объемов данных, а также использование новых методик, основанных на искусственном интеллекте / машинном обучении, служат платформой для обмена информацией, идеями и внедрения передовых практик среди учреждений, входящих в обучающуюся систему здравоохранения.

 

Майкл Р. Мэтис является ассистентом кафедры анестезиологии и партнером-преподавателем кафедры вычислительной биоинформатики в Медицинском центре Мичиганского университета (Michigan Medicine, University of Michigan), г. Анн-Арбор, штат Мичиган.

Роберт Б. Шонбергер является ассистентом и заместителем председателя по академическим вопросам в области анестезиологии в Йельской школе медицины (Yale School of Medicine), г. Нью-Хейвен, штат Коннектикут.

Энтони Л. Эдельман является доцентом анестезиологии и заместителем заведующего кафедрой анестезиологии взрослых в Медицинском центре Мичиганского университета, г. Анн-Арбор, штат Мичиган.

Эллисон М. Джанда, дипломированный врач, является доцентом кафедры анестезиологии в Медицинском центре Мичиганского университета, г. Анн-Арбор, штат Мичиган.

Дуглас А. Колкахун, бакалавр медицины и хирургии, магистр естественных наук, магистр здравоохранения, является доцентом кафедры анестезиологии в Медицинском центре Мичиганского университета, г. Анн-Арбор, штат Мичиган.

Майкл Л. Бернс, дипломированный врач, является доцентом кафедры анестезиологии в Медицинском центре Мичиганского университета, г. Анн-Арбор, штат Мичиган.

Нирав Дж. Шах является ассистентом кафедры анестезиологии в Медицинском центре Мичиганского университета, г. Анн-Арбор, штат Мичиган.


Майкл Мэтис, дипломированный врач, получил гранты на исследования от Национальных институтов здравоохранения США (Национального центра исследования сердца, лёгких и крови [National Heart, Lung, and Blood Institute, NHLBI], Национального института диабета, желудочно-кишечных и почечных заболеваний [National Institute of Diabetes and Digestive and Kidney Disease, NIDDK] и Агентства исследований и оценки качества медицинского обслуживания [Agency for Healthcare Research and Quality, AHRQ]), а также финансовую поддержку на проведение научной деятельности, выплаченную Мичиганскому университету от компании Chiesi USA. Приведенные выше сведения не связаны с настоящей работой. Роберт Шонбергер, дипломированный врач, магистр наук по оказанию медицинской помощи, сообщил, что владеет акциями компании Johnson and Johnson, не связанными с настоящей работой. Энтони Эдельман, дипломированный врач, получил финасирование (выплаченное Мичиганскому университету) от Национальных институтов здравоохранения США (AHRQ), не связанное с настоящей работой. Эллисон Джанда, дипломированный врач, получила грантовую поддержку на проведение исследований от Национальных институтов здравоохранения США (NHLBI) и Института исследований с акцентом на важных для пациентов результатах лечения (Patient Centered Outcomes Research Institute). Приведенные выше сведения не связаны с настоящей работой. Дуглас Колкахун, бакалавр медицины и хирургии, магистр естественных наук, магистр общественного здравоохранения, получил исследовательский грант от Национальных институтов здравоохранения США (NHLBI), а также финансовую поддержку на проведение научной деятельности, выплаченную Мичиганскому университету от компаний Merck & Co и Chiesi USA. Приведенные выше сведения не связаны с настоящей работой. Майкл Бернс, дипломированный врач, является сооснователем Decimal Code, Inc. и получил грантовую поддержку на проведение исследований от организации Blue Cross Blue Shield of Michigan (BCBSM) и Института исследований с акцентом на важных для пациентов результатах лечения. Приведенные выше сведения не связаны с настоящей работой. Нирав Шах, дипломированный врач, получил финансирование (выплаченное Мичиганскому университету) от Национальных институтов здравоохранения США (Национальной медицинской библиотеки [National Library of Medicine, NLM], Национального института геронтологии [National Institute of Aging, NIA]), Института исследований с акцентом на важных для пациентов результатах лечения, организации Blue Cross Blue Shield Michigan, а также от компаний Edwards Lifesciences и Apple, Inc, не связанное с настоящей работой. Другие форматы сотрудничества и мероприятия, которые могли повлиять на предоставленную работу, отсутствуют.

Все работы и частичное финансирование приписываются кафедре анестезиологии Медицинского центра Мичиганского университета (г. Анн-Арбор, штат Мичиган, США). Описанный проект был частично поддержан Национальными институтами здравоохранения США (NIDDK R01DK133226; NHLBI R01HL167790, NIA R01AG059607, NHLBI K08HL159327, NHLBI K23HL166685, г. Бетесда, штат Мэриленд). Кроме того, частичная финансовая поддержка сбора базовых данных электронных медицинских карт в реестр Многоцентровой группы периоперационных исходов была оказана организацией Blue Cross Blue Shield of Michigan / Blue Care Network в рамках программы Blue Cross Blue Shield of Michigan / Blue Care Network Value Partnerships. Невзирая на сотрудничество организации Blue Cross Blue Shield of Michigan / Blue Care Network и Многоцентровой группы периоперационных исходов, мнения, убеждения и точки зрения, высказанные авторами, не обязательно отражают мнения, убеждения и точки зрения организации Blue Cross Blue Shield of Michigan / Blue Care Network и ее сотрудников. Кроме того, мнения, убеждения и точки зрения, высказанные авторами, не обязательно отражают мнения, убеждения и точки зрения Национальных институтов здравоохранения США, а также их сотрудников. Представители компаний-производителей не принимали участия в данном исследовании.


СПИСОК ЛИТЕРАТУРЫ

  1. Roberts DJ, Mor R, Rosen MN, et al. Hospital-, anesthesiologist-, surgeon-, and patient-level variations in neuraxial anesthesia use for lower limb revascularization surgery: a population-based cross-sectional study. Anesth Analg. 2022;135:1282–1292. PMID: 36219577.
  2. Janda AM, Spence J, Dubovoy T, et al. Multicentre analysis of practice patterns regarding benzodiazepine use in cardiac surgery. Br J Anaesth. 2022;128:772–784. PMID: 35101244.
  3. Mathis MR, Janda AM, Kheterpal S, et al. Patient-, clinician-, and institution-level variation in inotrope use for cardiac surgery: a multicenter observational analysis. Anesthesiology. 2023;139:122–141. PMID: 37094103.
  4. Burns ML, Saager L, Cassidy RB, et al. Association of anesthesiologist staffing ratio with surgical patient morbidity and mortality. JAMA Surg. 2022;157:807–815. PMID: 35857304.
  5. Sutherland K, Levesque JF. Unwarranted clinical variation in health care: definitions and proposal of an analytic framework. J Eval Clin Pract. 2020;26:687–696. PMID: 31136047.
  6. Sessler DI. Implications of practice variability. Anesthesiology. 2020;132:606–608. PMID: 32053562.
  7. Brooke BS, Dominici F, Pronovost PJ, et al. Variations in surgical outcomes associated with hospital compliance with safety practices. Surgery. 2012;151:651–659. PMID: 22261296.
  8. Portuondo JI, Farjah F, Massarweh NN. Association between hospital perioperative quality and long-term survival after noncardiac surgery. JAMA Surg. 2022;157:258–268. PMID: 35044437.
  9. Casey JD, Courtright KR, Rice TW, Semler MW. What can a learning healthcare system teach us about improving outcomes? Curr Opin Crit Care. 2021;27:527–536. PMID: 34232148.
  10. Foley T, Vale L. A framework for understanding, designing, developing and evaluating learning health systems. Learn Health Syst. 2023;7:e10315. PMID: 36654802.
  11. Sheetz KH, Englesbe MJ. Expanding the quality collaborative model as a blueprint for higher-value care. JAMA Health Forum. 2020;1:e200413-e200413. PMID: 36218502.
  12. Smith M, Saunders R, Stuckhardt L, McGinnis JM. Committee on the Learning Health Care System in America; Institute of Medicine. Best care at lower cost: the path to continuously learning health care in America. National Academies Press (US); 2013 May 10. PMID: 24901184.
  13. Olsen L, Aisner D, Mcginnis JM, eds. The Learning Healthcare System: Workshop Summary. National Academies Press; 2007. PMID: 21452449.
  14. Colquhoun DA, Shanks AM, Kapeles SR, et al. Considerations for integration of perioperative electronic health records across institutions for research and quality improvement: the approach taken by the Multicenter Perioperative Outcomes Group. Anesth Analg. 2020;130:1133–1146. PMID: 32287121.
  15. MPOG Measure Specs—Measure List. https://spec.mpog.org/Measures/Public. Accessed February 16, 2024.
  16. Toolkits. MPOG. Published July 24, 2019. https://mpog.org/toolkits/. Accessed February 16, 2024.
  17. Howard R, Grant J, Leyden T, Englesbe M. Improving the quality of health care through 25 years of statewide collaboration in Michigan. NEJM Catalyst. 3:CAT.22.0153. doi: 10.1056/CAT.22.0153.
  18. Collaborative quality initiatives—value partnerships.com — blue cross blue shield of Michigan. https://www.valuepartnerships.com/programs/collaborative-quality-initiatives/. Accessed February 16, 2024.
  19. Janda AM, Vaughn MT, Colquhoun DA, et al. Does anesthesia quality improvement participation lead to incremental savings in a surgical quality collaborative population? A retrospective observational study. Anesth Analg. 2023;137:1093–1103. PMID: 37678254.
  20. Sun E, Mello MM, Rishel CA, et al. Association of overlapping surgery with perioperative outcomes. JAMA. 2019;321:762–772. PMID: 30806696.
  21. Sun EC, Mello MM, Vaughn MT, et al. Assessment of perioperative outcomes among surgeons who operated the night before. JAMA Intern Med. 2022;182:720–728. PMID: 35604661.
  22. Howell MD, Corrado GS, DeSalvo KB. Three epochs of artificial intelligence in health care. JAMA. 2024;331:242–244. PMID: 38227029.
  23. Reddy S, Allan S, Coghlan S, Cooper P. A governance model for the application of AI in health care. J Am Med Inform Assoc. 2020;27:491–497. PMID: 31682262.
  24. Finlayson SG, Subbaswamy A, Singh K, et al. The clinician and dataset shift in artificial intelligence. N Engl J Med. 2021;385:283–286. PMID: 34260843.
  25. Chin MH, Afsar-Manesh N, Bierman AS, et al. Guiding principles to address the impact of algorithm bias on racial and ethnic disparities in health and health care. JAMA Netw Open. 2023;6:e2345050. PMID: 38100101.