Прил.: Каким образом Кокрейн продвигает ответственный ИИ для синтеза доказательств?

Служба Централизованного Поиска Кокрейн продемонстрировала высокую чувствительность при выявлении рандомизированных контролируемых испытаний: ретроспективный анализ

Noel-Storr AH, Dooley G, Wisniewski S, Glanville J, Thomas J, Cox S, Featherstone R, Foxlee R.

J Clin Epidemiol. 2020 Nov; 127:142-150. https://doi.org/10.1016/j.jclinepi.2020.08.008

Основные моменты

Служба Централизованного Поиска Кокрейн демонстрирует хорошие результаты: было найдено 97.5% от всего количества.
Служба использует машинное обучение и краудсорсинг для выявления рандомизированных исследований.
Ограничение поиска Центральным Регистром Контролируемых Клинических Испытаний Кокрейн может быть адекватным в определенных контекстах.

Предпосылки и цели

Центральный регистр контролируемых испытаний Кокрейн (CENTRAL) составлен из ряда источников, включая PubMed и Embase. С 2017 года мы увеличили количество источников, поступающих в CENTRAL, и повысили эффективность наших процессов за счет использования интерфейсов прикладного программирования, машинного обучения и краудсорсинга. Наши цели были двоякими: (1) Оценить эффективность централизованных процессов поиска и скрининга Кокрейн для правильного определения ссылок на опубликованные отчеты, которые имеют право на включение в систематические обзоры рандомизированных контролируемых клинических испытаний (РККИ) Кокрейн. (2) Определить возможности для улучшения производительности централизованных процессов поиска и скрининга Кокрейн для определения ссылок на подходящие испытания.

Методы

Мы выявили все ссылки на РКИ (опубликованные журнальные статьи или регистрационные записи испытаний) с датой публикации или регистрации в период с 1 января 2017 года по 31 декабря 2018 года, которые были включены в Кокрейновские обзоры вмешательств. Затем мы просмотрели журнал аудита для каждой включенной ссылки, чтобы определить, была ли она выявлена в процессе централизованного поиска и впоследствии добавлена в CENTRAL.

Результаты

Мы выявили 650 ссылок на включенные исследования с годом публикации 2017 или 2018. Из них 634 (97,5%) были найдены службой централизованного поиска Кокрейн. Шестнадцать ссылок были пропущены Кокрейновской службой централизованного поиска: шесть имели статус PubMed-not-MEDLINE, четыре были пропущены централизованным поиском Embase, три были неправильно классифицированы Cochrane Crowd, одна была из журнала, не индексируемого в MEDLINE или Embase, одна была добавлена в Embase только в 2019 году, и одна ссылка была отклонена автоматическим классификатором машинного обучения РКИ. Из шестнадцати пропущенных ссылок восемь были основной или единственной публикацией об испытании в обзоре, в который оно было включено.

Заключение

Этот анализ показал, что процессы централизованного поиска и скрининга Кокрейн (CSS) обладают высокой чувствительностью. Это также помогло нам лучше понять, почему некоторые ссылки на подходящие РКИ были пропущены. CSS играет важную роль в заполнении CENTRAL и продвигает нас к тому, чтобы сделать CENTRAL всеобъемлющим хранилищем РКИ.

[Полная версия страницы - Report analysis results]

Вставка результатов динамического анализа

Результаты динамического анализа доступны только для протоколов, обзоров и обновлений в сфокусированном формате. Их можно вставлять в разделы «Аннотация» и «Основной текст».

Чтобы вставить динамические результаты анализов в текст, поместите курсор туда, куда вы хотите добавить результаты анализа, и выберите опцию 'Вставить ссылку' на панели инструментов текста.

Выберите 'Результаты анализа' из доступных опций в диалоговом окне 'Вставить ссылку', затем выберите анализ, для которого вы хотите вставить результаты, из раскрывающегося меню в верхней части диалогового окна.

После выбора необходимого анализа соответствующий рисунок будет автоматически выбран для включения в результат, который будет вставлен в текст.

Примечание: если для одного и того же анализа доступно более одного рисунка, используйте раскрывающееся меню, чтобы выбрать рисунок, которую вы хотите включить в результат. Если для выбранного анализа нет доступных рисунков, возможность выбора рисунка скрыта.

В нижней части диалогового окна вы увидите предварительный просмотр того, как результаты анализа будут отображаться в тексте. Следующие показатели автоматически включаются, если они доступны для выбранного анализа или подгруппы:

Оценка эффекта
Уровень достоверности
Доверительный интервал
Номер графика

Вы также можете включить результаты для следующих показателей:

Гетерогенность (I²)
Количество исследований
Количество участников
Уверенность в доказательствах (недоступно для подгрупп)

Вставленные результаты анализа будут автоматически обновляться, как только изменятся базовые данные в анализах. Если изменится номер рисунка, во вставленных результатах он также будет динамически обновляться.

Опубликованный обзор будет отображать вставленные результаты анализа в виде обычного текста, за исключением ссылки на связанный рисунок.

Уверенность в доказательствах

Если при вставке результатов динамического анализа не указана достоверность доказательств, нажмите на вставленные результаты в тексте, чтобы открыть всплывающее окно и перейти к соответствующему анализу.

Перейдите на вкладку анализа «Графики» и выберите значение достоверности доказательств. Используйте кнопку «Назад» браузера, чтобы вернуться в текстовый раздел, и вставленные результаты будут автоматически обновлены, чтобы включить достоверность доказательств.

[Полная версия новости - Cochrane launches new feature to identify retracted publications]

Кокрейн запускает новую функцию для идентификации отозванных публикаций

Новая функция Кокрейновской Библиотеки специалистам в области информации и авторам систематических обзоров предоставлять достоверные доказательства.

Кокрейн запустила новую функцию в CENTRAL, нашей базе данных отчетов о клинических испытаниях, для идентификации и пометки публикаций, которые были отозваны (ретрагированы) издателем.

Политика Кокрейн по управлению потенциально проблемными исследованиями гласит, что исследования связанные с отозванными статьями не должны включаться в обзоры. Ранее добиться этого было сложнее, чем следовало бы, из-за непоследовательных способов маркировки опубликованных ретракций, что влияет на их доступность и возможность обнаружения. Но недавние разработки по стандартизации ретракций и открытию курируемой базы данных Retraction Watch помогают решить эту проблему.

Чтобы помочь специалистам по информации и авторам систематических обзоров своевременные получать достоверные доказательства, не включающие проблемные исследования, мы прилагаем все усилия, чтобы определить, когда отчет о рандомизированном контролируемом исследовании отзывается; и последовательно помечать их как отозванные публикации в CENTRAL, с меткой типа публикации Retracted publication:pt. Вы можете прочитать нашу страницу часто задаваемых вопросов об отозванных публикациях, чтобы узнать больше о том, какие источники мы используем для их идентификации, и о наших планах использовать дополнительные источники в будущем для выявления большего количества публикаций.

Новое в январе 2025

В этом месяце мы запускаем первую функцию, помогающая пользователям CENTRAL (База данных Кокрейн клинических испытаний) Кокрейновской Библиотеки лучше определять отозванные публикации напрямую в CENTRAL. Когда пользователь Search Manager проводит поиск и просматривает результаты на вкладке Trials, если его результаты поиска содержат записи о статьях, отозванных издателем, появится баннер, предупреждающий его:

Это будет означать, что при проведении поиска обзора будет легче идентифицировать известные отозванные публикации. Почему мы говорим «известные» отозванные публикации? На практике "Хотя журнал может отозвать публикацию, сообщение об этом отзыве часто бывает неполным, как из-за использования неопределенных уведомлений об отзыве с эвфемистическим языком, так и из-за непоследовательной и неэффективной аннотации отозванных публикаций” (Bakker 2024).

Планы на 2025 год

На этом работа не заканчивается, нам нужно сделать больше, чтобы гарантировать, что исследования связанные с отозванными статьями не будут включены в Кокрейновские обзоры. Существуют дополнительные проблемы, поскольку "идентификация отозванных публикаций важна, но логистически сложна; публикации могут быть отозваны, пока обзор находится в стадии подготовки или в печати, а проблемы с публикацией могут быть обнаружены и после публикации синтеза доказательств" (Bakker 2024).

В настоящее время мы связываем выявленные нами исследования с отозванными публикациями, с опубликованными и готовящимися к публикации Кокрейновскими обзорами. Разработки также будут включать автоматические способы информирования авторов этих обзоров о ретракции, чтобы проактивно решать эту проблему и гарантировать, что Кокрейн останется домом надежных доказательств.

Советы и подсказки

CENTRAL - уникальный источник для идентификации отчетов рандомизированных контролируемых испытаний, отозванных издателями. Хотите максимально использовать этот ценный источник данных и новую функцию Кокрейновской Библиотеки? Дополнительная информация доступна в Кокрейновской Библиотеке, а в этом коротком видео ниже предлагаются практические советы для пользователей CENTRAL через Search Manager в Кокрейновской Библиотеке.

Ссылки

Bakker C, Boughton S, Faggion CM, Fanelli D, Kaiser K, Schneider J. Reducing the residue of retractions in evidence synthesis: ways to minimise inappropriate citation and use of retracted data. BMJ Evidence Based Medicine 2024;29:121-126. [DOI: 10.1136/bmjebm-2022-111921]

[Вебстраница проекта - Responsible AI in Evidence Synthesis (RAISE): guidance and recommendations]

Ответственный ИИ в синтезе доказательств (RAISE): руководство и рекомендации

Руководство RAISE в настоящее время составлено в виде трех документов. Первый документ, «RAISE 1», содержит индивидуальные рекомендации для восьми различных ролей в экосистеме синтеза доказательств: синтезаторы доказательств, методисты, группы разработчиков инструментов ИИ, организации, которые производят синтез доказательств, издатели, спонсоры, пользователи и инструкторы методов синтеза доказательств.

RAISE 2 содержит руководство по созданию и оценке инструментов синтеза доказательств ИИ, которое фокусируется на определении того, выполняет ли инструмент ИИ то, что он заявляет, в соответствии с приемлемым стандартом, включая то, как создавать и проверять инструменты ИИ, проводить оценки для создания совокупной базы доказательств, включая показатели производительности для рассмотрения, и сообщать об оценках.

Затем в заключительном документе, RAISE 3, предлагаются рекомендации по выбору и использованию инструментов синтеза доказательств ИИ, которые фокусируются на понимании того, можно ли использовать инструмент ИИ для конкретного синтеза доказательств, включая то, как оценивать, выбирать и использовать инструмент ИИ, включая этические, правовые и нормативные соображения, а также текущее состояние инструментов ИИ для синтеза доказательств.

Пожалуйста, ознакомьтесь с документами RAISE: https://osf.io/fwaud/files/osfstorage

[Информация и Материалы Вебинара - ссылка]

[Webinar] Рекомендации и руководства по ответственному использованию ИИ в синтезе доказательств

На этом вебинаре, являющемся частью серии "Методы искусственного интеллекта (ИИ) в синтезе доказательств", the докладчики рассмотрели:

Почему нам всем необходимо принять ответственный ИИ?
Каковы рекомендации по ответственному ИИ?
Какие изменения в процессах синтеза доказательств и управлении помогут авторам и другим лицам ответственно использовать ИИ?
Как совместная группа по методам ИИ между Кокрейн, Сотрудничеством Кэмпбелла, Институтом Джоанны Бриггс и Сотрудничеством по экологическим доказательствам будет поддерживать это?

Сессия была нацелена на специалистов по синтезу доказательств, методистов, разработчиков ИИ, а также на представителей организаций, спонсоров или издателей, занимающихся синтезом доказательств.

Понимание ожиданий в отношении синтеза доказательств при использовании ИИ по сравнению с текущей передовой практикой

Как упоминалось на вебинаре, область синтеза доказательств нуждается в передовой практике в рамках сообщества, чтобы облегчить использование автоматизации и ИИ в синтезе доказательств. Одной из областей неопределенности является то, насколько «правильным» должен быть синтез доказательств. В настоящее время у нас нет консенсуса относительно того, насколько правильным он должен быть с текущей передовой практикой (т. е. только с людьми), как это изменится, если мы добавим ИИ, каким может быть приемлемое влияние ошибок и изменится ли это для разных типов синтеза доказательств. Финансируемый Wellcome консорциум DESTinY, партнером которого является Кокрейн, запустил опрос, чтобы лучше понять ожидания сообщества, которые будут информировать о будущей работе и о том, как создаются и оцениваются инструменты синтеза доказательств следующего поколения, управляемые ИИ. Мы приветствуем отзывы от всех, кто интересуется этой темой, через этот опрос. Открыто до 2 июля 2025 года и займет около 35 минут.

Новые и обновленные рекомендации и руководства по ответственному использованию ИИ в синтезе доказательств (RAISE)

Как обсуждалось на вебинаре, RAISE теперь представляет собой сборник из трех статей, доступных на OSF, включая:

RAISE 1 с рекомендациями по практике для основных ролей в экосистеме синтеза доказательств для улучшения сотрудничества и коммуникации для прозрачного и надежного использования ИИ в синтезе доказательств.
RAISE 2 с руководством по созданию и оценке инструментов синтеза доказательств ИИ, которое фокусируется на определении того, выполняет ли инструмент ИИ то, что он заявляет, в соответствии с приемлемым стандартом, включая то, как создавать и проверять инструменты ИИ, проводить оценки для создания совокупной базы доказательств, включая показатели производительности, которые следует учитывать и оценки отчетов.
RAISE 3 с руководством по выбору и использованию инструментов синтеза доказательств ИИ, которое фокусируется на понимании того, можно ли использовать инструмент ИИ для конкретного синтеза доказательств, включая то, как оценивать, выбирать и использовать инструмент ИИ, включая этические, правовые и нормативные соображения, а также текущее состояние инструментов ИИ для синтеза доказательств.

Это совместная инициатива представителей более 30 организаций, включая Cochrane.

[Полная версия - ссылка]

DESTINY: живые доказательства на основе искусственного интеллекта для климата и здоровья

Наш моральный долг— защищать людей во всем мире от климатического кризиса на основе лучших и самых последних имеющихся доказательств. Это консорциум, финансируемый Wellcome и ставящий перед собой задачу создание следующего поколения инструментов синтеза доказательств с помощью искусственного интеллекта, для предоставления строгих живых доказательств в области климата и здоровья, которые важны для политиков и других пользователей доказательств.

DESTINY (Digitial Evidence Synthesis Tool INnovation for Yielding Improvements in Climate & Health - инновация в области цифровых инструментов синтеза доказательств для достижения улучшений в области климата и здоровья) будут совместно разрабатывать новое поколение инструментов синтеза цифровых доказательств (DEST) и демонстрировать их преобразующую силу для предоставления строгих живых доказательств в области климата и здоровья, которые важны для политиков и других пользователей доказательств. Это определяет, с кем мы работаем, как мы работаем и какие технологии мы используем, чтобы сделать синтез доказательств значительно более полезным. В частности, наш проект будет:

Использовать последние достижения ИИ для разработки новых DEST, улучшая синтез доказательств путем перенастройки взаимодействия человека и машины (WP2);
Участвовать в оценке DEST для разработки безопасных и ответственных приложений без подрыва методологических стандартов (WP3);
Создавать сообщества практиков с лицами, принимающими решения по всему миру и в разных масштабах, чтобы гарантировать, что DEST соответствуют своему назначению, работают для всех и применяются к шести важным случаям воздействия (WP1, WP4); и
Широко использовать DEST и поддерживать пользователей, производителей и спонсоров синтеза доказательств по климату и здоровью для установления передовых практик (WP5).