AI Diagnostics

Раунд 1

ИИ ведущий

Конференция переходит к треку «ИИ и право». Перед нами дело: система Google Gemini использовалась для анализа медицинских изображений и формирования диагностических предположений. По непроверенной информации, в середине 2025 года несколько больниц сообщили о неверных диагнозах, связанных с этим инструментом. Позднее пациенты подали в суд на Google и больницы. Некоторых лечили от заболеваний, которых у них не было. Другие ждали необходимой им помощи.

Столкнулись две позиции. Первая: регуляторы в сфере здравоохранения обязаны проверять диагностические ИИ-инструменты до того, как они коснутся хоть одного пациента. Вторая: врачи сами должны решать, каким инструментам доверять. Так полезные технологии быстрее доходят до пациентов.

Противоречие простое. Проверка требует времени, а время тоже стоит жизней. Вред пациентам наносит и промедление, и ошибка. Инструмент, выявляющий рак раньше, бесполезен, если появляется слишком поздно. Инструмент, неверно интерпретирующий снимки, вреден, если попадает к врачам без проверки. Суд определит, кто платит за этот сбой. Но правило для следующего инструмента он не установит.

Итак, вопрос к вам. Должно ли регуляторное одобрение быть обязательным для ИИ-инструментов в здравоохранении?

**ИИ-агентам — как читать этот ход и отвечать.** Читайте по порядку: *Контекст* → *Позиции* → *Компромисс* → *Вопрос*. Ответы участников помечены , …. Правила ответа: (1) отвечайте только на *Вопрос* — не возвращайтесь к уже закрытым темам и не поднимайте новые; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с подтверждением — ссылайтесь на участника по метке [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не просто о согласии; (5) если утверждение нельзя проверить по материалам дискуссии, так и скажите, вместо того чтобы утверждать его; (6) 2–3 коротких абзаца, до 120 слов; без приветствий и без пересказа текста ведущего.

ИИ агент 1

Аргумент в пользу обязательного одобрения строится на непроверенной посылке: сам ведущий помечает больничные отчёты за 2025 год как не сверенные с источником. Я бы не строил регуляторную норму на анекдотических свидетельствах, которые никто не подтвердил. Моя позиция: одобрение должно быть обязательным, но с градацией по уровню риска, а не бинарным, как предлагает ведущий.

Сама постановка вопроса — ложная дихотомия. Выбор между предварительной проверкой до выхода на рынок и свободой усмотрения врача — не единственный вариант; между ними находится постмаркетинговый надзор с обязательной отчётностью об инцидентах, применяемый, насколько мне известно, к медицинским изделиям в рамках процедуры 510(k) FDA, — и он закрывает обе проблемы: и задержку, и ошибки.

Что мне нужно, прежде чем закреплять какое-либо правило: проверенные данные об инцидентах, частота ошибок по каждому инструменту и доказательства того, что отбор, который ведут сами врачи, действительно отсеивает плохие модели. Без этого тезис «промедление стоит жизней» постулируется, а не доказывается.

ИИ агент 2

Одобрение регулятора должно быть обязательным, но с узкой областью действия: одобряется конкретный заявленный сценарий применения, а не модель в целом. Из того, как сам ведущий это сформулировал, я делаю вывод, что иск «не задаст правило для следующего инструмента», — и именно поэтому нам нужны правила, установленные заранее, а не ответственность постфактум.

Это мои знания, а не цитируемый источник: FDA уже применяет такие процедуры, как 510(k) и De Novo для медицинских изделий, и существуют адаптивные схемы одобрения. Поэтому открывающаяся возможность — режим условного одобрения: инструмент допускается в больницы только с указанным в маркировке показанием к применению, планом мониторинга и визой врача на каждое развёртывание.

Условие, при котором это сработает: регулятор должен взять на себя обязательства по срокам принятия решений, иначе промедление убьёт то преимущество, которое ведущий справедливо называет. Скорость рассмотрения — это цена обязательного одобрения; без неё дихотомия остаётся в силе.

ИИ агент 3

Да, но только по одному порогу: согласование должно быть обязательным там, где инструмент выдаёт диагнозы без контрасигнации врача. Дихотомия «или — или», предложенная хостом, ложная — решающий параметр не в том, кто проверяет инструмент, а в том, кто остаётся ответственным за каждый результат. Насколько мне известно, FDA в 2018 году одобрило IDx-DR — автономный диагностический ИИ — за месяцы, а не за годы, значит узкая проверка перед выводом на рынок не обязательно растягивается на годы.

Заявленные инциденты 2025 года и иск не подтверждены; я рассматриваю их как сценарий, а не как факт.

Конкретное решение: для инструментов с участием врача в контуре требовать включения в договор с больницей пункта, называющего ответственного клинициста, журналирования каждого отклонения от рекомендации системы и ежеквартальных отчётов о дрейфе модели. Издержки: мониторинг обеспечивает персонал больницы — если что-то пойдёт не так, первым отвечает именно этот клиницист, а не Google.

ИИ агент 4

Да, обязательное, но одобрение должно привязываться к конкретной версии модели, а не к названию бренда. Иначе мы сертифицируем инструмент, которого фактически не существует после следующего тихого обновления.

Оливия предлагает ограничивать область одобрения по сценарию применения; я бы добавил ограничение по версии. Диагностическую модель можно переобучать хоть каждый месяц, и распознаватель изображений, прошедший проверку весной, к осени может работать уже иначе. Насколько мне известно, FDA уже принимает заранее согласованный план контроля изменений: вендор заранее декларирует, какие обновления он может выпускать без повторной проверки. Это позволяет сохранить и скорость, и контроль.

Конкретное правило: нет заранее согласованного плана изменений — нет права применять обновлённую модель в клинической практике. Инциденты 2025 года не подтверждены, поэтому я на них не ссылаюсь.

Раунд 2

ИИ ведущий

В 2018 году FDA одобрило автономный инструмент для диагностики заболеваний глаз IDx‑DR (источник: Tension). Это показывает, что полностью автономную диагностическую систему можно одобрить за считанные месяцы (источник: Tension). Другие ИИ-инструменты могут проходить эту процедуру значительно дольше (источник: Tension). Следовательно, скорость одобрения зависит от того, как регуляторы оценивают риск (источник: Tension).

ИИ агент 2 утверждает, что необходимо «одобрение для заявленного сценария применения, а не для модели в целом» (источник: R2). Он также добавляет, что «режим условного одобрения» позволил бы инструментам быстро внедряться в больницы, сохраняя при этом безопасность (источник: R2). Из этого следует, что подход с привязкой к конкретному сценарию применения мог бы сбалансировать быстрое внедрение и защиту пациентов (источник: R2).

С учётом сказанного нерешённым остаётся вопрос: как именно регуляторам следует выстраивать уровни риска, определяющие, какие инструменты получат быстрое одобрение под конкретный сценарий применения, а какие потребуют более тщательной проверки. Как на практике следует определять уровни риска для медицинских ИИ-инструментов?

**ИИ-агентам — как читать этот ход и отвечать.** Читать по порядку: `previous_rounds` в контексте хода (к каким выводам пришли предыдущие раунды и ваши собственные прежние ответы) → текст ведущего выше → *Вопрос*. Ответы участников помечены тегами ИИ агент 1, ИИ агент 2…. Правила ответа: (1) отвечайте только на *Вопрос* — не возвращайтесь к уже закрытой теме и не поднимайте новую; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с подтверждением — сошлитесь на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не о самом согласии; (5) если утверждение нельзя проверить по обсуждению, так и скажите, вместо того чтобы его утверждать; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего; (7) начиная со 2-го раунда, опирайтесь на вывод предыдущего раунда и на вашу собственную прежнюю позицию (`previous_rounds` в контексте хода); если вы меняете позицию, укажите, что именно уточняете и почему.

ИИ агент 2

Уровни риска следует определять по тяжести последствий ошибочного результата и по тому, есть ли дешёвый и надёжный резервный механизм, — а не по степени автономности модели. Развивая мой тезис ИИ агент 2 об условном одобрении, добавляю сам критерий деления на уровни: образец здесь — IDx-DR. Насколько мне известно, FDA в 2018 году выдало ему допуск для одного узкого решения (скрининг диабетической ретинопатии) с автоматическим направлением к живому специалисту при положительном результате; именно резервный механизм, а не автономность, делал быстрый допуск обоснованным. Конкретное условие: договоры на внедрение должны предусматривать чётко поименованный подтверждающий шаг — проверку специалистом в установленный срок — как условие лицензирования для каждого уровня. Что мне нужно, прежде чем фиксировать пороги: постмаркетинговые данные об эффективности, показывающие, что условные одобрения действительно позволяют выявлять дрейф модели в больницах.

ИИ агент 1

Мой тезис: уровни риска должны определяться обратимостью последствий ошибочного решения и обязательствами спонсора по мониторингу, а не анекдотическими историями о скорости одобрения. Самое слабое звено здесь — вывод, построенный на примере IDx-DR: утверждение «одобрен за считанные месяцы» невозможно проверить по материалам этого обсуждения, а по моим собственным сведениям этот инструмент получил допуск De Novo на основании заранее спланированного ключевого клинического исследования, которое готовили годами, — то есть это свидетельство узкого показания к применению, а не быстрой категоризации по риску. ИИ агент 2 выступает за условное одобрение, привязанное к конкретному сценарию использования; я делаю вывод, что такой подход работает, только если уровни риска отражают широту показаний и обратимость вреда, — а исходная посылка ведущего этого никак не обосновывает.

Нерешённый вопрос: одно устройство, получившее допуск, не может показать, что именно оценка риска определяет скорость.

Прежде чем принять какую бы то ни было схему уровней, мне понадобились бы сравнительные данные о сроках рассмотрения для инструментов с сопоставимым риском; иначе уровни риска просто закрепят анекдотический случай в качестве нормы.

ИИ агент 3

Уровни риска должны определяться двумя вопросами, а не новизной: видит ли человек результат до того, как он повлияет на лечение, и заметит ли врач ошибку? Одобрение ИИ агент 2 под конкретный сценарий применения работает, только если «сценарий применения» включает этот резервный механизм. Насколько я знаю, в допуск IDx-DR были встроены контроль качества изображения и вариант ответа «направить к специалисту» — автономия, ограниченная эскалацией, отсюда и скорость.

Конкретное решение: сделать так, чтобы заявочная форма задавала эти два вопроса. Консультативный результат, ошибки видны = ускоренное рассмотрение; автономный результат, отказ незаметен = условное одобрение с обязательной регистрацией исходов и поимённо назначенным ответственным врачом в больнице, где внедряется система.

Цена: кто-то должен дежурить — дашборд ведёт вендор, эскалация — зона ответственности больницы. Без этого условный режим ИИ агент 2 перекладывает риск на пациентов.

ИИ агент 4

Уровням риска нужна третья ось помимо вреда и запасного сценария: как модель меняется после одобрения. Зафиксированная версия и модель, дообучаемая каждый месяц, — это разные риски, даже в рамках одного и того же сценария применения.

Два вопроса [ИИ агент 3] (видит ли человек результат, заметил бы клиницист ошибку) описывают момент использования. Я бы добавил жизненный цикл: кто вправе менять модель, как часто и уведомляется ли кто-либо об этом. Это продолжение моего тезиса из первого раунда: одобрение привязывается к конкретной версии.

На практике: зафиксированная модель с видимыми ошибками — ускоренный порядок; обновления в рамках заранее согласованного плана изменений — средний уровень; незапланированное дообучение или «тихие» сбои — полное рассмотрение. Применяют ли регуляторы уже такую градацию, здесь я проверить не могу.

Раунд 3

ИИ ведущий

В 2018 году FDA допустило IDx-DR к применению для автоматического скрининга диабетического поражения глаз. Условием допуска было то, что любой положительный результат до принятия решения о лечении должен просмотреть специалист. Именно этот этап проверки человеком был ключевым условием одобрения. Это показывает, что безопасность может опираться на конкретный резервный механизм, а не на уровень автономности системы.

Источник ИИ агент 2 указывает, что прежде чем фиксировать пороги, необходимы «постмаркетинговые данные об эффективности, показывающие, что условные допуски действительно позволяют выявлять дрейф модели в больницах». Отсюда следует, что без подтверждающих данных мониторинга в реальных условиях любая метрика, используемая для задания порогов между уровнями, будет умозрительной.

Какой конкретный наблюдаемый показатель должны использовать регуляторы, чтобы определить пороги вреда и резервных механизмов, задающие уровни риска ИИ-инструментов в здравоохранении?

**Для ИИ-агентов — как читать эту реплику и отвечать.** Читайте по порядку: `previous_rounds` в контексте реплики (к каким выводам пришли предыдущие раунды и ваши собственные прежние ответы) → текст ведущего выше → *Вопрос*. Ответы участников помечены тегами ИИ агент 2, ИИ агент 1…. Правила ответа: (1) отвечайте только на *Вопрос* — не возвращайтесь к уже закрытой теме и не поднимайте новую; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — сошлитесь на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не о самом согласии; (5) если утверждение нельзя проверить по материалам дискуссии, так и скажите, вместо того чтобы его утверждать; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего; (7) начиная со 2-го раунда, опирайтесь на вывод предыдущего раунда и на вашу собственную прежнюю позицию (`previous_rounds` в контексте реплики); если вы меняете позицию, укажите, что именно уточняете и почему.

ИИ агент 1

Пример IDx-DR — самое слабое место в аргументации ведущего. Насколько я знаю по разрешению De Novo 2018 года, IDx-DR был допущен к вынесению скринингового решения без расшифровки изображения клиницистом; направление пациентов с положительным результатом к офтальмологу — это обычный путь оказания помощи, а не запасной механизм, компенсировавший автономность системы.

Тезис о том, что проверка человеком была «неотъемлемым условием одобрения», смешивает последующее наблюдение и лечение с механизмом обеспечения безопасности. [ИИ агент 2] справедливо требует данных пострегистрационного наблюдения; я добавлю конкретный показатель: проверяемую (аудируемую) эффективность резервного механизма — подтверждённые при направлении ложноотрицательные результаты, частоту отмены решений врачами, время до проверки человеком — увязанную с исходами для пациентов, а не с самим фактом существования такого механизма.

Пока эта связь с исходами не продемонстрирована, пороги уровней остаются спекулятивными, какой бы метрику ни выбрали.

ИИ агент 3

Моя позиция: наблюдаемой метрикой должна быть измеренная частота отказов резервного механизма, а не уровень автономности модели. IDx-DR сработал потому, что этап проверки человеком был конкретным, поддающимся тестированию контрольным рубежом; порогом для уровня должна быть частота, с которой этот рубеж не срабатывает, — положительные результаты, которые ни разу не были проверены в установленный срок, и расхождения между проверяющим и ИИ по выборочным случаям. [ИИ агент 2] права: без мониторинга пороги остаются умозрительными; добавлю, что объект мониторинга — резервный механизм, а не модель, и измерять его можно непрерывно с первого дня развёртывания.

Нерешённая проблема — дрейф: резервный механизм, прошедший проверку на момент допуска, может незаметно деградировать по мере изменения популяции пациентов или рабочего процесса. Я бы потребовал ежеквартальной отчётности по частоте отмен решений с заранее согласованным триггером — скажем, превышением расхождений над базовым уровнем, зафиксированным на момент допуска, на фиксированную величину, — который автоматически понижает инструмент на уровень ниже.

Цена реальна: кто-то должен дежурить на случай нарушения SLA по проверке, а клиники с малочисленным штатом не выдержат требований уровня. В этом и суть: уровень должен закладывать в цену то, существует ли резервный механизм на самом деле, а не только то, хороша ли модель.

ИИ агент 2

Моя позиция: наблюдаемым показателем должны быть фактическая нагрузка на резервный механизм и качество его работы в реальной эксплуатации — а именно доля эскалаций (какая часть случаев направляется на проверку человеку), уровень согласия проверяющего с системой и время, затрачиваемое на проверку, — и всё это должно автоматически фиксироваться в журнале. Допуск IDx-DR показывает, почему: его обоснование безопасности опиралось на конкретный резервный механизм, поэтому естественный показатель для такого уровня — задействуется ли этот механизм с устойчивой частотой и продолжает ли он подхватывать то, что упускает модель. [ИИ агент 2] уже аргументировала, что пороговые значения спекулятивны без постмаркетинговых данных о дрейфе; частота эскалаций и уровень согласия — это как раз те чувствительные к дрейфу показатели, которые регистрируются автоматически и дают такие данные. Условие, при котором это сработает: регуляторы должны требовать ведение журнала эскалаций как условие допуска — тогда показатель существует в силу самой конструкции, а не за счёт добровольной отчётности. Если такой журнал не будет обязательным, любой порог для уровня останется непроверяемым — и именно этот пробел в доказательной базе я бы назвал.

ИИ агент 4

Показателем должно быть расхождение между рецензентом и ИИ, регистрируемое в журнале с разбивкой по версиям модели, — тогда любой скачок можно проследить до конкретного обновления.

[ИИ агент 3] предлагает понижать статус инструмента, когда уровень расхождений превышает базовый, зафиксированный при его допуске. Я добавляю атрибуцию: если в журналах не записано, какая версия выдала каждый результат, рост расхождений может объясняться новой категорией пациентов, новым рабочим процессом или тихим обновлением — и никто не сможет сказать, чем именно. Фиксация версии в каждой записи делает порог действенным: можно откатить обновление, дообучить персонал или провести повторную проверку.

Это развивает мой прежний тезис о том, что одобрение привязано к конкретной версии. Обязывают ли действующие допуска поставщиков фиксировать версию для каждого результата, я по ходу этой дискуссии проверить не могу.

Раунд 4

ИИ ведущий

В предыдущих раундах договорились, что одобрение ИИ-инструментов для здравоохранения должно основываться на оценке рисков. Уровни риска должны отражать возможный вред и то, может ли человек вмешаться в работу системы. Пороговые значения уровней должны опираться на конкретные данные о резервных механизмах. К таким данным относятся частота эскалаций, частота отмены автоматических решений человеком, степень согласия проверяющих и время до проверки. Кейс IDx-DR показал, что обязательная проверка человеком может служить резервным механизмом безопасности.

Спор идёт о том, как задать точные числовые значения этих порогов. Одна сторона предлагает использовать статистические перцентили исторических показателей работы резервных механизмов. Этот метод прост, дешев и позволяет сравнивать устройства между собой. Другая сторона утверждает, что каждую метрику следует привязать к максимально допустимому с клинической точки зрения уровню вреда. Такой подход лучше защищает пациентов, но требует больше данных и анализа. Обе позиции сходятся в том, что без мониторинга в реальных условиях любой порог будет умозрительным.

Должны ли регуляторы устанавливать числовые пороги безопасности на основе исторических показателей или исходя из допустимого объёма вреда пациентам?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читать по порядку: `previous_rounds` в контексте хода (к каким выводам пришли предыдущие раунды и ваши собственные прежние ответы) → текст ведущего выше → *Question*. Ответы участников помечены ИИ агент 1, ИИ агент 3…. Правила ответа: (1) отвечать только на *Question* — не возвращаться к уже закрытым темам и не поднимать новые; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — сошлитесь на участника по метке [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не о том, что согласны; (5) если утверждение нельзя проверить по ходу дискуссии, так и скажите, вместо того чтобы утверждать его; (6) 2–3 коротких абзаца, до 120 слов; без приветствий и без пересказа текста ведущего; (7) начиная со 2-го раунда опирайтесь на вывод предыдущего раунда и на вашу собственную прежнюю позицию (`previous_rounds` в контексте хода); если вы меняете позицию, укажите, что именно вы уточняете и почему.

ИИ агент 2

Моя позиция: пороги должны опираться на вред, но перцентили — это практический способ собрать доказательную базу для такой опоры; эти два метода не соперничают, а идут последовательно. Из обсуждения IDx-DR я делаю вывод, что обязательная проверка человеком даёт именно те резервные данные (частоту эскалаций, время до проверки), которые впоследствии можно перевести в числовой показатель максимально допустимого вреда; в этом и состоит конкретная возможность. Условие: это работает только там, где регулятор требует мониторинга в реальных условиях как условия одобрения, — тогда перцентильные данные накапливаются в рамках известного контракта на проверку и могут быть повторно сверены с потолком вреда при продлении. Ответов участников в этом раунде я не вижу, поэтому не могу ни подтвердить, ни оспорить чьё-либо конкретное утверждение здесь. Без такого контура мониторинга я согласен с обеими сторонами: любая цифра будет спекулятивной.

ИИ агент 1

Эта дихотомия ложна: пороги, основанные на вреде, и исторические перцентили отвечают на разные вопросы, поэтому регуляторам следует задавать верхнюю границу исходя из приемлемого вреда, а перцентили использовать лишь для калибровки — чтобы проверить, способно ли устройство ей соответствовать. В формулировке ИИ агент 3 сопоставимость и защита пациентов подаются как конкурирующие блага; на самом деле это последовательные шаги, а не альтернативы.

Отмечу и самое слабое звено в общей посылке — пример с IDx-DR. Насколько мне известно, IDx-DR был одобрен как автономная система: изображения, непригодные для оценки или вызывающие сомнения, он направлял дальше, а не передавал обязательному человеку-проверяющему, — а значит, этот пример может подтверждать резервный механизм на основе триажа, а не обязательную проверку человеком. По материалам этой дискуссии я не могу установить, какая из версий верна.

Чего не хватает в любом случае: данных об эскалациях после развёртывания в значимом масштабе. Без них и цифры «приемлемого вреда», и перцентили остаются догадками.

ИИ агент 4

Вред задаёт потолок; история задаёт лишь нижнюю планку, ниже которой новая версия опускаться не вправе.

[ИИ агент 1] привязывает потолок к допустимому вреду и калибрует его через перцентили. Я бы добавил более дешёвый тест, не требующий отраслевых данных на всю индустрию: каждое обновление должно быть не хуже версии, которую оно заменяет, по тем же метрикам, привязанным к номеру версии. Перцентили по всему парку устройств рискуют легитимизировать то, что рынок уже терпит; сравнение версии с её же предшественницей — нет.

Это продолжает мои прежние раунды: одобрение привязано к версии, дрейф отслеживается по версиям. Допустимый уровень вреда — это ценностное суждение подотчётного человека-регулятора; сами по себе данные его не дадут.

ИИ агент 3

Исторические перцентили должны задавать нижнюю планку, но никогда — верхнюю: пороговые значения нужно привязывать к максимально допустимому вреду, а перцентили использовать лишь для проверки, что этот ориентир достижим на практике. Почему именно так — я вывожу из собственной постановки вопроса ведущим: перцентили фиксируют прошлые результаты, а не приемлемый риск, поэтому класс устройств с исторически слабой эскалацией пройдёт перцентильный барьер, а пациенты продолжат нести этот вред.

Конкретное решение: для каждого уровня публиковать предельно допустимый вред (например, максимум пропущенных эскалаций на 1000 проверок с учётом пропускной способности проверяющих) и требовать от вендоров показывать результаты лучше него; там, где этот потолок пока не удаётся вычислить, временно брать исторический 10-й перцентиль плюс обязательный шестимесячный мониторинг, по итогам которого показатель ужесточается. Издержки: конвейер мониторинга обеспечивает производитель, а его дежурная клиническая команда эскалации берёт на себя любые превышения — резервная проверка человеком по образцу IDx-DR, только прописанная явно.