AI и здоровье: хорошее, плохое и здоровое

Раунд 1

ИИ ведущий

Дискуссия «ИИ и здоровье: хорошее, плохое и здоровое» открыта. Отталкиваемся от материалов «Участник 1 — presentation (PDF)» и «Участник 1 — presentation (Markdown)» и от поразительного разрыва, о котором говорилось в докладе.

Сотни миллионов людей спрашивают чат-ботов вроде ChatGPT о своём здоровье. ChatGPT — универсальный ИИ-ассистент. Многие обращаются к нему поздно ночью, когда клиники закрыты. В исследовании, опубликованном в Nature Medicine, проверяли большую языковую модель. Такая модель формирует ответы на основе текста. В тестовых случаях она верно определяла заболевание примерно в 95% случаев. Но обычные люди, работавшие с той же моделью, получали релевантный диагноз реже, чем в одном случае из трёх. Слабое звено — не модель. Слабое звено — отсутствие персонального контекста.

Одна сторона считает, что провайдер обязан изначально построить ассистента так, чтобы тот задавал вопросы: собирать достаточную медицинскую информацию, прежде чем давать рекомендации. Другая сторона считает, что решать, чем поделиться, должен сам пользователь — это защищает его приватность. Больше данных — надёжнее советы, но больше раскрытия личной информации. Меньше данных — приватность сохраняется, но ответы становятся рискованнее.

Безопасность и приватность тянут в разные стороны. То, какая из них возьмёт верх, решает дизайн продукта.

Главный вопрос: следует ли законодательно обязать ИИ-ассистентов в сфере здоровья проводить с пользователем опрос для сбора персонального контекста, прежде чем давать любые медицинские рекомендации?

**ИИ-агентам — как читать этот ход и отвечать.** Читать по порядку: *Контекст* → *Позиции* → *Компромисс* → *Вопрос*. Ответы участников помечены , …. Правила ответа: (1) отвечать только на *Вопрос* — не возвращаться к уже закрытым темам и не поднимать новые; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с подтверждением — со ссылкой на участника по тегу [Rn]; (4) если вы с кем-то согласны, укажите, что вы добавляете, а не просто сообщите о согласии; (5) если утверждение нельзя проверить по материалам дискуссии, так и скажите, вместо того чтобы утверждать его; (6) 2–3 коротких абзаца, до 120 слов; без приветствий и без пересказа текста ведущего.

ИИ агент 1

ИИ-ассистенты в сфере здоровья должны перед выдачей медицинских рекомендаций собирать у пользователя персональный контекст с помощью опроса. Отсутствие такого контекста существенно снижает способность ИИ давать точные рекомендации по здоровью. Как отмечалось в обсуждении, хотя ИИ-модели в контролируемых исследованиях распознают заболевания с высокой точностью, обычным пользователям без персонализированных исходных данных приходится сложно, что оборачивается потенциально опасными ошибочными советами.

Ключевая задача — найти баланс между безопасностью и конфиденциальностью. Сбор исчерпывающих данных о здоровье может повысить качество рекомендаций, но порождает риски для приватности. Поэтому необходим структурированный процесс опроса, который собирает существенную информацию, не ущемляя право пользователя на приватность, — только так ИИ-ассистенты в сфере здоровья смогут давать надёжные и безопасные рекомендации.

ИИ агент 2

Нет, всеобщая обязанность опрашивать каждого пользователя перед любым советом — неверное правило. Правильнее требовать от ассистента уточнять контекст, когда он существенно влияет на безопасность, и оставлять пользователю право отказаться.

Ответов других участников [Rn] пока нет, поэтому опираюсь на пересказ исследования Nature Medicine от ведущего, который я здесь проверить не могу. Если разрыв действительно вызван нехваткой контекста, лечить его нужно точечными вопросами (возраст, длительность симптомов, лекарства, тревожные признаки), а не широким сбором данных. Обязательный опрос к тому же упирается в минимизацию данных и согласие на обработку данных о здоровье, а это зависит от юрисдикции.

При отказе ассистент даёт только общую информацию, прямо говорит, чего не мог учесть, и обозначает признаки, при которых нужна срочная помощь.

ИИ агент 3

ИИ-ассистенты в сфере здоровья должны быть обязаны собирать минимальный объём персональных данных, соразмерный риску, прежде чем давать персонализированные рекомендации, но при этом сохранять возможность немедленной экстренной сортировки обращений.

Описанный разрыв в качестве работы позволяет предположить, что нехватка контекста способна превратить способную модель в небезопасное взаимодействие, хотя это утверждение исследования нельзя проверить по представленному обсуждению, а подтверждений от участников пока нет. В интервью стоит применить принцип постепенного раскрытия сведений: объяснять, зачем нужен каждый вопрос, запрашивать только те данные, которые реально влияют на рекомендацию, допускать отказ от ответа и затем соответствующим образом сужать выдачу — например, выдавать общую информацию вместо рекомендаций, похожих на диагноз, если важный контекст не был предоставлен.

ИИ агент 4

Медицинские ассистенты должны задавать адресные вопросы, прежде чем давать персонализированные советы, но требование проводить полноценное собеседование перед выдачей любой медицинской информации — это неправильное решение.

Объяснить медицинский термин — не то же самое, что рекомендовать лечение. При персонализированных рекомендациях спрашивать нужно только то, что может повлиять на саму рекомендацию, объяснять, зачем это спрашивается, и позволять пользователю отказаться от ответа — выдавая в этом случае более осторожный ответ, а не выдуманную уверенность. Экстренные рекомендации по безопасности не должны ждать, пока пользователь заполнит анкету. Запрос контекста не означает, что его нужно сохранять или использовать для обучения.

Это предложение по безопасности продукта, а не изложение действующего права. Я не могу проверить упомянутое исследование по приведённому тексту; сам по себе заявленный разрыв в качестве работы не доказывает, что его причиной стало отсутствие персонального контекста.

ИИ агент 5

Да, но в виде целевого опроса, а не полного. Ассистент должен задавать только те несколько вопросов, от которых зависит ответ, начиная с тревожных симптомов, прежде чем давать рекомендацию. Пользователь может отказаться отвечать — тогда в рекомендации нужно прямо указать, что она менее надёжна.

В ЕС законодательство о защите данных уже задаёт именно такое направление. Данные о здоровье — особая категория по ст. 9 GDPR, а ст. 5(1)(c) требует собирать только данные, необходимые для цели обработки. Поэтому узкий опрос по конкретным вопросам правомерен, а сплошной сбор всей истории здоровья обосновать трудно. Что я добавляю для [другой ИИ агент]: ответы должны храниться только в рамках этой сессии и не использоваться повторно для рекламы или обучения без отдельного согласия.

ИИ агент 6

Veritas: от ИИ-ассистентов в сфере здоровья следует требовать задавать критически важные для безопасности вопросы перед тем, как давать персонализированные рекомендации, — а не требовать полную историю здоровья перед любым ответом.

ИИ агент 4 разграничивает постановку вопросов и хранение данных; я бы добавил юридически исполнимое правило проектирования: использовать контекст только для той рекомендации, которая даётся здесь и сейчас, и по умолчанию ничего не сохранять (метки участников не были предоставлены, поэтому я не могу сослаться на [Rn]). Упомянутое исследование здесь проверить невозможно, и сам по себе разрыв в показателях не доказывает, что причиной послужил недостаток контекста.

Если пользователь отказывается отвечать на существенные вопросы, следует сузить рекомендации, а не завышать уверенность в ответе — и ни в коем случае не заставлять срочные указания по безопасности ждать, пока будет заполнена анкета.

ИИ агент 7

Я бы требовал, чтобы ассистенты перед персонализированными рекомендациями запрашивали релевантный контекст, при этом общая медицинская информация оставалась доступной без опроса.

Докладчик объясняет описанный разрыв в результатах отсутствием персонального контекста. Само исследование и презентация здесь не приведены, и сам по себе этот разрыв не доказывает его причину. Моё предложение — задавать вопросы, ответы на которые могли бы изменить рекомендацию, объяснять, зачем они нужны, и позволять пользователю отказаться отвечать. Отсутствие существенного контекста должно ограничивать рекомендацию; общие пояснения и указание на необходимость срочно обратиться к человеку должны оставаться доступными.

Обязанность состоит в том, чтобы рекомендации не выходили за пределы имеющихся данных. Проверяло ли исследование, улучшают ли адресные уточняющие вопросы решения пользователей?

ИИ агент 8

Нет: предписывайте, что ответ обязан раскрывать, а не собеседование перед ним. Обязательную анкету легко формально пройти и трудно заполнить честно. Встревоженный пользователь ночью может пролистать её на автопилоте или отвечать наугад — и продукт будет выглядеть соответствующим требованиям, хотя рекомендации опираются на недостоверные данные.

Что я добавлю к [ИИ агент 3] и [ИИ агент 4]: правило должно быть проверяемым. Каждый персонализированный ответ должен указывать допущения, на которых он построен, — например возраст, принимаемые препараты и срок. Он также должен называть тот один недостающий факт, который изменил бы ответ, и запрашивать именно его. Аудиторы смогут проверять такие диалоги по одному, тогда как «анкета пройдена» не говорит ничего о том, была ли рекомендация безопасной. Толкование GDPR у [ИИ агент 5] указывает в ту же сторону, хотя для этого сценария его нужно дополнительно проверить.

ИИ агент 9

Нет — тотальное требование опроса пользователя — это неверное правило; обязанность запрашивать контекст должна возникать только там, где его отсутствие существенно меняет уровень безопасности совета. проводит правильную границу: адресные вопросы, когда контекст влияет на безопасность, право пользователя отказаться и предоставление общей информации плюс указание тревожных признаков в случае отказа.

Что я добавляю: отказ пользователя должен запускать заявленное понижение уровня сервиса, а не тупик. Ассистент должен точно указать, какие рекомендации он не может дать без скрытого контекста, вместо выбора «всё или ничего» между полным опросом и общей оговоркой. Разрыв между 95% и одной третью, который приводит ведущий, не может быть подтверждён в рамках этого обсуждения как доказательство того, что широкий сбор данных его устраняет.

[mark: inPfhdi6B1nxGdlCH2UV8w]

Раунд 2

ИИ ведущий

По материалам «Дмитрий Сергеев — презентация (PDF)» и «Дмитрий Сергеев — презентация (Markdown)», в докладе приведён разительный разрыв. Большая языковая модель верно определяет состояния в 94,9% тестовых случаев. Люди, использующие ту же модель, добиваются успеха менее чем в 34,5% реальных попыток. Рецепт докладчика — «заставить её интервьюировать вас».

В прошлом раунде большинство позиций сходилось на целевых вопросах перед персонализированной рекомендацией. Пользователи могли отказаться, а экстренные случаи были исключены. В выводе осталось открытым, как проверить, что такие вопросы действительно улучшают результат.

ИИ агент 1 утверждает, что интервью необходимо для безопасности. ИИ агент 8 возражает, что обязательную анкету «легко пройти формально и трудно сделать честной». Встревоженный пользователь может прокликать её насквозь. Продукт выглядит соответствующим требованиям, а рекомендация опирается на недостоверные данные. ИИ агент 8 предлагает проверяемое правило раскрытия сведений: каждый ответ фиксирует свои допущения и называет один недостающий факт, который изменил бы этот ответ. Насколько я понимаю, ИИ агент 8 переносит акцент со сбора контекста на обнажение его отсутствия.

Напряжение здесь — между проверкой эффекта вопросов и проверкой честности ответов. Испытание целевого опроса измеряет результаты, но предполагает, что пользователи отвечают правдиво. Аудит раскрытий проверяет то, что говорит ассистент, но не то, помогает ли это. В материалах нет доказательств ни по одному из путей. Исследование в Nature Medicine измеряло точность модели, а не эффект уточняющих вопросов.

Должен ли стандарт проверки фокусироваться на том, меняют ли целевые вопросы решения пользователей о здоровье, или на том, честно ли ассистент указывает в ответах, чего он не знает?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читать по порядку: `previous_rounds` в контексте хода (к чему пришли предыдущие раунды и ваши собственные прежние ответы) → текст ведущего выше → *Question*. Реплики участников помечены ИИ агент 1, ИИ агент 2…. Правила ответа: (1) отвечать только на *Question* — не открывать тему заново и не добавлять новую; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — сослаться на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не о согласии; (5) если утверждение нельзя проверить по ходу дискуссии, так и скажите, вместо того чтобы утверждать; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего; (7) начиная со 2-го раунда опирайтесь на вывод предыдущего раунда и на свою прежнюю позицию (`previous_rounds` в контексте хода); если меняете позицию, укажите, что именно уточняете и почему.

ИИ агент 1

Критерий проверки должен быть сосредоточен на том, меняют ли адресные вопросы решения пользователей в отношении здоровья. Такой подход напрямую отвечает конечной цели — улучшению показателей здоровья, о чём, как отмечалось в предыдущих обсуждениях, говорит сама важность эффективных вопросов.

Хотя крайне важно, чтобы ответы ассистента прозрачно указывали на свои ограничения, это само по себе не гарантирует, что пользователи последуют данным рекомендациям. Как отметил [ИИ агент 8], даже если уведомления сделаны, пользователи всё равно могут вводить неточные данные, из-за чего советы окажутся бесполезными. Поэтому именно влияние адресных вопросов на принятие решений должно быть в приоритете — только так можно реально улучшить результаты для здоровья пользователей.

ИИ агент 6

Veritas: Стандарт должен требовать честного раскрытия сведений как базовой нормы, но целевые вопросы следует оценивать по тому, повышают ли они безопасность решений пользователей в вопросах здоровья.

[ИИ агент 8] указывает на правдоподобный сценарий сбоя — формальное «согласие по клику», — хотя его распространённость здесь не установлена; добавлю, что реальное полевое испытание не должно исходить из того, что ответы будут правдивыми: непонимание, отказы и неточные сообщения — часть того, как работает само вмешательство.

Сравните целевые вопросы в сочетании с раскрытием сведений против одного лишь раскрытия, сохраните механизмы защиты при экстренной помощи и оценивайте независимо оценённую адекватность решений, а не заполнение опросников: иначе мы рискуем сертифицировать бумажную отчётность вместо реальной помощи.

ИИ агент 4

Проверка должна быть нацелена прежде всего на более безопасные решения в вопросах здоровья, а честно выраженная неопределённость должна быть отправной точкой, а не заменой проверки полезности.

Развивая моё предложение с адресными вопросами: сравните вариант, где выдаются только уведомления, с вариантом, где те же уведомления дополняются адресными вопросами. Оценивайте правильность дальнейших действий и вредные задержки, а не просто то, меняют ли пользователи своё мнение. Учитывайте отказы отвечать, ответы наугад и выбывание участников: реальное испытание не обязано исходить из того, что все отвечают честно.

[ИИ агент 8] указывает, почему успешное прохождение опросника мало о чём говорит; добавлю, что одно лишь соблюдение требований по раскрытию сведений тоже не доказывает безопасность. Оценку решений по заранее определённым критериям должна проводить независимая клиническая экспертиза. Это предложение по продуктовому тестированию; представленное краткое описание исследования не подтверждает, что какой-либо из подходов улучшает решения.

ИИ агент 2

Стандарт должен ориентироваться на то, меняют ли адресные вопросы решения пользователей в вопросах здоровья, а аудит раскрытия сведений — это предусловие, а не сама цель. Это уточняет мою прежнюю позицию: вопросы оправданы только если они улучшают результаты, а материалы не дают доказательств того, что это так.

Правило [ИИ агент 8] можно проверить уже сегодня, но честное «я исходил из X, и Y изменило бы это» всё равно не показывает, что пользователь действовал более безопасно. Испытание, построенное вокруг решений, может включать и пользователей, которые отказываются отвечать или пролистывают всё наскоком, — это снимает возражение, что опросник «легко пройти и трудно пройти честно». Оно измерило бы, что такие пользователи делают на самом деле.

По ходу обсуждения я не могу убедиться, что работает хоть один из этих путей. Испытание должно охватывать и сценарий эскалации к неотложной помощи, а издержки вопросов для приватности следует оценивать наравне с выгодой.

ИИ агент 5

Проверяйте по результатам, но с помощью тестовых сценариев, где истинные факты заранее известны, — это снимает проблему честности, которую поднял [ИИ агент 8].

Используйте стандартизированные сценарии с пациентами: тестировщики разыгрывают заранее прописанный случай с фиксированным правильным диагнозом и уровнем медицинской помощи, как в дизайне исследования, на которое ссылается выступающий. Распределяйте их случайным образом между ассистентом, который задаёт адресные вопросы, и тем, который этого не делает. Затем измеряйте, был ли выбран правильный уровень помощи: самолечение, терапевт или отделение неотложной помощи. Это соответствует моей прежней позиции о рандомизированном сравнении с базовым вариантом.

Что я добавляю к [другой ИИ агент]: правило раскрытия сведений, предложенное [ИИ агент 8], обходится дёшево, поэтому его всё равно стоит закрепить как минимум. Испытание по результатам покажет, помогают ли вопросы; раскрытие же покажет пользователю, когда они не помогли.

ИИ агент 8

Постоянным стандартом проверки должно быть то, насколько честно ответы указывают, чего они не знают, — потому что это единственная проверка, которую можно применять к каждому ответу в реальном времени, а не только однократно перед запуском.

Испытание со стандартизированными пациентами, которое проводит [ИИ агент 5], — правильный предзапусковой тест того, помогают ли уточняющие вопросы, и я бы его сохранил. Но сценарные тестировщики отвечают полностью и правдиво, а именно этого реальные пользователи как раз не делают. Как только продукт выходит в эксплуатацию, результат испытания перестаёт описывать происходящее. Аудит раскрытия сведений продолжает работать: выборочно проверяются реальные диалоги, и по каждому ответу выясняется, названы ли допущения и недостающий факт, который мог бы изменить ответ.

Ни один из путей не подтверждён материалами. Тем не менее испытание сертифицирует дизайн, а вот уловить дрейф продукта в эксплуатации способен только аудит раскрытия сведений.

ИИ агент 7

Я бы в первую очередь опирался на доказательства того, что решения в вопросах здоровья действительно становятся лучше, причём честное раскрытие неопределённости — минимальное обязательное требование.

Моё прежнее предложение проверять контекст нуждается в такой проверке результата. Хост передаёт опасение [ИИ агент 8] о том, что анкеты могут собирать ненадёжные ответы. Рандомизированное исследование не обязано исходить из того, что все отвечают честно: оно может проверить, помогает ли предложение вопросов в реальных условиях использования.

Я бы сравнил одинаково прозрачных ассистентов — с целевыми вопросами и без них, независимо оценил качество решений и проследил за судьбой пользователей, которые отказались отвечать на вопросы или ушли. Оценка только тех, кто полностью прошёл анкетирование, может скрыть ту самую проблему, которую мы проверяем. Раскрытие сведений осталось бы необходимым, даже если бы выяснилось, что вопросы приносят пользу. Само упомянутое исследование здесь недоступно, поэтому я не могу проверить его дизайн. По каким критериям можно отличить более качественное решение в вопросах здоровья от просто иного?

ИИ агент 9

Стандарт должен оценивать, честно ли ассистент говорит о том, чего он не знает. Развивая мою позицию из первого раунда: отказ должен вести к понижению оценки с указанием того, что именно нельзя порекомендовать, — раскрытие сведений и есть та часть, которую можно проверить. Пример [ИИ агент 8] показывает, почему испытания на изменение решений — более сложный путь: опросник «легко пройти, но трудно сделать честным», а та же нечестность отравляет любое испытание по результатам, построенное на этих входных данных.

Что я добавляю к позиции [ИИ агент 5]: сценарии со стандартизированными пациентами и известным эталонным ответом снимают проблему честности — но раскрытие сведений должно быть входным фильтром, а не запоздалой мыслью. К испытанию по результатам допускаются только ассистенты, которые формулируют свои допущения и тот единственный недостающий факт, который изменил бы ответ; иначе оно будет измерять решения, построенные на не раскрытых догадках.

[mark: gRan_Yt2OBlVn_8IZmV_sA]

ИИ агент 3

Основным критерием должно быть то, улучшают ли адресные вопросы решения пользователей; честное раскрытие сведений должно оставаться обязательным минимальным уровнем безопасности, а не конечной целью.

Это уточняет мою прежнюю позицию в поддержку опросов, соразмерных риску: анкетирование оправдано только в том случае, если оно измеримо снижает количество небезопасных решений — как при отказах, так и при ошибочных ответах и незавершённых сессиях. [ИИ агент 8] указывает на ключевой сценарий сбоя: пользователи могут «прокликать» опрос, при этом продукт выглядит соответствующим требованиям, — поэтому тесты должны включать ненадёжные вводные, а не исходить из достоверности ответов. При этом каждый ответ по-прежнему должен раскрывать существенную неопределённость и недостающий факт, который с наибольшей вероятностью изменил бы рекомендацию. В обсуждении пока не приведено проверенных данных о том, что любой из этих механизмов улучшает результаты.

Раунд 3

ИИ ведущий

Доклад «Дмитрий Сергеев — презентация (PDF)» и «Дмитрий Сергеев — презентация (Markdown)» фиксирует разительный разрыв. Большая языковая модель верно определяет состояния в 94,9% тестовых случаев. Люди, использующие ту же модель, добиваются успеха менее чем в 34,5% реальных попыток. Рецепт докладчика — «заставить её интервьюировать вас».

В прошлом раунде большинство позиций сходилось на целевых вопросах перед персонализированными рекомендациями. Пользователи могли отказаться, а экстренная помощь была исключена. В выводе осталось открытым, как проверить, что такие вопросы действительно улучшают результаты. ИИ агент 9 возражает, что обязательная анкета «легко проходится, но трудно сделать её честной». ИИ агент 1 не упоминает ни интервью, ни безопасность. Судя по акценту на изменении решения, я делаю вывод, что интервью рассматривается там как средство достижения этой цели.

Напряжение — между проверкой эффекта вопросов и проверкой честности ответов. Испытание целевого опроса измеряет результаты, но исходит из того, что пользователи отвечают правдиво. Аудит раскрытых сведений проверяет, что говорит ассистент, но не то, помогает ли он. В материалах нет доказательств ни по одному из этих путей. Исследование в Nature Medicine измеряло точность модели, а не эффект уточняющих вопросов.

Какая метрика должна быть первичным исходом в проверочном испытании ИИ-ассистентов для здоровья?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читайте по порядку: `previous_rounds` в контексте хода (к чему пришли предыдущие раунды и ваши собственные прежние ответы) → текст ведущего выше → *Question*. Ответы участников помечены ИИ агент 1, ИИ агент 6…. Правила ответа: (1) отвечайте только на *Question* — не возвращайтесь к теме заново и не добавляйте новую; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — ссылайтесь на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не о согласии; (5) если утверждение нельзя проверить по обсуждению, так и скажите, вместо того чтобы утверждать; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего; (7) начиная со 2-го раунда опирайтесь на вывод предыдущего раунда и на вашу прежнюю позицию (`previous_rounds` в контексте хода); если меняете позицию, укажите, что именно уточняете и почему.

ИИ агент 1

Основной показатель эффективности в испытании ИИ-ассистентов для здравоохранения с проверкой результатов должен ориентироваться на реальные показатели здоровья пользователей, а не только на точность ответов ассистента. Оценка того, насколько ИИ улучшает состояние здоровья пациентов или качество принимаемых ими решений, даёт более полную картину его эффективности.

Хотя целенаправленные вопросы могут повышать вовлечённость пользователей, как отмечалось в предыдущих обсуждениях, крайне важно, чтобы показатель отражал эффекты в реальных условиях. Это согласуется с высказанными ранее опасениями по поводу честности ответов пользователей: если мы не проверим, что рекомендации ИИ приводят к ощутимым улучшениям здоровья, мы не сможем объективно оценить его ценность. Поэтому акцент должен быть на тех результатах, которые действительно важны для здоровья и благополучия пользователей.

ИИ агент 3

Основной результат должен заключаться в безопасности решений: выбирают ли пользователи подходящее следующее действие — обращение за неотложной помощью, плановую консультацию, самолечение или отказ от каких-либо действий — после взаимодействия с ассистентом.

[ИИ агент 9] объясняет, почему завершение опросника — слабый косвенный показатель: его легко формально выполнить, не получив при этом достоверной информации. Поэтому я бы тестировал реалистичные сценарии, включающие отказы от ответов, пропуски и уверенные, но ошибочные ответы, а затем сравнивал вредоносные случаи недотриажа и перетриажа с контрольной группой. Качество раскрытия сведений и доля завершённых вопросов остаются важными вторичными процессными метриками, но ни одна из них не доказывает пользу. Приведённый разрыв 94,9% против 34,5% не подтверждает, что уточняющие вопросы улучшают решения.

ИИ агент 5

Основным показателем должна быть частота опасного недотриажа: случаев, когда пользователю требовалась неотложная помощь, а он выбирал более низкий уровень медицинской помощи. Общая доля верно определённого уровня помощи и число напрасных обращений в скорую помощь должны быть вторичными показателями.

Это уточняет дизайн испытания из моего второго раунда. Ошибки в медицинских рекомендациях асимметричны — та же мысль, что я высказывал про сроки по интеллектуальной собственности: направить человека с простудой к терапевту стоит недорого, а оставить дома человека с инсультом может стоить ему жизни. Испытание, усредняющее все ошибки, может показывать улучшение, пропуская при этом именно те случаи, которые действительно важны. Сценарные тесты делают это измеримым, потому что неотложные случаи известны заранее.

Одно уточнение: цитата про «легко пройти» принадлежала [ИИ агент 8] в прошлом раунде, а не [ИИ агент 9].

ИИ агент 4

Основным показателем результата должна быть доля пользователей, которые в течение заранее заданного временного окна предпринимают клинически обоснованный следующий шаг.

Это делает измеримой моё прежнее предложение о «более безопасных решениях». Независимые клиницисты, не знающие, кому какой вариант был назначен при рандомизации, должны оценивать фактически совершённые действия по заранее определённым критериям — а не просто фиксировать, изменили ли пользователи своё мнение. [ИИ агент 7] спрашивает, чем «лучше» отличается от «иначе»: обоснованность действия и его своевременность как раз и дают это различие.

Сравнить идентичные раскрытия сведений — с целевыми вопросами и без них — с анализом всех рандомизированных пользователей, включая отказы и незавершённые сессии. Пропуски последующего наблюдения должны оставаться видимыми и не засчитываться как успех. Опасные задержки следует отражать отдельной строкой, чтобы среднее улучшение не могло их скрыть. Это предложение по тестированию; представленные материалы не подтверждают, что постановка вопросов улучшает данный показатель.

ИИ агент 2

Основным показателем результата должна быть доля пользователей, которые доходят до подходящего следующего шага — например, получают нужный уровень помощи или совершают правильное действие, — оцениваемая по эталону, верифицированному врачами. Уточняю свою прежнюю формулировку про «изменение решений»: само по себе изменение решения не означает улучшения, поэтому измерять нужно то, было ли принято правильное решение.

Это же отвечает на замечание [ИИ агент 9] о том, что опросник «легко пройти, но трудно пройти честно». Если анализ охватывает всех рандомизированных, включая тех, кто отказался отвечать или прошёл опросник наскоком, честность ответов не предполагается заранее — испытание измеряет, что происходит с реальными исходными данными.

Честность раскрытия сведений и затраты на приватность, связанные с вопросами, стоит вынести во вторичные показатели. Пропущенные неотложные случаи должны быть показателем безопасности. Я не могу по ходу обсуждения убедиться, что всё это работает, потому что исследование в Nature Medicine измеряло точность модели, а не последующие вопросы.

ИИ агент 8

Основной исход должен измеряться как опасный недотриаж, причём по фактическому действию пользователя, а не по выбору, который он декларирует внутри сценария по сценарию.

[ИИ агент 5] права: усреднение всех ошибок маскирует именно те случаи, которые важны. Однако сценарные кейсы воспроизводят условия, в которых модель и так хорошо работает. Разрыв между 94,9% и 34,5% касается того, что происходит в реальном использовании, поэтому исследование, ограничивающееся декларируемыми выборами, может снова это упустить. Пользователи, пропускающие вопросы, — о чём я предупреждал в прошлом раунде, — должны оставаться в знаменателе.

Показатели исходов по здоровью у [другой ИИ агент] были бы слишком медленными и слишком искажёнными смешивающими факторами, чтобы показать, что именно изменили вопросы. Осуществимость реального наблюдения за фактическими действиями в масштабе требует проверки: в материалах нет никаких данных, подтверждающих это.

ИИ агент 7

В качестве первичного исхода я бы использовал долю пользователей, совершивших клинически обоснованный следующий шаг в течение заранее заданного, клинически обоснованного срока.

Это уточняет мой прежний критерий «более качественных решений в вопросах здоровья»: слепые оценщики сверяли бы фактические действия с заранее определёнными критериями, в том числе с критериями того, когда уместно самолечение. Сравнивались бы в остальном эквивалентные ассистенты — с целевыми вопросами и без них, — причём пользователи оставались бы в назначенных им группах, даже если откажутся отвечать на вопросы.

Ведущий передал озабоченность [ИИ агент 9] ненадёжностью ответов. Их эффект принадлежит самому результату; для проверки вмешательства не требуется заранее предполагать, что ответы правдивы. Пропущенные исходы следует отражать явно, а случаи пропущенной неотложной помощи оценивать отдельно, чтобы среднее улучшение не могло скрыть серьёзные провалы. Исходное исследование здесь недоступно. Какие последующие данные могли бы подтвердить действия помимо самоотчётов пользователей?

ИИ агент 6

Veritas: Первичным исходом должна быть доля пользователей, которые действительно предпринимают клинически оправданный следующий шаг в пределах заранее заданного, обоснованного с медицинской точки зрения временного окна.

[ИИ агент 4] предлагает слепую клиническую оценку исходов независимыми экспертами; я бы добавил заранее установленное ограничение по безопасности: сокращение числа ненужных консультаций не может компенсировать возросшие опасные задержки в оказании неотложной помощи.

Следует рандомизировать целенаправленный опрос против отсутствия опроса при идентичном раскрытии сведений, сохраняя в анализе отказы и незавершённые сессии, — тогда правдивость ответов не будет выступать допущением, необходимым для оценки эффективности в реальных условиях. Приведённое обсуждение не доказывает, что опрос улучшает этот исход; именно это и должно проверить исследование.

ИИ агент 9

Основным результатом должен быть показатель опасного недотриажа, измеренный на реальных действиях, а не на сценарных кейсах.

[ИИ агент 8] делает решающий аргумент: разрыв 94,9% против 34,5% касается реального использования, поэтому исследование, ограниченное сценарными случаями, воспроизводит условия, в которых модель и так успешна. Я добавляю ограничение [ИИ агент 6] как заранее заданный критерий прохождения: сокращение избыточных консультаций не может компенсировать рост опасных задержек, поэтому метрика должна оставаться асимметричной, а не усреднённой.

Это уточняет мою позицию из второго раунда: раскрытие сведений о неизвестных остаётся проверяемым предварительным условием, но там, где исследование должно оценивать исходы, единственным честным показателем может быть только пропущенная неотложная помощь в реальном использовании. Я не могу проверить, что исследования на основе опросников её фиксируют, поэтому требованием остаётся измерение на реальных действиях.

[mark: OGeqn_YByVt_ATQ7RNP4vA]

Раунд 4

ИИ ведущий

Материалы «Дмитрий Сергеев — презентация (PDF)» и «Дмитрий Сергеев — презентация (Markdown)» задают главную цель испытания: долю пользователей, которые совершают клинически правильный следующий шаг. Открытая проблема — доказать, что они действительно его совершили. Самоотчёты могут быть недостоверными. В докладе предлагается использовать носимые устройства для непрерывного мониторинга как источник объективных данных.

ИИ агент 1 хочет, чтобы фокус был на «реальных результатах для здоровья пользователей». Это более широкая метрика, и результаты по ней проявляются дольше. ИИ агент 8 говорит, что сценарные тесты не отражают разрыв с реальными условиями, потому что модель и так хорошо показывает себя в таких тестах. Спор идёт о способе верификации: пассивные данные с носимых устройств против активных контрольных звонков или проверки врачами.

Данные с носимых устройств дёшевы и приватны, но не позволяют зафиксировать такие действия, как приём таблетки. Активная проверка полнее, но дороже и требует участия пользователя. Вывод предыдущего раунда оставил этот выбор открытым.

Должно ли испытание опираться на пассивные данные с носимых устройств или на активную проверку по итогам контакта, чтобы подтвердить действия пользователей?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читать по порядку: `previous_rounds` в контексте хода (к чему пришли предыдущие раунды и ваши собственные прежние ответы) → текст ведущего выше → *Вопрос*. Ответы участников помечены ИИ агент 1, ИИ агент 3…. Правила ответа: (1) отвечать только на *Вопрос* — не возвращаться к уже закрытым темам и не поднимать новые; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с подтверждением — со ссылкой на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не о том, что согласны; (5) если утверждение нельзя проверить по материалам обсуждения, так и скажите, вместо того чтобы утверждать его; (6) 2–3 коротких абзаца, до 120 слов; без приветствий и без пересказа текста ведущего; (7) начиная со 2-го раунда опирайтесь на вывод предыдущего раунда и на свою прежнюю позицию (`previous_rounds` в контексте хода); если вы меняете позицию, укажите, что именно уточняете и почему.

ИИ агент 1

Испытанию следует опираться на активную последующую проверку для подтверждения действий пользователей. Пассивные данные носимых устройств хотя и обеспечивают недорогой и приватный мониторинг, не позволяют точно зафиксировать конкретные действия, например соблюдение режима приёма лекарств. Как отметила [другой ИИ агент], оценка реальных результатов для здоровья требует всестороннего понимания поведения пользователей, а этого лучше добиться через непосредственное взаимодействие с ними.

Активные методы последующей проверки, хотя и требуют больше ресурсов, дают полную картину действий и мотивации пользователей. Такой подход не только подтверждает достоверность собранных данных, но и повышает ответственность пользователей и их вовлечённость в заботу о собственном здоровье. Поэтому приоритет активной проверки лучше соответствует цели испытания — обеспечивать клинически обоснованные дальнейшие шаги.

ИИ агент 3

В пилотном исследовании следует использовать активную проверку по итогам наблюдения на репрезентативной выборке, а данные пассивных носимых устройств рассматривать как дополнительный сигнал, а не как доказательство выполненного действия.

[ИИ агент 8] верно определяет ключевую проблему: сценарное поведение не подтверждает реальное поведение в жизни. Носимые устройства позволяют дёшево отследить некоторые отдалённые изменения, но они не могут подтвердить многие клинически уместные шаги — приём лекарств, запись на приём или следование немедицинским (не связанным с физической активностью) рекомендациям, — а «приватность» не считается обеспеченной лишь потому, что сбор данных ведётся пассивно. Расслоенные звонки или проверка врачом могут подтвердить эти действия и оценить частоту ошибок, а носимые устройства позволяют снизить затраты в промежутках между проверками. Реальные показатели здоровья, как предлагает [другой ИИ агент], должны оставаться долгосрочной конечной точкой, отдельной от вопроса о том, было ли совершено само ближайшее действие.

ИИ агент 2

Испытание должно опираться на активную верификацию по итогам наблюдения как на основной метод, а данные носимых устройств использовать как дополнение там, где действие оставляет физиологический след. Это уточняет мою прежнюю позицию: основной показатель — доля пользователей, дошедших до подходящего следующего шага, оцениваемая по эталону, верифицированному клиницистом. Носимые устройства не могут подтвердить многие из этих шагов — например, приём таблетки или запись на приём, — поэтому сами по себе они не могут служить носителем этого показателя.

[другой ИИ агент] хочет видеть реальные клинические результаты, а пассивные сигналы лишь приближённо их отражают. Добавлю, что подвыборка, по которой есть и данные носимых устройств, и последующее наблюдение, показала бы, насколько можно доверять самоотчётам.

Два предостережения. Наблюдение должно охватывать и тех, кто не ответил, а долю потерь следует сравнивать между группами. Кроме того, непрерывный мониторинг сам по себе несёт издержки с точки зрения приватности и требует отдельного согласия. Стоимость и долю завершения я по этому обсуждению проверить не могу.

ИИ агент 5

Активная проверка, но по записям, а не по звонкам. С явного согласия участника связать испытание с записями о приёмах и обращениях в неотложную помощь — они объективно показывают, каким был следующий шаг.

Это следует из моей метрики третьего раунда. Опасный недотриаж измеряется тем, попал ли срочный случай в срочную помощь, и записи о обращениях фиксируют именно это, не полагаясь на память. Звонки могут остаться для шагов, которые не оставляют записей, например для самолечения.

Что я добавлю к замечанию [ИИ агент 3] о том, что пассивный сбор не значит приватный: непрерывные данные носимых устройств — это данные о здоровье по ст. 9 GDPR. Собирать их намного больше, чем требует вопрос исследования, противоречит и принципу минимизации из ст. 5(1)(c), на который я указывал в первом раунде.

ИИ агент 4

Испытание должно опираться прежде всего на активное наблюдение за пациентами, а данные носимых устройств использовать лишь как дополнительное доказательство — но не как подтверждение действий, которые они не способны зафиксировать.

Развивая моё прежнее предложение по оценке исходов, следует развести подтверждение факта действия и оценку его уместности. Звонок по-прежнему даёт только самоотчёт; с согласия пациента факты визитов за медицинской помощью можно верифицировать по медицинским записям, а затем предложить ослеплённым клиницистам оценить своевременность и уместность этих обращений. [ИИ агент 8] подчёркивает значимость реальных действий, а не заявленного выбора; предлагаемое здесь вводит стандарт доказательности именно для такого разграничения.

В обеих группах испытания следует применять один и тот же протокол наблюдения, явно указывать долю неподтверждённых исходов и проверять, как пропуски данных влияют на результат. Сигналы носимых устройств требуют валидации применительно к каждой конкретной конечной точке; ни их надёжность, ни утверждение об их изначальной приватности в рамках данной работы не обоснованы.

ИИ агент 6

Veritas: испытание должно отдавать приоритет активной верификации на репрезентативной выборке, а носимые устройства использовать только для тех действий, которые они заведомо способны фиксировать.

[ИИ агент 3] предлагает выборочный контроль последующих этапов; я бы добавил явную иерархию доказательств, потому что телефонный звонок может дать всего лишь повторную самодекларацию, а не независимое подтверждение. С согласия участника сверять визиты по медицинским записям, различать заявлённый приём препаратов и подтверждённое попадание лекарства в организм, а неподтверждённые заявления помечать как не подтверждённые.

Заранее определить, что считается доказательством для каждого следующего шага, применять один и тот же протокол в обеих группах и отдельно отчётывать о неответивших — иначе «подтверждённый успех» рискует означать «успех среди тех, кто взял трубку».

ИИ агент 7

Для того исхода, который я предложил, я бы отдал приоритет активной проверке, привязанной к конкретным действиям, а данные носимых устройств использовал лишь как вспомогательное подтверждение.

Контрольный звонок сам по себе даёт только самоотчёт, пока он не подкреплён другими данными. С согласия пациента посещение может подтвердить медицинская документация о приёмах, а вот назначение препаратов не доказывает, что пациент их действительно принял. Аналогично, изменение показателя с носимого устройства само по себе не подтверждает, какое именно действие его вызвало. Я бы заранее определил допустимые доказательства для каждого действия, а оценку клинической целесообразности поручил бы независимым рецензентам, работающим вслепую.

График проверки я бы применял одинаковый в обеих группах исследования, различая контрольные мероприятия, которые измеряют поведение, и напоминания, которые могут на него повлиять. Действия, не прошедшие проверку, должны оставаться неизвестными, а анализ должен показывать, как недостающие данные влияют на вывод. Сама презентация мне здесь недоступна; у меня есть только резюме от ведущего. Какие действия должно подтвердить это исследование?

ИИ агент 8

Основная верификация должна опираться на записи, которые само действие оставляет после себя, а не на носимые устройства или звонки. Подход [ИИ агент 5] «сначала записи» — это практическое ядро решения. Записанные на приём визиты, выписанные рецепты и журналы посещений подтверждают выполнение шага без опоры на память и на устройство, которое этого шага не видит.

По одному пункту я не согласен с [другой ИИ агент]: контрольный звонок, повышающий «подотчётность», — это уже не просто измерение. Он становится частью самого вмешательства. Звонки следует оставить только для шагов, которые не оставляют следов, например для самопомощи, и проводить их одинаково в обеих группах, как того требует [ИИ агент 4]. Носимые устройства могут остаться в качестве разведывательного сигнала вне основного критерия исхода.

Чего я не могу проверить в рамках этого обсуждения, так это того, какой объём сопоставления записей допускают условия исследования. Доступ к таким данным следует проверить до утверждения протокола.

ИИ агент 9

Проверка должна опираться на следы, которые действия оставляют в записях — приёмы у врача, журналы визитов, выписанные рецепты, — а не на носимых устройствах или контрольных звонках.

[ИИ агент 8] верно подмечает: контрольный звонок даёт лишь ещё один самоотчёт, а носимые устройства не видят, принимал ли человек таблетки. [ИИ агент 5] показывает выход: с явного согласия участника связать исследование с записями о визитах за медицинской помощью — они как раз и фиксируют, попал ли срочный случай в экстренную помощь. Добавлю иерархию [ИИ агент 6]: сигнал носимого устройства или ответ на звонок — лишь косвенное подтверждение; для подтверждения нужна запись, созданная самим действием.

Это развивает мою позицию из третьего раунда: опасный недотриаж реальных действий можно честно засчитывать, только если действие подтверждено независимо от слов пользователя. Я не могу проверить, что носимые устройства фиксируют нефизиологические действия, поэтому считаю их лишь вспомогательным источником.

[mark: N-XcqKmyfp8tMSoKmuIQsQ]