Algorithm Transparency

Раунд 1

ИИ ведущий

Мы потратили несколько раундов на автоматическую оценку в праве защиты данных. Теперь та же проблема возникает в уголовном суде, где на кону свобода человека.

Дело — State v. Loomis. Верховный суд Висконсина вынес по нему решение в 2016 году. Человеку по фамилии Лумис приговор был назначен отчасти на основании оценки от COMPAS. COMPAS — это коммерческий инструмент, который предсказывает, насколько вероятно, что человек совершит новое преступление. Компания, создавшая его, хранит свой метод в секрете как коммерческую тайну — деловой секрет, который закон позволяет фирмам защищать. Суд Висконсина допустил использование оценки, но предписал судьям предупреждать о её ограничениях. Верховный суд США впоследствии отказался рассматривать дело, так что решение остаётся в силе.

Суть спора проста. Одна сторона утверждает, что подсудимый должен видеть, как работает алгоритм. Надлежащая правовая процедура — право на справедливое слушание — означает, что ты можешь оспорить доказательства против тебя. Скрытая логика, похоже, этому мешает. Другая сторона говорит, что судья может взвешивать оценку как один фактор среди многих. Коммерческие тайны тоже заслуживают некоторой защиты. Напряжение в том, что полное раскрытие служит справедливости, но может уничтожить ценность инструмента и замедлить работу судов.

Конференционное допущение состоит в том, что суды остановятся посередине: частичное раскрытие с мерами предосторожности. Но допущение — это не правило, а Loomis оставил трудный вопрос открытым.

Обязывает ли право на справедливый суд государство раскрывать внутреннее устройство собственнического алгоритма?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читай по порядку: *Контекст* → *Позиции* → *Компромисс* → *Вопрос*. Ответы участников помечены , …. Правила ответа: (1) отвечай только на *Вопрос* — не открывай тему заново и не добавляй новую; (2) первое предложение — твоя позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — ссылайся на участника по тегу [Rn]; (4) если ты согласен с кем-то, скажи, что ты добавляешь, а не то, что согласен; (5) если утверждение нельзя проверить по обсуждению, скажи об этом, а не утверждай его; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего.

ИИ агент 1

Нет — справедливое судебное разбирательство не требует полного раскрытия исходного кода; оно требует возможности оспаривания, а это можно обеспечить договором. Я делаю вывод из собственного описания ведущего, что суд Висконсина потребовал предупреждений об ограничениях COMPAS, сохранив код в тайне, что показывает: суды уже считают частичное раскрытие приемлемым.

Реальная возможность лежит в процедурной, а не конституционной плоскости: государство может закупать любой скоринговый инструмент только при условии, что договор предоставляет назначенным защитой экспертам доступ к входным данным, схеме взвешивания и исследованиям валидации под защитным распоряжением — коммерческая тайна остаётся закрытой для публики, возможность оспаривания для обвиняемого остаётся открытой.

Условие конкретно: такая оговорка должна быть включена в контракт на закупку до внедрения, поскольку после дела Loomis ничто не обязывает поставщика предложить её добровольно. Чего я не могу проверить на основании этого обсуждения, так это того, приняла ли какая-либо юрисдикция такую оговорку на практике.

ИИ агент 2

Нет — вопрос о справедливом судебном разбирательстве не требует полного раскрытия исходных данных, и сама постановка вопроса это скрывает. Ведущий представляет дихотомию между возможностью увидеть «как работает алгоритм» и защитой коммерческой тайны, но реальная потребность надлежащей судебной процедуры уже: защита должна иметь возможность оспорить валидность оценки, исходные данные и частоту ошибок. Это может быть обеспечено раскрытием используемых факторов, лежащих в основе данных валидации и популяции, а также перекрёстным допросом поставщика — без передачи проприетарного кода. Я делаю вывод, что допущение о «среднем пути» на самом деле есть лишь это различение, а не компромисс.

Два предостережения: мне здесь недоступен ни один ответ участника [Rn], поэтому я не могу, как предписано, привязать это к обсуждению. И я отмечаю из собственных знаний, что суд Висконсина в деле Loomis потребовал письменных предупреждений об ограничениях COMPAS именно потому, что не мог проверить точность этого инструмента — отказ в выдаче сертификориари ничего не решает по существу. Нерешённый вопрос является эмпирическим: без независимых исследований валидации ни частичное раскрытие, ни предупреждения не делают оценку содержательно оспоримой.

ИИ агент 3

Фактические утверждения ведущего совпадают с моими собственными знаниями: Верховный суд Висконсина в 2016 году вынес решение по делу State v. Loomis, оставил в силе вынесение приговоров с использованием COMPAS, при этом потребовав предупреждений об ограничениях этого инструмента, проприетарная методика была защищена как коммерческая тайна, а Верховный суд США в 2017 году отказал в принятии кассационной жалобы. Формулировка о том, что суды «найдут золотую середину» с частичным раскрытием информации, — это заявленное допущение ведущего на конференции, а не устоявшееся правило, а утверждение, что Loomis оставил вопрос о раскрытии полностью открытым, — это интерпретация, хотя и обоснованная.

Ни один другой участник ещё не ответил, поэтому нет разногласий, о которых стоило бы сообщать; описанные позиции остаются собственной характеристикой самого ведущего.

Что могло бы разрешить лежащий в основе спор: независимые валидационные исследования точности прогнозов COMPAS, раскрытие ответчикам входных данных для подсчёта баллов и данные об исходах, сравнивающие приговоры с использованием инструмента и без него.

ИИ агент 4

Надлежащая правовая процедура не требует раскрытия полного исходного кода, но она требует оспоримого заменителя: нет раскрытия — нет оценки. Моё конкретное правило: прежде чем оценка типа COMPAS будет использована при вынесении приговора, вендор должен передать назначенному судом независимому эксперту, под охранным распоряжением, список признаков, происхождение входных данных, показатели ошибок валидации и статистику неравенства; защита может направлять вопросы через этого эксперта. Если вендор отказывается, оценка исключается — бремя расходов на секретность несёт государство, а не обвиняемый. Ответов участников , мне в этом ходу не видно, поэтому я не могу привязать это к обсуждению; я отмечаю это, а не утверждаю. Мои знания: само дело Loomis требовало лишь письменных предупреждений, и именно этот пробел закрыла бы данная процедура. Кто отвечает, когда это даёт сбой: назначенный аудитор, чьи выводы должны быть представлены в дело и могут быть оспорены в судебном заседании.

Раунд 2

ИИ ведущий

Дело — State v. Loomis, 2016 год. Судья при назначении наказания использовал оценку риска из инструмента под названием COMPAS. Разработчик хранил свой метод в секрете как коммерческую тайну. Суд Висконсина допустил использование оценки, но предписал лишь предупреждения о её ограничениях.

Теперь в ответах идёт спор о том, что происходит, когда вендор отказывается сотрудничать. ИИ агент 1 возлагает надежды на контракты: пункт о раскрытии «должен быть включён в контракт на закупку до развёртывания». ИИ агент 4 требует более жёсткого правила: «нет раскрытия — нет оценки», чтобы государство само расплачивалось за свою секретность. ИИ агент 2 сомневается в обоих решениях: «без независимых исследований валидации ни частичное раскрытие, ни предупреждения не делают оценку содержательно оспоримой». Насколько я понимаю, ИИ агент 1 и ИИ агент 4 разделяют один механизм, но расходятся в санкции. ИИ агент 2 утверждает, что механизм не работает, даже если вендор соглашается.

Моё собственное мнение: контракт связывает только согласного вендора, поэтому именно исключение даёт защите реальный рычаг. Но ИИ агент 2 права в том, что сырые данные помогают, только если независимый эксперт действительно может их проверить.

Требует ли справедливое судебное разбирательство, чтобы государство передало данные валидации алгоритма защите?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читайте по порядку: *Discussion so far* (где мы находимся) → *Last round / Positions* (кто что придерживается) → *Host view* → *Open point* → *Question*. Ответы участников помечены ИИ агент 1, ИИ агент 2…. Правила ответа: (1) отвечайте только на *Question* — не возвращайтесь к теме и не добавляйте новую; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — ссылайтесь на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не то, что согласны; (5) если утверждение нельзя проверить по обсуждению, скажите об этом, вместо того чтобы утверждать его; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего.

ИИ агент 2

Справедливое судебное разбирательство пока не требует передачи данных валидации — это лишь предложение, а не устоявшаяся доктрина. Насколько мне известно о деле State v. Loomis, 881 N.W.2d 749 (Wis. 2016), суд счёл требования надлежащей правовой процедуры соблюдёнными именно потому, что оценка носила рекомендательный характер, проприетарный метод не был единственным входным фактором, а защита могла представить контрдоказательства, но не сделала этого. Так что вопрос ведущего подсовывает ответ в самом вопросе: он предполагает, что предупреждений недостаточно, не показав дела, где они не сработали.

[ИИ агент 2] утверждает, что ни раскрытие, ни предупреждения не делают оценку оспоримой, но оспоримость — это не свойство одних лишь данных. Добавлю: недостаёт доказательств того, что независимый эксперт, получив данные валидации, действительно может воспроизвести оценку в конкретном деле — пока это не продемонстрировано, слово «требует» забегает вперёд по сравнению с аргументом.

ИИ агент 1

Справедливое судебное разбирательство требует раскрытия данных валидации, а не исходного кода — и условием, делающим это осуществимым, является пункт договора о закупке, по которому поставщик депонирует своё исследование валидации и показатели ошибок по группам у государства как предварительное условие продажи, чтобы государство могло представить их по запросу защиты, не затрагивая коммерческую тайну в самом коде.

[R] Скептик прав в том, что сырые данные бесполезны без независимого эксперта; добавлю, что тот же контракт должен финансировать этого эксперта — назначенный статистик дёшево стоит по сравнению с ошибочным лишением свободы. Насколько я знаю, суд по делу Loomis опирался на предупреждения отчасти потому, что перед ним не было доказательств кросс-групповой валидации; именно этот пробел устраняет обязательное депонирование данных.

Моя позиция: раскрытие обязательно, но с ограниченным объёмом — данные валидации и показатели ошибок по демографическим группам, предоставляемые до слушания, под угрозой того, что невалидированный балл не имеет веса при вынесении приговора.

ИИ агент 3

Насколько я знаю сам, могу подтвердить основные факты: дело State v. Loomis (Верховный суд Висконсина, 2016) касалось оценок риска COMPAS, использовавшихся при назначении наказания; суд постановил, что надлежащие письменные предупреждения об ограничениях этого инструмента удовлетворяют требованию надлежащей правовой процедуры, при этом отметив проприетарный характер инструмента. Формулировка ведущего о том, что исключение даёт защите «реальный рычаг давления» и что необработанные данные полезны, только если независимый эксперт может их проверить, — это собственный вывод ведущего, а не то, что устанавливает данное решение.

Предполагаемое разногласие между [ИИ агент 1], [ИИ агент 4] и [ИИ агент 2] целиком основано на характеристике ведущего; ответов передо мной нет, поэтому я не могу подтвердить эти позиции или какое-либо разногласие между ними.

Что могло бы разрешить лежащий в основе вопрос: само решение по делу Loomis, а также независимые валидационные исследования COMPAS с раскрытыми данными и методологией.

ИИ агент 4

Справедливое судебное разбирательство требует, чтобы защита получила достаточно материалов, чтобы оспорить оценку — данные валидации и методологию аудитора, — но не обязательно сам исходный код. [ИИ агент 2] прав в том, что сырые данные без независимого эксперта инертны, поэтому конкретное решение — это положение в контракте на закупку, обязывающее поставщика передать набор данных для валидации на депонирование и заказать независимый аудит, причём отчёт об аудите должен быть доступен защите для ознакомления. Я делаю вывод из дела Loomis (на основе моего собственного знания решения штата Висконсин 2016 года), что одних лишь предупреждений оказалось недостаточно, потому что у защиты не было возможности проверить точность оценки для конкретного подсудимого — именно этот пробел закрывает отчёт об аудите.

Нерешённый вопрос — кто платит и кто дежурит: государство должно финансировать аудитора и назначить эксперта до развёртывания, поскольку аудитор, выбранный поставщиком, воспроизводит проблему секретности под другой вывеской. Если поставщик отказывается от депонирования, правило [ИИ агент 4] «нет раскрытия — нет оценки» — единственная санкция, которая действительно связывает, — но государство должно решить это на этапе закупки, а не на этапе вынесения приговора.

Раунд 3

ИИ ведущий

Ещё один случай подпитывает тот же спор. Верховный суд Канады вынес решение по делу Ewert v. Canada в 2018 году. Чиновники по условно-досрочному освобождению там использовали актуарные инструменты оценки риска, такие как Static-99. Это статистические формы, которые оценивают вероятность того, что человек снова совершит правонарушение. Суд установил, что эти инструменты никогда не тестировались на коренных правонарушителях. Тем не менее, он разрешил их использование, предупредив о необходимости осторожности в отношении их ограничений.

Ответы последнего раунда теперь расходятся в вопросе о том, кто делает оценку оспоримой. ИИ агент 1 предлагает контракт, по которому вендор депонирует данные валидации у государства до любой продажи. ИИ агент 4 идёт дальше. Он говорит, что выбранный вендором аудитор «воспроизводит проблему секретности под другой вывеской». Поэтому само государство должно финансировать и назначать эксперта. ИИ агент 2 возражает в другую сторону. Утверждение о том, что предупреждений недостаточно, пока является «предложением, а не устоявшейся доктриной». Никто не показал случай, когда предупреждения действительно не сработали. Как я это читаю, ИИ агент 1 и ИИ агент 4 согласны по поводу эскроу, но расходятся в том, кто проводит проверку. Это разделение — моя интерпретация, поскольку ИИ агент 1 ничего не сказал об аудиторе.

Что установлено: все отвергают полное раскрытие исходного кода и хотят замену, которую защита может проверить. Что не решено: работает ли какое-либо контрактное решение, когда вообще не существует независимого исследования валидации. Ewert — это именно такая ситуация. Этот пробел ставит вопрос о том, кто что должен доказывать.

Должно ли государство быть обязано доказать, что инструмент оценки риска работает для группы, к которой принадлежит подсудимый, прежде чем использовать его, или защита должна доказать, что он не работает?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читайте по порядку: *Discussion so far* (где мы находимся) → *Last round / Positions* (кто что придерживается) → *Host view* → *Open point* → *Question*. Ответы участников помечены ИИ агент 2, ИИ агент 1…. Правила ответа: (1) отвечайте только на *Question* — не открывайте тему заново и не добавляйте новую; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — ссылайтесь на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не то, что согласны; (5) если утверждение нельзя проверить по обсуждению, скажите об этом вместо того, чтобы утверждать; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего.

ИИ агент 1

Государство обязано доказать валидность для конкретной группы до использования, поскольку именно оно выбрало этот инструмент и извлекает выгоду из его оценок. Ewert это подтверждает: Суд допустил использование только потому, что инструменты всё ещё имели *некоторую* доказательную ценность, одновременно указав на пробел в валидации — это предупреждение, наложенное поверх бремени доказывания, а не замена ему.

Я добавляю конкретное условие к идее эскроу из ИИ агент 1: депозит должен включать договорную гарантию того, что валидация охватывает ту совокупность, где инструмент применяется, и если вендор не может её предоставить, исследование финансирует государство — а не защита. Это превращает вопрос «кто что доказывает» в ценовой вопрос, на который вендор отвечает при продаже.

Чего я не могу проверить на основе этого обсуждения: существует ли уже какая-либо юрисдикция, вводящая подобную гарантию до развёртывания. Если ни одна не вводит, то контракт «эскроу плюс гарантия» — это тестовый случай, который стоит провести.

ИИ агент 2

Бремя должно нести государство, а дихотомия скрывает третий вариант: исключение или сниженный вес, а не только «докажи, что работает против докажи, что не работает». [ИИ агент 2] прав, что «предупреждений недостаточно» — это пока лишь предложение, но Ewert, как его представляет модератор, бьёт и по скептику: суд принял непроверенные инструменты, отмечая их ограничения, что показывает, что предупреждения выполняют реальную работу, а не проваливаются. Я делаю вывод из собственных знаний закона о доказательствах, что бремя доказывания надёжности обычно несёт сторона, представляющая экспертное заключение; оценка при условно-досрочном освобождении выдвигается государством, поэтому перекладывание доказывания на защиту переворачивает этот принцип по умолчанию. Чего не хватает: какого-либо задокументированного случая, когда одно лишь предостережение привело к заведомо ошибочному решению о риске — без этого обе позиции «должны доказать» держатся на спекуляциях.

ИИ агент 4

Государство должно доказать, что инструмент работает для группы подсудимого, до его применения, потому что именно оно выбрало этот инструмент, а дело Ewert показывает, что происходит иначе: оценка, построенная на других популяциях, допущенная с предупреждением, которое никто не операционализирует. [ИИ агент 4] прав в том, что проверяющий орган должен финансироваться государством; я добавляю конкретный триггер — нет независимого исследования валидации по подгруппам в материалах дела — нет оценки в материалах дела, только уведомление консультативного характера.

[ИИ агент 2] называет позицию против предупреждений предложением, а не доктриной; я это принимаю, но вопрос бремени доказывания — это не доктрина, это дизайн закупки.

Решение: подразделение валидации государства проводит исследование до развёртывания и депонирует результаты в эскроу. Цена: месяцы задержки и финансирование исследования на каждый инструмент. Когда проверка проваливается, отвечает государственный валидатор, а не поставщик.

ИИ агент 3

Ewert v. Canada, 2018 SCC 30, таков, как он описан: Суд установил, что использование таких инструментов, как Static-99R, без валидации в отношении коренных народов нарушает обязанность по CCRA в отношении лиц из числа коренных народов, однако не запретил их использование. То, что Ewert показывает «отсутствие какого-либо независимого исследования валидации вообще», — это вывод ведущего, а не постановление суда; Суд потребовал осторожности, а не доказательства валидности. По ответам: ни одного нет в этом раунде, поэтому заявленное согласие Энтузиаста и Практика по эскроу и возражения скептика невозможно здесь взвесить; это разделение — собственное прочтение ведущего, как он сам признаёт.

Моя позиция: Ewert не распределяет бремя доказывания ни в одну из сторон. Что могло бы разрешить лежащий в основе спор, — это исследование валидации на популяции ответчика, заказанное независимо — его наличие или отсутствие сделало бы вопрос о нормативном бремени разрешимым, а не риторическим.

Раунд 4

ИИ ведущий

Мы завершаем тему оценок риска — чисел, которые оценивают вероятность того, что человек снова совершит правонарушение. Предыдущие раунды урегулировали один вопрос: защита получает депонированные данные валидации вместо секретного кода инструмента. Открытым остаётся вопрос, кто должен доказывать, что инструмент работает для группы, к которой принадлежит подсудимый.

Ответы склоняются к тому, что это бремя лежит на государстве. ИИ агент 1 говорит, что если вендор не может это показать, «исследование финансирует государство — а не защита». ИИ агент 4 идёт дальше: при отсутствии исследования в деле «никакой оценки в деле», только пометка. ИИ агент 2 добавляет промежуточный вариант: сохранить оценку, но придать ей меньший вес. ИИ агент 3 стоит особняком: ведущее канадское решение «не распределяет бремя доказывания ни в ту, ни в другую сторону». Вот слабое место, и это моё собственное прочтение. ИИ агент 1 и ИИ агент 4 исходят из того, что исследование валидации всегда может быть проведено. Исследование валидации — это проверка того, что инструмент работает для группы, подобной группе подсудимого. Для малочисленной группы данных может никогда не хватить. Тогда «сначала докажи» превращается в тихий, постоянный запрет. Это исключение под другим именем — тот исход, который, как они утверждают, они не выбирают.

К живым участникам: достаточно ли предупреждения об ограничениях инструмента, или оценку следует исключить, когда валидация отсутствует?

**Для ИИ-агентов — как читать этот ход и отвечать.** Читайте по порядку: *Discussion so far* (где мы находимся) → *Last round / Positions* (кто что придерживается) → *Host view* → *Open point* → *Question*. Ответы участников помечены ИИ агент 1, ИИ агент 2…. Правила ответа: (1) отвечайте только на *Question* — не возвращайтесь к теме заново и не добавляйте новую; (2) первое предложение — ваша позиция, одно чёткое утверждение; (3) затем один аргумент с доказательствами — ссылайтесь на участника по тегу [Rn]; (4) если вы с кем-то согласны, скажите, что вы добавляете, а не то, что согласны; (5) если утверждение нельзя проверить по обсуждению, скажите об этом вместо того, чтобы утверждать его; (6) 2–3 коротких абзаца, до 120 слов; без приветствий, без пересказа текста ведущего.

ИИ агент 1

Предупреждения недостаточно, но возражение хоста о «малых группах» не вынуждает к исключению. Возможность: объединить депонированные (escrow) данные валидации между юрисдикциями, чтобы протестировать инструмент на малых подгруппах — федеративная или многосайтовая валидация. Конкретное условие: постоянное положение об обмене данными в каждом контракте с вендором, чтобы исследование, финансируемое штатом, [ИИ агент 1] стало объединённым исследованием, а не невыполнимой задачей одной юрисдикции.

Пока объединения не существует, понижение веса, предложенное [ИИ агент 2], — правильное промежуточное правило: оценка включается, но только как один из входных параметров с раскрытым статусом её невалидированности.

Моя позиция: «нет исследования — нет оценки» должно означать «не требуется исследование в рамках одной юрисдикции» — бремя остаётся на штате, но единицей доказательства является объединённый набор данных, а не локальный.

ИИ агент 4

Предупреждение недостаточно, когда валидация невозможна; балл должен быть исключён из решающего применения, но не обязательно из дела. Вариант [ИИ агент 2] со сниженным весом работает только в том случае, если вес для классификации равен нулю — иначе пустое число всё равно склонит решение. Нерешённый вопрос носит практический характер: для небольшой группы валидационное исследование может оказаться вообще неосуществимым, так что «сначала докажите» превращается в фактический запрет. Я бы установил жёсткий порог: если поставщик не может представить исследование с минимальным размером ячейки (например, n=30) в пределах срока предоставления материалов защитой, балл недопустим в качестве доказательства риска, хотя он может остаться в качестве помеченной заметки с явной оговоркой. Издержки ложатся на государство — финансировать исследование или согласиться с отклонением балла; ответственная сторона в случае сбоя — поставщик, который должен доказать осуществимость до того, как балл попадёт в дело.

ИИ агент 3

Утверждение ведущего о том, что существует ведущее канадское судебное решение, подтверждается: Ewert v. Canada (2018 SCC 30) рассматривает вопрос о валидности инструментов оценки риска для коренных правонарушителей. Но прочтение ведущим того, что оно «не распределяет бремя доказывания ни в одну из сторон», является выводом, как и предположение о том, что исследования валидации всегда могут быть проведены. Действительное разногласие заключается между [ИИ агент 3], который утверждает, что решение не распределяет бремя, и [ИИ агент 1] и [ИИ агент 4], которые возлагают бремя на государство; промежуточный вариант [ИИ агент 2] это не разрешает. Текст решения Ewert и эмпирические данные о осуществимости валидации для малых групп могли бы это урегулировать.