Алгоритмы помогут улучшить решение судебной системы

В новой статье, опубликованной в журнале Quarterly Journal of Economics, говорится о том, что замена некоторых функций принятия судебных решений алгоритмами может улучшить результаты для обвиняемых, устранив некоторые системные предубеждения судей.

Лица, принимающие решения, делают выбор, основанный на прогнозах неизвестных результатов. В частности, судьи принимают решения о том, предоставлять ли обвиняемым залог или выносить приговор. В настоящее время компании все чаще используют модели на основе машинного обучения при принятии важных решений.

В основе применения таких моделей обучения лежат различные предположения о поведении человека, которые проявляются в рекомендациях товаров на Amazon, фильтрации спама в электронной почте и прогнозируемых текстах на телефоне.

Исследователи разработали статистический тест на одно из таких поведенческих предположений — совершают ли лица, принимающие решения, систематические ошибки в прогнозировании, — и далее разработали методы оценки того, как их прогнозы систематически смещены.

Анализ системы досудебного производства в Нью-Йорке показал, что значительная часть судей допускает систематические ошибки в прогнозировании риска неправомерного поведения до суда, учитывая характеристики обвиняемых, включая расу, возраст и предыдущее поведение.

В исследовании использовалась информация, полученная от судей Нью-Йорка, которые квазислучайным образом назначаются на рассмотрение дел, определенных в назначенном зале суда по сменам. В исследовании проверялось, отражают ли решения судей об освобождении из-под стражи точные представления о риске неявки обвиняемого в суд (среди прочего). Исследование было основано на информации о 1 460 462 делах в Нью-Йорке, из которых 758 027 дел подлежали решению о досудебном освобождении.

В работе разработан статистический тест на систематические ошибки в прогнозировании и предложены методы оценки того, насколько систематически ошибочны прогнозы лица, принимающего решения. Проанализировав решения судей Нью-Йорка о досудебном освобождении, авторы статьи подсчитали, что не менее 20 % судей допускают систематические ошибки в прогнозировании риска неправомерного поведения подсудимого с учетом его характеристик. Мотивируясь этим анализом, исследователь оценил эффект от замены судей алгоритмическими правилами принятия решений.

В работе обнаружено, что решения по меньшей мере 32 % судей в Нью-Йорке не соответствуют реальной способности подсудимых внести определенную сумму залога и реальному риску их неявки в суд.

Проведенное исследование показывает, что при учете расовой принадлежности и возраста подсудимых средний судья допускает систематические ошибки в прогнозировании примерно 30 % назначенных ему подсудимых. Если учитывать расовую принадлежность подсудимого и то, обвинялся ли он в тяжком преступлении, средний судья допускает систематические ошибки в прогнозировании примерно 24 % подсудимых.

Хотя в статье отмечается, что замена судей алгоритмическими правилами принятия решений имеет неоднозначные последствия, которые зависят от цели разработчика политики (желаемый результат — больше обвиняемых явиться в суд или меньше обвиняемых сидеть в тюрьме в ожидании суда?), представляется, что замена судей алгоритмическими правилами принятия решений приведет к улучшению результатов судебного процесса на 20 %, если судить по показателю неявки освобожденных обвиняемых и показателю предварительного заключения.

“Эффект от замены человеческих решений алгоритмами зависит от компромисса между тем, совершает ли человек систематические ошибки в прогнозировании на основе наблюдаемой информации, доступной алгоритму, и тем, наблюдает ли он какую-либо полезную частную информацию“, — говорит ведущий автор работы Ашеш Рамбачан (Ashesh Rambachan).

“Эконометрическая схема, использованная в данной работе, позволяет эмпирическим исследователям получить прямые доказательства этих конкурирующих сил“.