Нейросетевая модель как инструмент атрибуции: требование объяснимости
Аннотация
Рассматривается опыт внедрения модели атрибуции музейных предметов. Показано, что практическая ценность системы определяется не точностью, а способностью предъявлять основание вывода и отказываться отвечать при недостатке данных.
Внедрение моделей машинного обучения в фондовую работу обычно обсуждается в терминах точности. Опыт двухлетней эксплуатации системы атрибуции показывает, что этот показатель второстепенен.
Хранитель не может принять машинное предположение как основание для записи в учётной документации — независимо от заявленной точности модели. Ценность системы возникает только тогда, когда она сокращает путь к экспертному решению, а не подменяет его.
Из этого следуют два практических требования. Первое: любой вывод должен сопровождаться указанием на признаки, к нему приведшие, и на аналоги из обучающего корпуса. Второе: модель обязана иметь режим отказа.
За период эксплуатации доля отказов составила 23 процента. Попытки понизить порог уверенности ради увеличения покрытия приводили к падению доверия хранителей и к отказу от системы в целом.