К основному содержанию
Атрибуция предметов музейного хранения
R&D-проектЭкспертиза2023—2025

Атрибуция предметов музейного хранения

Нейросетевая модель для датировки и определения происхождения


О проекте

Система не выносит вердикт. Она сужает круг версий и показывает хранителю, какие признаки предмета к этому кругу привели.

В фондах крупного музея десятки тысяч предметов с неполной атрибуцией: известен инвентарный номер, есть описание, но датировка дана широко — «XVIII век» — или отсутствует. Полная ручная проработка такого массива занимает десятилетия.

Мы обучили модель на корпусе из 74 тысяч предметов с надёжной атрибуцией. Принципиальное решение: модель обязана предъявлять основание. Для каждого предложенного варианта интерфейс показывает, какие участки изображения и какие признаки описания повлияли на вывод, и приводит ближайшие аналоги из обучающего корпуса.

Отдельно проработана процедура отказа. Если уверенность модели ниже порога, она не выдаёт наиболее вероятный ответ, а сообщает, что данных недостаточно. За два года работы система отказалась отвечать в 23% случаев — и это мы считаем хорошим показателем, а не недостатком.

Итог измеряется не точностью модели, а временем хранителя: предварительная проработка карточки сократилась в среднем с четырёх часов до сорока минут. Окончательное решение всегда остаётся за человеком и фиксируется в системе отдельно от машинного предположения.

Место
Санкт-Петербург
Площадь
Фонд декоративно-прикладного искусства
Размер объекта
74 000 предметов в обучающем корпусе
Статус проекта
R&D-проект
Год реализации
2023—2025
Финансирование
Смешанное · Государственный музей · Госзадание и средства музея
Точность датировки
±18 лет на контрольной выборке
Доля отказов
23% — модель не отвечает при низкой уверенности

Выставка

Показ был устроен нетипично: экспонатом стала сама процедура атрибуции. В зале семь предметов с неизвестным происхождением и рядом — экран, на котором посетитель проходит тот же путь, что и хранитель.

Посетитель сначала предлагает свою версию, потом видит версию модели с обоснованием, и только затем — заключение хранителя. Порядок важен: если показать машинный ответ первым, свою версию уже никто не формулирует.

Результат

Что получилось: посетители задерживались у экранов в среднем 6 минут — очень много для интерактива такого рода. Что не получилось: два предмета из семи оказались слишком специальными, разница между версиями была понятна только специалистам. Их стоило заменить на более наглядные.

Срок работы
3 месяца
Посетителей
18 900
Предметов в зале
7
Зал: подлинный предмет и экран с разбором атрибуции
Зал: подлинный предмет и экран с разбором атрибуции
Экран обоснования: подсвечены признаки, повлиявшие на вывод модели
Экран обоснования: подсвечены признаки, повлиявшие на вывод модели

«Модель, которая всегда даёт ответ, бесполезна. Ценность появляется там, где она умеет сказать «не знаю».»

Михаил Орлов, инженер по машинному обучению

«Мы не заменяем экспертизу. Мы сокращаем путь до того момента, когда экспертиза начинается.»

Из отчёта по проекту

Интерфейс

Карточка предмета: версии датировки с доверительными интервалами
Карточка предмета: версии датировки с доверительными интервалами
Карта признаков: что именно в изображении повлияло на вывод
Карта признаков: что именно в изображении повлияло на вывод
Подбор аналогов из обучающего корпуса
Подбор аналогов из обучающего корпуса
Режим отказа: модель сообщает, каких данных не хватает
Режим отказа: модель сообщает, каких данных не хватает
Карта обучающего корпуса: 74 тысячи предметов, сгруппированные моделью по близости признаков. Плотные области — хорошо изученные группы, разрежённые — то, где атрибуция чаще всего оказывается спорной.

Карта обучающего корпуса: 74 тысячи предметов, сгруппированные моделью по близости признаков. Плотные области — хорошо изученные группы, разрежённые — то, где атрибуция чаще всего оказывается спорной.


Схемы

Схема обработки запроса
Путь от карточки предмета до заключения хранителя.

Схема обработки запроса

  1. Вход

    Изображения предмета и текст инвентарной карточки.

  2. Модель признаков

    Раздельная обработка изображения и описания.

  3. Порог уверенности

    Ниже порога запрос уходит в режим отказа.

  4. Заключение хранителя

    Фиксируется отдельно от машинной версии и возвращается в обучение.


Разработка

Разметка обучающего корпуса совместно с хранителями фонда
Разметка обучающего корпуса совместно с хранителями фонда
Разбор ошибок модели: каждая проверялась вручную
Разбор ошибок модели: каждая проверялась вручную


Больше проектов