Попечительский
совет

Студенты Питерской Вышки придумали чат-бот для Эрмитажа

НИУ ВШЭ
Санкт-Петербург
2 Апреля

Студенты Питерской Вышки придумали чат-бот для Эрмитажа

© iStock

В Государственном Эрмитаже хранится более трех миллионов экспонатов. Часть из них — шедевры живописи. Посмотреть вживую все картины музея, запомнить названия, имена авторов и историю создания — задача не из легких. Чтобы любителям искусства было проще знакомиться с коллекциями Эрмитажа, магистранты НИУ ВШЭ — Санкт-Петербург придумали специальный чат-бот. С его помощью можно быстро и просто найти нужную картину, не зная ни названия, ни имени художника — достаточно кратко описать, что на ней изображено. Как работает чат-бот и какие экспонаты он может найти — рассказали в материале.

Новый чат-бот будет работать в Telegram. С его помощью можно искать произведения живописи, которые размещены в Цифровой коллекции музея. Допустим, вы хотите найти известную картину, на которой изображен мальчик с лютней, но никакой информации об авторе или названии у вас нет. В этом случае вы сможете открыть чат-бот и написать: «Молодой человек за музицированием». Механизмы бота проанализируют ваш запрос, сравнят с описаниями произведений из базы и предложат вам несколько вариантов картин, среди которых будет «Юноша с лютней» Микеланджело Меризи да Караваджо. Вместе с названием и именем автора чат-бот выдаст информацию об истории этого полотна и даже укажет, в каком зале Эрмитажа оно представлено.

Придумали и разработали чат-бот магистранты программы «Языковые технологии в бизнесе и образовании» Питерской Вышки. Первым делом студенты создали недостающие описания картин цифровой коллекции Эрмитажа. Проще всего это сделать с помощью искусственного интеллекта. Но сгенерировать описание картины — достаточно легко, а вот как научить компьютер понимать смысл этого описания?

Чтобы решить эту проблему, студенты использовали методы компьютерной обработки естественного языка (NLP). Проще говоря, обучали компьютер естественному языку. Чтобы машина научилась понимать, что именно написано в описаниях картин, магистранты провели векторизацию текста — перевели тексты в цифры (векторы). После этого команда создала языковую функцию, которая могла бы обрабатывать текстовые запросы пользователей, переводить их цифровые векторы, сопоставлять с базой описаний картин и выдавать подборку похожих изображений.

Мария
Сергеева

Магистрант программы «Языковые технологии в бизнесе и образовании»

Полина
Налобина

Магистрант программы «Языковые технологии в бизнесе и образовании»

Сейчас чат-бот находится на доработке. Но первые тесты показали хорошие результаты — авторы проекта попросили пользователей социальных сетей, не имеющих опыта в искусствоведении, описать несколько картин. Затем они загрузили эти описания в языковую модель, чтобы проверить, как она работает. Тестирование показало, что в более чем 75 % случаев модель реагировала на запрос правильно, то есть выдавала нужные картины.