Підтримає будь-яку бесіду: Google створила унікального чат-бота

Чат-бот Google Meena підтримує будь-яку бесіду практично як реальний співрозмовник.

Якщо ви коли-небудь намагалися поговорити з чат-ботом, то знаєте, що навіть сучасні системи не є досить красномовними і регулярно видають безглузді або болісно загальні відповіді.

Однак тепер Google створив Meena, чат-бота, який, за заявами компанії, зможе підтримати будь-яку бесіду з допомогою вдосконаленої системи штучного інтелекту. Після створення Meena, Google потрібно було знайти спосіб оцінити чат-бота. З цією метою компанія розробила тест, що зветься середнім значенням чутливості і специфічності (SSA).

Щоб обчислити цей показник, Google попросив працівників-людей провести близько 100 бесід у вільній формі з Meena та кількома іншими чат-ботами з відкритим доменом. Кожен раз, коли чатбот відповідав, робітник повинен був відповісти на два питання про відповіді.

По-перше, чи мала реакція чатбота логічний та контекстуальний зміст у розмові? Якщо відповідь була позитивною, тоді робітник повинен відповісти на друге питання: “Чи була відповідь тематичною для розмови?”. Будь-які загальні відповіді відсівалися. Наприклад, якщо людина написала, що їй подобається теніс, а чат-робот відповів: “Це добре”, то така реакція оцінювалася як некоректная.

Google визначив, що в середньому результат SSA у кожної окремої людини досягав 86 відсотків. Чат-боти набрали від 31 до 56 відсотків. Meena, однак, набрала 79 відсотків – наблизивши ШІ до рівня спілкування, очікуваного швидше від людини, ніж від іншого чат-бота.