Райан Лоу, аспирант Университета Макгилла в Канаде, разработал систему на основе искусственного интеллекта, — она автоматически оценивает, насколько приближен к человеческой речи диалог, который поддерживает чат-бот. Об этом сообщает издание New Scientist.
Для этого он выбрал тысячу коротких диалогов в Twitter и попросил добровольцев ответить на них. Затем он зафиксировал ответы чат-ботов в этих диалогах. После этого он попросил добровольцев оценить по ответам, насколько сообщения были похожи на речь человека. Лоу использовал полученную статистику для тренировки нейросети, в конечном итоге обучив алгоритм отделять убедительные ответы от неубедительных.
Издание отмечает, что теперь оценки алгоритма соответствуют результатам оценок людей. При этом нейросети требуется лишь доля секунды, чтобы получить ответ, что значительно ускоряет процесс проверки чат-бота.
По словам Оливера Лемона из Университета Хэриота—Уатта, такая система позволит создавать более совершенные чат-боты. Алгоритм можно встроить в сами программы чат-ботов, позволив им самостоятельно максимизировать результаты оценок. Постепенно они научатся реагировать по-человечески. Работа системы очень похожа на обучение некоторых алгоритмов распознавания изображений, добавил Лемон.
По словам Лоу, система нуждается в некоторых доработках. Так, иногда невозможность отличить чат-бот от человека снижает полезность системы. Так, ответ «я не знаю» от чат-бота расстраивает собеседника, несмотря на то что он присущ людям, добавляет издание. В будущем Райан Лоу планирует открыть исходный код алгоритма, что позволит другим исследователям использовать нейросеть для улучшения своих чат-ботов.
Тест Тьюринга в середине прошлого века предложил Алан Тьюринг. Задача такого испытания — узнать, может ли машина мыслить (или заставить человека поверить в то, что она мыслит). В рамках традиционного теста Тьюринга человек после общения с компьютером и другим человеком должен определить, где находится машина, а где человек. При этом задача программы заключается в том, чтобы заставить человека сделать неверный выбор.
Большие компании, например Amazon, используют большие команды сотрудников, которые занимаются тестированием голосового помощника Alexa. Однако для компаний с меньшим объемом ресурсов внедрение людей в процесс проверки чат-ботов становится дорогостоящим и времязатратным, отмечает создатель алгоритма.
Ранее Inc. сообщал, что Google научит искусственный интеллект «воспитывать» нейронные сети. В июне в DeepMind рассказали, как научить нейросеть мыслить абстрактно.