Аналитическая компания Loup Ventures в очередной раз протестировала способность ведущих голосовых ассистентов понимать запросы пользователей и корректно отвечать на них. Прогресс показали все «умные» помощники, кроме Siri, которая незначительно «сдала» по сравнению с июльскими результатами.
Тестовый набор аналитиков состоит из 800 вопросов, которые разбиты на 5 категорий: локальное (например, где находится ближайшее кафе), покупки (запрос информации о товаре и где его можно купить), навигация (как добраться до точки на том или ином транспорте), информация (например, об участниках спортивного матча) и команды (например, напоминание позвонить кому-либо).
Победителем в общем зачёте с результатом 87,9 процента (а также лучшим в 4 из 5 категорий), оказался Google Assistant. Обойти его смогла только Siri — в категории «команды». Этот факт специалисты объяснили сильной интеграцией помощника от Apple с почтой, календарём, сообщениями и другими разделами, которые фокусируются на командах.
Всего Siri дала правильные ответы на 74,6 процента вопросов, Alexa — на 72,5 процента, а Cortana — на 63,4 процента. Для сравнения, в июле Google Assistant показал результат в 85,5 процента, Siri — 78,5 процента (то есть прошлый показатель был на 3,9 процента выше), Alexa — 61,4 процента, а Cortana смогла ответить на 52,4 процента вопросов.
В декабре помощник Microsoft стал худшим во всех группах вопросов, кроме «информации», где на последнюю строчку он отодвинул Siri. Alexa, которую Amazon позиционирует в первую очередь как ассистента для покупок, в соответствующей категории стала лишь третьей, уступив Google Assistant и Siri. Причём именно в этой категории голосовой помощник Google ушёл в самый большой отрыв от второго места (30 процентов).
Google Assistant и Siri достигли высоких показателей в категориях «локальное» и «навигация» благодаря собственным картографическим данным, что, по мнению исследователей, обеспечит им долгосрочное сравнительное преимущество.
Также улучшилась «понятливость» всех ассистентов, кроме Google Assistant, которому со 100-процентным результатом попросту некуда расти. Siri смогла правильно понять 99,6 процента предложенных вопросов (на 0,6 процента больше, чем в июле), Alexa — 99 процентов (+1 процент), а Cortana — 99,4 процента (+1,4 процента).
По словам исследователей, почти каждый непонятый вопрос содержал имя собственное, например название небольшого города или ресторана. Они также отмечают улучшения в распознавании голоса и обработке естественного языка по всем помощникам.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.