Исследователи из Вашингтонского университета в Сиэтле встроили камеры в беспроводные наушники Sony WF-1000XM3, фактически превратив обычные вкладыши в носимый ИИ-гаджет с компьютерным зрением.
Модифицированные наушники, получившие название VueBuds, умеют анализировать окружающую обстановку и отвечать на вопросы пользователя с помощью большой языковой модели – примерно так же, как это делают умные очки Ray-Ban Meta.
Разработка выглядит особенно актуально на фоне недавних сообщений Марка Гурмана из Bloomberg о том, что Apple близка к выпуску AirPods с камерами. По данным инсайдера, гаджет находится на "поздних стадиях разработки". Как и в случае с VueBuds, Apple планирует использовать камеры не для фотографии, а для ИИ-функций – пошаговой навигации, контекстных напоминаний на основе окружения и других задач.
Одна из главных проблем, с которой столкнулись исследователи, – время автономной работы. Постоянно работающие камеры быстро разряжают батарею и создают риски для конфиденциальности. Решением стали низкоразрешающие чёрно-белые камеры, которые потребляют значительно меньше энергии и с меньшей вероятностью захватывают изображения, представляющие угрозу безопасности.
С такой конфигурацией исследователям удалось добиться времени отклика, сопоставимого с умными очками Ray-Ban Meta. Это не идеальный показатель, но вполне приемлемый для прототипа.
При этом у подхода VueBuds есть очевидные ограничения. Чёрно-белое изображение низкого разрешения экономит заряд и теоретически лучше защищает приватность, но способно ли оно передать все необходимые детали? Если пользователю нужно распознать цвет объекта или рассмотреть мелкие элементы поблизости, такие камеры окажутся бесполезны.
К тому же VueBuds наследуют те же проблемы, что и компьютерное зрение в умных очках. Ответы ИИ не всегда точны и полезны, время ожидания бывает слишком долгим, а вся обработка происходит в облаке – без стабильного интернет-соединения функциональность попросту пропадает.
Впрочем, VueBuds остаются любопытным экспериментом, демонстрирующим направление, в котором движется индустрия носимых ИИ-гаджетов.
