По словам Цзясюнь Лю (Jiaxun Liu), ведущего автора статьи, «Сегодня роботы в основном полагаются на зрение, чтобы интерпретировать мир. Мы хотели создать решение, которое могло бы работать со сложными и разнообразными объектами, встречающимися ежедневно, давая роботам гораздо более богатую возможность "чувствовать" и понимать мир».

SonicSense демонстрирует ряд возможностей, включая определение количества и формы объектов, определение количества жидкости в ёмкости и создание трёхмерной реконструкции формы объекта. Например, поворачивая или встряхивая коробку, наполненную игральными костями, робот может подсчитать количество костей и узнать их форму. Проделав то же самое с бутылкой воды, он может определить, сколько жидкости содержится внутри. А постукивая по внешней стороне объекта, подобно тому, как люди исследуют объекты в темноте, робот может построить трёхмерную реконструкцию формы объекта и определить, из какого материала он сделан.

По словам профессора Боюань Чена (Boyuan Chen), «SonicSense даёт роботам новый способ "слышать" и "чувствовать", как люди, что может изменить то, как современные роботы воспринимают и взаимодействуют с объектами. В то время как зрение необходимо, звук добавляет слои информации, которые могут открывать то, что глаз может упустить».

Кроме того, система SonicSense может идентифицировать объекты, состоящие из более чем одного материала со сложной геометрией, прозрачными или отражающими поверхностями и материалами, которые сложны для систем на основе компьютерного зрения.

«Трудно воспроизвести этот уровень сложности в симуляциях. Этот разрыв между контролируемыми и реальными данными имеет важное значение, и SonicSense устраняет его, позволяя роботам напрямую взаимодействовать с разнообразными, запутанными реальностями физического мира», — добавил Цзясюнь Лю.

SonicSense может стать надёжной основой для обучения роботов восприятию объектов в динамичных, неструктурированных средах. Использование коммерчески доступных компонентов позволяет удерживать стоимость строительства на уровне чуть более $200.

В будущем группа планирует работу над улучшением способности системы взаимодействовать с несколькими объектами и интеграцией алгоритмов отслеживания объектов. Кроме того, планируется разработка более продвинутых роботизированных рук с ловкими навыками манипуляции.