Датчик GelSight позволит механизмам получать информацию на основе тактильной и визуальной информации.
Несмотря на стремительное развитие робототехники, механизмы долгое время не могли преодолеть барьер чувствительности. Манипуляторы могли захватывать предметы, но искусственный интеллект не умел рассчитать силу захвата, а материалы роботов не позволяли «ощутить» свойства взятого предмета. Специалистами Массачусетского технологического института разработан робот с чувствительными «пальцами», который позволит обойти эти барьеры.
В основе конструкции лежит роботизированная «рука» KUKA, которая используется, в частности, для сборки автомобилей Lada. Устройство может ориентироваться в пространстве, перемещая различные предметы и совершая технологические процедуры. Разработчики из Лаборатории компьютерных наук и искусственного интеллекта оснастили руку датчиком GelSight.
Датчик собирает тактильную информацию, которую обрабатывает алгоритм машинного обучения. Для тренировки искусственного интеллекта учёные добавили в базу робота 12 тысяч видеороликов, демонстрирующих взаимодействие с разными материалами, тканями и предметами. Визуальный ряд используется роботом для сравнения данных из базы с тактильными ощущениями. Иначе говоря, касаясь кружки, робот «понимает» это, подбирая соответствующий сценарий взаимодействия.
Авторы исследования подчеркивают, что новая разработка пока может действовать только в искусственной среде. Для автономной работы необходимо значительно расширить «базу знаний» ИИ.