пресс-центр

Новые технологии искусственного интеллекта помогают роботам работать бок о бок с людьми

Новые технологии искусственного интеллекта помогают роботам работать бок о бок с людьми

Исследователи из NVIDIA под руководством Стэна Бирчфилда (Stan Birchfield) и Джонатана Тремблея (Jonathan Tremblay) разработали первую в своем роде систему глубокого обучения, которая способна научить робота выполнять задачи, просто понаблюдав за действиями человека. Система призвана улучшить взаимодействие между роботами и людьми и содействовать исследованиям, которые позволят людям беспрепятственно работать бок о бок с роботами.  

«Чтобы роботы могли выполнять задачи в реальных условиях, необходимо иметь возможность легко и просто сообщать им эти задачи, включая желаемый результат и оптимальные способы для его достижения», говорится в научной статье.  «Наглядная демонстрация позволяет пользователю сообщить роботу задачу и дать инструкции, каким образом лучше всего ее выполнить».

Используя GPU NVIDIA TITAN X, исследователи натренировали последовательность нейронных сетей выполнять задачи, связанные с восприятием, составлением плана и его исполнением. В результате робот смог усвоить задачу, всего один раз увидев ее выполнение в реальных условиях.

Pancreatic cancer that has invaded the vessels, meaning it's too advanced to be treated with surgery.

Вот как работает этот метод: камера снимает сцену, а положения и взаимодействия объектов анализируются и обрабатываются несколькими нейронными сетями в режиме реального времени. Полученные элементы восприятия отправляются в другую нейронную сеть, которая создает план по их воспроизведению . Наконец, нейронная сеть исполнения считывает этот план и составляет план действий для робота, принимая во внимание текущие внешние условия с целью обеспечить устойчивость к внешним воздействиям.

Получая задачу, робот создает человекочитаемое описание шагов, необходимых для ее выполнения. Это описание позволяет пользователю быстро выявить и исправить любые неточности, допущенные роботом в интерпретации наглядного представления задачи, прежде чем настоящий робот начнет ее выполнять.

Ключом к достижению подобной возможности является использование синтетических данных для тренировки нейросетей. Современные подходы к обучению нейронных сетей требуют использования большого объема маркированных тренировочных данных, что является «узким местом» этого процесса.Благодаря генерации синтетических данных можно получить почти неограниченный объем маркированных данных для тренировки, не прилагая почти никаких усилий.

Впервые ориентированный на обработку изображений подход рандомизации областей применен для обучения роботов. Рандомизация области – техника создания синтетических данных широкой вариативности, которая затем позволяет заставить нейронную сеть воспринимать реальные данные в качестве еще одной вариации тренировочных данных. Исследователи решили обработать данные, ориентируясь на изображения, чтобы убедиться, что нейросети на зависят от камеры или окружения.

«Нейронная сеть восприятия применима к любым объектам реального мира, которые могут быть аппроксимированы в качестве 3D ограничивающих кубоидов, - объяснили исследователи. - Несмотря на то что нейронная сеть восприятия во время обучения не сталкивалась с реальными изображениями, она смогла определить ограничивающие кубоиды объектов на реальных изображениях даже при наличии серьезных помех".

Для наглядной демонстрации команда натренировала нейросеть определять объекты на нескольких цветных кубиках и игрушечной машине. Система была обучена распознавать физическое взаимодействие кубиков в зависимости от того, стояли ли они друг на друге или были расположены рядом.  

На видео выше оператор показывает роботу несколько башенок из кубиков. Затем система высчитывает подходящую программу и располагает кубики в верном порядке. Так как система учитывает текущее окружение во время выполнения задачи, она способна избегать ошибок в реальном времени.

Исследователи представят свою проект и научную статью на этой неделе на Международной конференции промышленной автоматизации и робототехники (ICRA) в городе Брисбен, Австралия.

Команда сообщила, что продолжит изучать использование синтетических тренировочных данных для управления робототехникой, чтобы расширить возможности применения своего метода в других сценариях.

Читайте научную статью и узнавайте подробности об исследованиях NVIDIA на ICRA