• Калушев Константин Александрович, Национальный исследовательский ядерный университет «МИФИ» (Москва, Россия)
• Макаров Илья Андреевич, Национальный исследовательский ядерный университет «МИФИ» (Москва, Россия)

Одной из задач, относящихся к созданию интерактивного коллаборативного робота-манипулятора, является темпоральный анализ рабочей сцены, то есть определение порядка появления (выбытия) объектов в поле технического зрения. Традиционно, данный вопрос рассматривался применительно к спутниковым снимкам и недостаточно прорабатывался в литературе в отношении сцен, находящихся на расстоянии около 1 м от камеры. Вместе с тем, анализ рабочей сцены на основе битемпоральных изображений является актуальной областью исследований в контексте развития робототехники в целом и физического искусственного интеллекта в частности. Создание качественных темпоральных масок изменения рабочей сцены позволяет определить контуры и геометрические центры новых объектов для последующего захвата роботом-манипулятором. Качественная темпоральная маска не должна иметь ложно определенных областей изменений (объектов изменений, которых на самом деле не существует), но при этом позволять четко обрисовывать контуры истинных объектов изменений рабочей сцены. В статье осуществлена математическая постановка задачи темпорального анализа и на ее базе предложен метод создания темпоральных масок областей изменений на основе дифференцирования изображений «до» и «после», комбинирующий классические методы технического зрения и нейросетевую сегментационную модель SAM (Segment Anything Model). Новизна предлагаемого подхода заключается в применении к дифференцированному изображению не алгебраической обработки, а его сегментация на две области (область изменений и область без изменений) с использованием нейросетевой сегментационной модели. Предложенный подход сопоставлялся с алгебраическими методами создания темпоральных масок (Change Vector Analysis – CVA и Slow Feature Analysis – SFA) и использованием нейросетевой архитектуры многослойного перцептрона (внешний слой из 12 нейронов, внутренний слой из 512 нейронов, наружный слой из 1 нейрона). Продемонстрировано, что предложенный подход позволяет генерировать качественные маски изменений для разнообразных объектов на большом количестве фонов (включая пестрые), чего сложно добиться приведенными для сопоставления методами. Вместе с тем, предложенный подход может быть реализован «на лету», то есть в реальном времени работы оператора-робота, только при наличии графического ускорителя (Graphics Processing Unit – GPU).

коллаборативный робот, битемпоральные изображения, SAM, бинарные маски изменений

2026-06-05