Иследование и разработка методов локализации объектов в виртуальном пространстве метавселенной

Содержание

Введение

Глава 1. Теоретические основы локализации объектов в виртуальном пространстве мета вселенной

1.1. Понятие метавселенной и задачи локализации объектов

1.2. Обзор методов локализации и архитектур глубокого обучения

1.3. Критерии оценки методов локализации и сетевые аспекты передачи данных

1.4. Выводы по главе 1

Глава 2. Исследование гибридного метода локализации YOLO + SegFormer

2.1. Постановка задачи, экспериментальная среда и обоснование выбора моделей

2.2. Архитектура и реализация прототипа гибридной модели

2.3. Оценка объёма выходных данных и сравнение с альтернативными методами

2.4. Выводы по главе 2

Глава 3. Экспериментальная оценка разработанного метода локализации

3.1. Разработанный алгоритм локализации и настройка экспериментального стенда

3.2. Исследование точности, производительности и влияния сетевых задержек и потери пакетов

3.3. Анализ результатов и рекомендации по применению в метавселенной

3.4. Выводы по главе 3

Глава 4. Приложения

Заключение

Список использованной литературы

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Исследование и разработка методов локализации объектов в виртуальном пространстве метавселенной

ВВЕДЕНИЕ

Метавселенная — термин, закрепившийся в российском научно-техническом дискурсе после 2021 года, — представляет собой совокупность виртуальных пространств с устойчивой цифровой экономикой, социальными связями и технологической инфраструктурой, обеспечивающей непрерывное взаимодействие пользователей и объектов [1, c. 22]. Разработка методов локализации объектов в таких средах приобрела стратегическое значение в контексте реализации национальной программы «Цифровая экономика Российской Федерации» (утверждена распоряжением Правительства РФ от 28.07.2017 № 1632-р), федерального проекта «Искусственный интеллект» и Указа Президента РФ от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации». По оценкам аналитиков AIRI (AI Research Institute, Москва), объем российского рынка технологий виртуальной и дополненной реальности к 2030 году достигнет 280 млрд рублей, при этом доля решений на основе компьютерного зрения составит не менее 35 % [2, c. 104].

Локализация объектов — ключевая задача построения функциональной метавселенной. Точное определение координат, границ и семантических характеристик объектов обеспечивает корректность физического моделирования, рендеринга сцен, обработки коллизий и взаимодействия пользователей с виртуальной средой [3, c. 67]. Традиционные методы компьютерного зрения — детекция ограничивающих рамок (bounding box), пиксельная сегментация, трекинг — сталкиваются с вызовами высоконагруженных сред реального времени: задержки передачи данных по сети, объем выходной информации, требования к производительности GPU-ускорителей [4, c. 89]. Гибридные подходы, сочетающие быструю детекцию (семейство YOLO — You Only Look Once) и точную семантическую сегментацию (трансформерные архитектуры SegFormer), открывают возможности достижения компромисса между точностью и скоростью обработки [5, c. 112].

Степень разработанности проблемы в российской науке определяется трудами коллективов ИСП РАН им. В.П. Иванникова (Иванников В.П., Кузнецов С.Д. — методы верификации и оптимизации программных систем), ИТМО (Шаляпин А.Л., Борисов В.В. — компьютерное зрение и нейросетевые методы обработки изображений), МГУ им. М.В. Ломоносова (факультет ВМК, кафедра системного программирования — Аветисян А.И., исследования параллельных вычислений), МФТИ (лаборатория нейронных систем и глубокого обучения). Журналы «Программирование» (РАН), «Труды ИСП РАН», «Информационные технологии» регулярно публикуют результаты исследований архитектур глубокого обучения применительно к задачам анализа изображений [6, c. 45]. Вместе с тем специфика метавселенных — необходимость обработки потокового видео с частотой 60–120 кадров в секунду, передача данных через каналы с переменной задержкой (до 50–100 мс), интеграция с игровыми движками Unity и Unreal Engine — требует адаптации существующих методов и проведения экспериментальных исследований в контролируемых средах [7, c. 201].

Цель работы — исследование и разработка гибридного метода локализации объектов на основе архитектур YOLO и SegFormer для виртуального пространства метавселенной с экспериментальной оценкой точности, производительности и влияния сетевых параметров.

Для достижения цели сформулированы следующие задачи:

• проанализировать понятие метавселенной, классифицировать задачи локализации объектов и изучить нормативно-методическую базу разработки систем компьютерного зрения в Российской Федерации;
• провести обзор методов локализации (детекция, сегментация, инстанс-сегментация) и современных архитектур глубокого обучения (YOLO, Transformer-based модели);
• обосновать критерии оценки методов локализации (метрики точности mAP, IoU, Dice; производительность FPS, латентность; объем выходных данных) и исследовать сетевые аспекты передачи данных в метавселенной;
• разработать архитектуру гибридной модели YOLO + SegFormer, реализовать прототип на базе PyTorch 2.x и оценить объем выходных данных в сравнении с альтернативными методами;
• провести экспериментальную оценку разработанного метода на тестовом стенде с измерением точности, производительности и влияния задержек сети и потери пакетов;
• сформулировать рекомендации по применению разработанного метода в архитектуре метавселенной с учетом требований ГОСТ Р ИСО/МЭК 25010-2015 к производительности и надежности программного обеспечения.

Объект исследования — процессы локализации объектов в виртуальном пространстве метавселенной с использованием методов глубокого обучения.

Предмет исследования — гибридный метод локализации на основе архитектур YOLO v8 (детекция) и SegFormer (семантическая сегментация), параметры точности, производительности и сетевой устойчивости.

Методологическая база работы включает методы машинного обучения (глубокое обучение, сверточные нейронные сети, трансформеры), инструментальные средства (Python 3.11, PyTorch 2.1, библиотеки ultralytics, transformers от Hugging Face, OpenCV 4.8), методы экспериментального исследования (бенчмаркинг на датасете COCO 2017, измерение FPS и латентности, эмуляция сетевых задержек через tc — traffic control в Linux), нормативную базу ГОСТ Р ИСО/МЭК 12207-2010 (процессы жизненного цикла ПО), ГОСТ Р ИСО/МЭК 25010-2015 (характеристики качества систем и ПО), Указ Президента РФ № 490 от 10.10.2019.

Научная новизна заключается в разработке двухэтапного алгоритма локализации, сочетающего быструю детекцию YOLO v8 (этап 1 — отбор регионов интереса ROI) с прецизионной сегментацией SegFormer-B2 (этап 2 — уточнение масок объектов), и экспериментальном исследовании влияния параметров сети (задержка RTT 10–100 мс, потеря пакетов 0–5 %) на характеристики метода в контексте метавселенной.

Теоретическая значимость определяется систематизацией критериев оценки методов локализации применительно к задачам метавселенной, сравнительным анализом архитектур глубокого обучения (одноэт

…