Руководство по устранению аномалий в меш-сетке Mega

При разработке приложений Mega размещение виртуального контента осуществляется с помощью меш-сетки (Mesh). Визуальные эффекты и точность меш-моделей влияют на точность размещения виртуального контента и даже на конечный результат локации Mega. В этом документе описаны возможные визуальные и точностные проблемы с меш-моделями, чтобы помочь вам правильно идентифицировать дефекты моделей и сообщать о критических проблемах.

Что такое меш-модель

Меш-сетка Mega — это трехмерная геометрическая модель, реконструированная из собранных данных об окружающей среде. Ее основная функция — предоставление виртуальному контенту реальных физических ориентиров, чтобы виртуальные объекты могли корректно перекрываться реальными стенами, полом, мебелью и т.д., обеспечивая более реалистичное смешанное взаимодействие.

Меш-модели Mega автоматически реконструируются облачными алгоритмами из собранных видеоданных, а не создаются вручную с высокой детализацией. Поэтому они по своей природе могут иметь определенные недостатки.

Правильные ожидания:

Общий цвет в основном соответствует реальной среде, основные цвета больших поверхностей (стен, пола, объектов) верны.
Текстуры основных структур различимы (например, узор плитки, рисунок обоев, внешний вид экспонатов).
Модель обеспечивает хорошее визуальное слияние света, тени и цвета в AR.

Незначительные дефекты являются нормальными, распространенные случаи:

В областях со сложным освещением текстуры могут иметь аномалии: затемнение, пересвет, искажение цвета.
Удаленные объекты или краевые области могут иметь легкую размытость или растяжение текстур.
Mega предоставляет LOD-модели (Level of Detail), между блоками LOD может наблюдаться незначительная неоднородность цвета текстур.
В местах стыковки разных ракурсов могут быть небольшие области с несовпадением текстур или швами.
Детали мелких объектов, таких как текст или вывески, могут быть нечеткими.
Динамические объекты (люди, автомобили) могут оставлять легкие "призрачные" следы или цветовые пятна.
Прозрачные или отражающие поверхности (стекло, вода) могут иметь отсутствующие фрагменты структуры или впадины.
Стены или пол могут быть не идеально ровными, иметь небольшие неровности или "зазубрины".
Наличие небольших отверстий (пустот) в модели.

Эти дефекты обычно не оказывают серьезного влияния на пользовательский опыт и являются разумным ограничением автоматических алгоритмов реконструкции. Они не требуют специальной обработки.

Какие аномалии модели требуют обработки

Следующие ситуации являются критическими дефектами, которые напрямую влияют на работу приложения и требуют внимания и устранения.

Тип проблемы	Типичное проявление	Возможное влияние
Большие отсутствующие области или пустоты	Целая стена (не отражающая, не прозрачная) полностью отсутствует в меш-сетке, виртуальные объекты не перекрываются корректно.	Невозможность корректного перекрытия виртуальных объектов в этой области.
Крупные структурные ошибки	Целая стена ошибочно реконструирована под наклоном, или размеры помещения сильно не соответствуют реальности.	Приводит к смещению виртуальных объектов относительно реальной среды, серьезно нарушает эффект перекрытия.
Сильная деформация или перекос	Пол явно наклонен, стены искривлены, положение объектов сильно смещено.	Хаотичное размещение виртуального контента, аномальное перекрытие.
Сильный шум или артефакты	В воздухе присутствует множество плавающих фрагментов.	Мерцание при перекрытии, снижение производительности.
Полная ошибка в ключевой области	Меш-сетка в важной зоне взаимодействия полностью неверна (например, лестница, стенд).	Сбой пользовательского взаимодействия, нарушение опыта.
Расслоение модели	На одном и том же месте наблюдается расслоение поверхности пола или стены.	Ошибки перекрытия, некорректная локация.
Полное искажение цвета на большой площади	Текстуры стен, пола и т.д. имеют странный цвет или цвет полностью неверен.	Общая среда выглядит нереалистично, визуальный диссонанс.

Обработка проблем и обратная связь

При обнаружении перечисленных выше критических дефектов меш-сетки, соберите информацию, как описано ниже, и сообщите о проблеме, чтобы помочь нам быстро ее локализовать и устранить.

Сбор необходимой информации

Скриншоты или видео
- Скриншоты: Не менее 3-х с разных ракурсов, с выделением проблемной области.
- Видео: Запишите видео длиной 10–30 секунд с помощью телефона или ПО для записи экрана на компьютере, демонстрирующее аномальную область меш-сетки.
Описание проблемы

При сообщении о проблеме предоставьте следующую информацию:
- Область проблемы: Проблема наблюдается на всей карте или только в определенной локальной области.
- Тип карты: Mega предоставляет несколько способов построения карт; укажите тип карты, на котором возникла проблема.
- Местоположение/область проблемы: Конкретное место возникновения проблемы. Например, для одиночной карты: "Центральный стенд в холле первого этажа музея", или для крупномасштабной карты: укажите, между какими именно подкартами наблюдается расслоение при слиянии.
- Описание проблемы: Подробно укажите область возникновения проблемы и аномалию, используя скриншоты или видео. Для нескольких карт четко укажите имена подкарт. Примеры: "На 3-м этаже офисного здания карты XX стена в западном коридоре наклонена примерно на 15 градусов" или "Между западной стороной подкарты A и восточной стороной подкарты B наблюдается расслоение".
Не ограничивайтесь фразами "модель не работает" или "меш плохой". Отсутствие скриншотов и конкретного описания значительно замедлит решение проблемы.
Информация о карте
- Отчет о построении карты: Предоставьте отчет о построении проблемной карты из Mega Block.
- Информация о службе локации: Может быть экспортирована в Unity.

Отправка обратной связи

Отправьте скриншоты/видеозапись, описание проблемы и информацию о карте сотрудникам EasyAR. После анализа мы предоставим вам обратную связь и способ решения проблемы.

Процесс обработки: На основе предоставленных материалов мы изучим исходные собранные данные и результаты облачной реконструкции.
Возможные причины: Проблема могла возникнуть из-за изменений в среде во время сбора данных в этой области, проблем с оборудованием для сбора или ограничений алгоритма построения карт в определенных сценариях.
Если сбор данных не соответствовал требованиям: Мы оценим необходимость повторного сбора или досбора данных в этой области и повторного построения карты.
Если данные сбора в норме: Возможно, метод облачной реконструкции имеет недостатки. Мы выполним итеративную оптимизацию в будущих версиях и предоставим вам решение.