Table of Contents

Запись экрана гарнитуры: фиксация иммерсивного AR/MR опыта

При разработке, тестировании или поддержке пользователей с использованием гарнитур дополненной реальности (AR) или смешанной реальности (MR) запись экрана является важным инструментом для воспроизведения и анализа проблем. Однако, в отличие от мобильных устройств, запись с гарнитур связана с такими особыми технологиями, как сквозной просмотр (Passthrough) и фовеальный рендеринг (Foveated Rendering). Записанное изображение обычно не полностью эквивалентно полному стереоскопическому виду, непосредственно видимому пользователем. Поэтому при интерпретации записи необходимо особенно учитывать различия между ней и реальным визуальным опытом человека.

Почему существуют визуальные различия в записи с гарнитуры?

Пользователям следует обратить особое внимание: записанное изображение с гарнитуры не полностью соответствует тому, что вы видите фактически за линзами. Если вы обнаружили аномалию в записи, обязательно опишите ее вместе с реальными ощущениями, чтобы не вводить разработчиков в заблуждение.

Основные различия:

  1. Различия в разрешении и четкости
  • Запись: обычно видеопоток с одного глаза (например, левого) в разрешении 1080p или ниже.
  • Человеческий глаз: в зависимости от приложения, современные гарнитуры могут обеспечивать разрешение до 2K или выше на один глаз.
  • Влияние: размытый текст или изображение, которые вы видите в записи, могут отсутствовать внутри гарнитуры; и наоборот, мелкие краевые артефакты (aliasing), видимые внутри гарнитуры, могут быть совершенно незаметны на записи.
  1. Различия в угле обзора (FOV)
  • Запись: записанное изображение обычно квадратное. Особенно в устройствах с широким углом обзора, краевой контент часто обрезается.
  • Человеческий глаз: человек видит изображение бинокулярно, с большим полем зрения.
  • Влияние: если ваша проблема возникает на краю поля зрения, запись может не отразить ее точно.
  1. Влияние фовеального рендеринга (Foveated Rendering)
  • Запись: включает все содержимое в полном поле зрения, включая области с низким разрешением по краям.
  • Человеческий глаз: область в центре взгляда человека имеет высокое разрешение, в то время как нецентральные краевые области имеют низкое разрешение.
  • Влияние: вы можете ощущать изображение как четкое, но при просмотре записи обнаружить, что некоторые области размыты. Обычно это нормально и не является ошибкой (Bug). Поэтому при записи обязательно фокусируйтесь на той части, которую хотите показать, это гарантирует, что эта область будет четкой.
  1. Влияние частоты кадров и частоты обновления
  • Запись: запись видео обычно производится с частотой 30 FPS или 60 FPS.
  • Человеческий глаз: фактическая частота обновления экрана может достигать 90 Гц или 120 Гц.
  • Влияние: очень незначительное падение частоты кадров может быть незаметно на записи, но человеческий глаз почувствует явное "зависание" или "головокружение". Если запись выглядит плавной, но фактический опыт — нет, это обычно проблема производительности; обязательно укажите это после записи.

Особые примечания для OST гарнитур

Особое внимание: если вы используете гарнитуру OST (Optical See-Through, оптическая прозрачность), такую как очки AR Rokid, Xreal и др., функция записи экрана не может записать реальный контент, видимый человеческим глазом.

Что такое OST устройства?

OST устройства проецируют свет непосредственно в ваши глаза через полупрозрачные оптические линзы, в то время как виртуальный контент накладывается на поле зрения с помощью микропроекции или волноводов, позволяя вам одновременно видеть реальный мир и наложенные виртуальные изображения. Их камеры, снимающие внешний мир, используются только для пространственного позиционирования, а не для отображения. Из-за этого механизма само устройство не может "записать" реальную сцену, видимую человеческим глазом.

Ограничения записи экрана на OST устройствах

  • Невозможность записи реальной сцены: функция записи экрана OST устройств записывает только слой виртуального контента (GUI, 3D-модели, UI-указатели и т.д.).
  • Черный фон: при воспроизведении этого видео на компьютере или телефоне вы увидите виртуальные объекты на чисто черном фоне, полностью теряя контекст реальной среды.
  • Потеря отношений перекрытия: если виртуальный объект должен перекрываться реальным объектом (например, вашей рукой, столом), на записи он будет парить над черным экраном, что выглядит как ошибочная иерархия слоев.

Проблема визуальной погрешности наложения виртуального контента

Даже в идеальных условиях неизбежно существует определенная степень визуальной погрешности в совмещении виртуального контента, отображаемого OST гарнитурой, и реального мира. Эта погрешность не всегда вызвана ошибкой ПО (bug) или сбоем трекинга, а часто проистекает из фундаментальных различий между физическими характеристиками устройства и человеческой зрительной системой; часть погрешностей невозможно полностью устранить при текущем уровне технологий.

При отправке отзыва обращайте внимание на различия следующих ситуаций:

  • Оптическая погрешность совмещения:
    • Явление: при движении головы виртуальный объект кажется "плавающим" или имеет небольшое смещение относительно положения реального объекта.
    • Причина: пользователь смотрит на реальный мир напрямую через оптические линзы, в то время как система координат для рендеринга виртуального контента обычно строится на основе трекинга головы и системы понимания окружения (например, SLAM). Из-за физического смещения между оптическим путем дисплея и камерами/IMU, используемыми для пространственного позиционирования, и сложности достижения субпиксельной совместной калибровки, совмещение виртуального и реального особенно чувствительно на краях поля зрения или в сценах с близкого расстояния.
  • Ограничения калибровки глаза:
    • Явление: виртуальный объект выглядит раздвоенным (двоение, ghosting), с размытыми краями или кажется неправильно спроецированным в пространстве.
    • Причина: OST устройства крайне зависят от точной калибровки межзрачкового расстояния (IPD) и положения глаз. Если устройство не было точно откалибровано под ваши глаза или положение гарнитуры на голове сместилось, свет, проецируемый оптическим двигателем, не может точно попасть в ваши зрачки. Однако, даже если калибровка была проведена, она основана на ограниченных точках выборки и с трудом может точно соответствовать геометрии глаз, кривизне роговицы и визуальным привычкам восприятия каждого пользователя. Незначительные погрешности калибровки приводят к систематическому смещению виртуального объекта в глубину или по горизонтали.
  • Индивидуальные зрительные различия:
    • Явление: субъективное суждение разных пользователей о положении виртуального контента может различаться.
    • Причина: на субъективное восприятие эффекта наложения виртуального контента влияют особенности зрения разных пользователей (например, близорукость, астигматизм), способность к динамической фокусировке и т.д. OST устройства могут не иметь возможности отслеживания движений глаз в реальном времени и персональной оптической коррекции, поэтому не могут динамически компенсировать эти различия для каждого пользователя.
  • Помехи от факторов окружающей среды:
    • Явление: в яркой среде виртуальный контент становится бледным, плохо различимым или даже невидимым; в темной среде виртуальный контент переэкспонирован или даже создает двоение.
    • Причина: OST устройства напрямую накладывают виртуальный свет от микропроектора или волновода на окружающий свет реального мира. Если реальная среда слишком яркая, она подавляет слабый виртуальный свет; и наоборот. Этот оптический артефакт является неотъемлемой оптической характеристикой OST устройств.
Примечание

Подобные погрешности являются неотъемлемой особенностью технологии OST AR-очков, а не функциональным сбоем. При устранении неполадок различайте "исправимые проблемы ПО/трекинга" и "границы опыта, обусловленные аппаратными и физиологическими ограничениями". Если отзыв пользователя касается незначительного несовпадения, краевых искажений или несоответствия восприятия глубины, рекомендуется сначала убедиться, что условия использования соответствуют заявленным для устройства (рабочее расстояние, диапазон освещенности, состояние калибровки).

Как обрабатывать отзывы по OST устройствам?

Если вы столкнулись с визуальной проблемой при использовании OST устройства, после исключения факторов, вызванных вышеупомянутыми ограничениями устройства, вы можете сделать запись экрана для обратной связи. Однако просто отправить запись обычно недостаточно:

  1. Дополните фотографией: используйте телефон, чтобы сфотографировать фактическое изображение, которое вы видите через линзы (называется "фото с точки зрения глаза"). Это покажет относительное положение виртуального объекта и реальной среды.
  2. Опишите окружение: подробно опишите вашу среду (условия освещения, цвет фона, наличие динамических объектов, таких как люди), поскольку качество отображения OST крайне зависит от окружающего света.

Распространенные методы записи экрана с гарнитур

Примечание

Во время записи устройство может снизить частоту рендеринга кадров или разрешение, что влияет на оценку плавности и стабильности трекинга. Рекомендуется записывать как можно скорее после воспроизведения проблемы, чтобы избежать влияния длительной работы на результат.

Apple Vision Pro

  1. Поднимите взгляд к верхней части экрана, пока не увидите точку Центра управления. Сфокусируйтесь на ней и щелкните.
  2. Посмотрите на и нажмите Центр управления > кнопку "Запись моего обзора" , чтобы начать запись.
  3. Чтобы остановить запись, откройте Центр управления и снова нажмите "Запись моего обзора".
  4. Ваша запись обзора сохранится в приложении "Фото" .

PICO 4 Ultra Enterprise

  1. Откройте Центр управления > Настройки > Основные > Трансляция, запись экрана и скриншоты, в разделе "Запись экрана и скриншоты" выберите режим записи экрана "Пространственный".
  2. Кратко нажмите кнопку Home на контроллере, в появившемся на экране меню выберите кнопку "Запись экрана", нажмите курок, чтобы начать запись.
  3. В этот момент система выдаст обратный отсчет до начала; немедленно вернитесь в интерфейс приложения, которое нужно записать; после окончания отсчета запись начнется автоматически.
  4. Снова кратко нажмите кнопку Home на контроллере и повторите выбор кнопки "Запись экрана", чтобы остановить запись.
  5. Ваш записанный файл по умолчанию сохраняется в каталоге устройства "Внутренняя память/DCIM/ScreenRecord".

Rokid AR Studio

  1. Перейдите на рабочий стол, найдите панель состояния внизу, нажмите на область "Быстрые настройки" рядом с аватаром пользователя.
  2. Во всплывающем окне нажмите кнопку "Запись", немедленно вернитесь в интерфейс приложения, которое нужно записать. Система автоматически начнет запись.
  3. Нажмите кнопку X на Station Pro, чтобы вернуться на рабочий стол. Снова нажмите кнопку "Запись" в области "Быстрые настройки", чтобы остановить запись.
  4. Ваш записанный файл по умолчанию сохраняется в каталоге устройства "Внутренняя общая память/ScreenRecorder".

XREAL Air2 Ultra

  1. На экране Beam Pro проведите пальцем вниз, чтобы вызвать Центр управления очков, нажмите кнопку "Запись экрана" вверху.
  2. В этот момент система выдаст обратный отсчет; немедленно вернитесь в интерфейс приложения, которое нужно записать.
  3. Нажмите на плавающую красную кнопку "Стоп" вверху экрана, чтобы остановить запись.
  4. Ваш записанный файл по умолчанию сохраняется в каталоге устройства "Внутренняя общая память/Movies/Record".

Рекомендации по лучшим практикам

При использовании записи с гарнитуры для обратной связи по проблемам обращайте внимание на следующее:

  • При отправке явно укажите модель устройства, метод записи и факторы окружающей среды.
  • Если проблема связана с глубиной, перекрытием или дрожанием трекинга, дополните текстовым описанием фактического явления, наблюдаемого человеческим глазом, так как запись может не передать это точно.
  • Для критических сценариев можно дополнительно использовать внешнюю камеру для съемки реальных действий пользователя в гарнитуре, чтобы обеспечить более полный контекст.

Хотя запись с гарнитуры удобна, она всегда является лишь приближенным воспроизведением опыта. Наиболее надежная диагностика по-прежнему требует сочетания журналов (логов), данных датчиков и субъективных отзывов пользователей. Методы сбора журналов см. в: