Как оптимизировать расположение элементов интерфейса в виртуальной реальности: апробация алгоритма на примере 3D-модели исторического ландшафта Белого города

Виртуальная реконструкция объектов историко-культурного наследия, основанная на технологиях 3D-моделирования, активно развивается в течение последнего десятилетия (Besoain et al. 2021). В центре внимания создателей научных виртуальных реконструкций объектов, утраченных полностью или частично, находятся источниковедческие вопросы, решение которых должно обеспечить достаточную степень достоверности создаваемых 3D-моделей (Kuroczyski et al. 2016). Эти технологии позволяют «погрузить» пользователя в виртуальную среду, которая воспринимается им через органы чувств (Zinchenko et al. 2020; Kovalev / Ledneva 2020). Цель включения подобных технологий, с одной стороны, состоит в расширении познавательных возможностей пользователя виртуальной реконструкции за счет иммерсионных эффектов VR; с другой стороны, в повышения мотивации при изучении истории культуры и смежных дисциплин (Ress / Cafaro 2021). Одна из первых разработок такого рода была осуществлена коллективом авторов в рамках исследовательского проекта по виртуальной реконструкции Страстного монастыря (Бородкин et al. 2018).

Задача, которая рассматривается в данном докладе, была поставлена в ходе исследований по созданию виртуальных реконструкций, проводимых сотрудниками кафедры исторической информатики исторического факультета МГУ. В рамках совместного проекта кафедры и лаборатории МОИДС мехмата создана виртуальная реконструкция исторического ландшафта и ряда доминантных объектов исторической застройки Белого города (территории в центре Москвы) XVI-XVIII веков. (Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-00-01684 (K) (18-00-01641, 18-00-01590) (Конвергенция))

Отдельно можно отметить задачу создания оптимального виртуального пользовательского интерфейса, предназначенного для быстрого доступа к историческим источникам. Создание и оптимальное расположение элементов интерфейса реконструкции включает следующие основные шаги:

1. Оцифровка и систематизация исторических документов в виде базы данных,
2. Интеграция цифровой модели исторического ландшафта с реконструированными 3D-моделями построек в виртуальную среду,
3. Проведение серии экспериментов по оптимальному расположению элементов VR-интерфейса,
4. Создание связи между элементами оптимально расположенного интерфейса и базой данных.

Программная система визуализации транслирует изображение на органы чувств пользователя; установленные на теле пользователя датчики передают компьютеру информацию о действиях/движениях пользователя; компьютер использует эту информацию для изменения генерируемой им виртуальной реальности и ее образа, который передается на органы чувств пользователя. Отметим, что при работе над VR-интерфейсом для реконструкции Страстного монастыря было задействовано малое количество элементов, что позволяло задействовать привычную интерфейсную плоскость модуля верификации (Лемак et al. 2020) (Рис. 1). Но уже при работе над модулем верификации для реконструкции ландшафта Белого города предыдущий интерфейс перестал удовлетворять предъявляемым требованиям относительно удобства использования (Мироненко et al. 2020).

Новому интерфейсу присущи следующие особенности:

1. Автоматическая режим погрузка исторических источников через изъятие информации из базы данных MS Access,
2. Автоматизированный алгоритм расположения элементов интерфейса.

В результате получается комфортный для глаз и руки пользователя интерфейс в 3D-пространстве. Было получено экспериментальное подтверждение преимущества использования нового интерфейса при работе с большими объемами источников.

На рисунке ниже можно увидеть визуализацию нового модуля верификации. (Рис.2) Результаты данного исследования прошли процедуру государственной регистрации программы для ЭВМ (Мироненко et al. 2021).

Разрабатывая подобные модули верификации, коллектив решал задачи репрезентации источниковых материалов, описанные выше, а также разработал инструмент, позволяющий расширить сферу применения VR систем в научных социогуманитарных и экспериментальных подходах. По нашему мнению, подобные VR, а в последствии, AR решения будут применяться повсеместно, и уже сейчас постоянно появляются разные подходы к внедрению этих решений в музейную деятельность (Pietroni / Ferdani 2021) и образовательный процесс (Tzima et al. 2021).

При детальной проработке задачи создания интерфейса для объектов виртуальной реконструкции, были рассмотрены различные варианты уже используемых другими разработчиками интерфейсов для виртуальной реальности. Многие из этих вариантов представляли собой либо плоский интерфейс, находящийся в пространстве на плоскости, либо плоский интерфейс, натянутый на внутреннюю боковую поверхность цилиндра.

Элементы интерфейса можно разделить на две категории по выполняемым функциям: интерактивные и информационные элементы. При взаимодействии с интерактивными элементами пользователь изменяет состояние интерфейса, например, открывая или закрывая определённые окна или объекты. Информационные элементы обычно не предполагают взаимодействия и нужны для предоставления пользователю информации. Соответственно, информационные элементы должны находиться перед взором человека, на расстоянии, удобном для изучения предоставляемой им информации. Интерактивные элементы должны находиться в центре зоны досягаемости руки человека и иметь размер, с которым человеку будет удобно взаимодействовать. Но поскольку интерактивные элементы также могут нести в себе информацию для пользователя, а информационные элементы могут быть интерактивными, то мы приходим к тому, что лучше всего располагать элементы интерфейса на расстоянии, чуть меньшем расстояния досягаемости руки человека, на уровне глаз. Так мы пришли к идее полуцилиндрического интерфейса, “растущего из середины”. То есть в начале взаимодействия мы имеем одно центральное окно, далее при взаимодействии с ним появляются элементы, справа ниже и, если нужно, выше от того элемента, с которым мы только что провзаимодействовали.

Применяется система отслеживания движения для взаимодействия пользователя с интерфейсом модуля верификации в виртуальном пространстве. Одна из основных задач – в ходе перемещений пользователя в виртуальной среде обеспечить ему доступ не только к самой реконструкции, но и к источниковой базе, на основе которой создана эта реконструкция. Для ее верификации используется виртуальный пространственный интерфейс. Размер, детализация и масштаб являются основными параметрами для правильного иммерсионного представления данных в среде виртуальной реальности, речь о котором шла ранее. При использовании комплекса виртуальной реальности для верификации виртуальной реконструкции, важным аспектом становится взаимодействие с элементами виртуального интерфейса, что потребовало разработки новых методов и адаптации алгоритмов отслеживания и визуализации движений человека.

Постановка задачи численной оптимизации интерфейса

Наиболее полное изложение постановки можно найти в нашей публикации по результатам The Majorov International Conference on Software Engineering and Computer Systems (MICSECS-2019) (Borodkin et al. 2020). Точное отслеживание движений дает возможность пользователю свободно взаимодействовать с виртуальным интерфейсом. Каждый объект виртуальной реконструкции снабжен исторической справкой и интерактивными элементами, позволяющими открыть меню, изменить состояние объекта или получить доступ к соответствующему историческому источнику, используемому для верификации. Задача может быть условно разделена на две задачи: расположение элементов информационного интерфейса и расположение интерактивных элементов. Несмотря на некоторое различие между информационными и интерактивными элементами, данная статья предлагает общий подход к поиску эффективной позиции для этих двух классов. Расположение элементов интерфейса в трехмерном пространстве усложняет эмпирический подход к задаче, в отличие от двумерного интерфейса на экране компьютера, где может применяться закон Фиттса (Fitts / Peterson 1964). Высокая размерность задачи вызвана новыми возможностями виртуальной реальности для размещения элементов в пространстве без какой-либо привязки к физическим объектам (Лемак et al. 2020). В докладе приводятся результаты разработки нового интерфейса, показывающие эффективность предложенного подхода.

Рис. 1. Плоскостной интерфейс модуля верификации виртуальной реконструкции Страстного монастыря.

Рис 2. Пространственный (цилиндрический) интерфейс пользователя в виртуальной реальности.