Apple внедряет технологию потоковой передачи с переменной детализацией для VR-гарнитур
Новая VR-гарнитура от Valve обещала свежий взгляд на домашнюю VR благодаря технологии под названием foveated streaming. Мы пока не увидели Steam Frame из-за продолжающихся проблем с запуском и ценами, но foveated streaming – это явно хорошая идея. И теперь Apple тоже заинтересовалась ею.
Foveated streaming работает путем ограничения скорости передачи данных в зависимости от того, куда смотрит пользователь. Fovea – это часть глаза с наиболее четким зрением – и для работы этой технологии требуется отслеживание взгляда. Она полезна для устройств, которые беспроводно получают данные с другого источника, поскольку беспроводные соединения менее надежны и обладают меньшей пропускной способностью по сравнению с проводными.Принцип работы похож на foveated rendering, или в целом на variable rate shading. Эти технологии снижают нагрузку на оборудование за счет рендеринга разных частей экрана с разной степенью детализации. Sony PS VR2 использует foveated rendering.
Как заметил ресурс 9to5mac, в документации для разработчиков Apple теперь есть запись о foveated streaming в бета-версии visionOS 26.4+ для Apple Vision Pro. В ней говорится:
"Фреймворк Foveated Streaming предоставляет API на основе сессий для установления соединений между Apple Vision Pro и локальными и облачными потоковыми сервисами. Хост конечной точки передает высококачественный контент только при необходимости, исходя из информации о примерной области взгляда пользователя, обеспечивая оптимальную производительность."
Звучит примерно так же. Переменная степень детализации для потокового контента, основанная на зрении пользователя. В случае Apple – это либо контент с локального ПК, либо потоковый контент из облака. Apple упоминает одно необычное, но интересное применение здесь. Vision Pro накладывает окна поверх реального или виртуального мира, и использование потоковой передачи и рендеринга вместе может снизить требования к гарнитуре.
Пример Apple:
"Приложение-симулятор полетов может рендерить кабину с помощью RealityKit и передавать ресурсоемкий ландшафт с удаленного компьютера на устройство."
По сути, использование этой умной технологии для потоковой передачи фонового контента и освобождения процессора Vision Pro для окон, на которых сосредоточен пользователь. Звучит как еще один хороший способ ее использования, но, к сожалению, мы можем увидеть преимущества дорогостоящей гарнитуры Apple еще не скоро.
Steam Frame столкнулся с проблемой нехватки памяти. Valve заявила, что не может объявить дату выхода или цену для каких-либо своих будущих продуктов, включая Steam Machine и Steam Controller. Недавно на странице Steam Deck в магазине также появилась примечание о том, что портативная консоль может быть недоступна в некоторых регионах из-за дефицита памяти и накопителей.
