Nvidia поясняет, что DLSS 5 основывается на 2D-скриншотах и векторах движения и не использует существующую геометрию, текстуры или освещение

Сразу после того, как общественность отреагировала на анонс DLSS 5, компания Nvidia предоставила дополнительную информацию о технологии, на которой базируется грядущая технология, но большинство заявлений все еще оставались неясными и не поддавались интерпретации. Ютубер Дэниел Оуэн напрямую связался с Джейкобом Фрименом из Nvidia, чтобы прояснить все тщательно продуманные формулировки из официальных заявлений и рассказать о том, что же на самом деле представляет собой DLSS 5. Nvidia предпочла ответить по электронной почте, а не организовать живую беседу.

1. Оуэн начинает с животрепещущего вопроса. Что на самом деле делает DLSS 5 за кулисами? Ребята из Digital Foundry уже намекнули на это в своем расширенном анализе, поэтому Оуэн пошел дальше и спросил, не делает ли DLSS 5 просто 2D-кадр (скриншот того, что отображается на экране) в сочетании с векторами движения, а затем выводит результат.
   
   Официальный представитель Nvidia подтвердил, что это просто и понятно. Таким образом, DLSS 5 превращает экранный вывод в свой входной сигнал, который затем проходит через генеративную модель ИИ, чтобы "улучшить" его. Окончательный результат выводится поверх игрового движка
   
2. Следующий вопрос призван прояснить, может ли DLSS 5 каким-либо образом анализировать 3D-геометрию и глубину, или же он просто переинтерпретирует 2D-изображение, как только может, чтобы сделать его более реалистичным на основе умозаключений.
   
   "DLSS 5 обучен понимать сложную семантику сцены, такую как персонажи, волосы, ткань и полупрозрачная кожа, а также условия освещения окружающей среды, такие как переднее, заднее или пасмурное освещение - и все это путем анализа одного кадра"
   
   Здесь Nvidia, кажется, полностью уклоняется от части, касающейся 3D-геометрии, но ее ответ предполагает, что DLSS 5 не имеет ничего общего с 3D-геометрией
   
3. Если базовая геометрия и текстуры остаются неизменными, как утверждает Nvidia в своем официальном руководстве, то почему в некоторых примерах текстуры изменены, хотя и незначительно, но все же кажутся другими по сравнению с оригинальным рендером? Оуэн приводит пример с мужским персонажем из Starfield, у которого после обработки DLSS 5 появляется больше волос на левом виске.
   
   Nvidia полностью уклонилась от ответа на этот вопрос и заявила, что базовая геометрия действительно не изменилась, а то, что они представили, является лишь очень ранней предварительной версией технологии. Затем ютубер рискнул сказать, что геометрия может и не измениться, но конечный результат, который появится на экране, вполне может быть тем, что DLSS 5 посчитает правильным путем умозаключений. Кроме того, если это ранняя версия, Nvidia должна учесть все отзывы и улучшить то, на что способна технология в конечном итоге
   
4. В официальном руководстве Nvidia утверждает, что DLSS 5 улучшает свойства PBR для материалов. Оуэн хочет уточнить, действительно ли DLSS 5 принимает PBR-спецификации разработчиков игр, включенные в игровой движок (свойства материалов, шероховатость, карты нормалей и т.д.) в качестве входных данных, или DLSS 5 только выводит все PBR-свойства.
   
   Nvidia отвечает, что DLSS 5 принимает в качестве входных данных только рендеринг кадра и векторы движения, а материалы выводятся из рендеринга кадра. Оуэн утверждает, что это разъяснение позволяет считать официальные заявления об улучшении свойств PBR недостоверными
   
5. Этот вопрос довольно сложный, поскольку он касается сохранения художественного замысла. По сути, Оуэн спрашивает, могут ли разработчики игр контролировать что-либо помимо цветокоррекции, кроме уменьшения интенсивности свойства DLSS 5 или его полной маскировки на определенных объектах/персонажах. В качестве примера он приводит начальную сцену игры RE: Requiemгде Грейс изначально не накрашена, но на рендере DLSS 5 она накрашена. Другими словами, могут ли разработчики как-то проинструктировать DLSS 5, чтобы Грейс не была накрашена?
   
   Nvidia дает пространный ответ, взятый прямо из праймера, и не дает ответа относительно возможности проинструктировать DLSS 5 отрисовывать что-то определенным образом. В настоящий момент кажется, что ранняя версия не может сохранить художественный замысел, но можно быть оптимистом и сказать, что это может измениться при наличии достаточного количества отзывов
   
6. Действительно ли DLSS 5 ограничена пространством экрана, поэтому она не знает о внеэкранных источниках света, отражениях, окклюзии и тенях?
   
   Nvidia подтверждает, что DLSS 5 действительно ограничен пространством экрана, а это значит, что он даже не понимает трассировку лучей. Тогда зачем геймерам вообще активировать трассировку лучей в играх, если DLSS 5 не учитывает эти сложные расчеты, требующие так много вычислительной мощности? Должны ли мы понять, что DLSS 5 может полностью заменить трассировку лучей, и если да, то делает ли он это более эффективным способом, требующим меньшей вычислительной мощности? Использование двух карт RTX 5090 явно не помогает продемонстрировать эффективность
   
7. Последний вопрос не имеет прямого отношения к DLSS 5, но Оуэн спрашивает, будет ли внедрение DirectML в DirectX для аппаратного ускорения ML-задач в играх может означать, что проприетарные технологии, такие как DLSS 5, в какой-то момент могут стать открытым исходным кодом для работы на любом аппаратном обеспечении.
   
   Nvidia говорит, что ей нечего объявить по этому поводу прямо сейчас, так что она не полностью отрицает такую возможность, но оставляет дверь слегка приоткрытой для проблеска надежды.