NVIDIA обсуждает возможность генерации кадров на графических процессорах RTX 3000

NVIDIA подчеркнула потенциал своей линейки видеокарт RTX 3000 на базе Ampere для использования технологии генерации кадров.

В недавнем разговоре с Digital Foundry вице-президенту NVIDIA по прикладным исследованиям глубокого обучения Брайану Катандзаро был задан вопрос о том, может ли генерация кадров работать на графических процессорах серии RTX 3000, учитывая, что теперь она работает исключительно на тензорных ядрах. Катандзаро подчеркнул технические трудности, назвав их преимущественно вопросом оптимизации и проектирования. Он упомянул, что NVIDIA разрабатывает самую передовую технологию многокадровой генерации для серии RTX 5000, и они оценят, чего можно достичь с помощью более старого оборудования в будущем.

Катандзаро отметил, что во время разработки технологии NVIDIA DLSS 3 Frame Generation требовалось аппаратное ускорение для расчета оптического потока. Однако у них не было достаточного количества тензорных ядер, а существующий алгоритм оптического потока не был достаточно продвинутым, и они не разработали алгоритм оптического потока в реальном времени, который работал бы с тензорными ядрами и вписывался в их вычислительный бюджет. Чтобы решить эту проблему, NVIDIA использовала ускоритель оптического потока, над которым они работали в течение многих лет, который был создан на основе их технологии видеокодирования, а также интегрирован в систему ускорения автомобильного компьютерного зрения компании для автономных транспортных средств.

Как энтузиаст, я могу поделиться тем, что вице-президент по исследованиям в области прикладного глубокого обучения NVIDIA объяснил свое решение включить ускоритель оптического потока в DLSS 3 Frame Generation. Он признает, что совершенствование аппаратных реализаций таких алгоритмов, как Optical Flow, является сложной задачей из-за ее сложной природы. Интересно, что он упоминает, что NVIDIA не могла решить проблемы с производительностью, возникающие из-за аппаратного оптического потока, с помощью более интеллектуальной нейронной сети, пока они не выбрали комплексное решение на основе искусственного интеллекта. Именно это сделала его команда по исследованиям в области прикладного глубокого обучения в NVIDIA для генерации кадров в DLSS 4.

Смотрите также

2025-01-20 15:08