«Сбер» сообщил о создании надстройки для ГенИИ, которая позволяет «понимать» течение времени при генерации вид…

«Сбер» сообщил о создании надстройки для ГенИИ, которая позволяет «понимать» течение времени при генерации видео Ожидается, что разработка также позволит использовать генеративные нейросети для создания физически достоверных синтетических данных с целью обучения физического ИИ. Надстройка подключается к готовой нейросети и состоит из двух независимых блоков. Один из них управляет частотой кадров, а второй — динамикой происходящего в каждый момент сцены. Для обучения задействовали набор из 40 тыс. видеороликов с разной частотой и динамикой, в число которых входили как динамичные сцены с людьми, так и различные медленные природные процессы. Созданная система может работать в двух разных режимах. В одном из них надстройка подключается к уже обученной модели и делает движения на вырабатываемых ей видео более плавными. Во втором случае она дообучается вместе с нейросетью, благодаря чему они приобретают способность менять плавность движения и физику сцены. Разработку протестировали на моделях Kandinsky 5.0 Video Lite и Wan2.2. Замеры показали повышение естественности движений на 29%, улучшение визуального качества на 8% и увеличение соответствия видео текстовому запросу на 19%. 🔗 Источник: https://tass.ru/nauka/28112401 *** 📎 В августе «Сбер» выпустил семейство генеративных моделей Kandinsky WM 1.0 для обучения физического ИИ.