Alibaba выпустила бесплатную нейросеть для анимации персонажей по одному фото - «Новости мира Интернет» » Новости мира Интернет
Alibaba выпустила бесплатную нейросеть для анимации персонажей по одному фото - «Новости мира Интернет»
Alibaba выпустила бесплатную нейросеть для анимации персонажей по одному фото - «Новости мира Интернет»
Microsoft добавила видеообои в предварительных сборках Windows 11 - «Новости мира Интернет»
Microsoft добавила видеообои в предварительных сборках Windows 11 - «Новости мира Интернет»
DeepSeek представила обновлённую модель V3.1-Terminus - «Новости мира Интернет»
DeepSeek представила обновлённую модель V3.1-Terminus - «Новости мира Интернет»
OpenAI представила ChatGPT Pulse – ИИ научился готовить персональные отчёты без запроса пользователя - «Новости мира Интернет»
OpenAI представила ChatGPT Pulse – ИИ научился готовить персональные отчёты без запроса пользователя - «Новости мира Интернет»
В App Store вышла игра RidePods с управлением через AirPods - «Новости мира Интернет»
В App Store вышла игра RidePods с управлением через AirPods - «Новости мира Интернет»
Valve начала моральную подготовку пользователей к осенней распродаже Steam — опубликован официальный трейлер акции - «Новости сети»
Valve начала моральную подготовку пользователей к осенней распродаже Steam — опубликован официальный трейлер акции - «Новости сети»
Asus отдаст видеокарту GeForce RTX 5090 ROG Astral с подписью Хуанга за лучший дизайн видеокарты - «Новости сети»
Asus отдаст видеокарту GeForce RTX 5090 ROG Astral с подписью Хуанга за лучший дизайн видеокарты - «Новости сети»
«Микрон» представил отечественную консоль MikBoy — на полностью российском контроллере RISC-V - «Новости сети»
«Микрон» представил отечественную консоль MikBoy — на полностью российском контроллере RISC-V - «Новости сети»
Xiaomi 17 всем показали, какой должна быть быстрая 100-Вт зарядка в смартфонах - «Новости сети»
Xiaomi 17 всем показали, какой должна быть быстрая 100-Вт зарядка в смартфонах - «Новости сети»
Китай сделал шаг к солнечным панелям с напряжением 2000 В — это поможет снизить потери при передаче энергии - «Новости сети»
Китай сделал шаг к солнечным панелям с напряжением 2000 В — это поможет снизить потери при передаче энергии - «Новости сети»
Новости мира Интернет » Новости интернета » Alibaba выпустила бесплатную нейросеть для анимации персонажей по одному фото - «Новости мира Интернет»

Alibaba представила новую модель Wan 2.2 Animate с открытым исходным кодом, которая умеет превращать статичные изображения в реалистичные видеоролики. Нужно загрузить фото персонажа и ролик с движениями, и система «оживит» изображение: повторит мимику, позы и пластику тела.



Модель работает в двух режимах. В первом она переносит движения из драйв-видео на героя с фотографии и создает новое видео. Во втором – заменяет персонажа в самом ролике: фон и сцена сохраняются, но вместо оригинального человека появляется выбранный персонаж. Можно ограничиться заменой лица или полностью заменить тело с точной синхронизацией губ и сохранением освещения.




Alibaba выпустила бесплатную нейросеть для анимации персонажей по одному фото - «Новости мира Интернет»


Источник: Alibaba (здесь и на обложке)



По сравнению с предыдущей версией, качество анимации заметно выросло. Разработчики добились большей точности передачи эмоций и движений благодаря объединению скелетных и лицевых сигналов. Также модель использует архитектуру «смеси экспертов», когда разные модули обрабатывают участки с разным уровнем шума. База данных для обучения тоже увеличилась – на 65% больше изображений и на 83% больше видеоматериалов.



Wan 2.2 Animate входит в семейство моделей Wan 2.2 для генерации видео из текста и озвучки. Скачать инструмент можно на GitHub и Hugging Face, доступен он и через API на Alibaba Cloud. Для полноценного локального запуска потребуется мощная видеокарта уровня Nvidia RTX 4090 с большим объемом памяти, хотя упрощенная версия может работать в 720p при 24 fps и на более «доступных» конфигурациях.

Цитирование статьи, картинки - фото скриншот - Rambler News Service.
Иллюстрация к статье - Яндекс. Картинки.
Есть вопросы. Напишите нам.
Общие правила  поведения на сайте.

Alibaba представила новую модель Wan 2.2 Animate с открытым исходным кодом, которая умеет превращать статичные изображения в реалистичные видеоролики. Нужно загрузить фото персонажа и ролик с движениями, и система «оживит» изображение: повторит мимику, позы и пластику тела. Модель работает в двух режимах. В первом она переносит движения из драйв-видео на героя с фотографии и создает новое видео. Во втором – заменяет персонажа в самом ролике: фон и сцена сохраняются, но вместо оригинального человека появляется выбранный персонаж. Можно ограничиться заменой лица или полностью заменить тело с точной синхронизацией губ и сохранением освещения. Источник: Alibaba (здесь и на обложке) По сравнению с предыдущей версией, качество анимации заметно выросло. Разработчики добились большей точности передачи эмоций и движений благодаря объединению скелетных и лицевых сигналов. Также модель использует архитектуру «смеси экспертов», когда разные модули обрабатывают участки с разным уровнем шума. База данных для обучения тоже увеличилась – на 65% больше изображений и на 83% больше видеоматериалов. Wan 2.2 Animate входит в семейство моделей Wan 2.2 для генерации видео из текста и озвучки. Скачать инструмент можно на GitHub и Hugging Face, доступен он и через API на Alibaba Cloud. Для полноценного локального запуска потребуется мощная видеокарта уровня Nvidia RTX 4090 с большим объемом памяти, хотя упрощенная версия может работать в 720p при 24 fps и на более «доступных» конфигурациях.

0

Смотрите также

А что там на главной? )))



Комментарии )))