-

TikTok crée le chainon manquant dans l’animation des images avec cette IA et c’est à couper le souffle

ByteDance, la société mère de TikTok, a récemment lancé Boximator, une avancée significative dans le domaine des vidéos générées par l’intelligence artificielle (IA), offrant aux utilisateurs un contrôle sans précédent sur le mouvement des objets dans les vidéos.

Ce nouvel outil permet un contrôle précis du mouvement grâce à une approche novatrice utilisant des contraintes en forme de boîte pour définir et contrôler les mouvements des objets à travers les cadres vidéo. Cette innovation représente un pas de géant vers des plateformes de génération vidéo plus polyvalentes, offrant aux créateurs de contenu la possibilité d’animer des images avec un contrôle précis sur les mouvements des objets, améliorant ainsi le réalisme et la créativité des vidéos générées par IA.

Lire aussi :

Fonctionnalités Clés et Utilité

Boximator permet aux utilisateurs de sélectionner des objets dans une image de référence en dessinant des boîtes autour d’eux. Ils peuvent ensuite définir la position finale d’un objet ou son chemin de mouvement entier à travers les cadres en utilisant des boîtes et des lignes supplémentaires, évitant ainsi le besoin de descriptions textuelles longues et complexes. Ce système intuitif de spécification du mouvement, combiné à une architecture de plug-in qui s’intègre sans heurt aux modèles de synthèse vidéo existants, préserve la qualité vidéo tout en ajoutant des fonctionnalités de contrôle du mouvement.

Boximator: Bring Fine-grained Motion Controllability to Video Synthesis | Bytedance Research

Architecture Plug-in et Boîtes Rigides ou Souples

L’outil fonctionne comme un plug-in, s’intégrant parfaitement avec les modèles de synthèse vidéo existants sans altérer leurs capacités de base. Boximator utilise deux types de boîtes pour le contrôle du mouvement : les boîtes rigides définissent les positions et formes précises des objets à des images clés, tandis que les boîtes souples indiquent des régions lâches où les objets peuvent se déplacer au fil du temps, offrant un équilibre entre contrôle et mouvement naturel.

Préformation Auto-supervisée et Performance Avancée

Boximator emploie une approche de préformation auto-supervisée, générant des boîtes de délimitation visibles autour des objets dans chaque cadre. Cela simplifie le processus de formation et améliore la capacité du modèle à comprendre le mouvement des objets. L’outil atteint une qualité vidéo de pointe, mesurée par les scores de distance vidéo de Fréchet (FVD), et offre une contrôlabilité du mouvement inégalée. Il a été démontré qu’il améliore l’alignement du mouvement des modèles de base, ce qui en fait un choix privilégié dans les évaluations des utilisateurs.

Applications et Impact

L’introduction de Boximator marque une étape importante vers des plateformes de génération vidéo plus polyvalentes. En externalisant la spécification du mouvement, il réduit potentiellement les ressources informatiques nécessaires pour apprendre les aspects plus fins du mouvement en interne. Cet outil est particulièrement bénéfique pour les créateurs de contenu qui cherchent à animer des images avec un contrôle précis sur les mouvements des objets, améliorant le réalisme et la créativité des vidéos générées par IA.

Boximator, le chainon manquant

Boximator de ByteDance change la donne dans le domaine de la synthèse vidéo, en comblant le fossé entre les images statiques et les vidéos dynamiques avec un contrôle précis du mouvement. Son approche innovante, combinant des interfaces utilisateur intuitives avec des techniques avancées d’IA, le positionne comme un outil puissant pour les créateurs de contenu, leur permettant de donner vie à leurs visions avec une facilité et une précision sans précédent.

Cet article explore Boximator de ByteDance, une innovation majeure dans les vidéos générées par IA, offrant un contrôle du mouvement des objets sans précédent. Grâce à des fonctionnalités intuitives et une architecture plug-in, il simplifie la création de contenu vidéo, marquant un progrès significatif vers des vidéos plus réalistes et créatives.

Html code here! Replace this with any non empty raw html code and that's it.
Guillaume Aigron
Guillaume Aigron
Très curieux et tourné vers les nouvelles technologies, je suis aussi grand fan d'animés japonais et de gaming, je vous propose de vous partager mes dernières trouvailles journalières. Bonne lecture !

Partager cet article

Actualités