The neverending story

Salut les insubmersibles, bienvenue dans cette 102e édition de GENERATIVE, la newsletter qui résiste dans l’ouragan de news IA qui frappe chaque journée de chaque semaine depuis bientôt 2 années.

Cette semaine, je ne sais que vous conseiller d’autre que “attachez vos ceintures”.

Le flot de news semble piloté par un fou furieux qui aurait soudé au plancher la pédale d’accélérateur d’une très grosse cylindrée.

Courage, ça va bien se passer.

🔹 Se former avec moi à l’IA ? C’est possible !
J’ai eu le plaisir d’animer 2 journées de formations image + vidéo IA à Paris les 19 et 20 mars, pour un groupe de stagiaires très intéressés et très intéressants.
Deux journées très denses, conclues par des workshops en petits groupes, avec la création de projets images et vidéos IA à la clé.

Je l’écris sans fausse modestie : les retours sont très positifs. J’essaye d’apporter un maximum de valeur aux stagiaires, en capitalisant non seulement sur mon expertise des outils mais également sur mon expérience de leur utilisation.

La prochaine session aura lieu les 24 et 25 avril prochains, à Paris.
Pour vous inscrire c’est ICI

Marseillais, Sudistes, contactez moi aussi, une session arrive prochainement dans notre belle région !

🔹 Freepik lance Objects : personnalisation avancée via LoRA
Freepik est officiellement inarrêtable. La plateforme espagnole intègre Objects, une fonction basée sur l'entraînement LoRA, permettant d'ajouter un même objet sur plusieurs images de manière cohérente. Compatible avec les outils de la Freepik AI Suite, cette nouveauté facilite l’intégration d’éléments personnalisés dans les visuels générés.

🔹 Krea permet d’entraîner l’IA avec vos vidéos
Krea permet désormais d’entraîner Wan 2.1 avec vos propres vidéos, pour un contrôle précis du style (certains parlent même de “faire du “sref en vidéo”). Il suffit d’uploader du contenu sur krea.ai/train , d’ajuster les réglages, “et voilà” :

🔹 PUB PUMA 100 % IA
Puma et Monks ont produit un spot de 30s full IA : les idées, scripts et vidéos ont été générés par des agents IA en 5 semaines et avec NVIDIA Cosmos (dont ont parlait déjà ici), Runway et Flux. On salue l’effort mais le résultat divise la rédaction : Caro trouve ça “plutôt intéressant, dans la lignée des sorties Runway des dernières semaines”, Gilles trouve que le film ne fonctionne pas. Le sujet du dépassement de soi en sport exige une authenticité brute, du sang, de la sueur et des cris (ou alors un concept extrêmement fort (cf le fameux “Find Your greatness” de Nike), des éléments totalement absents ici. Qu’en pensez vous ?

🔹 Freepik intègre tout
Kling 1.6 Elements arrive dans Freepik. Pour rappel, il s’agit de la fonctionnalité qui permet de créer des vidéos à partir de 2, 3 ou 4 images de référence.

🔹 Adobe Stock : Édition d’images IA sans Photoshop
Adobe intègre Customize à Adobe Stock, permettant d’éditer directement des images avec Adobe Firefly, sans passer par Photoshop. On peut ajouter du style, élargir une image et modifier certains éléments. Cette fonction simplifie la personnalisation rapide pour designers et créateurs​… (Avis de Caro : les fonctionnalités IA restent quand même toujours plus qualitatives et avec davantage de contrôle quand elles sont directement intégrées dans les outils).

🔹 Pika enchaîne
Pika continue sur sa lancée avec l’intégration d’un nouvel effet spécial qui permet de manipuler un élément de l’image sans altérer le décor (en théorie). Disponible en early access pour les membres du Creative partner Program.

🔹 Adobe ouvre son écosystème IA
Suite à leur Summit annuel, Adobe intègrerait des IA tierces (et concurrentes) comme Flux, Imagen 3, Runway Frames dans Adobe Express et Project Concept, élargissant leur offre au-delà de Firefly. Aucune annonce n’a été faite pour pour Photoshop ou Premiere à ce stade. Google et Adobe pourraient également collaborer sur la vidéo, après l’échec de l’intégration de Sora.
Un tournant pour Adobe qui jusqu’à présent, avait cultivé sa différence, mettant en avant son modèle éthique. Désormais, les utilisateurs auront le choix des armes.

🔹 LHC
Notre ami Rémi Rostan a publié une nouvelle édition de son incontournable magazine LHC, consultable en ligne ici : LHC • Février ⎢ Mars.

🔹 Vibe coding Claude x Sora
Nouveau workflow spectaculaire testé par l’excellent Rory Flynn : génération d’un modèle 3D avec Claude 3.7 et Sora.

Le prompt : can you code a 3d version of an F1 car in a studio environment in three.js?

Ensuite : génération vidéo puis transformation avec la fonctionnalité SORA Remix. Le rendu est correct mais la cohérence d’une génération à l’autre reste aléatoire. C’est rapide et utile pour une pré-visualisation et pour explorer des idées, ça reste encore un peu juste pour une production finale, selon l’avis de Rory.
Personnellement je trouve assez fascinant de partir d’un prompt et d’obtenir un résultat 3D texturé en quelques clics, 3 minutes et seulement 2 outils.

🔹 Hunyuan3D 2.0 : Tencent améliore la génération 3D
Le modèle open-source de Tencent évolue avec deux mises à jour :
- Hunyuan3D 2.0 MV qui prend jusqu’à 4 images directionnelles en entrée pour une meilleure reconstruction ;
- Hunyuan3D 2.0 MV Mini, la version allégée pour une génération + rapide des formes.
Compatible avec Gemini, Flux et SDXL + IP-Adapter, ce modèle facilite la création d’assets 3D exploitables. Disponible sur GitHub et Hugging Face.

🔹 Gemini 2.0 Flash : tester la 3D avec une seule image
Gemini 2.0 Flash génère plusieurs angles d’un sujet à partir d’une image, facilitant la création de vidéos 3D avec Luma keyframes. Tianyu Xu passe par une sélection du design, la génération des angles, puis l’animation video. Plus efficace que Midjourney, mais avec une résolution encore limitée.

🔹 Gemini sur Freepik
Sitôt sorti, sitôt sur Freepik ! Gemini 2.0 Flash intègre Freepik en un temps record. Cet outil ambitionne de révolutionner le traitement de l’image : il permet de modifier des images, supprimer des objets, ajuster couleurs et textures et générer plusieurs variantes d’une image en quelques secondes… La proposition de valeur est extraordinaire, même si la version actuelle n’est pas encore 100% parfaite .
A vos tests :

🔹 Stable Virtual Camera : Donner du relief aux images 2D
Stability AI dévoile un outil transformant une image 2D en environnement “3D” navigable. Il intègre des mouvements de caméra prédéfinis et permet de créer des trajectoires personnalisées. La cohérence semble très bonne, à défaut d’être parfaite. Disponible en open-source pour la recherche, avec une démo gratuite sur Hugging Face.

🔹 Whisk Animate : un atout pour les directeurs créatifs
Propulsé par Google Veo 2, Whisk Animate permet de créer et animer des packshots, de tester des idées et enrichir des présentations. L’intégration de produits réels reste limitée même si cela offre une bonne base de départ pour explorer ou pour un pitch. C’est Arminas Valunas qui nous partage ici ses tests :

Voici un autre de ses partages sur le travail en post prod d’un logo suite à génération d’un video : un travail d’orfèvre !

🔹 L’audioguide IA s’invite au musée
L'expérience "Ask Dalí" ouvre au musée Dalí, le 11 avril 2024, un mois avant le 120e anniversaire du célèbre surréaliste. Cette installation interactive utilise l'intelligence artificielle (GPT-4 et Eleven Labs V2) pour permettre aux visiteurs de poser des questions à un avatar de Salvador Dalí via un téléphone inspiré du fameux "Téléphone Homard".

L'IA, entraînée avec les écrits et enregistrements de l'artiste, reproduit fidèlement sa voix, sa personnalité et son humour. Cette initiative suit d'autres collaborations technologiques comme "Dalí Lives" (2019) et "Dream Tapestry" (2023). Basée sur ElevenLabs et GPT-4, l’installation a déjà enregistré 75 000 conversations. Une nouvelle façon de se reconnecter à la Culture ? Quid de la résurrection des grands artistes disparus ? Vous avez une opinion ?

🔹 De Dreams à Sora : vers une IA 3D en temps réel ?
Martin Nebelong a modélisée une scène de Dreams (jeu PS4 de Media Molecule permettant de créer et partager des jeux et expériences audiovisuelles) puis l’a transformée avec Sora en Video-2-Video. Les ajustements de lumière et d’ambiance ont été obtenus grâce au prompt. A quand la conversion 3D à 3D en temps réel pour des workflows interactifs ? On passe commande ici.

🔹 ReCamMaster : Modifier la caméra après tournage
ReCamMaster utilise l’IA pour ajuster les mouvements de caméra dans une vidéo existante sans reshoot. A travers le prompt, il applique panoramiques, zooms ou inclinaisons en s’appuyant sur un dataset multi-caméras sous Unreal Engine 5. Utile pour dynamiser une vidéo, stabiliser des plans voire améliorer la résolution en post-production. Disponible sous Github.

🔹The Electric State : L’IA au service des VFX
Les artistes VFX ont utilisé Wonder Dynamics pour donner vie aux robots du film The Electric State actuellement sur Netflix. Cet outil IA (qui n’est pas nouveau, je vous en parlais il y a déjà 2 ans !) facilite l’intégration d’éléments CGI en accélérant certaines étapes clés. De plus en plus adopté par les studios, il optimise les workflows hybrides mêlant IA et effets visuels. Suffisant pour arriver à bout des 2h08 de film ? Pas sûr !

🔹 Spline : des éléments 3D interactifs pour un design dynamique
En combinant les fonctionnalités “Particles” et “Look At” dans Spline, il est possible de créer des éléments 3D interactifs. une société vient de l’utiliser pour sa page d’attente, apportant un design épuré et une expérience utilisateur plus engageante.

🔹 Uthana : bêta ouverte et levée de fonds
Uthana permet d’animer un personnage 3D en quelques clics via texte, vidéo ou 10 000 mouvements préconçus. L’export se fait en FBX (idéal pour l’animation et les jeux vidéo) ou GLB (parfait pour le web et la réalité augmentée).

🔹 WarpTuber : animez vos images en direct avec l’IA
WarpTuber transforme images et vidéos statiques en avatars animés via webcam. Il suit les expressions faciales en temps réel, propose des réglages avancés (fonds, mode animal) et s’adapte au streaming, marketing et contenu interactif. Simple à utiliser, sans expertise requise. A tester sur Hugging Face.

🔹 Le side by side de la semaine
Le comparatif video Ia de la semaine nous vient de Curious Refuge. Un exercice toujours intéressant pour s’imprégner des différences et spécificités des modèles

🔹 Nouvelle satire de The Dor Brothers
Cette fois ci, c’est non seulement la Chine mais la mondialisation qui sont mises à l’index, sur l’excellente bande son “Chinese Children” de Devendra Banhart.

La 2e vidéo de la semaine est la dernière pub Mercedes, produite par Secret Level en collaboration avec will.i.am. Les séquences de voitures sont 100% IA, une demi douzaine d’artistes IA ont travaillé dessus, dont pas moins de 3 membres du Prompt Club, on est très fiers d’eux !

---

Cette édition est terminée, merci de l’avoir lue jusqu’ici ! Si elle vous a plu, vous pouvez la partager en cliquant juste ici :

Vous pouvez également me suivre sur LinkedIn et activer la cloche 🔔, je poste régulièrement sur l’intelligence artificielle générative. Vous pouvez également me contacter pour toute proposition de création, intervention, conférence, projet, formation liée à l’intelligence artificielle générative.

Et n’oubliez pas de vous abonner pour ne rien rater des prochaines éditions 👇