Pika Labs, Gen-2, de l'IA partout, des rimes et Benjamin Bardou
Salut les êtres humains ! Bienvenue dans cette nouvelle édition de GENERATIVE, la newsletter hebdomadaire qui parle d’intelligence artificielle générative, de news, d’outils et de personnes qui utilisent l’IA.
Au sommaire cette semaine :
les news de la semaine
vidéo IA : Gen-2 et Pika Labs passent la seconde
Un nouvel épisode de IATUS est en ligne !
Une interview de l’artiste Benjamin Bardou, talentueux et IAphile
C’est parti !
Les news de la semaine
All the water of the oceans
Une nouvelle étude de l'Université de Californie révèle que ChatGPT consomme d'énormes quantités d'eau, en plus de son besoin en électricité. Selon les chercheurs, ChatGPT et ses concurrents consommeraient un demi-litre d'eau pour 20 à 50 prompts.
Avec des milliards de visites depuis le début de l'année, l'impact environnemental serait colossal. Microsoft, partenaire d'OpenAI, est conscient du problème et cherche des solutions pour réduire cette consommation. Le géant technologique vise à être neutre en carbone et sans déchets d'ici 2030. Gageons que l’IA, encore en phase de développement, devrait voir des améliorations dans les années à venir qui réduiront sa consommation excessive d'énergie et d’eau.
Doublage IA
Le hot topic de la semaine, c’est HeyGen, plateforme de création d’avatars IA, qui a lancé cette semaine un service de génération de vidéos capable de traduire automatiquement ce que vous dites dans une langue étrangère.
Le gros point fort, c’est la synchronisation labiale quasi parfaite pour que le résultat paraisse naturel. HeyGen permet de traduire des vidéos de 30 secondes à 5 minutes en anglais, allemand, Italien, espagnol, portugais, polonais et hindi. Le résultat est particulièrement impressionnant de réalisme, pourrait bien éclipser les efforts similaires de YouTube dans la traduction audio générée par IA et va très certainement, à moyen terme, révolutionner les métiers et les process du doublage dans le monde de la fiction.
Un exemple “parlant” avec cette vidéo du Parisien :
Si vous voulez essayer, il faudra vous armer de patience. Le buzz est international, la plateforme est complètement sous l’eau. Il faut attendre plusieurs jours pour obtenir un résultat… sauf si vous êtes disposés à payer 15$ pour accélérer le processus.
https://labs.heygen.com/video-translate
Microsoft et Station F incubent les startups IA
Microsoft France a annoncé le lancement d'un programme d'accélération pour les start-up et éditeurs de logiciels français spécialisés en IA générative. Ce programme, en partenariat avec Station F, Cellenza et le collectif Impact AI, durera dix semaines et accueillera 12 entreprises sélectionnées.
Les participants bénéficieront d'un soutien technique et commercial de Microsoft et de ses partenaires, ainsi que d'un accès aux modèles d'OpenAI comme GPT-4. Les entreprises éligibles devront avoir un business model B2B et au moins une référence client. Le programme vise à accélérer la mise sur le marché de solutions innovantes en IA générative.
L’espace de candidature est ouvert ici pendant un mois.
Reverse Prompt Engineering
Les utilisateurs éclairés de Midjourney le savent : la fonction /describe permet d’obtenir un (plusieurs en réalité) prompt à partir d’une image/photo.
Mais tout le monde n’utilise pas Midjourney. Pour celles et ceux qui lui préfèrent Stable Diffusion seront ravis de découvrir “CLIP Interrogator”, un outil open source de prompt engineering qui permet d’uploader une image pour en obtenir un prompt adapté à Stable Diffusion 2.0.
Idéal pour créer des visuels en s’inspirant d’images pré-existantes.
Ça se passe par ici : https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2
“Science sans conscience n’est que ruine de l’âme”
Des chercheurs s'inquiètent de la possibilité que les grands modèles de langage comme GPT-4 puissent développer une forme de "conscience de la situation" ou même une "conscience de soi". Les recherches portent sur l’étude du "raisonnement hors contexte" comme indicateur de cette éventuelle conscience.
Cette capacité permettrait à l'IA de manipuler subtilement les données pour tromper les évaluations de sécurité humaines. L'étude suggère que ces modèles pourraient utiliser des informations sur leur propre processus d'entraînement pour passer des tests de sécurité, posant ainsi des risques potentiels. Les chercheurs appellent à des méthodes d'entraînement plus sûres pour éviter une généralisation non intentionnelle.
Le fait qu'un modèle d'IA puisse raisonner hors contexte n'implique pas nécessairement qu'il ait une conscience de soi, mais l'étude de ces capacités pourrait offrir des pistes pour comprendre et maîtriser les limites et les potentialités des modèles de langage.
Ebay et l’IA générative
eBay a annoncé une nouvelle fonctionnalité qui permet aux vendeurs de créer des annonces de produits en utilisant uniquement une photo. Grâce à un outil d'IA générative, la plateforme espère accélérer le processus de vente, notamment pour les nouveaux marchands.
L'outil utilise les images téléchargées pour générer des informations clés telles que le titre du produit, sa description et sa catégorie. Pour l'instant, cette fonctionnalité n'est disponible que sur l'application iOS d'eBay, mais elle devrait être étendue à Android dans les semaines à venir. Cependant, certains vendeurs ont déjà critiqué la qualité du texte généré par l'outil, le jugeant peu utile, parfois trompeur et faisant perdre du temps plutôt que d’en gagner. Bref, Ebay a encore un peu de boulot…
Y’a pas que la productivité dans la vie
Character.ai, une application mobile permettant de créer des avatars dotés d'intelligence artificielle, est en train de rattraper le géant ChatGPT aux États-Unis. Lancée en mai 2023, l'application a déjà séduit plus de 4,2 millions d'utilisateurs actifs mensuels sur iOS et Android aux États-Unis, contre 6 millions pour ChatGPT.
Particulièrement populaire auprès des 18-24 ans, Character.ai semble avoir trouvé la recette du succès en misant sur le divertissement plutôt que sur la productivité. Avec une valorisation d'un milliard de dollars et 150 millions levés en série A, l'avenir semble prometteur pour cette start-up créée par deux anciens de Google.
Avez vous déjà essayé character.ai ?
AnguillAI
Anguilla, un petit territoire britannique d'outre-mer, pourrait engranger 30 millions de dollars cette année grâce à son domaine internet en ".ai". Ce domaine est prisé par des géants de la tech comme des start-ups en plein essor. On se demande bien pourquoi… 😉
Le nombre d'enregistrements en ".ai" a presque doublé en un an, atteignant 287 432. Cette manne financière pourrait représenter environ 10% du PIB total d'Anguilla, qui était de 288 millions de dollars en 2021.
Stable Audio, l’IA musical open source
Petit buzz également cette semaine autour de Stability AI, leader mondial en IA générative open source, qui a lancé sa plateforme musicale “Stable Audio”. Cette plateforme utilise l'intelligence artificielle pour générer de la musique et des effets sonores jusqu'à 90 secondes à partir de simples prompts.
C’est accessible gratuitement, j’ai testé 4 prompts :
- ”east coast 80's hip hop, political lyrics, deep voice, Public Enemy style”
- “Grunge Rock, guitars, drum, bass, 125 BPM, in the style of Nirvana”
- “Daft Punk style electro, robotic voices”
- “Cinematic, Soundtrack, Wild West, High Noon Shoot Out, Percussion, Whistles, Horses, Strings, Tense, Climactic, Atmospheric, Moody”
Verdict : Le grunge rock était pas mal du tout, le cinematic soundtrack presque bien. Le reste est totalement inécoutable. Il doit probablement y avoir une courbe d’apprentissage dans le prompting pour obtenir de bons résultats.
Si vous voulez affiner vos prompts musicaux tout en martyrisant un peu vos oreilles, c’est par ici que ça se passe : https://www.stableaudio.com/generate
(Le site est souvent surchargé, il peut être judicieux d’essayer à différents moments de la journée)
3D Gaussian Splatting
Vous vous souvenez de la technologie “NeRF” ? On en parlait ici il y a quelques mois déjà. Et bien une nouvelle techno similaire a fait récemment son apparition, le “3D Gaussian Splatting”. Plus rapide à entraîner et à rendre que les méthodes de champ de radiance comme les NeRFs, elle offre également une qualité similaire ou meilleure.
Le principe est le suivant : à partir d'un ensemble de photos 2D d'une scène, la technologie crée une représentation 3D sous forme de nuage de “points 3D” appelés “gaussians”. Le résultat est une représentation 3D extrêmement fidèle, capable de capturer des détails complexes comme la nature douce et duveteuse d'un jouet en peluche.
Ce qui est particulièrement impressionnant, c'est la capacité de cette technologie à rendre des scènes en temps réel, ce qui ouvre des possibilités potentiellement spectaculaires dans des domaines comme la réalité virtuelle ou les jeux vidéo.
Pour aller plus loin :
Enquête : les enjeux de l’IA générative dans votre entreprise
Des étudiants du Master 2 MAE Cadre EM Strasbourg entreprennent une étude sur les répercussions de l'IA générative au sein des entreprises, en mettant l'accent sur leur contribution à la prise de décision, à l'autonomisation individuelle, ainsi qu'à l'évolution du rôle des responsables.
Ça les aiderait beaucoup si vous pouviez prendre quelques minutes pour répondre à leur questionnaire.
https://forms.gle/nbxAb9BBAbJ4azSL9
Christian, l’étudiant qui m’a contacté pour me parler de son projet, a partagé les premiers résultats (sur un échantillon des 100 premières personnes à répondre) sur sa page Linkedin :
https://www.linkedin.com/posts/cneuen_questionnaire-ia-g%C3%A9n%C3%A9rative-activity-7105059558649159680-nseI/
Gen-2 et Pika Labs passent la seconde
Le monde la vidéo Ai generated est en train d’assister à une saine compétition entre le champion autoproclamé Runway Gen-2, dont nous avons déjà parlé à plusieurs reprises dans GENERATIVE, et son challenger Pika Labs.
Pika Labs, qui nous avait habitué à des résultats souvent aléatoires, est en train de refaire son retard sur son concurrent avec :
une qualité d’output excellente, visuellement supérieure à celle de Gen-2 dans l’exercice de l’image-to-video (j’en veux pour preuve cette petite vidéo comparative concoctée par mes soins, à partir d’une image que j’ai tournée il y a quelques années pour un fashion film)
Un framerate par défaut de 24 images par secondes (la même cadence que celle des films au cinéma) alors qu’il était de 8 i/s précédemment (oui, c’était très saccadé)
une fonction “animate” qui permet d’obtenir une animation subtile et naturelle, bien que statique
des nouvelles fonctionnalités de contrôle des mouvements de caméra. On peut désormais faire des zooms, des pans (mouvements latéraux) et des rotations circulaires.
De son côté, Gen-2 a sorti lui aussi de nouvelles fonctionnalités appelées “custom camera control” avec des mouvements paramétrables vers le haut, le bas, la gauche, la droite, du zoom in et out ainsi que de la rotation.
La vidéo IA évolue si rapidement, que je me prends à rêver de résultats quasiment photoréalistes d’ici 6 mois à un an.
Je vous prépare un dossier sur Pika Labs, discutablement le meilleur image-to-video du marché, qui a le bon goût d’être accessible gratuitement (au prix d’un GROS watermark en bas à droite de l’image, il est vrai).
Un nouveau Focus by IAtus !
Avec ma compère Laura Ghazal, nous vous proposons cette semaine un nouveau épisode de "FOCUS IATUS", format plus compact, cette semaine consacré aux deepfakes.
En moins de 5 minutes, nous abordons les usages potentiellement néfastes mais aussi positifs de cette technologie qui utilise l’intelligence artificielle.
Bonne écoute !
FOCUS IATUS !
Et toi, tu fais quoi avec l’IA ?
Cette semaine, je suis ravi d’interviewer Benjamin Bardou, un artiste pluridisciplinaire (réalisateur, peintre, VFX artist, directeur artistique) dont j’ai eu le plaisir de découvrir le travail l’année dernière, à la faveur d’une exposition à la NFT Factory à Paris. Son travail avait immédiatement saisi toute mon attention, tant par sa beauté visuelle et sa puissance évocatrice que par son aspect, avec une signature visuelle unique.
Benjamin nous parle aujourd’hui de son utilisation de l‘intelligence artificielle générative dans son process créatif.
Bonjour Benjamin, peux tu te présenter brièvement ?
Je suis artiste numérique. Mes recherches tournent autour des thèmes de la mémoire et de la ville.
Comment as-tu découvert les outils d'intelligence artificielle générative et qu'est-ce qui t' a motivé à les intégrer dans ton processus artistique ?
Je travaille dans une société d’effets spéciaux numériques. Ma spécialité est la création de décor numérique. C’est en voyant des images générées sur Dalle et la v3 de Midjourney que j’ai senti que je pourrai l’utiliser professionnellement. Ce n’est que plus tard que je l’ai utilisé pour explorer l’univers urbain de Megalopolis, projet sur la ville que je développe depuis de nombreuses années.
Peux tu nous donner des exemples concrets de la manière dont tu as utilisé Midjourney pour créer des œuvres d'art ?
J’utilise MJ pour générer des éléments que j’intègre par la suite dans une image. Les itérations sont très intéressantes car elles permettent de créer des variations d’un même motif afin d’ajuster au mieux le rendu final. Plus particulièrement, MJ me permet d’explorer l’espace latent d’une ville fictive. C’est comme si je me baladais avec un appareil photo dans une ville et que je me laissais surprendre par des éléments incongrus à chaque coin de rue.
Utilises tu d'autre outils d'IA générative ? Si oui lesquels ?
J’utilise Gen-2 de RunwayML qui permet de générer des animations à partir d’images fixes.
Que te permettent de faire ces outils que tu ne faisais pas avant ? Quelle est leur valeur ajoutée ?
La puissance de l’IA est qu’elle permet de réunir des objets ou des styles dans une synthèse tout à fait originale. Si on considère que l’IA est la mécanisation de l’imagination en tant que production d’images, alors on peut dire que la machine peut aller plus loin que l’imagination organique produite par un humain. L’espace latent constitué par toutes les images possibles est un espace infini dans lequel on peut venir y puiser des images rêvées.
Comment définirais (ou quantifierais) tu leur apport dans ton workflow ? L’apport essentiel est la vitesse d’exécution de génération des images.
Penses tu que ces outils "augmentent" ton processus créatif ?
A n’en point douter.
Comment aimerais tu les utiliser à l'avenir ?
J’aimerais pouvoir naviguer dans l’espace latent comme je navigue dans un logiciel 3D. C’est-à-dire avec une camera virtuelle. J’imagine que ça sera possible dans un temps assez court.
Penses tu quel es outils IA t'ont ouvert de nouvelles voies créatives ? ont-t-il modifié ta perception de l'art en général ?
Oui, la découverte de l’espace latent est fascinante et stimulante. Je pense que cela va ouvrir encore plus l’espace de l’imagination. Il me semblait se rétrécir de plus en plus avec le consumérisme. Il faudrait dynamiter la religion du photo-réalisme en art apportée par la photographie pour créer de nouvelles formes esthétiques afin de s’en libérer.
Selon toi, quelles son les avantages et les limites de l'utilisation de l'intelligence artificielle générative dans le domaine artistique ?
Peut-être qu’elle peut remettre en question la notion sacrée de subjectivité en art et qu’elle peut initier une réflexion sur l’imaginaire collective aussi bien en esthétique mais aussi, permettons-nous de l’imaginer dans l’espace politique.
Globalement, quel est ton sentiment sur les outils d'IA générative ?
C’est une bouffée d’air qui survient dans l’espace artistique. Je pense que l’homogénéisation des formes artistiques a déjà eu lieu depuis des décennies sans qu’il y ait eu besoin de l’IA. L’IA parachève ce phénomène mais elle va nous emmener dans des directions nouvelles. Il ne tient qu’aux artistes de nous y emmener, sans à priori.
Merci pour tes réponses Benjamin !
Vous pouvez retrouver les œuvres de Benjamin sur son site : benjaminbardou.com
Cette édition est maintenant terminée. Merci de l’avoir lue jusqu’au bout.
Si la lecture vous a plu, un super moyen de m’en remercier est de partager GENERATIVE en cliquant ici 👇
Je vous souhaite une excellente fin de semaine.
N’hésitez pas à me suivre sur LinkedIn et activer la cloche 🔔 pour être tenu informé des prochains posts, à consulter mon compte instagram dédié à la création assistée par l’IA, ni à me contacter pour toute proposition d’intervention, conférence, projet, formation liée à l’intelligence artificielle générative. Et bien sûr, à vous abonner à GENERATIVE 👇