Qu'est-il arrivé au plan éclaboussant de Lionsgate pour faire des films AI avec Runway? C'est compliqué |
L'accord avec la startup de l'IA est un conte éteint des pièges de l'adoption d'une technologie trop tôt
Il y a un an, Lionsgate and Runway, une startup d'intelligence artificielle, a dévoilé un partenariat révolutionnaire pour former la bibliothèque de films du studio dans le but ultime de créer des émissions et des films en utilisant l'IA.
Mais ce partenariat a frappé des problèmes précoces. Il s'avère que l'utilisation d'IA est plus difficile qu'il n'y paraît.
Au cours des 12 derniers mois, l'accord a rencontré des complications imprévues, des capacités limitées qui proviennent de l'utilisation du modèle d'IA de Runway aux préoccupations du droit d'auteur concernant la bibliothèque de Lionsgate et les droits potentiels auxiliaires des acteurs.
Ces problèmes sont contraires aux grandes promesses faites par Lionsgate à la fois au moment de l'accord et au cours des derniers mois. « Runway est un partenaire visionnaire et le meilleur de sa catégorie qui nous aidera à utiliser l'IA pour développer des opportunités de création de contenu efficaces de pointe et de capital », a déclaré le vice-président de Lionsgate, Michael Burns, dans son annonce avec Runway il y a un an. Le mois dernier, il s'est vanté au Vulture du magazine de New York qu'il pourrait utiliser l'IA pour refaire l'une de ses franchises d'action (une allusion à «John Wick») dans un anime PG-13. « Trois heures plus tard, j'aurai le film. »
La réalité est que l'utilisation d'un seul modèle personnalisé propulsé par le catalogue limité Lionsgate n'est pas suffisant pour créer ce type de projets à grande échelle, selon deux personnes familières avec la situation. Ce n'est pas qu'il y avait quelque chose de mal avec le modèle de Runway; Mais l'ensemble de données ne serait pas suffisant pour les projets ambitieux pour lesquels ils tiraient.
« Le catalogue Lionsgate est trop petit pour créer un modèle », a déclaré une personne familière avec la situation. « En fait, le catalogue Disney est trop petit pour créer un modèle. »
Sur le papier, l'accord avait beaucoup de sens. Lionsgate sauterait de la porte avec un partenariat en IA à un moment où d'autres sociétés de médias essayaient toujours de comprendre la technologie. La piste, quant à elle, contournerait le débat de licence IP épineux et créerait potentiellement un modèle pour les futurs clients de studio. Le partenariat a ouvert la porte à l'idée qu'un modèle d'IA spécifiquement réglé pourrait éventuellement créer une bande-annonce entièrement formée – ou même des scènes d'un film – en fonction du code du bon.
Les défis auxquels Lionsgate et la piste offrent une histoire édifiante des risques qui proviennent du saut dans le train de battage médiatique de l'IA trop tôt. C'est une histoire qui se déroule dans un certain nombre d'industries différentes, de la sauvegarde de McDonald's loin d'un test précoce d'un système de commande génératif basé sur l'IA à la société suédoise de technologie financière Klarna réduisant sa main-d'œuvre en faveur de l'IA, seulement à Backpedal et à recruter certains de ces mêmes employés (Klarna a clarifié plus tard deux employés en arrière).
C'est aussi une leçon que Hollywood apprend alors que de plus en plus de studios embrassent tranquillement l'IA, même si c'est en ajustement et en départs. Le co-PDG de Netflix Ted Sarandos en juillet a révélé un appel d'investisseurs qui, pour la première fois, son entreprise a utilisé une AI générative sur la série argentine de science-fiction «The Eternaut», publiée en avril. Mais lorsque l'actrice Natasha Lyonne a déclaré que ses débuts de réalisateur seraient un film d'animation qui a embrassé l'IA, elle a été bombardée de critiques sur les réseaux sociaux.
Ensuite, il y a la question épineuse des protections du droit d'auteur, à la fois pour les talents impliqués dans les films utilisés pour former ces modèles d'IA, et pour le contenu généré à l'autre bout. L'ambiguïté juridique inhérente du travail d'IA a probablement des avocats en studio exhortant la prudence.
« Dans l'industrie du cinéma et de la télévision, chaque production aura une variété de détenteurs de droits intéressés », a déclaré Ray Seilie, avocat de Kinsella Holley Iser Kump Steinsapir LLP. « Maintenant qu'il y a cette technologie où vous pouvez créer une vidéo IA d'un acteur disant quelque chose qu'il n'a pas dit, ce genre de bien devient très épineux. »
Un porte-parole de Lionsgate a déclaré qu'il poursuivait toujours les initiatives de l'IA sur «plusieurs fronts comme prévu» et a noté que son accord avec la piste n'est pas exclusif.
Un porte-parole de Runway n'a pas répondu à une demande de commentaires.
Limites d'aller en solo
En vertu de l'accord annoncé il y a un an, Lionsgate remettrait sa bibliothèque à Runway, qui utiliserait toute cette précieuse propriété intellectuelle pour former son modèle. La clé est la nature propriétaire de ce partenariat; Le modèle personnalisé serait une variante du modèle de grande langue de base de Runway formé sur les actifs de Lionsgate, mais ne serait accessible que par le studio lui-même.
En d'autres termes, une autre entreprise aléatoire n'a pas pu exploiter ce modèle spécialement formé pour créer sa propre vidéo générée par l'IA.
Mais s'appuyer sur Just Lionsgate Assets n'était pas suffisant pour former adéquatement le modèle, selon une personne familière avec la situation. Un autre expert en IA ayant une connaissance de son utilisation actuelle dans la production de films a également indiqué que tout modèle sur mesure construit autour de la bibliothèque d'un seul studio aura des limites quant à ce qu'elle peut faire pour réduire le calendrier et les coûts d'un projet.
« Pour utiliser tous les modèles d'IA génératifs dans tous les milliers de sorties et de versions potentielles et de scènes et de façons dont une production pourrait avoir besoin, vous avez besoin de autant de données que possible pour comprendre le contexte, puis pour rendre les bons cadres, la musculature humaine, la physique, l'éclairage et d'autres éléments de tout tir donné », a déclaré l'expert.
Mais même les modèles ayant accès à des quantités de vidéos et audio beaucoup plus importantes que le modèle de Lionsgate et Runway sont confrontés à des barrages routiers. Prenez Veo 3, un modèle d'IA génératif développé par Google qui permet aux utilisateurs de créer des clips de huit secondes avec une simple invite. Ce modèle a tiré, ainsi que d'autres médias, l'ensemble des archives de 20 ans de YouTube dans son ensemble de données, bien supérieur aux plus de 20 000 titres de cinéma et de télévision dans la bibliothèque de Lionsgate.
« Google affirme que l'ensemble de données est propre en raison de l'accord de licence de l'utilisateur final de YouTube. C'est une bataille qui sera jouée dans les tribunaux pendant un certain temps », a déclaré l'expert en IA. « Mais même avec leurs vastes ensembles de données, ils ont du mal à rendre régulièrement la physique des lèvres et la musculature. »
De nos jours, les studios apprennent qu'aucun modèle unique n'est suffisant pour répondre aux besoins des cinéastes car chaque modèle a ses propres forces et faiblesses spécifiques. On pourrait être bon pour générer des expressions faciales réalistes, tandis qu'un autre peut être bon dans les effets visuels ou la création de foules convaincantes.
« Pour créer un flux de travail professionnel complet, vous avez besoin de plus d'un modèle; vous avez besoin d'un écosystème », a déclaré Jonathan Yunger, PDG d'Arcana Labs, qui a créé le premier court métrage généré par l'AI et dont la plate-forme fonctionne avec de nombreux outils AI comme Luma AI, Kling et, oui, Runway. Yunger n'a pas commenté l'accord de Lionsgate-Runway, mais a généralement parlé des avantages pratiques de travailler avec différents modèles d'IA.
De même, il y a Adobe's Firefly, une autre plate-forme qui s'adresse à l'industrie du divertissement. Jeudi, Adobe a annoncé que ce serait le premier à soutenir le nouveau modèle de Luma AI, Ray3, une mise à jour qui indique la rapidité avec laquelle l'industrie est itérative. Comme Arcana Labs, Firefly prend en charge une multitude de modèles de Google et Openai.
Alors que Lionsgate a déclaré que leur partenariat n'était pas exclusif, l'offre de sa précieuse bibliothèque de films à la piste limite efficacement ce que vous pouvez faire avec d'autres modèles d'IA, car ces autres modèles n'obtiennent pas le bénéfice de sa bibliothèque de films.
Même Arcana Labs, qui a créé le court métrage généré par l'AI dans « Echo Hunter » comme preuve de concept utilisant sa plate-forme multimodel, a fait face à certaines limites avec ce que l'IA pourrait faire maintenant. Junger a noté que même si vous utilisez des modèles formés sur les gens, vous perdez toujours un peu de performance et réitérez l'importance des acteurs et d'autres créatifs pour tout projet.
Pour l'instant, Junger a déclaré que l'utilisation de l'IA pour faire des choses comme peaufiner des arrière-plans ou créer des modèles personnalisés d'ensembles spécifiques – des détails plus petits qui prendraient traditionnellement beaucoup de temps et d'argent pour reproduire physiquement – est le moyen le plus efficace d'appliquer la technologie. Mais même dans ce processus, il a recommandé de travailler avec une plate-forme qui peut utiliser plusieurs modèles d'IA plutôt qu'un seul.
Juridiquement ambigu
L'IA générative et ce qui peut être utilisé pour former un modèle occupe une zone juridique grise, avec de petites armées d'avocats qui se déchaînent dans diverses salles d'audience à travers le pays. Mardi, Walt Disney, NBCUniversal et Warner Bros. Discovery ont poursuivi la société chinoise d'IA Minimax pour la violation du droit d'auteur, juste la dernière d'une série de poursuites intentées par des sociétés de médias contre les startups de l'IA.
Ensuite, il y a eu la décision de la Cour qui a fait valoir que la société d'IA Anthropic a pu former son modèle sur les livres qu'elle a achetés, fournissant une échappatoire potentielle qui contourne la nécessité de signer des accords de licence plus larges avec les éditeurs originaux – une affaire qui pourrait être appliquée à d'autres formes de médias.
« Il y aura beaucoup de litiges dans un avenir proche pour décider si le droit d'auteur seul est suffisant pour donner aux entreprises de l'IA le droit d'utiliser ce contenu dans leur modèle de formation », a déclaré Seile.
Une autre zone grise est de savoir si Lionsgate a même des droits complets sur ses propres films, et s'il peut y avoir des droits auxiliaires qui doivent être réglés avec des acteurs, des écrivains ou même des réalisateurs pour des éléments spécifiques de ces films, tels que la ressemblance ou même les traits faciaux spécifiques.
Seilie a déclaré qu'il y avait probablement un tir à la corde dans divers studios sur la mesure où ils sont capables d'aller, avec des avocats qui se trompent du côté de la prudence et de la «recherche de permission plutôt que pardon».
Jacob Noti-Victor, professeur à la Cardozo Law School, a déclaré qu'il était surpris par le commentaire de Burns dans l'article du Vulture.
Le professeur a déclaré qu'en fonction de la nature d'un tel film et de la quantité d'implication humaine dans sa fabrication, il pourrait ne pas être soumis à la protection des droits d'auteur. Le Bureau du droit d'auteur américain a prévenu autant dans un rapport publié en février, affirmant que les créateurs devraient prouver qu'une quantité substantielle de travail humain a été utilisée pour créer un projet en dehors d'une invite d'IA afin de se qualifier pour la protection des droits d'auteur.
« Je pense que les studios seraient appuyés sur le fait qu'ils posséderaient l'IP dont l'IA s'adapte, mais le travail lui-même n'aurait pas une protection complète du droit d'auteur », a-t-il déclaré. « Le simple fait de consacrer une invite comme cet exécutif disait conduirait à un droit d'auteur de fromage suisse. »
