Dans le cadre de l'offre de Netflix visant à dynamiser les effets visuels plus rapidement et moins cher grâce à la production virtuelle et à l'IA |

Le streamer fusionne son laboratoire de recherche Eyeline avec la société de longue date d'effets visuels Scanline pour créer un guichet unique d'outils numériques afin de mieux aider les créatifs.

Lors du tournage de la série de science-fiction argentine Netflix « El Eternauta », les cinéastes cherchaient à utiliser des effets visuels pour créer l’effondrement d’un immeuble à Buenos Aires. Mais il y avait un problème majeur : le budget du projet avait déjà été engagé ailleurs et, plus urgent encore, le temps manquait pour le terminer.

Ils se sont donc tournés vers Eyeline Studios, l'unité de production et de recherche virtuelle du streamer, et Scanline, le studio d'effets visuels acquis en 2021, pour utiliser l'IA générative pour compléter la scène riche en effets.

« Nous les avons budgétisés et nous avons vu que si nous devions faire cette séquence en utilisant des effets visuels traditionnels, cela aurait coûté 10 fois plus », a déclaré Kevin Baillie, directeur du studio d'Eyeline, dans une interview exclusive avec Jolie Bobine. « Les créatifs avaient un besoin qui aurait été impossible, en termes de temps et de budget, car de toute façon, tout le budget avait déjà été engagé pour la série et ils n'avaient plus de temps. C'était 10 jours avant que le projet ne soit réalisé. »

En plus d'utiliser plus de 35 lieux de tournage réels à Buenos Aires et plus de 25 étapes de production virtuelles, « El Eternauta » a été le premier titre mondial de Netflix à utiliser l'IA générative, un fait que le co-PDG Ted Sarandos a partagé lors de l'appel aux résultats de la société en juillet, notant que la séquence a également été réalisée 10 fois plus rapidement. Ses commentaires, qui ont fait sensation à Hollywood, reflétaient la réalité selon laquelle les studios utilisaient l’IA plus rapidement que prévu.

Aujourd'hui, après 36 ans d'activité, Scanline – dont le travail a été vu dans tout, de « Godzilla x Kong : A New Empire » et « The Batman » à « Andor » et « Stranger Things » – fusionne avec la marque Eyeline alors que le streamer cherche à continuer à repousser les limites de ce qui est possible en matière d'effets visuels.

À l'avenir, Eyeline se concentrera sur trois divisions principales : Visual Effects, qui sera responsable du travail effectué par Scanline ; Studios, qui se concentre sur l'application d'outils tels que la production virtuelle, la capture volumétrique et l'IA générative ; and Labs, qui mène et publie des recherches dans des domaines tels que l'apprentissage automatique et la vision par ordinateur qui pourront ensuite être appliquées aux outils VFX actuels. Le changement de marque comprend un nouveau logo, ainsi qu'un prochain site Web.

« Nous voulons moderniser l'entreprise », a déclaré Jeff Shapiro, PDG d'Eyeline. « Eyeline est synonyme de tout ce travail de R&D vraiment innovant, nous voulions donc nous assurer d'utiliser ce nom à l'avenir. »

Cette décision vise à fournir un guichet unique aux équipes créatives et reflète la nécessité d’intégrer plus étroitement des outils tels que la capture volumétrique et l’IA générative dans le processus de production. Cela éliminera également la confusion pour les cinéastes quant à savoir s'ils doivent s'adresser à l'équipe Eyeline ou Scanline pour relever les défis et déterminer les meilleurs outils VFX à utiliser sur leurs séries et leurs films.

« L'innovation technologique se produit si rapidement, à la fois dans l'ensemble de l'industrie et en interne, qu'avec les deux marques distinctes, il était facile de se demander « est-ce que nous procédons à l'ancienne ou est-ce que nous procédons d'une nouvelle manière ? » », a déclaré Baillie. « En faisant en sorte que tout soit Eyeline, cela encourage vraiment les gens à regarder non pas qui fait quoi, mais ce que veut un cinéaste, de quoi a-t-il besoin et comment pouvons-nous utiliser le meilleur outil pour le travail et vraiment fonctionner comme une seule équipe. »

« Nous sommes en mesure de donner aux cinéastes un espace pour expérimenter, essayer de nouvelles choses, voir ce qui colle et vraiment contribuer à élever la stratégie de base de Netflix, qui consiste à créer un contenu long et de très haute qualité », a déclaré Shapiro.

À l’intérieur des studios Eyeline

Netflix a récemment utilisé la production virtuelle et la capture volumétrique – dans laquelle la performance d'un acteur est enregistrée (ou « capturée ») par des caméras virtuelles puis généralement rendue en CG – lors de la saison 2 de « mercredi » pour la création du professeur Orloff, dont la tête désincarnée, mais bien vivante, jouée par Christopher Lloyd repose dans un bocal.

Il a également utilisé la technologie Light Dome de Scanline, qui peut reproduire n'importe quelle condition d'éclairage du monde réel, sur « Happy Gilmore 2 » et le prochain thriller politique Netflix de Kathryn Bigelow « A House of Dynamite ».

Scanline a déjà collaboré avec des tiers tels qu'Autodesk et The Foundry sur son travail VFX. Bien que Netflix et l’équipe d’Eyeline n’aient pas précisé quels outils génératifs basés sur l’IA ont été utilisés sur « El Eternauta », Baillie a déclaré que la division ne construit aucune technologie personnalisée basée sur l’IA en interne et utilise des modèles de diffusion vidéo disponibles dans le commerce via des licences d’entreprise.

Netflix a refusé de divulguer avec quelles sociétés d'IA il s'associe, bien que Bloomberg ait précédemment rapporté que le streamer testait les outils de Runway en juillet. Un porte-parole de Runway a refusé de commenter.

« Il y en a trois grands dans le monde et nous avons testé la plupart d'entre eux. La sauce spéciale ne réside pas dans la manière dont vous faites bouger les vidéos, les images et les invites, mais dans la manière dont vous introduisez les ingrédients », a déclaré Baillie. « C'est comme une cuisine gastronomique. Nous utilisons tous les produits que vous pouvez acheter au supermarché. La mesure des ingrédients que nous mettons dans les modèles est vraiment un flux de travail affiné qui a été développé au cours des deux dernières années. « 

Shapiro a reconnu que l'ensemble d'outils génératifs est « très vaste et évolue extrêmement rapidement », et c'est là qu'intervient l'équipe de chercheurs et de scientifiques de la division Eyeline's Labs.

« Leur travail consiste à se renseigner sur tous les livres blancs qui existent dans le monde et à nous revenir avec de nouvelles approches développées par d'autres personnes. C'est ainsi que nous pouvons rester à l'avant-garde de la concurrence », a-t-il déclaré. « Dans certains cas, ils publieront en fait leurs propres recherches pour la communauté universitaire afin de voir comment ils peuvent améliorer la façon dont vous pouvez améliorer la couleur, le mouvement ou des choses que les outils commerciaux ne disposent pas encore. »

Certaines recherches d'Eyeline ont déjà été ajoutées à ses outils, comme FlashDepth, un outil d'estimation de la profondeur vidéo en temps réel utilisé pour créer des « cartes de profondeur » précises et haute résolution – une image en niveaux de gris qui représente la distance des objets dans une scène d'un point de vue – pour le streaming vidéo.

« Personne d'autre ne dispose d'une équipe de recherche aussi proche des équipes qui pilotent réellement la création du contenu », a ajouté Baillie.

Expansion mondiale de Scanline

Scanline a été fondée en 1989 à Munich, mais s'est rapidement développée dans le monde entier au cours des trois décennies suivantes, à Los Angeles, Vancouver, Montréal, Stuttgart, Londres et Séoul, travaillant sur 10 à 15 grands films de cinéma par an avant d'être intégrée à l'écosystème Netflix.

« Lorsque Netflix a acheté cette entreprise, je ne pense pas qu'elle était prête à faire face à la demande qui a été mise en place immédiatement », a déclaré Shapiro. « Ce n'était pas très grand. Ils étaient dispersés, mais beaucoup de travail a été mis sur l'entreprise et ils ont dû trouver comment jongler et prioriser tout cela. À l'époque, on se demandait beaucoup « comment concilier la demande avec nos capacités et notre offre ». Cela a donc été un énorme apprentissage pour moi à la tête de l'organisation. « 

Bien que les deux hommes aient refusé de divulguer combien d'argent a été investi dans le studio depuis l'acquisition, ils ont déclaré que le soutien de Netflix avait été « significatif ». En 2022, Scanline s'est développée à Mumbai et double sa présence en Inde avec un nouveau centre de production à Hyderabad qui a ouvert ses portes en mars.

En 2023, Sarandos a également déclaré que Scanline et Eyeline investiraient 100 millions de dollars dans ses installations et son équipe de plus de 130 artistes VFX en Corée au cours des six prochaines années, en plus de l'investissement de 2,5 milliards de dollars précédemment annoncé par le streamer dans la région.

« Il y a un ensemble très riche d'histoires à raconter, des redémarrages d'anime à l'action réelle en passant par de très gros projets de spectacles avec quelques défis techniques », a déclaré Shapiro. « Nous recrutons et sommes enthousiasmés par notre croissance en Corée et en Inde. »

Faire la suite

La majeure partie du travail actuel d'Eyeline consiste à améliorer et à remplacer les outils déjà présents dans le pipeline d'effets visuels traditionnel, ainsi qu'à aider à la pré-production dans des domaines tels que le développement de l'apparence et des personnages.

« Les anciens processus traditionnels pour faire cela prenaient beaucoup de temps, vous n'en obteniez que très peu d'itérations », a déclaré Shapiro. « Parfois, il y a trop de choix maintenant, parce que nous avons un choix infini. Notre équipe est donc spécialement conçue pour les aider à trouver une bonne idée et à la montrer à l'écran afin qu'ils puissent la ressentir et y réagir. »

Mais Eyeline s'efforce également de trouver des solutions aux problèmes non résolus de l'industrie.

« Tout ce que nous faisons en termes d'outils que nous créons ou d'innovations que nous promouvons répond à un réel besoin de narration d'un cinéaste », a ajouté Baillie. « Nous ne sommes pas une entreprise qui va montrer aux cinéastes des technologies et leur dire de « faire une histoire autour de cela ». C'est l'inverse.

Bien qu'Eyeline donne la priorité au travail sur les séries et les films Netflix, Shapiro a déclaré qu'il était toujours ouvert à travailler avec des tiers, à condition que le projet offre l'opportunité de déployer de nouvelles technologies ou d'élever sa main-d'œuvre et ses capacités.

« Cela reflète notre slogan dans le cadre de ce changement de marque : créer l'avenir. Il s'agit vraiment de trouver les cinéastes et les projets qui nous aideront à créer l'avenir d'une manière pertinente dans l'industrie et qui donnera à nos équipes et à notre public autant de satisfaction que possible », a déclaré Shapiro. « Cela parle également de notre nouveau logo. Il manque un petit morceau au milieu du E et cela est censé représenter l'espace qui est ouvert au cinéaste pour compléter l'image. C'est une partie très importante pour déterminer dans quels projets se plonger vraiment. « 

Malgré les craintes concernant l’IA à Hollywood, les deux hommes ont fait valoir que les outils et capacités actuellement disponibles n’en sont pas au stade de la production de contenu professionnel de longue durée à eux seuls – et ne remplaceront pas non plus de manière permanente la créativité humaine.

« Les acteurs, les directeurs de la photographie, les décorateurs sont essentiels à tout ce que nous faisons. Ce sont des métiers qui sont l'âme de tout », a déclaré Shapiro. « Alors que nous examinons les nouvelles technologies, nous veillons à les exploiter d'une manière aussi authentique qu'il y a 130 ans, lorsque les gens ont commencé à faire des films. Les domaines dans lesquels il faut chercher à changer sont la manière dont nous pouvons donner plus de latitude aux cinéastes et permettre aux créatifs d'être plus artistiques et moins mécaniques. « 

Interrogé sur Sora 2 d'OpenAI, Shapiro a répondu qu'il s'agissait « juste d'un autre outil de génération vidéo ». Il a ajouté qu'Eyeline « évalue en permanence ce qui est le meilleur de sa catégorie » pour les créateurs et qu'il existe « de nombreux outils et logiciels différents qui aident à atteindre le résultat souhaité ».

Baillie a ajouté que les artistes VFX utilisent déjà l'apprentissage automatique et la vision par ordinateur depuis des décennies et que l'IA générative n'est qu'un outil supplémentaire qui peut permettre aux cinéastes – en particulier sur les marchés régionaux aux petits budgets – de porter leur vision à l'écran d'une manière qui n'aurait pas été possible autrement.

« J'ai été très surpris de voir à quel point le récit selon lequel Hollywood est cuisiné avec l'IA et tout le reste a réellement pénétré les gens », a-t-il déclaré. « Ce que nous constatons à travers tout le travail que nous faisons, c'est que c'est très loin de la vérité. Qu'il s'agisse de capture de volume qui n'implique pas d'IA ou d'effets visuels traditionnels ou de choses génératives, ce sont des outils qui doivent être pilotés par de vrais artistes avec un vrai goût et une réelle capacité artistique derrière eux. Cela sera vrai aussi longtemps que je peux le voir. «