Comment Prime Video capitalise sur l'IA pour stimuler l'engagement | Exclusif
« Tout ce que nous faisons autour du contenu, de la découverte et de la personnalisation est basé sur l'IA et c'est le cœur de notre service », a déclaré Adam Gray, vice-président produit du streamer, à Jolie Bobine.
Alors qu'Amazon cherche à capitaliser sur l'évolution rapide de l'intelligence artificielle, le géant de la technologie a intégré cette technologie dans plusieurs fonctionnalités de Prime Video, conçues pour rendre la plateforme plus efficace, plus immersive et plus facile à naviguer pour ses 200 millions d'utilisateurs actifs mensuels dans le monde, notamment 115 millions aux États-Unis
Cela inclut des résumés d'épisodes ou même de saisons générés par l'IA en analysant les segments vidéo et les sous-titres. Il existe également une fonctionnalité contextuelle alimentée par l'IA pour Thursday Night Football qui fournit des informations sur les joueurs et les équipes lors des matchs de la NFL. Et puis, bien sûr, il y a les personnalisations, qui recommandent aux téléspectateurs ce qu'ils devraient regarder ensuite. Alors que ces personnalisations étaient auparavant alimentées par l’IA traditionnelle, l’IA générative a dynamisé cette initiative.
« Nous travaillons dans le domaine de l'IA depuis plus de 20 ans. Donc, tout ce que nous faisons autour du contenu, de la découverte et de la personnalisation est basé sur l'IA et c'est le cœur de notre service », a déclaré Adam Gray, vice-président des produits de Prime Video, à Jolie Bobine dans une interview exclusive. « Lorsque vous envisagez d'être la première destination de divertissement pour les clients, où ils regroupent tous leurs abonnements au même endroit, ce que vous proposez est en réalité un moyen de trouver facilement les meilleurs films, émissions de télévision et sports en direct pour vous dans tous les pays. que. »
Selon Gray, les améliorations axées sur l’IA stimulent l’engagement sur la plateforme. Par exemple, la nouvelle fonctionnalité X-Ray Recap de Prime Video est la fonctionnalité la plus utilisée à ce jour sur l'application du service sur Fire TV, a indiqué la société.
« Nous sommes très satisfaits de l'engagement dans toutes les fonctionnalités et nous nous concentrons sur la question de savoir s'il existe un problème pratique que nous pouvons résoudre », a ajouté Gray. « Ainsi, à mesure que nous lancerons des fonctionnalités, nous examinerons si elles sont utilisées de cette manière et comment pouvons-nous les développer. »
Sommaire
Personnalisation, renforcement des dialogues et descriptions audio
L'une des principales mises à niveau de l'IA générative de Prime Video réside dans la personnalisation, la technologie étant utilisée pour faire des recommandations de contenu plus pertinentes en aidant les utilisateurs à trouver des films et des émissions avec des points d'intrigue et des arcs de personnages similaires à ceux de leurs choix préférés. Il regroupe également des titres adaptés aux intérêts d'un utilisateur dans des collections « Made for You ».
« L'une des choses fondamentales que nous essayons toujours de résoudre lorsqu'il s'agit de recommandations est d'essayer de comprendre les habitudes et les besoins des clients, ce qui est très, très compliqué. Nous avons un historique de streaming que nous obtenons des clients et nous en tirons leurs goûts et leurs habitudes », a expliqué Girish Bajaj, vice-président de la technologie de Prime Video.
« Il y a aussi beaucoup d'intention créative dans la création de contenu et de nombreuses dimensions différentes. La compréhension du contenu lui-même est donc un autre domaine d’expertise que nous devons développer », a-t-il poursuivi. « Lorsque vous comprenez très bien vos clients et que vous comprenez très bien le contenu, vous pouvez alors établir des relations et commencer à recommander un contenu qui s'adresse réellement à votre client. »
La fonctionnalité est optimisée par Amazon BedRock, un service entièrement géré d'Amazon Web Services (AWS) pour créer et faire évoluer des applications d'IA génératives avec des modèles fondamentaux.
« Nous utilisons les modèles traditionnels d'apprentissage automatique de l'IA pour faire des recommandations depuis de très nombreuses années, et l'IA générative nous a ouvert une nouvelle porte pour la rendre encore plus percutante et plus significative pour les clients », a ajouté Bajaj. « Cela nous a aidé à mieux comprendre la nature sémantique et les attributs du contenu lui-même. »
De plus, Prime Video dispose d'une fonction d'amélioration des dialogues, qui utilise l'IA pour analyser l'audio d'un film ou d'une série, identifier les points où les dialogues peuvent être difficiles à entendre, isoler les modèles de parole et améliorer l'audio pour aider les téléspectateurs à saisir chaque mot dans des langues telles que l'anglais, Espagnol, français, italien, allemand, portugais et hindi.
Il propose également des descriptions audio, un outil de narration basé sur l'IA qui décrit les éléments visuels clés d'une vidéo afin de rendre le contenu plus accessible aux utilisateurs aveugles et malvoyants. La technologie identifie les lacunes dans le dialogue pour aider les équipes de production de Prime Video à créer plus rapidement des scripts d'audiodescription.
Récapitulatifs des radiographies
Les modèles de Bedrock, ainsi que les modèles d'IA formés sur Amazon SageMaker, sont également utilisés dans les X-Ray Recaps récemment lancés par Prime Video, qui analysent des segments vidéo, combinés avec des sous-titres ou des dialogues, pour générer des descriptions détaillées d'événements, de lieux, d'heures, et des conversations pour des épisodes spécifiques ou même des saisons entières sur tous les titres.
« Si vous deviez faire cela en utilisant des approches traditionnelles, le coût de développement serait exponentiellement élevé. L’approche générative de l’IA a considérablement réduit le coût de développement et de déploiement à grande échelle », a expliqué Bajaj. « Amazon Bedrock nous a vraiment donné un moyen d'accélérer ce développement et de le diffuser auprès des clients. Et c’est quelque chose que nous savons que les clients veulent, ils l’utilisent.
« À ce jour, lorsque les gens font ce type de récapitulation, c'est uniquement pour le contenu le plus premium, car cela coûte très cher de le faire manuellement », a noté Gray. « Donc, l'idée de faire cela sur chaque titre d'un catalogue de notre envergure est une solution qui ne se produit qu'avec la puissance de l'IA. »
Des garde-fous sont également appliqués pour garantir la génération de résumés concis et sans spoiler, qui sont supervisés par l'équipe de production de Prime Video.
« Au fur et à mesure que nous développons ces fonctionnalités au départ, il y a beaucoup de travail manuel pour garantir que la qualité est là à mesure que nous l'améliorons et à mesure que nous nous améliorons au niveau des garde-fous autour des invites que nous utilisons, nous en avons de moins en moins besoin au fil du temps », a déclaré Bajaj. . « Vous continuez à faire appel à des personnes manuelles impliquées dans les audits afin de garantir le maintien de la qualité, mais l'augmentation est plus élevée au début, puis l'échelle entre en jeu à mesure que vous vous améliorez. »
Principales informations sur le « football du jeudi soir »
L'émission « Thursday Night Football » de Prime Video intègre également l'IA dans sa présentation des sports en direct, développée en collaboration avec des producteurs de « TNF », des ingénieurs, d'anciens joueurs de la NFL et l'équipe d'IA et de vision par ordinateur de Prime Video Sports. Prime Insights met en évidence les acteurs clés, éclaire les aspects cachés du jeu et prédit les moments cruciaux avant qu'ils ne se produisent.
« Si vous regardez la NFL, il y a plus de 25 ans, ils ont introduit la ligne jaune pour les premiers essais, ce qui l'a vraiment rendu beaucoup plus accessible. Et il y a eu très peu d'innovations dans le jeu depuis, jusqu'à ce que nous examinions comment nous pourrions utiliser l'IA pour changer cela. Nous réfléchissons donc à la manière dont nous pouvons rendre le jeu plus accessible aux gens et plus facile à comprendre », a expliqué Gray. « L'idée de base est que quelqu'un regarde, nous voulons qu'il puisse vivre une expérience beaucoup plus immersive, car il y a tellement de détails riches sur ce qui se passe dans le jeu. »
Les alertes défensives suivent les joueurs défensifs avant le snap et identifient en temps réel les « joueurs d’intérêt » susceptibles de précipiter le quart-arrière.
« Il examine des milliers de points de données, le positionnement des joueurs et leurs mouvements pour mettre en évidence ceux du jeu qui sont susceptibles de faire pression sur le quart-arrière. Nous avons mis un orbe rouge en dessous d'eux », a ajouté Gray. « C'est un excellent exemple de commencer à être capable de regarder le match comme le ferait un quart-arrière ou un coordinateur offensif. »
Prime Video déploiera également une extension appelée Pressure Alerts dans les semaines à venir, qui suit les défenseurs attaquant le champ arrière offensif pendant l'action en direct et met en évidence ceux qui sont en mesure de perturber le jeu, ainsi que l'identification de couverture, qui utilise un modèle d'IA combiné. avec des données de suivi des joueurs en direct pour identifier le schéma défensif, tel que l'homme à l'homme ou la zone, pour les fans en temps réel avant le snap.
Bien que les deux hommes aient refusé de révéler quelles autres fonctionnalités génératives basées sur l’IA pourraient être à venir, ils ont souligné que le service de streaming ne fait que commencer.
« La seule façon pour nous de faire les choses à grande échelle, en matière de découverte de contenu et d'expérience plus immersive lorsque les clients regardent du contenu, sera via l'IA. Vous allez donc voir cela s'accélérer », a déclaré Gray. « Les équipes apprennent vraiment comment aller plus vite, innover et l’utiliser. Il s’agit donc vraiment d’un changement dans toute la structure de la façon dont vous construisez.
« Littéralement, chaque équipe de Prime Video s'appuie sur l'IA et l'IA générative, chaque équipe », a ajouté Bajaj. « Il y a donc beaucoup plus à venir. »
