Les LLM sont-ils sur le point de heurter un mur ? | Commentaire
Lancer plus de données, de calcul et d’énergie pour résoudre le problème pourrait suivre son cours. Et après?
Chaque nouvelle génération de grand modèle de langage (LLM) consomme une quantité impressionnante de ressources.
Meta, par exemple, a entraîné ses nouveaux modèles Llama 3 avec environ 10 fois plus de données et 100 fois plus de calculs que Llama 2. Au milieu d'une pénurie de puces, il a utilisé deux clusters de 24 000 GPU, chaque puce coûtant environ le prix d'une voiture de luxe. L'entreprise a utilisé tellement de données dans son travail d'IA qu'elle a envisagé d'acheter la maison d'édition Simon & Schuster pour en savoir plus.
Par la suite, même ses dirigeants se sont demandés à haute voix si le rythme était soutenable.
« On ne sait pas si nous devons continuer à évoluer ou si nous avons besoin de plus d'innovation en matière de post-formation », m'a dit Ahmad Al-Dahle, vice-président de GenAI chez Meta, dans une interview la semaine dernière.
