gpu

J'ai fait tourner un modèle de 284 milliards de paramètres sur deux boîtiers de bureau, relancé cinq fois. Benchmarks à l'appui, avec un vrai point faible : plus de 15 minutes de cold start.

Comment on a remplacé l'API OpenAI par une gateway locale à l'UPPA : un GPU partagé, des modèles chargés à la demande, une file VRAM, une gateway étudiante et un mode cluster, sans monopoliser l'infrastructure.

On découvre la deuxième vie d'un modèle IA, l'inférence, et les enjeux qui y sont liés.