Déployer Qwen3.8-2.4T-A95B sur Amazon SageMaker HyperPod avec vLLM

— Résumé

Ce contenu présente un guide de déploiement du modèle Qwen3.8-2.4T-A95B, un modèle open-weight de 2,4 billions de paramètres, sur Amazon SageMaker HyperPod en utilisant vLLM. Le tutoriel détaille les étapes techniques nécessaires, notamment le provisionnement du cluster, la quantification NVFP4, ainsi que la mise en place d'un endpoint compatible avec l'API OpenAI. Cette configuration intègre des fonctionnalités de raisonnement natif, d'appel d'outils (tool calling) et de décodage spéculatif MTP natif. L'article s'adresse aux équipes techniques souhaitant industrialiser l'exploitation de modèles de grande taille en environnement cloud AWS, en détaillant les aspects d'infrastructure et d'optimisation des performances liés à ce type de déploiement.