La première instance de GPU d’Amazon Web Services a fait ses débuts il y a 10 ans, avec la NVIDIA M2050. À cette époque, les applications basées sur CUDA étaient principalement axées sur l’accélération des simulations scientifiques, la montée en puissance de l’IA et de l’apprentissage en profondeur étant encore loin.
Depuis lors, AWS a ajouté à sa stabilité d’instances de GPU cloud, qui comprend les K80 (p2), K520 (g3), M60 (g4), V100 (p3 / p3dn) et T4 (g4).
Avec sa nouvelle instance P4d généralement disponible aujourd’hui, AWS ouvre la voie à une autre décennie audacieuse d’informatique accélérée alimentée par le dernier GPU NVIDIA A100 Tensor Core.
L’instance P4d offre la plate-forme GPU la plus performante et la plus rentable d’AWS pour la formation au machine learning et les applications informatiques hautes performances. Les instances réduisent le temps de formation des modèles d’apprentissage automatique jusqu’à 3x avec FP16 et jusqu’à 6x avec TF32 par rapport à la précision FP32 par défaut.
Ils fournissent également des performances d’inférence exceptionnelles. Le mois dernier, les GPU NVIDIA A100 ont balayé les benchmarks MLPerf Inference – offrant des performances jusqu’à 237 fois plus rapides que les processeurs.
Chaque instance P4d comprend huit GPU NVIDIA A100 et, avec AWS UltraClusters, les clients peuvent obtenir un accès à la demande et évolutif à plus de 4000 GPU à la fois à l’aide de l’adaptateur Elastic Fabric Adapter (EFA) d’AWS et d’un stockage évolutif et performant avec Amazon FSx. P4d offre un réseau à 400 Gbit / s et utilise les technologies NVIDIA telles que NVLink, NVSwitch, NCCL et GPUDirect RDMA pour accélérer davantage les charges de travail de formation en apprentissage profond. NVIDIA GPUDirect RDMA sur EFA garantit une mise en réseau à faible latence en transmettant les données du GPU au GPU entre les serveurs sans avoir à passer par le processeur et la mémoire système.
En outre, l’instance P4d est prise en charge dans de nombreux services AWS, notamment Amazon Elastic Container Services, Amazon Elastic Kubernetes Service, AWS ParallelCluster et Amazon SageMaker. P4d peut également tirer parti de tous les logiciels optimisés et conteneurisés disponibles auprès de NGC, y compris les applications HPC, les frameworks IA, les modèles pré-entraînés, les graphiques Helm et les logiciels d’inférence tels que TensorRT et Triton Inference Server.
Les instances P4d sont désormais disponibles dans l’est et l’ouest des États-Unis, et bientôt dans d’autres régions. Les instances peuvent être achetées à la demande, avec des plans d’épargne, avec des instances réservées ou en tant qu’instances ponctuelles.
La première décennie du cloud computing GPU a mis sur le marché plus de 100 exaflops de calcul IA. Avec l’arrivée de l’instance Amazon EC2 P4d alimentée par les GPU NVIDIA A100, la prochaine décennie du cloud computing GPU est bien parti.
NVIDIA et AWS permettent aux applications de continuer à repousser les limites de l’IA à travers un large éventail d’applications. Nous avons hâte de voir ce que les clients en feront.
Visitez AWS et lancez-vous dès aujourd’hui avec les instances P4d.
