L’inférence, le travail d’utilisation de l’IA dans les applications, se déplace vers les utilisations grand public, et il fonctionne plus vite que jamais.
Les GPU NVIDIA ont remporté tous les tests d’inférence de l’IA dans les centres de données et les systèmes informatiques de périphérie dans le dernier cycle des seuls benchmarks du secteur basés sur un consortium et revus par des pairs.
Les GPU NVIDIA A100 Tensor Core ont étendu le leadership en matière de performances que nous avons démontré lors des premiers tests d’inférence IA organisés l’année dernière par MLPerf, un consortium d’analyse comparative de l’industrie formé en mai 2018.
L’A100, introduit en mai, a surpassé les processeurs jusqu’à 237 fois en inférence de centre de données, selon les benchmarks MLPerf Inference 0.7. Les GPU NVIDIA T4 à petit facteur de forme et écoénergétiques ont battu les CPU jusqu’à 28 fois dans les mêmes tests.
Pour mettre cela en perspective, un seul système NVIDIA DGX A100 avec huit GPU A100 offre désormais les mêmes performances que près de 1000 serveurs CPU à double socket sur certaines applications d’IA.
Cette série de benchmarks a également vu une participation accrue, avec 23 organisations soumettant – contre 12 au dernier tour – et avec des partenaires NVIDIA utilisant la plate-forme NVIDIA AI pour alimenter plus de 85% du total des soumissions.
Les GPU A100 et Jetson AGX Xavier poussent les performances à l’extrême
Alors que l’A100 porte les performances d’inférence de l’IA à de nouveaux sommets, les benchmarks montrent que T4 reste une plate-forme d’inférence solide pour les entreprises grand public, les serveurs de périphérie et les instances cloud rentables. En outre, le NVIDIA Jetson AGX Xavier s’appuie sur sa position de leader dans les périphériques de périphérie SoC à alimentation limitée en prenant en charge tous les nouveaux cas d’utilisation.
Les résultats indiquent également notre écosystème d’IA dynamique et en pleine croissance, qui a soumis 1029 résultats à l’aide de solutions NVIDIA, représentant 85% du total des soumissions dans les catégories des centres de données et des périphériques. Les soumissions ont démontré de solides performances sur les systèmes de partenaires tels que Altos, Atos, Cisco, Dell EMC, Dividiti, Fujitsu, Gigabyte, Inspur, Lenovo, Nettrix et QCT.
L’expansion des cas d’utilisation amène l’IA à la vie quotidienne
Soutenus par un large soutien de l’industrie et du milieu universitaire, les benchmarks MLPerf continuent d’évoluer pour représenter des cas d’utilisation de l’industrie. Les organisations qui prennent en charge MLPerf comprennent Arm, Baidu, Facebook, Google, Harvard, Intel, Lenovo, Microsoft, Stanford, l’Université de Toronto et NVIDIA.
Les derniers tests de performance ont introduit quatre nouveaux tests, soulignant le paysage en expansion de l’IA. La suite marque désormais des performances dans le traitement du langage naturel, l’imagerie médicale, les systèmes de recommandation et la reconnaissance vocale, ainsi que des cas d’utilisation de l’IA en vision par ordinateur.
Vous n’avez pas besoin d’aller plus loin qu’un moteur de recherche pour voir l’impact du traitement du langage naturel sur la vie quotidienne.
«Les récentes avancées de l’IA dans la compréhension du langage naturel rendent un nombre croissant de services d’IA comme Bing plus naturels, offrant des résultats, des réponses et des recommandations précis et utiles en moins d’une seconde», a déclaré Rangan Majumder, vice-président de la recherche et intelligence artificielle chez Microsoft.
«Les benchmarks MLPerf standard de l’industrie fournissent des données de performance pertinentes sur les réseaux d’IA largement utilisés et aident à prendre des décisions d’achat éclairées sur les plates-formes d’IA», a-t-il déclaré.
L’IA aide à sauver des vies dans la pandémie
L’impact de l’IA sur l’imagerie médicale est encore plus dramatique. Par exemple, la start-up Caption Health utilise l’intelligence artificielle pour faciliter la prise d’échocardiogrammes, une capacité qui a aidé à sauver des vies dans les hôpitaux américains au début de la pandémie COVID-19.
C’est pourquoi les leaders d’opinion de l’IA de la santé voient des modèles tels que 3D U-Net, utilisés dans les derniers benchmarks MLPerf, comme des catalyseurs clés.
«Nous avons travaillé en étroite collaboration avec NVIDIA pour apporter des innovations telles que 3D U-Net sur le marché de la santé», a déclaré Klaus Maier-Hein, responsable de l’informatique médicale au DKFZ, le centre allemand de recherche sur le cancer.
«La vision par ordinateur et l’imagerie sont au cœur de la recherche sur l’IA, stimulant la découverte scientifique et représentant des composantes essentielles des soins médicaux. Et les benchmarks MLPerf standard de l’industrie fournissent des données de performance pertinentes qui aident les organisations informatiques et les développeurs à accélérer leurs projets et applications spécifiques », a-t-il ajouté.
Sur le plan commercial, les cas d’utilisation de l’IA tels que les systèmes de recommandation, qui font également partie des derniers tests MLPerf, ont déjà un impact considérable. Alibaba a utilisé des systèmes de recommandation en novembre dernier pour réaliser 38 milliards de dollars de ventes en ligne le jour du célibataire, sa plus grande journée de shopping de l’année.
L’adoption de NVIDIA AI Inference passe le point de basculement
L’inférence de l’IA a franchi une étape importante cette année.
Les GPU NVIDIA ont fourni un total de plus de 100 exaflops de performances d’inférence IA dans le cloud public au cours des 12 derniers mois, dépassant pour la première fois l’inférence sur les processeurs cloud. La capacité totale de calcul d’inférence d’IA dans le cloud sur les GPU NVIDIA a été multipliée par dix environ tous les deux ans.
Avec les hautes performances, la convivialité et la disponibilité de l’informatique GPU NVIDIA, un nombre croissant d’entreprises dans des secteurs tels que l’automobile, le cloud, la robotique, la santé, la vente au détail, les services financiers et la fabrication s’appuient désormais sur les GPU NVIDIA pour l’inférence de l’IA. Ils comprennent American Express, BMW, Capital One, Dominos, Ford, GE Healthcare, Kroger, Microsoft, Samsung et Toyota.
Pourquoi l’inférence de l’IA est difficile
Les cas d’utilisation de l’IA se développent clairement, mais l’inférence de l’IA est difficile pour de nombreuses raisons.
De nouveaux types de réseaux neuronaux comme les réseaux antagonistes génératifs sont constamment créés pour de nouveaux cas d’utilisation et les modèles se développent de manière exponentielle. Les meilleurs modèles de langage pour l’IA englobent désormais des milliards de paramètres, et la recherche dans le domaine est encore jeune.
Ces modèles doivent fonctionner dans le cloud, dans les centres de données d’entreprise et à la périphérie du réseau. Cela signifie que les systèmes qui les exécutent doivent être hautement programmables et s’exécuter avec excellence dans de nombreuses dimensions.
Le fondateur et PDG de NVIDIA, Jensen Huang, a résumé les complexités en un seul mot: PLASTER. L’inférence de l’IA moderne nécessite l’excellence en programmabilité, latence, précision, taille du modèle, débit, efficacité énergétique et taux d’apprentissage.
Pour favoriser l’excellence dans toutes les dimensions, nous nous concentrons sur l’évolution constante de notre plate-forme d’IA de bout en bout pour gérer les tâches d’inférence exigeantes.
L’IA nécessite des performances et une convivialité
Un accélérateur comme l’A100, avec ses Tensor Cores de troisième génération et la flexibilité de son architecture GPU multi-instance, n’est que le début. Fournir des résultats de leadership nécessite une pile logicielle complète.
Le logiciel IA de NVIDIA commence par une variété de modèles pré-entraînés prêts à exécuter l’inférence IA. Notre boîte à outils d’apprentissage par transfert permet aux utilisateurs d’optimiser ces modèles pour leurs cas d’utilisation et leurs ensembles de données particuliers.
NVIDIA TensorRT optimise les modèles entraînés pour l’inférence. Avec 2 000 optimisations, il a été téléchargé 1,3 million de fois par 16 000 organisations.
Le serveur d’inférence NVIDIA Triton fournit un environnement optimisé pour exécuter ces modèles d’IA prenant en charge plusieurs GPU et frameworks. Les applications envoient simplement la requête et les contraintes – comme le temps de réponse dont elles ont besoin ou le débit pour s’adapter à des milliers d’utilisateurs – et Triton s’occupe du reste.
Ces éléments fonctionnent au-dessus de CUDA-X AI, un ensemble mature de bibliothèques de logiciels basé sur notre plate-forme informatique accélérée populaire.
Premiers pas avec les frameworks d’applications
Enfin, nos cadres d’application accélèrent l’adoption de l’IA d’entreprise dans différents secteurs et cas d’utilisation.
Nos frameworks incluent NVIDIA Merlin pour les systèmes de recommandation, NVIDIA Jarvis pour l’IA conversationnelle, NVIDIA Maxine pour la visioconférence, NVIDIA Clara pour la santé et bien d’autres disponibles aujourd’hui.
Ces frameworks, ainsi que nos optimisations pour les derniers benchmarks MLPerf, sont disponibles dans NGC, notre hub pour les logiciels accélérés par GPU qui s’exécute sur tous les systèmes OEM et services cloud certifiés NVIDIA.
De cette façon, le travail acharné que nous avons accompli profite à toute la communauté.
