Le géant des puces graphiques Nvidia a épongé le sol avec ses concurrents dans une série de tests de référence publiée mercredi après-midi, démontrant de meilleures performances sur une multitude de tâches d’intelligence artificielle.
Le benchmark, appelé MLPerf, annoncé par l’organisation MLPerf, un consortium industriel qui administre les tests, a montré que Nvidia obtenait une meilleure vitesse sur une variété de tâches utilisant des réseaux de neurones, de la catégorisation des images à la recommandation des produits qu’une personne pourrait aimer.
Les prédictions font partie de l’IA où un réseau neuronal entraîné produit une sortie sur des données réelles, par opposition à la phase d’apprentissage lorsque le système de réseau neuronal est affiné pour la première fois. Les résultats de référence sur les tâches de formation ont été annoncés par MLPerf en juillet.
Les résultats de Nvidia dans tous les domaines ont compromis les performances des processeurs Xeon d’Intel et des matrices de portes programmables sur site de Xilinx. La plupart des scores sur les résultats des tests concernent la puce T4 de Nvidia qui est sur le marché depuis un certain temps, mais des résultats encore plus impressionnants ont été rapportés pour ses puces A100 dévoilées en mai.
L’organisation MLPerf ne couronne pas de vainqueur et ne fait aucune déclaration sur la force relative. En tant qu’organisme industriel, il reste neutre et ne fait que rapporter les résultats des tests.
L’A100 de Nvidia, qui a pris de nombreuses premières places dans les benchmarks MLPerf, est la dernière version du processeur phare de Nvidia. Il a été introduit en mai.
Nvidia
Mais Nvidia a publié une déclaration annonçant sa victoire, déclarant: « NVIDIA a remporté tous les tests dans les six domaines d’application pour les systèmes de centre de données et de pointe informatique dans la deuxième version de MLPerf Inference. » Nvidia a également publié un article de blog dans lequel il a fourni des graphiques pratiques pour montrer sa supériorité.
Les résultats complets peuvent être consultés dans une feuille de calcul fournie par MLPerf. La façon dont la compétition est organisée, divers fournisseurs soumettent des résultats sur un test standard des tâches d’apprentissage automatique, en utilisant des systèmes que ces fournisseurs ont mis en place. Les fournisseurs qui ont participé allaient de très grandes sociétés informatiques traditionnelles, telles que Dell et Fujitsu, à Dividiti, une société de recherche technologique basée au Royaume-Uni qui effectue l’évaluation du matériel pour l’IA en tant que service de conseil.
Les résultats incluent des métriques telles que le débit et la latence pour une tâche donnée. Par exemple, lors de la mesure de la performance de Nvidia sur la tâche ImageNet classique, impliquant la catégorisation des photos, MLPerf enregistre le nombre de requêtes par seconde que le système a pu traiter. Plus de requêtes par seconde, c’est mieux. Les systèmes informatiques contiennent plusieurs puces, et donc le score est généralement divisé par le nombre de puces pour obtenir un score par puce.
Le débit le plus élevé enregistré pour ImageNet, en utilisant le réseau neuronal ResNet, par exemple, concernait un système Nvidia A100 utilisant 8 puces fonctionnant en conjonction avec un processeur AMD Epyc. Ce système a été soumis par Inspur, un fabricant chinois de serveurs de boîtes blanches. Les puces Nvidia ont atteint un débit total de 262 305 requêtes par seconde. En divisant par huit puces, cela donne un score maximal de 32 788 requêtes par puce et par seconde.
MLPerf a publié une feuille de calcul montrant les scores par débit et latence sur de nombreuses tâches d’IA pour chaque système concurrent. Cet extrait montre certains des systèmes informatiques soumis avec des processeurs Intel ou Nvidia
MLPerf
En revanche, les systèmes utilisant deux, quatre et huit Intel Xeons ont fourni des résultats bien inférieurs, le meilleur résultat étant de 1 062 images par seconde.
Le rapport, qui est publié chaque année, contient un certain nombre de premières cette année. C’est la première année que le groupe MLPerf sépare les tests des serveurs de centre de données des tests réalisés sur des équipements dits de périphérie. L’équipement de périphérie est une infrastructure différente des serveurs de centre de données traditionnels. Cela inclut les véhicules autonomes et les appareils informatiques de pointe. Par exemple, certains fournisseurs ont soumis des résultats de test en utilisant le système informatique Xavier de Nvidia, qui est généralement considéré comme une technologie de véhicule autonome.
C’était également la première année que le groupe avait des résultats spécifiques rapportés pour l’informatique mobile. Les mesures ont été enregistrées sur les tâches de trois principaux processeurs de smartphone dotés de circuits d’intelligence artificielle intégrés, notamment la puce Dimensity de MediaTek, le Snapdragon 865 de Qualcomm et l’Exynos 990 de Samsung Electronics. Le processeur de la série A d’Apple n’a pas participé.
Il y avait également une série de résultats de tests pour les ordinateurs portables exécutant des processeurs Intel Core. Bien que les chiffres d’Intel n’aient peut-être pas résisté à Nvidia, la société a réussi à faire représenter son système logiciel, OpenVino, dans la plupart des tâches de référence. C’est une étape importante pour les ambitions logicielles d’Intel.
La série de tests de cette année est beaucoup plus large que les années précédentes, a déclaré David Kanter, directeur de MLPerf, dans une interview avec ZDNet.
«Nous avons ajouté quatre nouvelles références, et elles sont très axées sur le client», a déclaré Kanter. Pour contourner le risque que les candidats écrivent le test, a déclaré Kanter, MLPerf a consulté des praticiens de l’industrie de l’IA en apprentissage automatique sur les meilleurs tests à construire.
«Nous nous spécialisons également un peu, nous avons la division séparée de la périphérie et du centre de données», a-t-il observé. Les rapports dédiés pour les téléphones mobiles et les ordinateurs portables sont «une très grande chose pour toute la communauté, car il n’y a pas du tout de benchmarks ouverts, communautaires et transparents pour le ML dans les ordinateurs portables, les smartphones ou les tablettes».
« Nous pensons que c’est une très grande opportunité, d’aider à faire la lumière sur ce qui se passe là-bas. »
MLPerf procède sur plusieurs fronts pour améliorer ses benchmarks et étendre leur pertinence. Par exemple, il travaille sur ses propres ensembles de données pour compléter ce qui est fait avec des ensembles de données existants tels qu’ImageNet.
« Construire des ensembles de données est, l’analogie que nous aimons utiliser, c’est que la base de la révolution industrielle est comme le charbon et l’acier et la production de masse, et la capacité de bien mesurer les choses, et nous voyons des analogies directes là-bas », a déclaré Kanter .
«Ce qui va faire passer l’apprentissage automatique d’une magie très noire, boutique, chose raréfiée à une chose ordinaire, ce sera en partie de bonnes métriques, de bons ensembles de données», a-t-il déclaré. « Les ensembles de données sont les ingrédients bruts. »
De plus, le groupe développe une application mobile pour Android et iOS qui permettra à un individu de comparer les performances IA de son smartphone. Ce logiciel devrait apparaître en premier sur Android, dans environ un mois ou deux, a-t-il déclaré, suivi de la version iOS peu de temps après.
«J’adorerais l’avoir entre les mains de tout le monde et leur demander de publier leurs résultats en ligne», a déclaré Kanter de l’application pour téléphone mobile.
