Les contenus liés au tag Volta

Nvidia profite de sa GPU Technology Conference pour dévoiler quelques détails sur le GV100, le premier GPU de la génération Volta qui sera dédié au monde du calcul et en particulier de l'intelligence artificielle.

Comme c'est à peu près le cas chaque année, le CEO de Nvidia Jen Hsun Huang vient de profiter de la GTC pour dévoiler les grandes lignes du premier GPU de sa future génération Volta. Ce sera un monstre clairement orienté vers l'intelligence artificielle, un débouché qui monte en puissance pour les GPU Nvidia.

Le GV100 est le successeur direct du GP100 et reprend un format similaire : il s'agit d'une puce énorme placée sur un interposer avec 4 modules HBM2. Grossièrement c'est la même chose en mieux : plus gros et plus évolué.

Plus gros tout d'abord avec un GV100 qui profite de la gravure en 12 nm FFN de TSMC (personnalisé pour Nvidia) pour passer à 21.1 milliards de transistors, plus de 30% de plus que les 15.3 milliards du GP100. Malgré le passage au 12 nm, la densité ne progresse presque pas et le GV100 est énorme avec 815 mm² contre 610 mm² pour le GP100. Le 12 nm permet ici avant tout de pouvoir monter en puissance à consommation similaire.

Tout comme le GP100, le GV100 utilise des "demi SM" par rapport aux GPU grand public. Leur nombre passe de 60 à 84, ce qui représente 5376 unités de calcul. Ils restent répartis dans 6 blocs principaux, les GPC, ce qui laisse penser que Nvidia a tout misé sur un gain de puissance de calcul, sans trop toucher au débit de triangles ou de pixels qui étaient déjà à un niveau très élevé sur GP100.

Comme sur le GP100, ces SM sont capables de traiter différents niveau de précision : FP16 (x2), FP32 et FP64 (/2). Par ailleurs, Nvidia a ajouté quelques instructions spécifiques au deep learning et y fait référence en tant que tensor cores. Ils permettent aux algorithmes qui y feront appel de doubler la mise par rapport aux instructions 8-bits (produit scalaire avec accumulation) des GPU Pascal (sauf GP100) et du futur Vega d'AMD. A voir évidemment dans quelle mesure les différents algorithmes de deep learning pourront profiter de ces nouvelles instructions.

Nvidia en a profité pour améliorer le sous-système mémoire qui sera plus flexible pour demander moins d'efforts d'optimisation de la part des développeurs. Le cache L2 passe de 4 à 6 Mo et de la HBM2 Samsung plus rapide est exploitée mais qui restera au départ limitée à 4 Go par module soit 16 Go au total. Par ailleurs, le GV100 profite de 6 liens NV-Link de seconde génération (25 Go/s dans chaque direction) pour offrir une interface qui peut monter à 300 Go/s.

Le premier accélérateur qui profitera du GV100 est comme nous pouvions nous y attendre le Tesla GV100 qui sera initialement proposé dans un format de type mezzanine. Un tel module sera bien entendu gourmand mais Nvidia parle d'une enveloppe thermique maximale qui reste à 300W. Par ailleurs, deux modes énergétique seront proposé : Maximum Performance et Maximum Efficiency. Le premier autorise le GV100 à profiter de toute son enveloppe de 300W alors que le second limite probablement la tension maximale pour maintenir le GPU au meilleur rendement possible, ce qui a évidemment du sens pour de très gros serveurs.

Sur le Tesla GV100, le GPU sera amputé de quelques unités de calcul, pour faciliter la production seuls 80 des 84 SM seront actifs. Voici ce que cela donne :

Le Tesla GV100 augmente la puissance brute de 40% par rapport au Tesla GP100, mais ses différentes optimisations feraient progresser les performances en pratique de +/- 60% dans le cadre du deep learning selon Nvidia. La bande passante mémoire progresse un peu moins avec "seulement" +25%, mais le cache L2 plus important et diverses améliorations compensent quelque peu cela.

Le GV100 devrait devancer assez facilement le Vega 10 d'AMD, mais ce dernier devrait être commercialisé en version Radeon Instinct à un tarif nettement moindre que le Tesla GV100 et en principe plus tôt. Nvidia parle de son côté du troisième trimestre et de 150.000$ pour les premiers serveurs DGX-1 équipés en GV100 et de la fin de l'année pour les accélérateurs au format PCI Express. Nvidia proposera évidemment d'ici-là des versions mises à jour de ses logiciels, compilateurs et autres librairies dédiées au deep learning.

SK Hynix est le premier à annoncer sa GDDR6, alors même que le standard n'a pas encore été annoncé par le JEDEC. Gravée en 2x nm (sans plus de précision) et d'une capacité de 1 Go par puce, elle offre un débit de 16 Gbps. Interfacée en 384-bit, elle offre ainsi un débit de 768 Go/s soit 45% de mieux que la GDDR5X qui plafonne à l'heure actuelle à 11 Gbps.

SK Hynix précise qu'il a collaboré avec un fabricant de GPU sur cette puce qui sera produite en volume pour un lancement de GPU prévu pour début 2018. S'agit-il d'une déclinaison de Nvidia Volta avec un bus 384-bit habituel ces derniers temps chez Nvidia ou d'une d'AMD Navi, Hynix ayant déjà collaboré avec AMD par le passé pour la mise au point de la HBM ? L'avenir nous le dira !

Depuis un peu plus de deux ans, Nvidia s'était abstenu de présenter une roadmap pour ses SoC. Il faut dire que ses plans à ce niveau ont changé à plusieurs reprises, notamment avec l'abandon du marché du smartphone, trop concurrentiel, trop coûteux au niveau de la certification pour les différents réseaux et dans lequel il était difficile de réellement se démarquer en respectant une enveloppe thermique très stricte.

Progressivement, Nvidia a repositionné ses SoC Tegra sur d'autres marchés pour lesquels son expertise peut plus facilement apporter une plus-value. C'est le cas pour la conduite autonome ou pour tout ce qui concerne l'AI et plus précisément l'inférence, soit l'exploitation d'un réseau de neurones artificiels (deep learning). Pour ce type d'utilisation d'un SoC, il est aujourd'hui crucial d'apporter un maximum de performances dans une enveloppe thermique raisonnable mais pas aussi stricte que dans le monde mobile. Par ailleurs, ses gros GPU se sont retrouvés, un peu par hasard au départ, au coeur de l'évolution du deep learning. Une expérience qui a permis à Nvidia de construire un écosystème logiciel efficace et d'apporter de petites touches à ses architectures CPU et GPU qui peuvent avoir un impact crucial sur les performances. Alors que la concurrence s'annonce extrêmement rude pour le deep learning voué à se répandre dans de nombreux secteurs, que ce soit au niveau de l'entraînement des réseaux que de l'inférence, Nvidia conserve donc une bonne carte à jouer à condition de soutenir une cadence élevée dans ses développements.

Il y a tout juste un mois, Nvidia dévoilait ainsi quelques détails sur son SoC Parker fabriqué en 16nm. Celui-ci va succéder d'ici quelques temps aux SoC Logan (Tegra K1) et Erista (Tegra X1) avec une claire orientation pour le marché automobile. Il est pour rappel équipé d'une partie CPU composée de 2 coeurs maison Denver 2 et de 4 coeurs Cortex-A57 associés à un GPU Pascal de 256 unités de calcul (2 SM), le tout étant interfacé en 128-bit LPDDR4.

Pour le marché automobile, il supporte notamment des instructions spécifiques au deep learning (pour booster certaines opérations en INT8 / FP16), la mémoire ECC, la virtualisation hardware, 12 caméras et une connectique adaptée. La première utilisation de Parker se fera dans la plateforme Drive PX 2 dérivée en deux versions. L'une se contente d'un seul SoC Parker et est dédiée aux aides à la conduite simples, l'autre associe 2 SoC Parker et 2 GPU GP106 pour une conduite semi-autonome alors que Nvidia parle d'associer plusieurs de ces plateformes pour une conduite totalement autonome. De quoi démontrer au passage le besoin de plateformes plus performantes encore.

C'est là qu'intervient le successeur de Parker dont le nom de code est Xavier, en référence au super-héros. Dévoilé à l'occasion de la première édition de la GTC Europe qui se tient actuellement à Amsterdam, Xavier sera basé sur 8 coeurs ARM custom (Denver 3 ?) et un GPU Volta de 512 unités de calcul avec un moteur vidéo capable de travailler en 8K. Toujours fabriqué en 16nm, il embarquera pas moins de 7 milliards de transistors, ce qui est énorme pour un SoC. Nvidia vise une puissance de calcul de pas moins de 20 téraops en deep learning pour une enveloppe thermique de 20W.

De quoi potentiellement remplacer une plateforme Drive PX 2 complète par un simple SoC (ce que Nvidia illustre par la version simple de Drive PX 2 pour l'aide à la conduite, il n'y a actuellement aucune vraie photo de Xavier ou de la plateforme qui l'accueille). Reste bien entendu qu'il y a une astuce et que cette valeur de 20 téraops est un maximum obtenu sur des instructions spécifiques. Avec 512 unités de calcul cadencées par exemple à 2 GHz, Xavier affichera une puissance de +/- 2 téraflops en FP32 (contre 8 téraflops pour Drive PX 2). Se contenter des instructions INT8 de Pascal ne permettrait de monter qu'à 8 téraops en deep learning (contre 24 téraops pour Drive PX 2).

En annonçant 20 téraops, Nvidia dévoile donc que l'architecture GPU Volta apportera de nouvelles évolutions qui donneront un coup de boost significatif à certains algorithmes liés au deep learning et de toute évidence à l'inférence. Précision de calcul inférieure à 8-bit ? De nouvelles instructions spécifiques équivalentes à plus d'ops ? Il faudra encore patienter quelques temps avant d'en savoir plus. Nvidia prévoit un premier échantillonnage de Xavier fin 2017 pour une disponibilité commerciale en 2018. D'ici-là les premiers GPU Volta devraient avoir été lancés.