GPU NVIDIA H200
Accélération significative des charges de travail d'IA et de HPC.
GPU dédié à l'IA générative et au HPC
Le GPU NVIDIA H200 booste les charges de travail d'IA générative et de calcul haute performance (HPC) grâce à des performances et à des capacités mémoire révolutionnaires. En tant que premier GPU avec HBM3E, la mémoire plus grande et plus rapide du H200 alimente l'accélération de l'IA générative et des grands modèles de langage (LLM) tout en faisant progresser le calcul scientifique pour les charges de travail HPC.
Points-clés
Expérimentez des performances de pointe
Inférence LLama2 70B
1.9X Plus rapide
Inférence GPT-3 175B
1.6X Plus rapide
Calcul haute performance
110X Plus rapide
Avantages
Performances accrues avec une mémoire plus importante et plus rapide
Basé sur l'architecture NVIDIA Hopper™, leNVIDIA H200 est le tout premier GPU à proposer 141 Go de mémoire HBM3e avec une bande passante de 4,8 téraoctets par seconde (To/s) ; soit près du double de la capacité de mémoire d'un GPU NVIDIA H100 Tensor Core avec une bande passante 1,4 fois plus importante. La mémoire du GPU H200, à la fois plus importante et plus rapide, permet d’accélérer l'IA générative et les LLM tout en faisant avancer le calcul scientifique avec un traitement optimisé des charges de travail de HPC grâce à une meilleure efficacité énergétique et à une réduction significative du coût total de possession.
Spécifications préliminaires. Susceptibles d'être modifiées.
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
Collectez des données à forte valeur ajoutée avec une inférence à hautes performances pour les LLM
Dans le monde de l’IA en évolution permanente, les entreprises exploitent les LLM pour répondre à une grande variété de besoins en matière d’inférence. Un accélérateur d’inférences reposant sur l'IA se doit d’offrir un rendement maximal avec un coût total de possession minimal lorsqu’il est déployé à grande échelle pour un nombre important d’utilisateurs.
Le GPU H200 accélère jusqu'à 2 fois la vitesse d’inférence avec des LLM comme Llama2 par rapport au GPU H100.
Accélérez le calcul haute performance
Une bonne bande passante mémoire est cruciale pour les applications de HPC car elle permet un transfert de données nettement plus rapide, ce qui réduit les goulets d’étranglement relatifs au traitement informatique. Pour les applications HPC gourmandes en mémoire telles que la simulation, la recherche scientifique ou l’intelligence artificielle, la bande passante plus importante du GPU H200 permet d’accéder aux données et de les manipuler plus efficacement, d'où l'obtention de résultats jusqu'à 110 fois plus rapidement qu’avec les configurations uniquement basées sur le traitement CPU.
Spécifications préliminaires. Susceptibles d'être modifiées.
HPC MILC - Jeu de données NERSC Apex Medium | 4 GPU HGX H200 | 2x Sapphire Rapids 8480|Applications HPC - CP2K : jeu de données H2O-32-RI-dRPA-96points | GROMACS : jeu de données STMV | ICON : jeu de données r2b5 | MILC : jeu de données NERSC Apex Medium | Chroma : jeu de données HMC Medium | Quantum Espresso : jeu de données AUSURF112 | 1x H100 SXM | 1x H200 SXM.
Accélérer l'accélération de l'IA pour les serveurs d'entreprise traditionnels avec H200 NVL
NVIDIA H200 NVL est idéal pour les conceptions de rack d'entreprise moins puissantes et à refroidissement par air qui nécessitent des configurations flexibles, en offrant une accélération pour chaque charge de travail d'IA et de HPC, quelle que soit sa taille. Avec jusqu'à quatre GPU connectés par NVIDIA NVLink™ et une mémoire 1,5 fois plus importante, l'inférence de grands modèles de langage (LLM) peut être accélérée jusqu'à 1,7 fois et les applications HPC atteindre des performances jusqu'à 1,3 fois plus élevées par rapport à H100 NVL.
Prêt pour l'entreprise : les logiciels d'IA rationalisent le développement et le déploiement
NVIDIA H200 NVL est fourni avec un abonnement NVIDIA Enterprise de cinq ans. Cet abonnement inclut NVIDIA AI Enterprise pour simplifier la façon dont vous développez une plateforme prête pour l'IA d'entreprise. H200 accélère le développement et le déploiement de l'IA pour des solutions d'IA générative prêtes pour la production, notamment la vision par ordinateur, l'IA vocale, la génération augmentée par récupération (RAG) et bien plus encore. NVIDIA AI Enterprise inclut NVIDIA NIM™, un jeu de microservices faciles à utiliser et conçus pour accélérer le déploiement de l'IA générative en entreprise. Ensemble, les déploiements offrent une sécurité, une facilité de gestion, une stabilité et une assistance de niveau d'entreprise. Cela permet d'obtenir des solutions d’IA optimisées pour les performances qui offrent de la valeur opérationnelle et des informations exploitables plus rapidement.
Spécifications
GPU NVIDIA H200 Tensor Core
| Configuration | H200 SXM¹ | H200 NVL¹ |
|---|---|---|
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor Core² | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor Core² | 1,979 TFLOPS | 1 671 TFLOPS |
| FP16 Tensor Core² | 1,979 TFLOPS | 1 671 TFLOPS |
| FP8 Tensor Core² | 3,958 TFLOPS | 3 341 TFLOPS |
| INT8 Tensor Core² | 3,958 TFLOPS | 3 341 TFLOPS |
| Mémoire GPU | 141 Go | 141 Go |
| Bande passante GPU | 4.8TB/s | 4,8 To/s |
| Décodeurs | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| NVIDIA Confidential Computing | Oui | Pris en charge |
| Enveloppe thermique (TDP) | Jusqu’à 700 W(configurable) | Jusqu’à 600 W(configurable) |
| GPU multi-instances | Jusqu’à 7 instances MIG à 18 Go | Jusqu'à 7 MIG @16,5 Go chacun |
| Configuration | SXM | PCIe Refroidissement par air Dual-Slot |
| Interconnexion | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s |
Pont NVIDIA NVLink à 2 ou 4 voies : 900 Go/s par GPU PCIe Gen5 : 128 Go/s |
| Options de serveur | Systèmes partenaires NVIDIA HGX™ H200 et Systèmes certifiés NVIDIA™ avec 4 ou 8 GPU | Partenaire NVIDIA MGX™ H200 NVL et systèmes NVIDIA certifiés avec jusqu'à 8 GPU |
| NVIDIA AI Enterprise | Module d'extension | Inclus |
|
1 Spécifications préliminaires. Susceptibles d'être modifiées. |
||
Obtenez plus d’informations sur les performances d’entraînement et d’inférence de notre système pour Data Center.