Nemotron 3 Super is een open-weight AI model ontworpen voor multi-stap agentische taken, waarbij meerdere architectonische innovaties worden gecombineerd om superieure efficiëntie en nauwkeurigheid te bereiken ten opzichte van collega's in zijn klasse. Hier zijn 10 belangrijke sterke punten samengevat uit de nieuwste technische gegevens en benchmarks

1 Massive Scale, Sparse Activation
Het model bevat 120 miljard totale parameters, maar activeert slechts 12 miljard per token via de architectuur van Latent Mixture-of-Experts (MoE), waardoor de rekenkosten drastisch worden verlaagd

2 1M Native Context Window
Het ondersteunt tot 1 miljoen tokens in context van nature, waardoor agenten langetermijntaakstatussen kunnen handhaven zonder doeldrift

3 5x doorvoerboostverhoging
De inferentie doorvoer is 5x hoger dan de vorige Nemotron Super, vooral op Blackwell B200 GPU's

4 Top Intelligence Index 1 Geïnteresseerd in de intelligentie
Het leidt de Artificial Analysis Intelligence Index met 3637 punten, en overtreft open modellen als GPT-OSS-120B (33 punten) en achterstaat alleen grotere modellen zoals Qwen3 5 122B.

5 Agentic Benchmark Excellence
Agent-specifieke tests zijn: PinchBench 85 6% (top onder open peers), SWE-Bench met OpenHands 60 47%, MMLU-Pro 83 73% en TauBench V2 61 15%

6 Multi-Token Voorspelling
Multi-Token Prediction (MTP) voorspelt meerdere tokens per pass, waardoor speculatieve decodering mogelijk is die de codegeneratie en gestructureerde taken tot 3x versnelt.

7 Efficient Latent MoE
Latent MoE comprimeert tokens voor expert routing, waardoor 4x meer experts activeren bij dezelfde rekenkosten voor gespecialiseerde domeinen zoals aparte Python/SQL-experts

8 NVFP4 Pretraining Efficiency
Voorgewerkt vanaf nul in NVFP4 (4-bit float) op Blackwell, het vermindert geheugenbehoeften en verhoogt inferentie 4x over FP8 op H100 zonder nauwkeurigheid te verliezen

9 Robust Multi-Environment RL
Getraind via Multi-environment RL op NeMo Gym over 21 setups met 1 2M+ uitrol, waardoor stabiel gedrag in complexe agentworkflows wordt gewaarborgd

10 Volledig open source
Model gewichten, datasets en training/eval recept zijn open onder NVIDIA Nemotron Open Model License, downloadable van Hugging Face en runnable via NIM, vLLM of TensorRT-LLM

Dit diagram illustreert de hybride Mamba-Transformer-MoE architectuur kern van Nemotron 3 Super.