Настоящий материал представляет собой обзор второй главы книги Chris Fregly, «AI Systems Performance Engineering: Optimizing Model Training and Inference Workloads with GPUs, CUDA, and PyTorch», O'Reilly Media, 2026 (Copyright © 2026 Flux Capacitor, LLC).
Прямые цитаты из книги выделены отдельными блоками с пометкой «Цитата из книги». Остальной текст — систематизированное изложение содержания главы, сопоставление с актуальными данными о платформе, проверка прогнозов по открытым источникам, а также дополнительные замечания, выходящие за пределы текста главы. Цитаты приводятся в ограниченном объёме в целях обзора и критического анализа.
Вторая глава книги Fregly посвящена систематическому описанию аппаратной платформы, на которой работает современный AI. В ней рассматривается, как NVIDIA объединила CPU и GPU в единые суперчипы, связала десятки таких модулей сверхбыстрой NVLink-фабрикой и превратила стойку в монолитный суперкомпьютер. Ниже последовательно изложены ключевые положения главы, а также приведены уточнения по актуальным данным о платформе.
«Представьте, что вы сжали целый суперкомпьютер для задач AI в одну серверную стойку. Новейшая архитектура NVIDIA делает именно это».
В главе формулировка «суперкомпьютер в стойке» используется не как маркетинговая метафора, а как описание смены парадигмы. Если ранее масштабирование означало «добавить узлов и соединить их сетью», то в рассматриваемой архитектуре стойка сама по себе выступает как один большой ускоритель. Это меняет не только аппаратную часть, но и подходы к параллелизму, планированию данных и построению inference-серверов.
Практическое следствие, отмечаемое в главе: то, что ранее требовало отдельного кластера с InfiniBand-фабрикой, теперь умещается в один NVLink-домен. Модели, которые не помещались в один узел, получают возможность использовать более агрессивные стратегии параллелизма без выхода за пределы стойки.
«Подход NVIDIA к масштабированию AI начинается на уровне единого комбинированного модуля-суперчипа CPU + GPU. В традиционной системе CPU и GPU располагают раздельными пулами памяти и взаимодействуют через относительно медленную шину (например, PCIe), что вынуждает постоянно гонять данные туда-обратно. Суперчип NVIDIA устраняет этот барьер, связывая процессор и GPU специализированным высокоскоростным каналом NVLink-C2C».
«Когерентность кэша означает, что CPU и GPU используют единую согласованную архитектуру памяти. На практике они всегда видят одни и те же значения… Такая архитектура часто называется Unified CPU-GPU Memory или Extended GPU Memory (EGM)».
В главе подчёркивается, что унифицированная память — это не только удобство для программиста, но и изменение класса задач, которые можно решать на одном модуле. Модель размером 500 ГБ, которая ранее требовала шардирования на несколько GPU, теперь может целиком разместиться в одном суперчипе — с прозрачной подкачкой данных из CPU-памяти через NVLink-C2C.
Одновременно в главе указывается на ограничение: LPDDR5X через NVLink-C2C имеет на порядок меньшую пропускную способность и более высокую задержку, чем HBM. Это не замена HBM, а расширение. Критичные данные должны оставаться в HBM; в CPU-память имеет смысл выносить то, что используется редко или не требует низкой задержки.
Для инженера это означает: unified memory следует использовать для ёмкости, а не для скорости, и управлять размещением явно через cudaMemPrefetchAsync и memory advice, а не полагаться на автоматическую миграцию страниц.
CPU Grace в центре и два GPU B200 по сторонам на единой подложке
NVLink-C2C и когерентность кэша превращают CPU и GPU в единый вычислительный модуль с общим адресным пространством. Модели, не помещавшиеся в один GPU, теперь могут разместиться на одном суперчипе.
LPDDR5X через NVLink-C2C — это не HBM. Пропускная способность ниже на порядок, задержка выше. CPU-память предназначена для ёмкости, а не для скорости. Размещением следует управлять явно.
Для работы с суперчипом применяются cudaMemPrefetchAsync и memory advice. Автоматическая миграция страниц не подходит для критичных данных. «Горячие» веса и активации остаются в HBM, «холодные» — в CPU-памяти.
«Сам процессор Grace — отнюдь не тихоход. В его основе лежит ARM Neoverse V2, специально разработанный NVIDIA для высокой пропускной способности и энергоэффективности. Его роль в суперчипе — выполнение задач общего назначения, предобработка и подача данных на GPU, а также управление массивом памяти, к нему подключённой».
В главе философия Grace описывается как «никогда не быть узким местом при подаче данных на GPU». Это не «ещё один CPU», а специализированный процессор для роли data feeder и orchestrator. Он работает на умеренной тактовой частоте, но компенсирует это значительной пропускной способностью памяти (до ~500 ГБ/с к LPDDR5X) и большим L3-кэшем (> 100 МБ).
Практическое следствие, отмечаемое в главе: на системах с Grace имеет смысл переносить на CPU preprocessing и tokenization, которые обычно занимают ядра хоста. Grace выполняет эти задачи быстро и сразу в общем адресном пространстве, без лишних копирований. Это освобождает GPU для чисто вычислительной работы.
Отдельно в главе указывается низкая задержка запуска ядер. Поскольку CPU и GPU находятся на одной плате, запуск CUDA-ядра происходит быстрее, чем на традиционной PCIe-системе. На масштабе тысяч запусков в секунду это даёт измеримый выигрыш.
Grace — специализированный data feeder, а не универсальный CPU. Его задача — не дать GPU простаивать в ожидании данных.
Grace используется для preprocessing, tokenization, augmentation. На него переносятся задачи, которые обычно занимают CPU-ядра хоста. Низкая задержка запуска ядер — дополнительный эффект для latency-sensitive workloads.
«Blackwell — кодовое имя текущего поколения GPU от NVIDIA, представляющее значительный скачок по сравнению с предшественником Hopper (H100) как по вычислительной мощности, так и по объёму памяти. B200 и B300 "Ultra" — не монолитные кристаллы. Вместо этого они используют конструкцию многокристального модуля (MCM) с двумя кристаллами GPU в одном корпусе».
«Объединённый модуль GPU насчитывает около 208 миллиардов транзисторов и 192 (180 полезных) ГБ общей памяти на B200. Для сопоставления: GPU Hopper H100 имел ~80 миллиардов транзисторов и 80 ГБ HBM3».
В главе двухкристальная конструкция описывается как производственная необходимость. Монолитный кристалл ограничен размером reticle (поле экспонирования литографа). Чтобы удвоить бюджет транзисторов, требуется либо уменьшать техпроцесс, либо соединять несколько кристаллов. NVIDIA выбрала второе — и решила задачу межкристальной связи через NV-HBI на 10 ТБ/с.
Для программиста это означает, что два кристалла выглядят как один GPU. Это не «два GPU в одном корпусе», а один логический ускоритель с 208 млрд транзисторов и 180 ГБ доступной HBM3e. Программный стек не должен учитывать наличие двух кристаллов.
Практическое следствие: при появлении аномалий в производительности памяти на B200 имеет смысл проверить равномерность загрузки кристаллов, однако в большинстве случаев код пишется как для одного GPU.
В книге указано «208 млрд транзисторов» для B200 — это соответствует действительности: два кристалла по ~104 млрд, произведённых по техпроцессу TSMC 4NP, соединены интерфейсом NV-HBI на 10 ТБ/с. Указание «192 (180 полезных) ГБ HBM3e» требует расшифровки: 192 ГБ — это физически установленная память (8 стеков HBM3e по 24 ГБ), однако в рантайме часть резервируется под ECC и системные буферы, поэтому доступный для модели объём обычно указывается как ~180 ГБ. В спецификации GB200 NVL72 от NVIDIA суммарно по стойке — 13,4 ТБ HBM3e.
Книга написана в момент, когда GB200 NVL72 был актуальной платформой. В марте 2025 года NVIDIA анонсировала Blackwell Ultra — B300 с 288 ГБ HBM3e на GPU (вместо 192 ГБ), TDP 1400 Вт (вместо 1000 Вт) и 15 PFLOPS dense FP4 (вместо 9 PFLOPS). Стойка GB300 NVL72 даёт 20 ТБ HBM (вместо 13,4 ТБ), 1,44 экзафлопс FP4 и удвоенную сеть масштабирования — ConnectX-8 на 800 Гбит/с. Для reasoning-моделей, где критичны объём памяти под KV-кэш и пропускная способность attention-слоёв, это качественный скачок, а не только количественное улучшение.
Два reticle-sized кристалла, соединённые NV-HBI на 10 ТБ/с
Двухкристальная конструкция — производственная необходимость. NV-HBI на 10 ТБ/с делает два кристалла одним логическим GPU.
B200: 208 млрд транзисторов, 192 (180 полезных) ГБ HBM3e, ~8 ТБ/с памяти, 126 МБ L2. Это примерно 2,4× по памяти и 2,5× по L2 относительно Hopper.
Код пишется как для одного GPU. При аномалиях памяти возможна проверка равномерности загрузки кристаллов, но в большинстве случаев это не требуется.
«Тензорные ядра — это специализированные блоки внутри каждого потокового мультипроцессора (SM) GPU, способные выполнять операции умножения матриц с очень высокой скоростью… Тензорные ядра Blackwell поддерживают ещё больше числовых форматов, включая экстремально низкую точность — 8-битную и 4-битную плавающую точку».
«NVIDIA первой представила Transformer Engine (TE) для автоматической настройки и использования смешанной точности в глубоком обучении, где критичные слои используют более высокую точность (FP16 или BF16), а менее критичные — FP8».
В главе понижение точности рассматривается как отдельное измерение оптимизации, не требующее изменения алгоритма. Переход FP16 → FP8 даёт удвоение пропускной способности; FP16 → FP4 — до четырёхкратного. Память сокращается пропорционально: FP4 вдвое уменьшает объём на параметр по сравнению с FP8. Это означает, что в ту же HBM помещается в 4 раза больше параметров — либо та же модель читается из памяти в 4 раза быстрее.
Отдельно оговаривается, что не всякая модель допускает FP4. Для критичных слоёв (ранние слои, attention softmax, layer norms) требуется более высокая точность. Transformer Engine решает эту задачу за счёт автоматического выбора точности per-layer. Задача инженера — включить TE и проверить accuracy на валидационном наборе.
Практическое следствие, отмечаемое в главе: если FP8 на Hopper/Blackwell ещё не используется, это означает потерю примерно двукратного выигрыша без дополнительных усилий. FP4 имеет смысл пробовать на inference, где tolerance к точности выше.
Понижение точности приводит к кратному увеличению пропускной способности
Понижение точности — множитель производительности: 2× на FP8, до 4× на FP4. Transformer Engine автоматически выбирает точность per-layer.
FP4 требует калибровки и подходит не всем моделям. Критичные слои (ранние слои, attention) сохраняются в FP16/FP8.
Использование FP8 на Hopper/Blackwell даёт двукратный выигрыш. FP4 применяется на inference, где tolerance к точности выше. Accuracy проверяется на валидации.
«Каждый GPU Blackwell, как и его предшественники, состоит из множества потоковых мультипроцессоров (SM). Думайте о них как о "ядрах" GPU… SM исполняет потоки фиксированными группами, известными как варпы, причём каждый варп содержит ровно 32 потока, выполняющих одни и те же инструкции синхронно».
«SM выполняет множество активных варпов параллельно, чтобы помочь скрыть задержку потока, ожидающего данные из глобальной памяти… Это называется сокрытием задержки».
В главе модель SIMT и концепция latency hiding описываются как фундамент оптимизации GPU-ядер. Понимание того, что варп — это 32 потока, выполняющих одни и те же инструкции, объясняет, почему divergence обходится дорого и почему occupancy — не самоцель, а средство для сокрытия задержки.
Ключевая метрика для практика, согласно главе, — не «сколько потоков запущено», а «сколько варпов готовы к исполнению в каждый момент». Если все варпы ждут память, GPU простаивает, даже если occupancy формально составляет 100%. Именно поэтому Nsight Compute показывает «eligible warps per cycle» и «warp stall reasons» — это более информативные метрики, чем абстрактная occupancy.
Практическое следствие: прежде чем увеличивать количество потоков, необходимо убедиться, что для них достаточно независимой работы. В противном случае создаётся больше варпов, которые будут ожидать ту же память.
Мало мощных последовательных ядер против тысяч параллельных
Регистры → Shared/L1 → L2 → HBM
Варп — это 32 потока, выполняющих одни инструкции синхронно. Latency hiding — основной механизм производительности GPU.
Наибольшую ценность представляют eligible warps per cycle и warp stall reasons, а не абстрактная occupancy. 100% occupancy с полностью stalled варпами хуже, чем 50% occupancy с готовыми к работе варпами.
Перед увеличением числа потоков необходимо убедиться в наличии достаточного объёма независимой работы. Иначе создаётся больше варпов, ожидающих ту же память.
«Упаковка двух GPU и CPU в один суперчип даёт нам невероятно мощный узел. Следующая задача — соединить множество таких суперчипов, чтобы масштабироваться до ещё более крупного обучения моделей. NVIDIA предоставляет крупную стоечную конфигурацию на базе суперчипов GB200/GB300, называемую системой NVL72. NVL72 означает систему с 72 GPU Blackwell и 36 CPU Grace — все соединены через NVLink».
В главе NVL72 описывается как смена парадигмы масштабирования. Ранее масштабирование означало «добавить узлов и соединить их сетью». В рассматриваемой архитектуре стойка сама по себе выступает как один большой ускоритель. Это меняет не только аппаратную часть, но и подходы к параллелизму.
Практическое следствие: если модель помещается в один NVL72, можно использовать более агрессивные стратегии параллелизма — TP через все 72 GPU, EP с экспертами на разных GPU — которые были бы невозможны на традиционном кластере. Однако это требует понимания топологии: где NVLink, где NVSwitch, где InfiniBand.
Для inference-инженера это означает, что дизагрегация prefill/decode становится проще: и prefill, и decode могут жить в одном NVLink-домене, а KV-кэш передаваться через NVLink, а не через сеть. Это радикально снижает задержку передачи.
Два суперчипа Grace Blackwell в одном лотке
NVL72 — один NVLink-домен на 72 GPU с ~130 ТБ/с совокупной пропускной способности. Это меняет правила игры для параллелизма.
Топология имеет первостепенное значение. Коммуникации следует держать внутри стойки. Для дизагрегации prefill/decode используется NVLink для передачи KV-кэша вместо сети.
«Каждый GPU Blackwell предоставляет 18 портов NVLink 5. Совокупная двунаправленная пропускная способность NVLink составляет 1,8 ТБ/с на GPU (18 линий × 100 ГБ/с двунаправленно)… Фабрика NVSwitch объединяет частичные результаты без необходимости пропускать данные через GPU. Выгружая коллективные вычисления с GPU на аппаратное обеспечение коммутатора, SHARP позволяет GPU сосредоточиться на более сложных вычислениях».
В главе полный кроссбар NVSwitch описывается как фундаментальное отличие от традиционных fat-tree топологий. В классическом кластере коммуникация между двумя GPU может требовать нескольких хопов через коммутаторы. В NVL72 любой GPU достигает любого другого за один переход. Это радикально меняет latency-профиль коллективных операций.
SHARP — вторая ключевая инновация, рассматриваемая в главе. Offload агрегации в сеть означает, что градиенты не требуется собирать на GPU, чтобы затем усреднить. Коммутатор сам выполняет reduction, а на GPU приходит уже готовый результат. Это снижает и нагрузку на SM, и объём трафика.
Практическое следствие: если workload использует all-reduce коллективы (а это почти любое распределённое обучение), SHARP может дать существенное ускорение на больших масштабах. Необходимо убедиться, что он включён и что NCCL использует SHARP-плагин.
В главе SHARP рекомендуется с оговоркой «2–5× без изменений в коде». Открытые данные подтверждают: NVIDIA сообщает, что переход Hopper-to-Blackwell — удвоение NVLink, расширение домена с 8 до 72 GPU и внедрение NVIDIA Dynamo для дизагрегированного inference — в совокупности дали 50-кратное улучшение MoE-inference на ватт. При этом SHARP-ускорение зависит от масштаба: на 2–4 GPU выигрыш незаметен; на 72+ GPU внутри стойки — существенный; при выходе за пределы стойки пропускная способность падает с ~800 ГБ/с до 100–200 ГБ/с, если job scheduling не учитывает топологию.
Два чипа NVSwitch и множество высокоскоростных портов
18 вычислительных лотков + 9 коммутационных + питание и охлаждение
Полный кроссбар: по одной линии NVLink на каждый коммутатор
SHARP-редукция прямо в NVSwitch
Полный кроссбар NVSwitch даёт один хоп между любыми двумя GPU. SHARP offload-ит агрегацию в сеть, освобождая SM.
18 NVLink 5 линков на GPU × 100 ГБ/с = 1,8 ТБ/с двунаправленно на GPU. Совокупная пропускная способность стойки — ~130 ТБ/с.
Необходимо убедиться, что SHARP включён в NCCL. Для all-reduce на больших масштабах это может дать 2–5× без изменений в коде. Выигрыш зависит от масштаба: на 2–4 GPU он незаметен, на 72+ GPU внутри стойки — существенен.
«С точки зрения модели программирования, один GPU может напрямую обращаться к памяти другого GPU через NVLink, используя модели peer-to-peer и partitioned global address space (PGAS), такие как NVIDIA SHMEM (NVSHMEM)… Программные стеки, такие как NCCL и NVSHMEM, обеспечивают синхронизацию и упорядочивание, необходимые для корректного доступа к нескольким GPU».
В главе проводится различие: NCCL — для коллективов, NVSHMEM — для point-to-point. Если требуется синхронизировать градиенты (all-reduce) — применяется NCCL. Если нужно передать KV-кэш или активации между конкретными GPU — NVSHMEM даёт более низкую задержку и лучшее перекрытие с вычислениями.
PGAS-модель (partitioned global address space) означает, что можно писать в память удалённого GPU так же, как в локальную. Это упрощает код для pipeline parallelism и disaggregated inference, где нужно передавать большие блоки данных между конкретными парами GPU.
Практическое следствие: для training используется NCCL; для inference с передачей KV-кэша — NVSHMEM или NIXL. Реализация point-to-point через NCCL send/recv менее эффективна.
NCCL для коллективов, NVSHMEM для point-to-point. PGAS-модель упрощает передачу данных между конкретными GPU.
Для training — NCCL. Для inference с KV-кэшем — NVSHMEM или NIXL. NCCL send/recv не используется для point-to-point.
«Каждый вычислительный узел в NVL72 оснащён высокоскоростными сетевыми интерфейсными картами и процессором обработки данных (DPU). DPU разгружает, ускоряет и изолирует задачи сетевого взаимодействия, хранения, безопасности и управления от хост-процессора… Стойки GB200/GB300 NVL72 интегрируются с фабриками Quantum-X800 InfiniBand или Spectrum-X800 Ethernet».
В главе выстраивается иерархия коммуникационных стоимостей в NVL72: NVLink (наибыстрейший) → InfiniBand (быстрый) → Ethernet (медленный). Каждый переход на уровень ниже добавляет latency и снижает bandwidth. Задача инженера — минимизировать пересечение границ.
DPU играет ключевую роль: он освобождает CPU от сетевых задач и позволяет данным идти напрямую в GPU-память через GPUDirect RDMA. Это критично для disaggregated inference, где KV-кэш передаётся между стойками.
Практическое следствие: при проектировании распределённой системы в первую очередь следует пытаться уместить всё в один NVL72. Если это невозможно — используется InfiniBand между стойками, но с учётом того, что это уже другой latency-профиль.
Иерархия: NVLink → InfiniBand → Ethernet. DPU освобождает CPU и позволяет GPUDirect RDMA.
В первую очередь всё умещается в один NVL72. Пересечение границ стойки — только при необходимости. DPU используется для offload сетевых задач.
«Полностью загруженная NVL72 может потреблять до ~130 кВт мощности при максимальной нагрузке. Это более чем в 2 раза больше, чем у AI-стойки предыдущего поколения NVIDIA… Охлаждение 130 кВт в одной стойке выходит за пределы возможностей традиционного воздушного охлаждения. NVL72 — полностью жидкостно-охлаждаемая система».
В главе 130 кВт на стойку описывается как уровень, при котором воздушное охлаждение физически не работает: чтобы отвести столько тепла воздухом, требуются ураганные потоки и огромные воздуховоды. Жидкостное охлаждение становится не опцией, а обязательным условием.
Практическое следствие: NVL72 нельзя просто «поставить в существующий дата-центр». Требуются: подводка chilled water; CDU (Coolant Distribution Unit); усиленные полы (стойка весит ~1,3–1,4 тонны); две независимые линии питания по 130 кВт каждая.
Это меняет экономику развёртывания: NVL72 — это не «сервер», а элемент инфраструктуры, требующий планирования на уровне здания. Для облачных провайдеров это означает строительство специализированных AI-фабрик, а не переоборудование старых ЦОДов.
В главе указано 130 кВт. Открытые данные: GB200 NVL72 — ~120 кВт номинал, 130–132 кВт при полной нагрузке; GB300 NVL72 — 132–142 кВт. Вес стойки — 1,36 тонны. Для сравнения: средний промышленный rack — 7,6 кВт (Uptime Institute, 2025). 68% корпоративных ЦОД, построенных до 2015 года, не могут разместить NVL72 ни по мощности, ни по охлаждению. Инфраструктурные затраты на ретрофит — $200–300 тыс. на одну стойко-позицию. Dell'Oro Group отмечает, что direct-to-chip жидкостное охлаждение в 2026 перешло из нишевой технологии в «фундаментальную архитектуру» для AI-размещений. NVIDIA Rubin — первое поколение со 100% жидкостным охлаждением без вентиляторов: хладагент 45°C на входе, 55°C на выходе, нулевое водопотребление в благоприятном климате.
130 кВт на стойку — уровень, при котором жидкостное охлаждение становится обязательным. NVL72 — элемент инфраструктуры, а не просто сервер.
NVL72 требует: chilled water, CDU, усиленные полы, две линии питания. Развёртывание планируется на уровне здания. 68% старых ЦОД не могут разместить NVL72 без ретрофита стоимостью $200–300 тыс. на стойко-позицию.
При планировании развёртывания NVL72 учитываются инфраструктурные требования. Это не «ещё один сервер в стойку», а специализированная AI-фабрика.
«На момент написания платформа Grace Blackwell NVL72 представляет собой передовой край AI-оборудования. Но NVIDIA уже готовит следующие скачки… NVIDIA намерена продолжать удваивать производительность, память и интеграцию».
«Один год они удваивают память, другой год — количество кристаллов, третий год — пропускную способность интерконнекта… За несколько лет компаундный эффект этого удвоения огромен».
В главе паттерн «удвоения чего-то каждый год» описывается как инженерная стратегия, а не маркетинговый приём. Каждое поколение добавляет что-то важное: память, количество кристаллов, пропускную способность интерконнекта, числовые форматы. Компаундный эффект за 3–4 года даёт порядковый прирост.
Для инженера это означает: то, что сегодня кажется невозможным, через 2–3 года становится рутиной. Модели на 10 трлн параметров, которые сегодня требуют мультистоечных кластеров, завтра могут помещаться в одну стойку. Контексты в миллионы токенов, которые сегодня требуют специальных техник, завтра будут стандартом.
Практическое следствие: инвестиции в понимание фундаментальных принципов — иерархии памяти, коммуникационных паттернов, параллелизма — окупаются лучше, чем знание конкретных цифр текущего поколения. Инженер, понимающий, почему NVLink быстрее InfiniBand, адаптируется к новому поколению за дни. Тот, кто знает только «как настроить NCCL на H100», будет переучиваться месяцами.
NVIDIA удваивает что-то важное каждый год. Компаундный эффект за 3–4 года даёт порядковый прирост производительности и ёмкости.
Vera Rubin (2026), Rubin Ultra (2027), Feynman (2028) — каждое поколение продолжит паттерн. К 2028 году inference будет доминировать над training.
Инвестиции в понимание фундаментальных принципов: иерархия памяти, коммуникационные паттерны, параллелизм. Конкретные цифры меняются — принципы остаются.
Книга Fregly писалась в 2025 году, когда GB200 NVL72 был актуальной платформой. С тех пор многое изменилось. Ниже представлено сопоставление прогнозов главы с открытыми данными и уточнение цифр.
В главе указано «208 млрд транзисторов» для B200 — это соответствует действительности: два кристалла по ~104 млрд, произведённых по техпроцессу TSMC 4NP, соединены интерфейсом NV-HBI на 10 ТБ/с. Указание «192 (180 полезных) ГБ HBM3e» требует расшифровки: 192 ГБ — это физически установленная память (8 стеков HBM3e по 24 ГБ), однако в рантайме часть резервируется под ECC и системные буферы, поэтому доступный для модели объём обычно указывается как ~180 ГБ. В спецификации GB200 NVL72 от NVIDIA суммарно по стойке — 13,4 ТБ HBM3e.
Книга написана в момент, когда GB200 NVL72 был актуальной платформой. В марте 2025 года NVIDIA анонсировала Blackwell Ultra — B300 с 288 ГБ HBM3e на GPU (вместо 192 ГБ), TDP 1400 Вт (вместо 1000 Вт) и 15 PFLOPS dense FP4 (вместо 9 PFLOPS). Стойка GB300 NVL72 даёт 20 ТБ HBM (вместо 13,4 ТБ), 1,44 экзафлопс FP4 и удвоенную сеть масштабирования — ConnectX-8 на 800 Гбит/с. Это не просто «обновление» — это качественный скачок для reasoning-моделей, где критичны объём памяти под KV-кэш и пропускная способность attention-слоёв. TrendForce называет GB300 «основным Blackwell SKU 2026», который переводит жидкостное охлаждение из миноритарной практики в большинство для новых AI-мощностей.
В главе SHARP рекомендуется с оговоркой «2–5× без изменений в коде». Открытые данные подтверждают: NVIDIA сообщает, что переход Hopper-to-Blackwell — удвоение NVLink, расширение домена с 8 до 72 GPU и внедрение NVIDIA Dynamo для дизагрегированного inference — в совокупности дали 50-кратное улучшение MoE-inference на ватт. При этом SHARP-ускорение зависит от масштаба: на 2–4 GPU выигрыш незаметен; на 72+ GPU внутри стойки — существенный; при выходе за пределы стойки пропускная способность падает с ~800 ГБ/с до 100–200 ГБ/с, если job scheduling не учитывает топологию.
В главе указано 130 кВт. Открытые данные: GB200 NVL72 — ~120 кВт номинал, 130–132 кВт при полной нагрузке; GB300 NVL72 — 132–142 кВт. Вес стойки — 1,36 тонны. Для сравнения: средний промышленный rack — 7,6 кВт (Uptime Institute, 2025). 68% корпоративных ЦОД, построенных до 2015 года, не могут разместить NVL72 ни по мощности, ни по охлаждению. Инфраструктурные затраты на ретрофит — $200–300 тыс. на одну стойко-позицию. Dell'Oro Group отмечает, что direct-to-chip жидкостное охлаждение в 2026 перешло из нишевой технологии в «фундаментальную архитектуру» для AI-размещений.
«Один год они удваивают память, другой год — количество кристаллов, третий год — пропускную способность интерконнекта…»
Подтверждён. NVLink: 900 ГБ/с (Hopper) → 1 800 ГБ/с (Blackwell) → 3 600 ГБ/с (Rubin, H2 2026) — удвоение каждые ~2 года. Память на GPU: 80 ГБ (H100) → 192 ГБ (B200) → 288 ГБ (B300/Rubin). Плотный FP4: 9 PFLOPS (B200) → 15 PFLOPS (B300) → 50 PFLOPS (Rubin). Компаундный эффект за 3 года (H100 → Rubin) — примерно 5× по памяти, 5,5× по FP4 на GPU, 4× по NVLink.
«Vera Rubin (2026), Rubin Ultra (2027), Feynman (2028) — каждое поколение продолжит паттерн».
Подтверждён с корректировкой. Rubin официально запущен в производство 5 января 2026 на CES; партнёрские продукты — H2 2026. Rubin Ultra заявлен на H2 2027, но SemiAnalysis прогнозирует, что Kyber NVL144 может сместиться на 2028 из-за проблем с производством мидплейна. Feynman — 2028, но это «горизонт планирования»: NVIDIA пока не раскрыла спецификации, и в бизнес-кейсе на него ориентироваться нельзя.
«К 2028 году inference будет доминировать над training».
Подтверждён и опережает график. Уже в 2025 году Jensen Huang заявил: «AI inference token generation has surged tenfold in just one year». Microsoft Azure развёртывает GB300 NVL72 «purpose-built for OpenAI's most demanding AI inference workloads» — не для обучения. Gartner оценивает, что 80–90% энергопотребления AI-нагрузок в 2026 приходится на inference, не на training. NVIDIA позиционирует GB300 как «ускоритель для эпохи рассуждений» (reasoning), где test-time scaling многократно увеличивает inference-нагрузку.
«Модели на 10 трлн параметров, которые сегодня требуют мультистоечных кластеров, завтра могут помещаться в одну стойку».
Частично подтверждён. GB300 NVL72 имеет 37 ТБ быстрой памяти (20 ТБ HBM + 17 ТБ LPDDR5X). Модель на 10 трлн параметров в FP4 (0,5 байта на параметр) требует ~5 ТБ только под веса — помещается. Но с KV-кэшем, буферами активаций и накладными расходами реальный потолок для полноценного inference — 5–7 трлн параметров на одну стойку. Vera Rubin NVL72 с 20,7 ТБ HBM4 и 54 ТБ LPDDR5X расширяет этот потолок, но 100-триллионные модели по-прежнему требуют мультистоечных кластеров.
«Охлаждение 130 кВт в одной стойке выходит за пределы возможностей традиционного воздушного охлаждения».
Подтверждён. Dell'Oro Group отмечает, что direct-to-chip жидкостное охлаждение в 2026 перешло из нишевой технологии в «фундаментальную архитектуру» для AI-размещений. Мировой рынок жидкостного охлаждения ЦОД вырос с $1,3 млрд (2024) до $2,2 млрд (2025), прогноз CAGR — 23,2% до 2031. NVIDIA Rubin — первое поколение со 100% жидкостным охлаждением без вентиляторов: хладагент 45°C на входе, 55°C на выходе, нулевое водопотребление в благоприятном климате.
Глава описывает архитектуру и принципы, но оставляет за скобками несколько аспектов, которые проявились в реальной эксплуатации.
В главе NVL72 описывается как работающая система, но реальный путь к производству был тяжёлым. В 2024–2025 годах производители столкнулись с перегревом GPU, утечками жидкостного охлаждения, багами в прошивке и проблемами межкристальной связности. NVIDIA просила поставщиков многократно менять дизайн стойки. Microsoft сократила заказ на GB200 на 40% в конце 2024. Массовое производство сдвинулось с сентября 2024 на Q2–Q3 2025. В каждой стойке — более 2000 кабелей, и отклонение радиуса изгиба вызывает битовые ошибки, снижающие пропускную способность до 40%.
Вывод: интеграция 72 GPU в единый NVLink-домен — не только архитектурное решение, но и вызов для цепочки поставок. NVIDIA потребовалось ~2 года с момента анонса (март 2024) до массового производства (Q2–Q3 2025), что больше стандартного цикла разработки серверов в 1,5–2 года.
Глава не упоминает Blackwell Ultra, но это не минорный апгрейд. B300 добавляет 50% памяти (288 vs 192 ГБ), 67% больше dense FP4 (15 vs 9 PFLOPS), удваивает scale-out (800 vs 400 Гбит/с) и удваивает attention-acceleration (10,7 vs 5 TeraExponentials/s). TrendForce называет GB300 «основным Blackwell SKU 2026», который переводит жидкостное охлаждение из миноритарной практики в большинство для новых AI-мощностей.
Microsoft Azure в октябре 2025 развернула первый в мире production-кластер GB300 NVL72 для OpenAI: 64 стойки, 4 608 GPU, 92,1 экзафлопс FP4 inference. CoreWeave, NVIDIA и IBM подали крупнейший в истории MLPerf Training v5.0 — 2 496 GPU Blackwell, Llama 3.1 405B обучена за 27,3 минуты, более чем в 2 раза быстрее сопоставимых кластеров. Цена одной стойки GB300 NVL72 — оценочно $3,7–4,0 млн; Vera Rubin NVL72 — оценочно $5–7 млн.
Глава прогнозирует Rubin на 2026 — и это сбылось. Rubin GPU: 336 млрд транзисторов (TSMC 3 нм), 288 ГБ HBM4 на 22 ТБ/с, 50 PFLOPS FP4 inference, NVLink 6 на 3,6 ТБ/с, TDP ~2 300 Вт. Стойка Vera Rubin NVL72: 3,6 экзафлопс FP4 inference (2,5× GB300), 260 ТБ/с NVLink (2× GB300), 100% жидкостное охлаждение, модульная сборка за 5 минут вместо 2 часов. Внедрена система RAS — диагностика GPU без вывода из кластера, между контрольными точками обучения.
Платформа Vera Rubin включает интеграцию LPU Groq (Language Processing Unit) — первый случай, когда NVIDIA интегрирует сторонний ускоритель в свою rack-платформу. Groq LP30/LP35 работает как ускоритель inference поверх CUDA, без изменений в коде. Это признание того, что одного типа ускорителя недостаточно для reasoning-нагрузок.
NVL72 — продукт для ультимативного верхнего сегмента. Для большинства задач достаточно 8-GPU узлов на B300 (2,3 ТБ памяти, ~10 кВт, воздушное охлаждение). NVIDIA сама предлагает DGX B300 NVL16 для тех, кому нужен NVLink, но не нужна стойка на 140 кВт. Бифуркация: hyperscalers строят purpose-built facilities под NVL72; все остальные остаются на HGX-узлах.
Вторая глава книги Fregly — систематический разбор аппаратной платформы, на которой работает современный AI. Ключевая идея: NVIDIA кодизайнит всё — от кристаллов до охлаждения — для ускорения AI-нагрузок. Для инженера это означает, что понимание иерархии памяти, коммуникационных паттернов и принципов параллелизма важнее, чем знание конкретных цифр текущего поколения. По мере движения к моделям в сотни триллионов параметров совместное проектирование перестаёт быть опцией и становится единственным путём вперёд.
Проверка прогнозов показывает: книга оказалась точной в своих предсказаниях. Компаундный эффект удвоения подтвердился с высокой точностью. Единственное, что изменилось быстрее ожидаемого — доминирование inference над training. Главный вывод остаётся неизменным: инвестиции в фундаментальные принципы обеспечивают адаптацию к любому поколению железа.
Источники: Chris Fregly, «AI Systems Performance Engineering» (O'Reilly, 2026), Глава 2 — цитаты приводятся в ограниченном объёме в целях обзора и критического анализа. Документация NVIDIA GB200 NVL72, GB300 NVL72, Vera Rubin NVL72; NVIDIA Grace Blackwell Superchip; NVIDIA NVLink/NVSwitch; MLPerf Training/Inference v5.0; TrendForce; SemiAnalysis; Dell'Oro Group; Uptime Institute; Nature (сентябрь 2025).
Прямые цитаты из книги выделены блоками «Цитата из книги». Остальной текст — систематизированное изложение содержания главы, сопоставление с актуальными данными, проверка прогнозов и дополнительные замечания.
This material is a review of Chapter 2 of Chris Fregly, «AI Systems Performance Engineering: Optimizing Model Training and Inference Workloads with GPUs, CUDA, and PyTorch», O'Reilly Media, 2026 (Copyright © 2026 Flux Capacitor, LLC).
Direct quotes from the book are marked with separate blocks labeled «Quote from the book». The rest of the text is a systematized exposition of the chapter's content, a comparison with current data about the platform, verification of forecasts against open sources, and additional observations that go beyond the chapter's text. Quotes are provided in limited volume for review and critical analysis purposes.
Chapter 2 of Fregly's book is dedicated to a systematic description of the hardware platform on which modern AI runs. It examines how NVIDIA fused CPUs and GPUs into single superchips, linked dozens of such modules with an ultra-fast NVLink fabric, and turned a rack into a monolithic supercomputer. The key points of the chapter are presented below, along with clarifications based on current data about the platform.
«Imagine condensing a supercomputer's worth of AI hardware into a single rack. NVIDIA's latest architecture does exactly that».
In the chapter, the phrase "supercomputer in a rack" is used not as a marketing metaphor but as a description of a paradigm shift. If scaling previously meant "add nodes and connect them with a network," in the architecture under consideration, a rack itself acts as one large accelerator. This changes not only the hardware but also approaches to parallelism, data planning, and building inference servers.
The practical consequence noted in the chapter: what previously required a separate cluster with an InfiniBand fabric now fits into a single NVLink domain. Models that did not fit on one node gain the ability to use more aggressive parallelism strategies without leaving the rack.
«NVIDIA's approach to scaling AI starts at the level of a single, combined CPU + GPU superchip module. In a traditional system, the CPU and GPU have separate memory pools and communicate over a relatively slow bus (like PCIe), which means data has to be copied back and forth. NVIDIA's superchip eliminates that barrier by connecting the CPU and GPUs with a custom high-speed link called NVLink-C2C».
«Cache coherency means the CPU and GPU share a coherent, unified memory architecture. As such, they always see the same values… This unified memory architecture is often called Unified CPU-GPU Memory or Extended GPU Memory (EGM)».
In the chapter, unified memory is emphasized not only as a programmer convenience but as a change in the class of problems that can be solved on a single module. A 500 GB model that previously required sharding across GPUs can now fit entirely on one superchip — with transparent paging from CPU memory over NVLink-C2C.
At the same time, the chapter points out a limitation: LPDDR5X over NVLink-C2C has an order of magnitude lower bandwidth and higher latency than HBM. It is not a replacement for HBM but an extension. Critical data should stay in HBM; CPU memory is for data that is rarely used or does not require low latency.
For an engineer, this means: unified memory should be used for capacity, not speed, and placement should be managed explicitly via cudaMemPrefetchAsync and memory advice rather than relying on automatic page migration.
Grace CPU in the center and two B200 GPUs on either side on a common substrate
NVLink-C2C and cache coherence turn CPU and GPU into a single compute module with shared address space. Models that did not fit on one GPU can now fit on one superchip.
LPDDR5X over NVLink-C2C is not HBM. Bandwidth is 10× lower, latency is higher. CPU memory is intended for capacity, not speed. Placement should be managed explicitly.
Working with the superchip involves cudaMemPrefetchAsync and memory advice. Automatic page migration is unsuitable for critical data. Hot weights and activations remain in HBM; cold data goes to CPU memory.
«The Grace CPU itself is no sloth. It's an ARM Neoverse V2 CPU custom-designed by NVIDIA for bandwidth and efficiency. Its job in the superchip is to handle general-purpose tasks, preprocess and feed data to the GPUs, and manage the mountain of memory attached to it».
In the chapter, Grace's philosophy is described as "never be a bottleneck when feeding data to the GPU." It is not "another CPU" but a specialized processor for the role of data feeder and orchestrator. It runs at a moderate clock but compensates with significant memory bandwidth (up to ~500 GB/s to LPDDR5X) and a large L3 cache (> 100 MB).
The practical consequence noted in the chapter: on Grace systems, it makes sense to move preprocessing and tokenization to the CPU, tasks that usually occupy host cores. Grace performs these tasks quickly and directly in the shared address space, without extra copies. This frees the GPU for pure compute work.
The chapter separately notes low kernel launch latency. Since CPU and GPU are on the same board, launching a CUDA kernel happens faster than on a traditional PCIe system. At the scale of thousands of launches per second, this yields a measurable gain.
Grace is a specialized data feeder, not a general-purpose CPU. Its job is to prevent GPU idling while waiting for data.
Grace is used for preprocessing, tokenization, augmentation. Tasks that usually occupy host CPU cores are moved to it. Low kernel launch latency is an additional benefit for latency-sensitive workloads.
«Blackwell is NVIDIA's codename for this GPU generation, and it represents a significant leap over the previous Hopper (H100) GPUs in both compute horsepower and memory. The Blackwell B200 and B300 'Ultra' GPU are not single chips. Instead, they use a multichip module (MCM) design with two GPU dies placed in a single module».
«The combined GPU module has around 208 billion transistors and 192 (180 usable) GB total memory per B200 GPU. By comparison, the Hopper H100 GPU had ~80 billion transistors and 80 GB HBM3 memory».
In the chapter, the dual-die design is described as a manufacturing necessity. A monolithic die is limited by reticle size (the lithography exposure field). To double the transistor budget, one either shrinks the process or connects multiple dies. NVIDIA chose the latter — and solved the die-to-die communication problem via NV-HBI at 10 TB/s.
For a programmer, this means the two dies appear as one GPU. This is not "two GPUs in one package" but one logical accelerator with 208B transistors and 180 GB of usable HBM3e. The software stack should not need to account for the presence of two dies.
Practical consequence: when memory performance anomalies appear on B200, it is worth checking die load balance, but in most cases code is written as for a single GPU.
The chapter states «208 billion transistors» for B200 — this is correct: two dies of ~104B each, manufactured on TSMC 4NP, connected by NV-HBI at 10 TB/s. The indication «192 (180 usable) GB HBM3e» needs clarification: 192 GB is the physically installed memory (8 HBM3e stacks of 24 GB each), but at runtime part is reserved for ECC and system buffers, so the model-available capacity is usually cited as ~180 GB. In NVIDIA's GB200 NVL72 spec, the rack total is 13.4 TB HBM3e.
The book was written when GB200 NVL72 was the current platform. In March 2025, NVIDIA announced Blackwell Ultra — B300 with 288 GB HBM3e per GPU (up from 192 GB), TDP 1400 W (up from 1000 W) and 15 PFLOPS dense FP4 (up from 9 PFLOPS). A GB300 NVL72 rack delivers 20 TB HBM (up from 13.4 TB), 1.44 exaFLOPS FP4 and doubled scale-out — ConnectX-8 at 800 Gb/s. For reasoning models, where KV cache volume and attention-layer bandwidth are critical, this is a qualitative leap, not just a quantitative improvement.
Two reticle-sized dies connected by NV-HBI at 10 TB/s
The dual-die design is a manufacturing necessity. NV-HBI at 10 TB/s makes two dies one logical GPU.
B200: 208B transistors, 192 (180 usable) GB HBM3e, ~8 TB/s memory, 126 MB L2. That is roughly 2.4× memory and 2.5× L2 versus Hopper.
Code is written as for a single GPU. In case of memory anomalies, checking die load balance is possible, but in most cases it is not required.
«Tensor Cores are specialized units within each streaming multiprocessor (SM) of the GPU that can perform matrix multiplication operations at very high speed… Blackwell's Tensor Cores support even more numerical formats, including extremely low-precision ones like 8-bit and 4-bit floating point».
«NVIDIA pioneered the Transformer Engine (TE) to automatically adjust and use mixed precision in deep learning where critical layers use higher precision (FP16 or BF16) and less critical layers use FP8».
In the chapter, lowering precision is considered a separate dimension of optimization that does not require algorithmic changes. The transition FP16 → FP8 gives a doubling of throughput; FP16 → FP4 — up to a fourfold increase. Memory shrinks proportionally: FP4 halves bytes per parameter versus FP8. This means 4× more parameters fit in the same HBM — or the same model reads from memory 4× faster.
The chapter separately stipulates that not every model tolerates FP4. Critical layers (early layers, attention softmax, layer norms) require higher precision. Transformer Engine solves this through automatic per-layer precision selection. The engineer's task is to enable TE and validate accuracy on a validation set.
The practical consequence noted in the chapter: if FP8 on Hopper/Blackwell is not yet in use, this means a loss of roughly a 2× gain without additional effort. FP4 makes sense to try on inference, where precision tolerance is higher.
Lower precision leads to multiplicative throughput gain
Lowering precision is a performance multiplier: 2× on FP8, up to 4× on FP4. Transformer Engine automatically selects precision per-layer.
FP4 requires calibration and does not suit every model. Critical layers (early layers, attention) remain in FP16/FP8.
Using FP8 on Hopper/Blackwell provides a 2× gain. FP4 is applied to inference where precision tolerance is higher. Accuracy is validated on a validation set.
«Each Blackwell GPU, like its predecessors, consists of many streaming multiprocessors (SMs). Think of these like the 'cores' of the GPU… An SM executes threads in fixed-size groups known as warps, with each warp containing exactly 32 threads that execute the exact same instructions in lockstep».
«SMs execute many active warps in parallel to help cover the latency of a thread waiting on data accessed from global memory… This is called latency hiding».
In the chapter, the SIMT model and the concept of latency hiding are described as the foundation of GPU kernel optimization. Understanding that a warp is 32 threads executing the same instructions explains why divergence is costly and why occupancy is a means to an end — hiding latency — not a goal in itself.
The key metric for a practitioner, according to the chapter, is not "how many threads are launched" but "how many warps are ready to execute at each moment." If all warps are waiting on memory, the GPU idles even if occupancy is formally 100%. That is why Nsight Compute shows "eligible warps per cycle" and "warp stall reasons" — these are more informative metrics than abstract occupancy.
Practical consequence: before increasing thread count, one must ensure there is enough independent work for them. Otherwise more warps are created that will wait on the same memory.
A few powerful serial cores vs thousands of parallel ones
Registers → Shared/L1 → L2 → HBM
A warp is 32 threads executing the same instructions in sync. Latency hiding is the primary GPU performance mechanism.
The most valuable are eligible warps per cycle and warp stall reasons, not abstract occupancy. 100% occupancy with fully stalled warps is worse than 50% occupancy with ready warps.
Before increasing thread count, one must ensure a sufficient amount of independent work. Otherwise more warps are created that wait on the same memory.
«Packing two GPUs and a CPU into a superchip gives us an incredibly powerful node. The next challenge is connecting many of these superchips together to scale out to even larger model training. NVIDIA provides a large rack configuration using GB200/GB300 Superchips called the NVL72 system. NVL72 stands for a system with 72 Blackwell GPUs—and 36 Grace CPUs—all interconnected with NVLink».
In the chapter, NVL72 is described as a paradigm shift in scaling. Previously, scaling meant "add nodes and connect them with a network." In the architecture under consideration, a rack itself acts as one large accelerator. This changes not only the hardware but also approaches to parallelism.
Practical consequence: if a model fits in one NVL72, more aggressive parallelism strategies can be used — TP across all 72 GPUs, EP with experts on different GPUs — which would be impossible on a traditional cluster. However, this requires understanding the topology: where NVLink is, where NVSwitch is, where InfiniBand is.
For an inference engineer, this means prefill/decode disaggregation becomes easier: both prefill and decode can live in one NVLink domain, with KV cache transferred over NVLink rather than over the network. This dramatically reduces transfer latency.
Two Grace Blackwell superchips per tray
NVL72 is one NVLink domain with 72 GPUs and ~130 TB/s aggregate bandwidth. This changes the rules for parallelism.
Topology is of primary importance. Communication should be kept inside the rack. For prefill/decode disaggregation, NVLink is used for KV cache transfer instead of the network.
«Each Blackwell GPU exposes 18 NVLink 5 ports. Aggregate bidirectional NVLink bandwidth is 1.8 TB/s per GPU (18 NVLink links × 100 GB/s bidirectional)… The NVSwitch fabric combines partial results without the data needing to funnel through the GPUs. By offloading collective computations from the GPUs to the switch hardware itself, SHARP allows the GPUs to focus on more complex computations».
In the chapter, the full NVSwitch crossbar is described as a fundamental difference from traditional fat-tree topologies. In a classic cluster, communication between two GPUs may require several hops through switches. In NVL72, any GPU reaches any other in one hop. This radically changes the latency profile of collective operations.
SHARP is the second key innovation examined in the chapter. Offloading aggregation to the network means gradients do not need to be gathered on a GPU to be averaged. The switch performs the reduction, and the GPU receives the final result. This reduces both SM load and traffic volume.
Practical consequence: if a workload uses all-reduce collectives (and almost any distributed training does), SHARP can deliver significant acceleration at large scales. One must ensure it is enabled and that NCCL uses the SHARP plugin.
The chapter recommends SHARP with the caveat «2–5× with no code changes». Open data confirms: NVIDIA reports that the Hopper-to-Blackwell transition — doubling NVLink, expanding the domain from 8 to 72 GPUs, and introducing NVIDIA Dynamo for disaggregated inference — together delivered a 50× improvement in MoE inference per watt. However, SHARP acceleration depends on scale: at 2–4 GPUs the gain is negligible; at 72+ GPUs inside a rack it is substantial; beyond the rack, throughput drops from ~800 GB/s to 100–200 GB/s if job scheduling does not account for topology.
Two NVSwitch chips and many high-speed ports
18 compute trays + 9 switch trays + power and cooling
Full crossbar: one NVLink lane per switch
SHARP reduction directly inside NVSwitch
Full NVSwitch crossbar gives one hop between any two GPUs. SHARP offloads aggregation to the network, freeing SMs.
18 NVLink 5 links per GPU × 100 GB/s = 1.8 TB/s bidirectional per GPU. Rack aggregate bandwidth ~130 TB/s.
One must ensure SHARP is enabled in NCCL. For all-reduce at large scales, this can deliver 2–5× with no code changes. The gain depends on scale: negligible at 2–4 GPUs, substantial at 72+ GPUs inside a rack.
«From a programming model standpoint, one GPU can directly access another GPU's memory over NVLink using peer-to-peer and partitioned global address space (PGAS) models such as NVIDIA SHMEM (NVSHMEM)… Software stacks such as NCCL and NVSHMEM provide the synchronization and ordering required for correct multi-GPU access».
The chapter draws a distinction: NCCL for collectives, NVSHMEM for point-to-point. If gradients need to be synchronized (all-reduce) — NCCL is used. If KV cache or activations need to be transferred between specific GPUs — NVSHMEM gives lower latency and better overlap with computation.
The PGAS model (partitioned global address space) means one can write to a remote GPU's memory as if it were local. This simplifies code for pipeline parallelism and disaggregated inference, where large blocks of data need to be transferred between specific GPU pairs.
Practical consequence: for training, NCCL is used; for inference with KV cache transfer — NVSHMEM or NIXL. Implementing point-to-point via NCCL send/recv is less efficient.
NCCL for collectives, NVSHMEM for point-to-point. The PGAS model simplifies data transfer between specific GPUs.
For training — NCCL. For inference with KV cache — NVSHMEM or NIXL. NCCL send/recv is not used for point-to-point.
«Each compute node in NVL72 is equipped with high-speed Network Interface Cards and a Data Processing Unit (DPU). A DPU offloads, accelerates, and isolates networking, storage, security, and management tasks from the host CPU… GB200/GB300 NVL72 racks integrate with Quantum-X800 InfiniBand or Spectrum-X800 Ethernet fabrics».
The chapter builds a hierarchy of communication costs in NVL72: NVLink (fastest) → InfiniBand (fast) → Ethernet (slow). Each transition down a level adds latency and reduces bandwidth. The engineer's job is to minimize boundary crossings.
The DPU plays a key role: it frees the CPU from network tasks and allows data to go directly into GPU memory via GPUDirect RDMA. This is critical for disaggregated inference, where KV cache is transferred between racks.
Practical consequence: when designing a distributed system, one should first try to fit everything in one NVL72. If this is impossible, InfiniBand is used between racks, but with the understanding that this is a different latency profile.
Hierarchy: NVLink → InfiniBand → Ethernet. The DPU frees the CPU and enables GPUDirect RDMA.
First, everything is fit into one NVL72. Crossing rack boundaries — only when necessary. DPU is used for network offload.
«A fully loaded NVL72 can consume up to ~130 kW of power under max load. This is more than 2× NVIDIA's previous generation AI rack… Cooling 130 kW in one rack is beyond the reach of traditional air cooling. The NVL72 is a fully liquid-cooled system».
In the chapter, 130 kW per rack is described as a level at which air cooling physically cannot work: removing that much heat with air requires hurricane-like airflow and huge ducts. Liquid cooling becomes not an option but a mandatory condition.
Practical consequence: NVL72 cannot simply be "placed in an existing data center." It requires: chilled water supply; CDU (Coolant Distribution Unit); reinforced floors (rack weighs ~1.3–1.4 tonnes); two independent 130 kW power feeds.
This changes the deployment economics: NVL72 is not a "server" but an infrastructure element requiring building-level planning. For cloud providers, this means building specialized AI factories rather than retrofitting old data centers.
The chapter cites 130 kW. Open data: GB200 NVL72 — ~120 kW nominal, 130–132 kW at full load; GB300 NVL72 — 132–142 kW. Rack weight — 1.36 tonnes. For comparison: the average industrial rack is 7.6 kW (Uptime Institute, 2025). 68% of enterprise data centers built before 2015 cannot host NVL72 either in power or cooling capacity. Infrastructure retrofit costs — $200–300K per rack position. Dell'Oro Group notes that direct-to-chip liquid cooling in 2026 transitioned from a niche technology to a «fundamental architecture» for AI deployments. NVIDIA Rubin is the first generation with 100% liquid cooling without fans: coolant 45°C inlet, 55°C outlet, zero water consumption in favorable climates.
130 kW per rack is a level where liquid cooling becomes mandatory. NVL72 is an infrastructure element, not just a server.
NVL72 requires: chilled water, CDU, reinforced floors, two power feeds. Deployment is planned at the building level. 68% of older data centers cannot host NVL72 without a retrofit costing $200–300K per rack position.
When planning NVL72 deployment, infrastructure requirements are taken into account. It is not "another server in a rack" but a specialized AI factory.
«At the time of writing, the Grace Blackwell NVL72 platform represents the state-of-the-art in AI hardware. But NVIDIA is already preparing the next leaps… NVIDIA intends to continue doubling down on performance, memory, and integration».
«One year they double memory, another year they double the number of dies, another year they double interconnect bandwidth… Over a few years, the compound effect of this doubling is huge».
In the chapter, the pattern of "doubling something every year" is described as an engineering strategy, not a marketing technique. Each generation adds something important: memory, number of dies, interconnect bandwidth, numeric formats. The compound effect over 3–4 years yields an order-of-magnitude gain.
For an engineer, this means: what seems impossible today becomes routine in 2–3 years. Models with 10 trillion parameters that today require multi-rack clusters may tomorrow fit in a single rack. Contexts of millions of tokens that today require special techniques will tomorrow be standard.
Practical consequence: investments in understanding fundamental principles — memory hierarchy, communication patterns, parallelism — pay off better than knowledge of specific numbers of the current generation. An engineer who understands why NVLink is faster than InfiniBand adapts to a new generation in days. One who only knows "how to configure NCCL on H100" will take months to relearn.
NVIDIA doubles something important every year. The compound effect over 3–4 years yields an order-of-magnitude gain in performance and capacity.
Vera Rubin (2026), Rubin Ultra (2027), Feynman (2028) — each generation will continue the pattern. By 2028, inference will dominate over training.
Investments in understanding fundamental principles: memory hierarchy, communication patterns, parallelism. Specific numbers change — principles remain.
Fregly's book was written in 2025, when GB200 NVL72 was the current platform. Much has changed since. Below is a comparison of the chapter's forecasts with open data and clarification of figures.
The chapter states «208 billion transistors» for B200 — this is correct: two dies of ~104B each, manufactured on TSMC 4NP, connected by NV-HBI at 10 TB/s. The indication «192 (180 usable) GB HBM3e» needs clarification: 192 GB is the physically installed memory (8 HBM3e stacks of 24 GB each), but at runtime part is reserved for ECC and system buffers, so the model-available capacity is usually cited as ~180 GB. In NVIDIA's GB200 NVL72 spec, the rack total is 13.4 TB HBM3e.
The book was written when GB200 NVL72 was the current platform. In March 2025, NVIDIA announced Blackwell Ultra — B300 with 288 GB HBM3e per GPU (up from 192 GB), TDP 1400 W (up from 1000 W) and 15 PFLOPS dense FP4 (up from 9 PFLOPS). A GB300 NVL72 rack delivers 20 TB HBM (up from 13.4 TB), 1.44 exaFLOPS FP4 and doubled scale-out — ConnectX-8 at 800 Gb/s. This is not just an «upgrade» — it is a qualitative leap for reasoning models, where KV cache volume and attention-layer bandwidth are critical. TrendForce calls GB300 «the primary Blackwell SKU of 2026», which moves liquid cooling from minority practice to majority for new AI capacity.
The chapter recommends SHARP with the caveat «2–5× with no code changes». Open data confirms: NVIDIA reports that the Hopper-to-Blackwell transition — doubling NVLink, expanding the domain from 8 to 72 GPUs, and introducing NVIDIA Dynamo for disaggregated inference — together delivered a 50× improvement in MoE inference per watt. However, SHARP acceleration depends on scale: at 2–4 GPUs the gain is negligible; at 72+ GPUs inside a rack it is substantial; beyond the rack, throughput drops from ~800 GB/s to 100–200 GB/s if job scheduling does not account for topology.
The chapter cites 130 kW. Open data: GB200 NVL72 — ~120 kW nominal, 130–132 kW at full load; GB300 NVL72 — 132–142 kW. Rack weight — 1.36 tonnes. For comparison: the average industrial rack is 7.6 kW (Uptime Institute, 2025). 68% of enterprise data centers built before 2015 cannot host NVL72 either in power or cooling capacity. Infrastructure retrofit costs — $200–300K per rack position. Dell'Oro Group notes that direct-to-chip liquid cooling in 2026 transitioned from a niche technology to a «fundamental architecture» for AI deployments.
«One year they double memory, another year they double the number of dies, another year they double interconnect bandwidth…»
Confirmed. NVLink: 900 GB/s (Hopper) → 1,800 GB/s (Blackwell) → 3,600 GB/s (Rubin, H2 2026) — doubling every ~2 years. Memory per GPU: 80 GB (H100) → 192 GB (B200) → 288 GB (B300/Rubin). Dense FP4: 9 PFLOPS (B200) → 15 PFLOPS (B300) → 50 PFLOPS (Rubin). Compound effect over 3 years (H100 → Rubin) — roughly 5× memory, 5.5× FP4 per GPU, 4× NVLink.
«Vera Rubin (2026), Rubin Ultra (2027), Feynman (2028) — each generation will continue the pattern».
Confirmed with correction. Rubin officially entered production on January 5, 2026 at CES; partner products — H2 2026. Rubin Ultra is slated for H2 2027, but SemiAnalysis predicts Kyber NVL144 may slip to 2028 due to midplane manufacturing issues. Feynman — 2028, but this is a «planning horizon»: NVIDIA has not yet disclosed specifications, and business cases should not rely on it.
«By 2028, inference will dominate over training».
Confirmed and ahead of schedule. As early as 2025, Jensen Huang stated: «AI inference token generation has surged tenfold in just one year». Microsoft Azure is deploying GB300 NVL72 «purpose-built for OpenAI's most demanding AI inference workloads» — not for training. Gartner estimates that 80–90% of AI workload power consumption in 2026 comes from inference, not training. NVIDIA positions GB300 as an «accelerator for the age of reasoning», where test-time scaling multiplies inference load.
«Models with 10 trillion parameters that today require multi-rack clusters may tomorrow fit in a single rack».
Partially confirmed. GB300 NVL72 has 37 TB of fast memory (20 TB HBM + 17 TB LPDDR5X). A 10-trillion-parameter model in FP4 (0.5 bytes per parameter) requires ~5 TB for weights alone — it fits. But with KV cache, activation buffers, and overheads, the real ceiling for full inference is 5–7 trillion parameters per rack. Vera Rubin NVL72 with 20.7 TB HBM4 and 54 TB LPDDR5X extends this ceiling, but 100-trillion-parameter models still require multi-rack clusters.
«Cooling 130 kW in one rack is beyond the reach of traditional air cooling».
Confirmed. Dell'Oro Group notes that direct-to-chip liquid cooling in 2026 transitioned from a niche technology to a «fundamental architecture» for AI deployments. The global data center liquid cooling market grew from $1.3B (2024) to $2.2B (2025), with a CAGR forecast of 23.2% through 2031. NVIDIA Rubin is the first generation with 100% liquid cooling without fans: coolant 45°C inlet, 55°C outlet, zero water consumption in favorable climates.
The chapter describes the architecture and principles but leaves out several aspects that emerged in real-world operation.
The chapter describes NVL72 as a working system, but the real path to production was difficult. In 2024–2025, manufacturers faced GPU overheating, liquid cooling leaks, firmware bugs, and die-to-die connectivity problems. NVIDIA asked suppliers to redesign the rack multiple times. Microsoft cut its GB200 order by 40% in late 2024. Mass production slipped from September 2024 to Q2–Q3 2025. Each rack contains more than 2,000 cables, and bending-radius deviations cause bit errors that reduce throughput by up to 40%.
Takeaway: integrating 72 GPUs into a single NVLink domain is not only an architectural decision but also a supply-chain challenge. NVIDIA needed ~2 years from announcement (March 2024) to mass production (Q2–Q3 2025), longer than the standard 1.5–2-year server development cycle.
The chapter does not mention Blackwell Ultra, but this is not a minor upgrade. B300 adds 50% more memory (288 vs 192 GB), 67% more dense FP4 (15 vs 9 PFLOPS), doubles scale-out (800 vs 400 Gb/s) and doubles attention acceleration (10.7 vs 5 TeraExponentials/s). TrendForce calls GB300 «the primary Blackwell SKU of 2026», which moves liquid cooling from minority practice to majority for new AI capacity.
Microsoft Azure in October 2025 deployed the world's first production GB300 NVL72 cluster for OpenAI: 64 racks, 4,608 GPUs, 92.1 exaFLOPS FP4 inference. CoreWeave, NVIDIA and IBM submitted the largest MLPerf Training v5.0 entry in history — 2,496 Blackwell GPUs, Llama 3.1 405B trained in 27.3 minutes, more than 2× faster than comparable clusters. One GB300 NVL72 rack costs an estimated $3.7–4.0M; Vera Rubin NVL72 — an estimated $5–7M.
The chapter forecasts Rubin for 2026 — and it has come true. Rubin GPU: 336 billion transistors (TSMC 3nm), 288 GB HBM4 at 22 TB/s, 50 PFLOPS FP4 inference, NVLink 6 at 3.6 TB/s, TDP ~2,300 W. Vera Rubin NVL72 rack: 3.6 exaFLOPS FP4 inference (2.5× GB300), 260 TB/s NVLink (2× GB300), 100% liquid cooling, modular assembly in 5 minutes instead of 2 hours. A RAS system is introduced — GPU diagnostics without cluster removal, between training checkpoints.
The Vera Rubin platform includes Groq LPU integration (Language Processing Unit) — the first time NVIDIA integrates a third-party accelerator into its rack-scale platform. Groq LP30/LP35 operates as an inference accelerator on top of CUDA, without code changes. This is recognition that a single accelerator type is insufficient for reasoning workloads.
NVL72 is a product for the ultimate upper segment. For most workloads, 8-GPU nodes on B300 (2.3 TB memory, ~10 kW, air cooling) are sufficient. NVIDIA itself offers DGX B300 NVL16 for those who need NVLink but not a 140 kW rack. Bifurcation: hyperscalers build purpose-built facilities for NVL72; everyone else stays on HGX nodes.
Chapter 2 of Fregly's book is a systematic overview of the hardware platform on which modern AI runs. The key idea: NVIDIA co-designs everything — from dies to cooling — for accelerating AI workloads. For an engineer, this means understanding memory hierarchy, communication patterns, and parallelism principles is more important than knowing specific numbers of the current generation. As we move toward models with hundreds of trillions of parameters, co-design ceases to be optional and becomes the only way forward.
Forecast verification shows: the book proved accurate in its predictions. The compound doubling effect was confirmed with high precision. The only thing that changed faster than expected was the dominance of inference over training. The main takeaway remains unchanged: investments in fundamental principles ensure adaptation to any generation of hardware.
Sources: Chris Fregly, «AI Systems Performance Engineering» (O'Reilly, 2026), Chapter 2 — quotes provided in limited volume for review and critical analysis purposes. NVIDIA GB200 NVL72, GB300 NVL72, Vera Rubin NVL72 documentation; NVIDIA Grace Blackwell Superchip; NVIDIA NVLink/NVSwitch; MLPerf Training/Inference v5.0; TrendForce; SemiAnalysis; Dell'Oro Group; Uptime Institute; Nature (September 2025).
Direct quotes from the book are marked with blocks labeled «Quote from the book». The rest of the text is a systematized exposition of the chapter's content, a comparison with current data, forecast verification, and additional observations.
