Giant AI models and the most powerful chips: Nvidia released the powerful B200 GPU with modest power consumption

Гигантские ИИ-модели и самые производительные чипы: Nvidia выпустила мощный GPU B200 со скромным потреблением энергии

Граб

4 мин.

Посмотреть оригинал

Корпорация Nvidia продолжает развивать направление производства чипов для ИИ-отрасли. Сейчас руководитель американской компании заявил о выпуске самого мощного ИИ-чипа в мире. Кроме того, готовы и некоторые модульные системы, базирующиеся на основе GPU B200, так называется новинка.

Что это за чип и зачем он нужен?

Поскольку отрасль искусственного интеллекта сейчас активнейшим образом развивается, производители чипов и модулей на их базе тоже не стоят на месте. Один из самых крупных представителей этого рынка — корпорация Nvidia.

В марте 2024 года она показала новые ускорители вычислений, которые базируются на архитектуре Blackwell. Последняя — «потомок» Hopper, предтечи, представленной два года назад.

Корпорация заявила, что новый чип предназначен для создания систем, позволяющих обучать поистине гигантские модели — уже не с миллиардами, а триллионами параметров. Это нужно для решения таких задач, как обработка естественного языка, создание мультимодальных приложений, кодогенерация и т. п. В нейминге архитектуры нет ничего удивительного, она названа в честь американского математика.

Стоит отметить, что чипы H100/H200 крайне востребованы на рынке, несмотря на свою цену. Новый чип, насколько можно судить, будет ещё дороже, но, скорее всего, его тоже станут массово покупать. Здесь стоит подробнее рассказать о характеристиках чипа.

Так, новый GPU состоит из двух кристаллов, которые произведены по специальной версии 4-нм техпроцесса TSMC 4NP (само собой, на мощностях TSMC) и объединены 2,5D-упаковкой CoWoS-L. Интересно, что это первый GPU компании Nvidia с чиплетной компоновкой. Чипы соединены шиной NV-HBI с пропускной способностью 10 Тбайт/с и работают как единый GPU. Всего новинка насчитывает 208 млрд транзисторов. Свой продукт компания называет двигателем для новой промышленной революции.

Собственно, имеет право, поскольку его возможности действительно отличные. Например, в вычислениях FP4 и FP8 этот GPU показывает производительность до 20 и 10 Пфлопс соответственно. Не в последнюю очередь функции чипа обусловлены новыми тензорными ядрами и вторым поколением механизма Transformer Engine. Он позволяет выполнять тонкую настройку вычислений для разных задач, что, конечно, влияет на скорость обучения моделей. Blackwell поддерживает работу с самыми различными форматами, включая FP4, FP6, FP8, INT8, BF16, FP16, TF32 и FP64.

Ну хорошо, чип — это отлично, а что насчёт ускорителей?

Главным продуктом здесь станет Nvidia Grace Blackwell Superchip. В нём два графических процессора B200 и центральный Arm-чип Nvidia Grace с 72 ядрами Neoverse V2. В общем, не зря к названию чипа добавили приставку Super, результат действительно удивляет. Производительность в операциях FP4 достигает 40 Пфлопс, тогда как в операциях FP8/FP6/INT8 новый GB200 способен обеспечить 10 Пфлопс.

По сравнению с H100 новинка показывает 30-кратный прирост производительности. Но при этом она ещё и потребляет меньше энергии — сообщается, что ускоритель в 25 раз более энергоэффективный, чем предыдущие модели.

А ещё компания будет поставлять системы GB200 NVL72. Это собственная разработка — серверная стойка, в которую входят 36 Grace Blackwell Superchip и пара коммутаторов NVSwitch 7.2T. Получается, что в системе сразу 72 графических процессора B200 и 36 чипов Grace, которые объединены NVLink пятого поколения.

И всё это работает как единый GPU с ИИ-производительностью 1,4 эксафлопс (FP4) и 720 Пфлопс (FP8). Эта система станет строительным блоком для новейшего суперкомпьютера Nvidia DGX SuperPOD.

Но и это ещё не всё, ведь американская компания представила также и серверные системы. Это в первую очередь HGX B100, HGX B200 и DGX B200. В каждой по восемь ускорителей нового типа.

Nvidia заявляет, что существует возможность создания очень крупных ИИ-систем, которые включают от 10 тыс. до 100 тыс. ускорителей GB200. Формировать их можно посредством сетевых интерфейсов Nvidia Quantum-X800 InfiniBand и Spectrum-X800 Ethernet. Они также были анонсированы сегодня и обеспечат передовые сетевые возможности со скоростью до 800 Гбит/с.

При этом всего одна система GB200 NVL72 способна выполнить инференс модели с 27 трлн параметров. В той же GPT-4, модели, с которой знакомы многие читатели Хабра, 1,7 трлн параметров. Соответственно, в скором будущем можно ожидать появления ещё более крупных и совершенных моделей, способных удивлять нас разными технологическими новшествами и возможностями.

Кроме новинок, показанных Nvidia, в скором времени представят свои системы на базе Nvidia B200 и другие корпорации, включая Aivres, ASRock Rack, ASUS, Eviden, Foxconn, GIGABYTE, Inventec, Pegatron, QCT, Wistron, Wiwynn и ZT Systems.

Естественно, новинки Nvidia уже заинтересовали крупные и средние компании. В числе первых — те корпорации, которые оказывают услуги облачных вычислений, например Amazon, Google, Microsoft и Oracle.

Гігантські ШІ-моделі та найпродуктивніші чіпи: Nvidia випустила потужний GPU B200 зі скромним споживанням енергії

Грабовий

4 хв

Переглянути оригінал

Корпорація Nvidia продовжує розвивати напрямок виробництва чіпів для ІІ-галузі. Наразі керівник американської компанії заявив про випуск найпотужнішого ІІ-чіпа у світі. Крім того, готові деякі модульні системи, що базуються на основі GPU B200, так називається новинка.

Що це за чіп і навіщо він потрібний?

Оскільки галузь штучного інтелекту зараз найактивніше розвивається, виробники чіпів та модулів на їх базі теж не стоять на місці. Один із найбільших представників цього ринку — корпорація Nvidia.

У березні 2024 року вона показала нові прискорювачі обчислень, що базуються на архітектурі Blackwell. Остання - "нащадок" Hopper, предтечі, представленої два роки тому.

Корпорація заявила, що новий чіп призначений для створення систем, які дають змогу навчати воістину гігантські моделі — вже не з мільярдами, а трильйонами параметрів. Це потрібно для вирішення таких завдань, як обробка природної мови, створення мультимодальних додатків, кодогенерація тощо. У неймінгу архітектури немає нічого дивного, вона названа на честь американського математика.

Варто відзначити, що чіпи H100/H200 вкрай потрібні на ринку, незважаючи на свою ціну. Новий чіп, наскільки можна судити, буде ще дорожчим, але, швидше за все, його теж масово купуватимуть. Тут варто детальніше розповісти про характеристики чіпа.

Так, новий GPU складається з двох кристалів, які виготовлені за спеціальною версією 4-нм техпроцесу TSMC 4NP (саме собою, на потужностях TSMC) та об'єднані 2,5D-упаковкою CoWoS-L. Цікаво, що це перший GPU компанії Nvidia з чіплетним компонуванням. Чіпи з'єднані шиною NV-HBI з пропускною здатністю 10 Тбайт/с та працюють як єдиний GPU. Загалом новинка налічує 208 млрд транзисторів. Свій продукт компанія називає двигуном нової промислової революції.

Власне, має право, оскільки його можливості справді відмінні. Наприклад, у обчисленнях FP4 та FP8 цей GPU показує продуктивність до 20 та 10 Пфлопс відповідно. Не в останню чергу функції чіпа обумовлені новими тензорними ядрами та другим поколінням механізму Transformer Engine. Він дозволяє виконувати тонке налаштування обчислень для різних завдань, що, звісно, ​​впливає швидкість навчання моделей. Blackwell підтримує роботу з різними форматами, включаючи FP4, FP6, FP8, INT8, BF16, FP16, TF32 і FP64.

Ну добре, чіп - це добре, а що щодо прискорювачів?

Головним продуктом тут стане Nvidia Grace Blackwell Superchip. У ньому два графічні процесори B200 і центральний Arm-чіп Nvidia Grace з 72 ядрами Neoverse V2. Загалом, недаремно до назви чіпа додали приставку Super, результат справді дивує. Продуктивність в операціях FP4 досягає 40 Пфлопс, тоді як в операціях FP8/FP6/INT8 новий GB200 здатний забезпечити 10 Пфлопс.

Порівняно з H100 новинка показує 30-кратний приріст продуктивності. Але при цьому вона ще й споживає менше енергії — повідомляється, що прискорювач у 25 разів енергоефективніший, ніж попередні моделі.

А ще компанія постачатиме системи GB200 NVL72. Це власна технологія - серверна стійка, в яку входять 36 Grace Blackwell Superchip і пара комутаторів NVSwitch 7.2T. Виходить, що в системі відразу 72 графічні процесори B200 і 36 чіпів Grace, які об'єднані NVLink п'ятого покоління.

І все це працює як єдиний GPU з ІІ-продуктивністю 1,4 ексафлопс (FP4) та 720 Пфлопс (FP8). Ця система стане будівельним блоком для нового суперкомп'ютера Nvidia DGX SuperPOD.

Але це ще не все, адже американська компанія представила також і серверні системи. Це насамперед HGX B100, HGX B200 та DGX B200. У кожній по вісім прискорювачів нового типу.

Nvidia заявляє, що є можливість створення дуже великих ІІ-систем, які включають від 10 тис. до 100 тис. прискорювачів GB200. Формувати їх можна за допомогою мережевих інтерфейсів Nvidia Quantum-X800 InfiniBand та Spectrum-X800 Ethernet. Вони також були анонсовані сьогодні та забезпечать передові мережеві можливості зі швидкістю до 800 Гбіт/с.

При цьому лише одна система GB200 NVL72 здатна виконати інференс моделі з 27 трлн параметрів. У тій же GPT-4, моделі, з якою знайомі багато читачів Хабра, 1,7 трлн параметрів. Відповідно, у найближчому майбутньому очікується появи ще більших і досконалих моделей, здатних дивувати нас різними технологічними нововведеннями і можливостями.

Крім новинок, показаних Nvidia, незабаром представлять свої системи на базі Nvidia B200 та інші корпорації, включаючи Aivres, ASRock Rack, ASUS, Eviden, Foxconn, GIGABYTE, Inventec, Pegatron, QCT, Wistron, Wiwynn та ZT Systems.

Природно, новинки Nvidia вже зацікавили великі та середні компанії. Серед перших - ті корпорації, які надають послуги хмарних обчислень, наприклад, Amazon, Google, Microsoft та Oracle.

 

Giant AI models and the most powerful chips: Nvidia released the powerful B200 GPU with modest power consumption

Hornbeam

4 min

View Original

Nvidia Corporation continues to develop the production of chips for the AI ​​industry. Now the head of an American company has announced the release of the most powerful AI chip in the world. In addition, some modular systems based on the GPU B200 are ready, as the new product is called.

What kind of chip is this and why is it needed?

Since the artificial intelligence industry is now actively developing, manufacturers of chips and modules based on them are also not standing still. One of the largest representatives of this market is Nvidia Corporation.

In March 2024, it showed new computing accelerators that are based on the Blackwell architecture. The latter is a “descendant” of Hopper, the predecessor introduced two years ago.

The corporation stated that the new chip is designed to create systems that allow training truly gigantic models - no longer with billions, but trillions of parameters. This is needed to solve problems such as natural language processing, creating multimodal applications, code generation, etc. There is nothing surprising in the naming of the architecture; it is named after an American mathematician.

It is worth noting that the H100/H200 chips are extremely in demand on the market, despite their price. The new chip, as far as one can judge, will be even more expensive, but most likely it will also be purchased en masse. Here it is worth talking in more detail about the characteristics of the chip.

Thus, the new GPU consists of two crystals, which are produced using a special version of the TSMC 4NP 4nm process technology (of course, at TSMC facilities) and combined with 2.5D CoWoS-L packaging. Interestingly, this is Nvidia's first GPU with a chiplet layout. The chips are connected by an NV-HBI bus with a throughput of 10 TB/s and operate as a single GPU. In total, the new product has 208 billion transistors. The company calls its product the engine for a new industrial revolution.

Actually, he has the right, since his capabilities are truly excellent. For example, in FP4 and FP8 calculations, this GPU shows performance of up to 20 and 10 Pflops, respectively. Last but not least, the chip's functions are due to new tensor cores and the second generation of the Transformer Engine. It allows you to fine-tune calculations for different tasks, which, of course, affects the speed of model training. Blackwell supports a wide range of formats, including FP4, FP6, FP8, INT8, BF16, FP16, TF32 and FP64.

Okay, the chip is great, but what about the accelerators?

The main product here will be the Nvidia Grace Blackwell Superchip. It has two B200 GPUs and a central Nvidia Grace Arm chip with 72 Neoverse V2 cores. In general, it’s not for nothing that the prefix “Super” was added to the name of the chip; the result is truly surprising. Performance in FP4 operations reaches 40 Pflops, while in FP8/FP6/INT8 operations the new GB200 is capable of delivering 10 Pflops.

Compared to the H100, the new product shows a 30-fold increase in performance. But at the same time, it also consumes less energy - the accelerator is reported to be 25 times more energy efficient than previous models.

The company will also supply GB200 NVL72 systems. This is our own development - a server rack that includes 36 Grace Blackwell Superchips and a pair of NVSwitch 7.2T switches. It turns out that the system has 72 B200 graphics processors and 36 Grace chips, which are combined with fifth-generation NVLink.

And it all runs as a single GPU with AI performance of 1.4 exaflops (FP4) and 720 pflops (FP8). This system will be the building block for Nvidia's newest supercomputer, the DGX SuperPOD.

But that’s not all, because the American company also presented server systems. These are primarily HGX B100, HGX B200 and DGX B200. Each contains eight accelerators of a new type.

Nvidia says it is possible to build very large AI systems that include 10,000 to 100,000 GB200 accelerators. They can be formed using the Nvidia Quantum-X800 InfiniBand and Spectrum-X800 Ethernet network interfaces. They were also announced today and will provide advanced networking capabilities with speeds of up to 800 Gbps.

At the same time, just one GB200 NVL72 system is capable of performing inference on a model with 27 trillion parameters. In the same GPT-4, a model with which many Habr readers are familiar, there are 1.7 trillion parameters. Accordingly, in the near future we can expect the appearance of even larger and more advanced models capable of surprising us with various technological innovations and capabilities.

In addition to the new products shown by Nvidia, other corporations will soon present their systems based on Nvidia B200, including Aivres, ASRock Rack, ASUS, Eviden, Foxconn, GIGABYTE, Inventec, Pegatron, QCT, Wistron, Wiwynn and ZT Systems.

Naturally, large and medium-sized companies have already become interested in Nvidia's new products. Among the first are those corporations that provide cloud computing services, such as Amazon, Google, Microsoft and Oracle.