Nvidia представила свои первые результаты тестирования своего собственного Grace Hopper CPU+GPU Superchip и ускорителей L4 GPU в рамках MLPerf, стандарта для измерения производительности искусственного интеллекта. Узнайте, насколько эффективен новый Grace Hopper Superchip и какие перспективы он открывает.
Индустрия технологий искусственного интеллекта развивается на удивительной скорости, внедряя новые модели и мощные решения. В этом контексте бенчмарк MLPerf, управляемый организацией MLCommons, постоянно совершенствуется, чтобы отражать изменения в мире искусственного интеллекта. Сегодня мы рассмотрим результаты первых тестовых испытаний Grace Hopper CPU+GPU Superchip от Nvidia и ускорителей L4 GPU, которые были представлены в новейшей версии MLPerf.
Grace Hopper Superchip: Лучше, чем H100?
Nvidia заявляет, что Grace Hopper Superchip обеспечивает до 17% больше производительности по сравнению с одним из своих ведущих H100 GPU в бенчмарке GPT-J. Это может показаться удивительным, учитывая, что GH200 использует тот же силикон, что и H100 CPU, но есть объяснение.
Секрет успеха Grace Hopper Superchip
Grace Hopper Superchip объединяет GPU Hopper и процессор Grace на одной плате, обеспечивая связь CPU-to-GPU с пропускной способностью 900 ГБ/с, что на 7 раз больше, чем у типичного PCIe-соединения. Это увеличивает доступную полосу пропускания памяти GH200, дополненную согласованной памятью, включающей 96 ГБ памяти HBM3 и 4 ТБ/с пропускной способности памяти GPU. В сравнении, тестируемая H100 имеет только 80 ГБ HBM3 (в будущих моделях Grace Hopper предусмотрено 144 ГБ HBM3e, в два раза быстрее, во втором квартале 2024 года).
Динамическое распределение энергии: Автоматическое управление питанием
Nvidia также выделяет динамическую технологию управления питанием, называемую «Автоматическое управление питанием», которая балансирует бюджет мощности между процессором и GPU, перераспределяя мощность в пользу той единицы, которая находится под наибольшей нагрузкой. Эта технология применяется во многих современных комбинациях CPU+GPU, что позволяет GPU на борту Grace Hopper Superchip использовать более высокий бюджет по мощности, чем это возможно в обычных серверах. Полная система CPU+GPU работала с бюджетом мощности 1000 Вт.
Выводы
Но стоит помнить, что Nvidia самостоятельно представляет эти бенчмарки в MLCommons, поэтому они, вероятно, представляют собой наилучшие настройки для тестирования. Nvidia также гордится тем, что является единственной компанией, представившей бенчмарки для каждой модели искусственного интеллекта, используемой в наборе MLPerf, и это объективное утверждение. Отсутствие результатов тестирования у некоторых компаний, таких как AMD, или представление только некоторых бенчмарков, как в случае Intel с Habana и Google с TPU, имеет разные причины, но было бы хорошо видеть больше конкурентов в мире MLPerf.
Заключение
Новейший Grace Hopper CPU+GPU Superchip от Nvidia представляет собой интересное решение, объединяющее процессор и GPU на одной плате и обеспечивающее выдающуюся производительность. Несмотря на лучшие показатели в некоторых бенчмарках по сравнению с H100, следует помнить, что это результаты, представленные Nvidia самой компанией. Тем не менее, этот продукт открывает новые перспективы в области искусственного интеллекта и может быть значимым вкладом в развитие этой индустрии.
