AMD Instinct MI300X — это невероятно мощный ускоритель для задач искусственного интеллекта, который ведущие облачные компании начинают интегрировать в свою инфраструктуру для поддержки сложных вычислений.
Недавно Vultr объявил о заказе тысяч единиц MI300X. Теперь Oracle Cloud Infrastructure (OCI) заявляет о принятии данного оборудования для своего нового суперкомпьютерного кластера BM.GPU.MI300X.8.
Новый суперкомпьютер предназначен для работы с масштабными AI-моделями, содержащими миллиарды параметров, и поддерживает до 16 384 графических процессоров в одном кластере. Это решение использует ту же высокоскоростную технологию, что и другие ускорители OCI, предоставляя возможности для крупномасштабного обучения и вывода на основе AI, что требуется для выполнения самых требовательных задач. Конфигурация особенно подходит для моделей LLM и сложных операций глубокого обучения.
Тестирование в предсерийном производстве
Согласно Андре Дикманну, корпоративному вице-президенту и генеральному директору подразделения Data Center GPU Business в AMD, «AMD Instinct MI300X и открытое программное обеспечение ROCm продолжают завоевывать доверие как решения для критически важных наладок AI в OCI». Расширение этих решений в растущих AI-маркетах принесет клиентам OCI высокую производительность, эффективность и гибкость в проектировании систем.
Oracle утверждает, что ее тестирование MI300X в рамках предсерийной работы подтвердило производительность GPU в реальных сценариях. Для модели Llama 2 MI300X показал задержку 65 миллисекунд до первого токена и эффективно масштабировался для генерации большого числа токенов при значительных нагрузках. В другом тесте с параметрами входных и выходных токенов он обеспечил совокупную задержку в 1.6 секунды, что сопоставимо с результатами AMD.
Инстанс OCI BM.GPU.MI300X.8 оснащен восемью ускорителями AMD Instinct MI300X, обеспечивая 1.5 ТБ GPU памяти HBM3 с пропускной способностью 5.3 ТБ/с, а также имея 2 ТБ системной памяти и 8 устройств NVMe по 3.84 ТБ. Oracle предложит это решение без виртуализации по цене 6 долларов за GPU в час.
По словам Дональда Лу, старшего вице-президента по разработке программного обеспечения Oracle Cloud Infrastructure, «возможности вывода AMD Instinct MI300X дополняют обширный выбор высокопроизводительных решений без виртуализации, устраняя накладные расходы виртуализированных вычислений, часто используемых для AI-инфраструктур». Он также отметил, что Oracle рада предложить больше вариантов для клиентов, стремящихся ускорить работу AI-нагрузок по конкурентоспособной цене.
Источник: TechRadar
