Microsoft поддержала стартап, выпустивший AI-процессор без GPU и HBM; партнер Nvidia поддержал

d-Matrix Inc. представляет процессор Corsair для увеличения эффективности AI-инференса

• Инновационная архитектура DIMC предлагает невероятно высокую пропускную способность памяти в 150 ТБ/с
• Corsair поддерживает трансформеры, агентский AI и интерактивную генерацию видео

Компания d-Matrix Inc., стартап из Санта-Клары, Калифорния, представила свой первый процессор искусственного интеллекта, Corsair, нацеленный на повышение эффективности AI-инференса. Corsair разработан без использования традиционных GPU и дорогостоящей памяти с высокой пропускной способностью (HBM), что обеспечивает существенные преимущества в производительности и снижении издержек.

Процессор Corsair доступен для ранних клиентов, и его более широкий выпуск запланирован на второй квартал 2025 года.

Производительность Corsair переопределяет AI-инференс

Процессор Corsair специально разработан для обработки сложных задач AI-инференса, особенно для генеративных моделей искусственного интеллекта. Он способен обрабатывать 60,000 токенов в секунду с задержкой 1 мс на токен при работе с моделью Llama3 8B на одном сервере. В более ресурсоёмких сценариях, таких как модель Llama3 70B, Corsair обрабатывает 30,000 токенов в секунду с задержкой 2 мс на токен на одной стойке, что приводит к значительному сокращению энергетических и эксплуатационных затрат по сравнению с традиционными решениями на базе GPU.

Процессор построен на основе плит Nighthawk и Jayhawk II с использованием 6-нм технологического процесса. Каждая плита Nighthawk включает четыре нейронных ядра и процессор RISC-V, оптимизированный для инференса крупномасштабных моделей с учетом цифровых вычислений в памяти (DIMC) и обработки различных типов данных, включая блочную плавающую точку (BFP).

Corsair использует пакетирование чиплетов, интегрируя память и вычислительные элементы с целью максимизации эффективности. Он соответствует стандартной форме карты PCIe Gen5 с возможностью соединения с картами DMX Bridge для масштабируемой производительности. Каждая карта оснащена 2400 Тфлопс 8-битного пикового вычислительного потенциала, 2 ГБ интегрированной памяти и до 256 ГБ внешнего объёма памяти.

Перспективы и сотрудничество

Важно отметить сотрудничество компании d-Matrix с ключевой партнёрской компанией Micron Technology, связанной с Nvidia. Изначально запуск был запланирован на конец 2023 года, но архитектура d-Matrix была перестроена для удовлетворения растущего спроса на генеративный искусственный интеллект. Эта перестройка позволила Corsair внедрить усовершенствования, адаптированные для трансформерных моделей и новых приложений, таких как агентский AI и интерактивная генерация видео.

Сид Шет, соучредитель и генеральный директор d-Matrix, прокомментировал: «Мы предвидели появление трансформеров и генеративного AI, и основали d-Matrix для решения задач инференса в рамках крупнейшей вычислительной возможности нашего времени. Платформа Corsair, не имеющая аналогов, обеспечивает молниеносное поколение токенов для высокоинтерактивных приложений с несколькими пользователями, делая генеративный AI коммерчески жизнеспособным.»

Источник: TechRadar