Обзор нового продукта от компании d-Matrix
- Карты расширения PCIe с мощностью вычислений 10PFLOPs на уровне FP4 и 2 ГБ сверхбыстрой памяти (SRAM).
- SRAM обычно используется в небольших объемах как кэш в процессорах (L1—L3).
- Продукт использует память LPDDR5 вместо более дорогой HBM.
Стартап из Кремниевой долины, компания d-Matrix, при поддержке Microsoft представила решение на основе чиплетов, которое предназначено для быстрого и экономичного вычисления небольших объемов данных с использованием больших языковых моделей (LLM) в корпоративном секторе. Архитектура продукта основана на полностью цифровом подходе к вычислениям в памяти, что обеспечивает высокую скорость и энергоэффективность благодаря модифицированным ячейкам SRAM.
Продукт Corsair
Текущая разработка d-Matrix, платформа под названием Corsair, описывается как «первая в своем роде платформа для вычислений на базе искусственного интеллекта». Она включает два специализированных интегральных схемы (ASIC) на полноэкранной PCIe-карте, каждая из которых имеет четыре чиплета. Corsair достигает общей мощности 9.6 PFLOPs на уровне FP4 и использует 2 ГБ специализированной оперативной памяти на основе SRAM. В отличие от традиционных дизайнов, полагающихся на дорогостоящую HBM, Corsair использует память LPDDR5, предоставляя до 256 ГБ памяти на карту для обработки больших моделей или пакетов данных.
Компания d-Matrix заявляет, что Corsair обеспечивает в 10 раз лучшее интерактивное взаимодействие, в 3 раза более высокую энергетическую эффективность и в 3 раза лучшую производительность по стоимости по сравнению с альтернативами на основе GPU, такими как популярный Nvidia H100.
Прорыв в технологиях
Сри Ганесан, глава направления продуктов в d-Matrix, подчеркнул, что существующие решения часто сталкиваются с «памятным барьером» при использовании текущих архитектур, требующих больших вычислительных ресурсов и энергозатрат. d-Matrix решила сосредоточиться на улучшении пропускной способности памяти и инновациях в области взаимодействия памяти и вычислений.
Подход компании устраняет узкие места, позволяя проводить вычисления непосредственно внутри памяти. «Мы создали цифровое ядро вычислений в памяти, где операции умножения и накопления происходят непосредственно в памяти, что позволяет воспользоваться очень высокой пропускной способностью — около 150 терабайт в секунду», — объясняет Ганесан. В сочетании с рядом других инноваций это позволяет решать проблемы, связанные с «памятным барьером».
Генеральный директор Сид Шет указал, что компания была основана в 2019 году, следуя обратной связи от крупных компаний, которые рассматривали автоматизацию как будущее. «Это был смелый шаг, так как возможность автоматизации не казалась столь значительной в 2019 году», — пояснил он. «Конечно, все изменилось после 2022 года и выхода ChatGPT. Мы также сделали ставку на трансформаторные сети на раннем этапе развития компании.»
Массовое производство и планы на будущее
Corsair планируется запустить в массовое производство во втором квартале 2025 года. d-Matrix уже работает над следующим поколением специализированной интегральной схемы, с кодовым названием Raptor, которая будет использоваться 3D-модульная DRAM для поддержки задач логического вывода и больших объемов памяти.
Источник: TechRadar
