Kioxia представляет новый проект AiSAQ, который предполагает замену RAM на SSD для обработки данных ИИ
- Новые SSD объемом более 100 ТБ могут улучшить технологию RAG, предлагая более низкую стоимость по сравнению с использованием только памяти.
- Хотя сроки не уточнены, ожидается, что конкуренты Kioxia предложат аналогичные технологии.
Современные языковые модели часто генерируют выводы, которые звучат убедительно, но являются фактически неверными. Эти «галлюцинации» могут повредить надежности в областях, критически важных для информации, таких как медицинская диагностика, юридический анализ, финансовая отчетность и научные исследования.
Технология Retrieval-Augmented Generation (RAG) помогает снизить количество ошибок, интегрируя внешние источники данных. Это позволяет языковым моделям получать доступ к актуальной информации в реальном времени, улучшая точность контекста. Эффективная реализация RAG требует значительных ресурсов памяти и хранения, особенно для крупных векторных данных и индексов. Традиционно эта информация хранится в DRAM, которая хотя и быстра, но дорога и ограничена по емкости.
Чтобы решить эти задачи, на выставке CES японский гигант памяти Kioxia представил AiSAQ (All-in-Storage Approximate Nearest Neighbor Search с квантованием продукта), который использует SSD высокой емкости для хранения векторных данных и индексов. Kioxia утверждает, что AiSAQ позволяет существенно уменьшить использование DRAM по сравнению с DiskANN, предлагая более экономически эффективный и масштабируемый подход для поддержки крупных моделей ИИ.
Более доступно и экономично
Переход на SSD-хранилища позволяет обрабатывать большие наборы данных без высоких затрат, связанных с обширным использованием DRAM.
Хотя доступ к данным с SSD может вызвать небольшую задержку по сравнению с DRAM, такой подход снижает общие затраты на систему и улучшает масштабируемость. Это поддерживает более высокую производительность и точность моделей, поскольку большие наборы данных обеспечивают более богатую основу для обучения и вывода.
Использование SSD большой емкости позволяет AiSAQ удовлетворять потребности RAG в хранении, способствуя более доступным и экономически эффективным передовым технологиям ИИ. Kioxia пока не объявила, когда планирует вывести AiSAQ на рынок, но, вероятно, конкуренты, такие как Micron и SK Hynix, тоже готовят подобные решения.
Как предполагается, RAG станет важной частью многих приложений, и если есть необходимость в частом доступе к большому объему данных, Kioxia AiSAQ станет отличным вариантом.
Источник: TechRadar
