В начале 1970-х годов программирование компьютеров было связано с проделыванием отверстий в картах и их загрузкой в машины размером с комнату, которые выдавали результаты на строчной принтер, часто спустя часы или даже дни.
Именно на этом фоне команда из 29 учёных и исследователей в знаменитом Xerox PARC создала более интимную форму вычислений, знакомую нам сегодня: с экраном, клавиатурой и мышью. Этот компьютер, названный Alto, был настолько удивительно новым, что потребовал введения нового термина: интерактивные вычисления.
Alto считался некоторыми чрезмерно расточительным из-за своих дорогостоящих компонентов. Но, пройдя 50 лет, многотриллионные цепочки поставок преобразовали богатый кремнием песок в сложные, чудесные компьютеры, которые у нас в карманах. Интерактивные вычисления теперь неотделима часть нашей жизни.
Сейчас в Кремниевой долине царит энтузиазм, напоминающий вдохновляющие времена ранних вычислений. Искусственный общий интеллект (AGI), термин, обозначающий способность программного обеспечения решать любые задачи без конкретных инструкций, превратился в почти ощутимую революцию, стоящую у порога.
Быстрые достижения в генеративном ИИ вызывают восхищение, и не без оснований. Как закон Мура предсказал траекторию развития персональных компьютеров, а закон Меткалфа — рост интернета, экспоненциальный принцип лежит в основе развития генеративного ИИ. Законы масштабирования глубокого обучения постулируют прямую зависимость между возможностями модели ИИ и масштабом как самой модели, так и данных, используемых для её обучения.
За последние два года ведущие модели искусственного интеллекта увеличились в размерах в 100 раз, с 10 миллиардов параметров, обученных на 100 миллиардах слов, до 1 триллиона параметров, обученных на более чем 10 триллионах слов.
Результаты их работы впечатляют и полезны. Но эволюция персональных вычислений предлагает поучительный урок. Путь от Alto к iPhone был долгим и извилистым. Разработка надежных операционных систем, активных экосистем приложений и самого интернета были важными этапами, каждый из которых зависел от других изобретений и инфраструктуры: языков программирования, сотовых сетей, центров обработки данных и создания индустрий безопасности, программного обеспечения и услуг.
ИИ пользуется многими из этих инфраструктурных достижений, но также представляет собой значительное отклонение. Например, крупные языковые модели (LLMs) превосходят в понимании и генерации языка, но испытывают трудности с логическим мышлением, необходимым для решения сложных многозадачных задач. Решение этого вызова может потребовать создания новых архитектур нейронных сетей или новых подходов к их обучению и использованию, и скорость, с которой научное сообщество генерирует новые знания, говорит о том, что мы находимся в начале пути.
Обучение и обслуживание этих моделей, чем и занимается Together AI, представляет собой как вычислительное чудо, так и болото проблем. Специальные суперкомпьютеры ИИ, или обучающие кластеры, в основном созданные Nvidia, представляют собой передовой рубеж кремниевого дизайна. Эти системы, состоящие из десятков тысяч высокопроизводительных процессоров, объединённых с помощью продвинутых оптических сетей, функционируют как единый суперкомпьютер. Однако их работа связана с большими затратами: они потребляют на порядок больше энергии и выделяют столько же тепла по сравнению с традиционными процессорами. Последствия далеко не тривиальны. Недавняя статья, опубликованная Meta, описывающая процесс обучения модели семейства Llama 3.1 на кластере с 16,000 процессорами, показала впечатляющую статистику: система была неработоспособна 69% времени.
По мере того как кремниевая технология продолжает развиваться в соответствии с законом Мура, потребуются инновации для оптимизации производительности чипов при минимизации энергопотребления и смягчении сопутствующего выделения тепла. К 2030 году центры обработки данных могут претерпеть радикальные изменения, требуя фундаментальных прорывов в базовой физической инфраструктуре вычислений.
ИИ уже стал геополитически значимой областью, и его стратегическое значение, вероятно, будет только усиливаться, возможно став в ближайшие годы ключевым фактором технологического превосходства. По мере улучшения ИИ его трансформационные эффекты на природу работы и рынок труда также становятся всё более острым общественным вопросом.
Однако многое ещё предстоит сделать, и мы можем сформировать наше будущее вместе с ИИ. В ближайшие годы можно ожидать множество инновационных цифровых продуктов и услуг, которые будут восхищать и вдохновлять пользователей. В долгосрочной перспективе искусственный интеллект превратится в суперинтеллектуальные системы, которые также, как и вычисления, станут неотъемлемой частью нашей жизни. Человеческие общества на протяжении тысячелетий поглощали новые прорывные технологии и преображались с их помощью — и искусственный интеллект не станет исключением.
Источник: Time
