С нынешними возможностями искусственного интеллекта (ИИ), развивающимися с ошеломляющей скоростью, одна из самых насущных проблем, с которой сталкиваются команды по работе с данными и инженеры, — это обработка массивов неструктурированных и гетерогенных источников данных.
В отличие от структурированных данных, которые могут легко вписаться в таблицы и базы данных, неструктурированные данные состоят из множества различных форматов, таких как видео, текст и изображения. Эти форматы имеют свои особенности, и их гетерогенность добавляет ещё больше сложностей.
С учетом этого, могут ли команды найти способ оптимизировать сбор и анализ данных, чтобы максимально увеличить воздействие ИИ на их бизнес? С учетом текущих тенденций, системы на основе агентов и коммуникация между агентами кажутся золотой идеей, которая поднимет движение ИИ на новый уровень.
Историческая проблема неструктурированных данных
Исторически сложилось так, что неструктурированные данные, такие как аудио, видео и взаимодействия в социальных сетях, представляли значительную проблему для компаний, пытавшихся интерпретировать их и преобразовать в структуры, подходящие для анализа и применения ИИ. Для многих организаций сложность и стоимость обработки таких данных означали, что до недавнего времени они оставались недооцененными и малоиспользуемыми.
В результате этого, несмотря на то, что неструктурированные данные составляют большую часть доступных данных и имеют значительный нереализованный потенциал, организации часто обращались к структурированным данным, таким как файлы Excel и теги для поисковой оптимизации (SEO).
Современные проблемы с неструктурированными данными
Однако последние технические достижения в использовании ИИ и генеративного ИИ изменили способ интерпретации и извлечения неструктурированных данных. Например, крупнейшие облачные компании, такие как Microsoft и Google, расширили свои облачные сервисы для поддержки создания «озер данных» из неструктурированных данных. Microsoft Azure AI сейчас использует смесь текстового анализа, оптического распознавания символов, распознавания голоса и машинного зрения для интерпретации наборов неструктурированных данных, включающих текст и изображения. Благодаря этим достижениям, бизнесы теперь имеют доступ к более богатым ресурсам данных и могут наконец раскрыть их ценность.
Вместе с тем, обработка неструктурированных данных всё ещё сопряжена с трудностями. Например, навигация по различным уровням качества контента, объёма и деталей таких данных может представлять значительную проблему. В неструктурированных данных часто встречается больше ненужного шума. Если его слишком много, даже ИИ будет сложно точно выявить ответы, просеивая информацию.
Кроме того, отсутствие регуляции при создании неструктурированных данных может снижать их полезность. Несмотря на то, что более крупные наборы данных обычно предлагают более высокий уровень консистентности, адаптация их для использования ИИ остаётся сложной задачей.
Эффективное использование неструктурированных данных обычно предполагает их интеграцию в существующую структуру данных организации. Для этого требуется комплексное понимание свойств данных, их связей и возможных применений. Одной из больших задач для многих проектов с неструктурированными данными является чёткое определение цели, чтобы модели могли быть правильно обучены.
Пока многие организации всё ещё испытывают трудности с использованием этих данных для создания бизнес-ценности, проблема доступа и получения данных была во многом решена. Тем не менее, оценка потенциальной ценности и применений остаётся значительным препятствием.
Будущее генеративного ИИ
В будущем следует ожидать уменьшения роли человека в сборе и интерпретации данных. Вероятно, увеличится использование систем на основе агентов и коммуникаций между агентами, что минимизирует необходимость человеческого вмешательства в обработку данных. Взрывной рост генеративного ИИ открыл путь для специализированных агентов, таких как:
- Инженерные агенты для генерации кода;
- Агенты по генерации данных для создания синтетических данных для тестирования;
- Агенты по тестированию кода для проверки и тестирования кода;
- Агенты по документации для создания документации по различным аспектам, таким как код, варианты использования и процессы.
Нет сомнений в том, что система, в которой специализированные ИИ-агенты взаимодействуют друг с другом, может ускорить разработку, сделать её более точной и последовательной.
Организации могут выделять больше ресурсов на использование данных, а не на их подготовку. Вероятно, в ближайшем будущем такие ИИ-агенты будут предлагаться в качестве продукта поставщиками услуг. Эти поставщики могут взять требования компании и сгенерировать полностью протестированный и соответствующий спецификациям код, созданный ИИ-агентами.
Передача таких технических задач на аутсорсинг существенно сократит время выполнения этих задач, а также уменьшит необходимость в больших внутренних командах разработки. Кажется, что пришло время для компаний рассмотреть, какие конкретные роли генеративный ИИ может играть, чтобы максимизировать ценность их программ по работе с данными и в конечном итоге добиться лучших результатов от своих инвестиций в эти недавно расширенные области.
Хотя давно известно, что генеративный ИИ имеет потенциал революционизировать операционную деятельность организаций, его эффективное внедрение всё ещё требует преодоления некоторых слабых мест, прежде чем можно будет достичь максимальной производительности.
Организации ещё не полностью освоили дружественное к ИИ приобретение и интеграцию данных. Те, кто адаптируется, смогут максимизировать ценность инвестиций и изменить свой бизнес к лучшему.
Источник: TechRadar
