Технология делает операторов камер невидимыми во время живых спортивных игр.

Исследователи считают, что они устранили проблему появления камераменов на экране во время прямых трансляций спортивных матчей. Команда из Каунасского технологического университета в Литве разработала модель искусственного интеллекта, которая будет удалать камераменов в реальном времени, если они появляются на снимке. Ученые говорят, что когда камерамен появляется на экране, это «отвлекает от важных моментов игры» и может привести к «потере доходов для трансляторов из-за недовольства зрителей». Для решения этой визуальной отвлекающей детали во время игры исследователи разработали «систему end-to-end», которая обнаруживает видеооператоров и удаляет их таким же образом, как редактор фотографий может убрать объект с фотографии.

Однако убрать объект из видеоряда в прямом эфире — это огромное испытание, и чтобы справиться с ним, исследователи обратились к современной системе обнаружения объектов, называемой YOLOv8, известной своей скоростью и точностью. YOLOv8 расшифровывается как «You Only Look Once». Он способен обнаруживать и классифицировать объекты за один проход, что делает его идеальным для реальных событий, таких как прямые спортивные трансляции. “Он работает путем деления изображения на сетку и предсказывания ограничительных рамок, вероятностей классов и сегментационных полигонов для каждой ячейки сетки. Это позволяет ему идентифицировать и сегментировать камераменов,” говорит член исследовательской группы Сергей Поступаеев. Чтобы помочь YOLOv8 точно обнаружить и сегментировать камераменов во время игр, команда создала набор данных. “Я создал этот набор данных для включения разнообразных видеооператоров с разными размерами, формами и типами оборудования, снятых в различных условиях и на разных этапах игры. Теперь YOLOv8 использует этот набор данных, чтобы определить, где находятся камерамены в видео кадрах,” говорит Поступаеев. Команда использовала видео-восполнение, которое является типом глубокого обучения, работающего подобно инструменту «Spot Healing Brush Tool». Технологии искусственного интеллекта и компьютерного зрения анализируют видео кадры, чтобы обнаружить нежелательных камераменов и заполнить удаленные области соответствующими деталями фона. Измененные кадры затем транслируются обратно зрителям. Благодаря небольшой задержке прямой трансляции, алгоритм обрабатывает записанное изображение, прежде чем оно появится в прямом эфире всего через несколько секунд. “Трансляция будет выглядеть более ухоженной и профессиональной без сбоев, вызванных появлением камераменов там, где их не должно быть. Эти усовершенствования сократят количество случаев, когда важные моменты игры упускаются из-за отвлекающих кадров,” подчеркивает Поступаеев, который получил степень магистра от Каунасского технологического университета с этим проектом. Хотя проект в основном рассматривает футбол, технология применима для всех динамичных игр, включая баскетбол, футбол и хоккей. Поступаеев сказал, что это также возможно добавить в старые записи классических игр. Это не первый случай, когда трансляторы ищут способы скрыть камераменов во время спортивных трансляций, камерамен на коньках, замаскированный белым, выезжал на лед во время хоккейных матчей.

---

Кредиты изображения: Фото в заголовке лицензировано через Depositphotos.