Netflix: Исправление требуется — лидер стриминга догоняет конкурента и не знает, сколько тратит на облако

• Единственная облачная платформа для Netflix — AWS
• AWS, принадлежащий Amazon, является частью компании, которая также владеет Amazon Prime Video, конкурентом Netflix
• Инженеры Netflix испытывают трудности с отслеживанием использования ресурсов на AWS

Netflix, самая популярная платформа для потокового вещания, контролирует домашние развлечения, однако сталкивается с одной из самых серьезных операционных сложностей: управлением затратами на облачные технологии.

Несмотря на высокотехнологичный имидж, Netflix признает, что полностью не осознает, сколько средств уходит на облачные услуги. Это упущение удивляет, учитывая, что их провайдером является AWS — подразделение Amazon, владеющее Prime Video, одним из главных конкурентов Netflix.

Используя AWS для вычислений, хранения и сетевых функций, облачная инфраструктура Netflix поддерживает его глобальные стриминговые услуги. Инженерные команды используют инструменты самообслуживания для создания и развертывания приложений, что генерирует огромные объемы данных. Однако сложность этой экосистемы затрудняет понимание того, как именно используются ресурсы и как формируются затраты.

Обеспечение бесперебойной работы контента

Команда Platform Data Science Engineering (DSE) в Netflix занимается решением этой проблемы. Их задача — помочь инженерам компании понять использование ресурсов, их эффективность и сопутствующие расходы.

Однако, как признает Netflix в недавнем блоге, управление облачными затратами все еще находится в процессе совершенствования.

Для решения возникших проблем Netflix разработал два инструмента: Foundational Platform Data (FPD) и Cloud Efficiency Analytics (CEA). FPD предоставляет централизованный слой данных со стандартизированной моделью, объединяя данные из приложений, таких как Apache Spark. CEA строит на этом, применяя бизнес-логику для генерации распределения затрат и владения, предоставляя понимание эффективности и моделей использования.

Препятствия значительны. Обширная инфраструктура Netflix включает сервисы с множеством владельцев, различные эвристики затрат и мультиарендные платформы, что затрудняет отслеживание.

Задержки данных и кастомизация под конкретные платформы добавляют дальнейшую сложность. Регулярные аудиты и преобразования данных необходимы для поддержания точности, но компания признается, что еще не достигла полной прозрачности в расходах на облачные технологии.

В будущем Netflix планирует расширить свои инструменты, интегрировать предиктивную аналитику и машинное обучение для оптимизации использования и выявления аномалий в расходах.

Пока компания продолжает совершенствовать свой подход, ее ситуация обращает внимание на иронию: самая популярная в мире платформа для потокового вещания полагается на технологии своего конкурента для предоставления своих услуг, но еще не выявила настоящую стоимость обеспечения бесперебойности своего контента.

Источник: TechRadar