Масштабирование мультимодальных эмбеддингов: Озеро данных ИИ для медиа и развлечений

Революция в поиске видео с помощью мультимодальных эмбеддингов

Индустрия медиа и развлечений переполнена огромными объемами видеоконтента. От архивных материалов до ежедневных загрузок — такой колоссальный объем делает традиционные методы обнаружения контента (ручное тегирование и поиск по ключевым словам) все более неэффективными и часто неточными. Эти устаревшие подходы с трудом улавливают всю полноту и тонкий контекст, заложенный в видео, что приводит к упущенным возможностям для повторного использования контента, ускорения производства и улучшения пользовательского опыта.

Наступает эра мультимодальных эмбеддингов. AWS разрабатывает решение, которое преодолевает эти ограничения, обеспечивая возможности семантического поиска по колоссальным видеоданным. Используя мощь моделей Amazon Nova и Amazon OpenSearch Service, создатели и дистрибьюторы контента могут выйти за рамки поверхностных ключевых слов, чтобы по-настоящему понимать и получать доступ к своим медиатекам. Этот инновационный подход позволяет запросам на естественном языке проникать в глубины визуальной и слуховой информации, обеспечивая беспрецедентную точность в обнаружении контента.

Демонстрируя эту возможность в впечатляющем масштабе, AWS обработала 792 270 видео из AWS Open Data Registry, охватывающих ошеломляющие 8 480 часов видеоконтента. Это амбициозное предприятие, на которое ушло всего 41 час для обработки более 30,5 миллионов секунд видео, подчеркивает масштабируемость и эффективность этого подхода, основанного на ИИ. Стоимость за первый год, включая разовую загрузку и ежегодное использование OpenSearch Service, была оценена как весьма конкурентоспособная: от 23 632 долларов США (с зарезервированными экземплярами OpenSearch Service) до 27 328 долларов США (с тарифом по требованию). Такое решение фундаментально преобразует то, как медиакомпании взаимодействуют со своими цифровыми активами, открывая новые возможности для монетизации контента и рабочих процессов производства. Этот парадигматический сдвиг в сторону семантического понимания является критически важным развитием для Корпоративного ИИ в медиаиндустрии.

Понимание архитектуры масштабируемого мультимодального озера данных ИИ

По своей сути, эта мощная мультимодальная система поиска видео построена на двух взаимосвязанных рабочих процессах: загрузке видео и поиске. Эти компоненты бесшовно интегрируются для создания озера данных ИИ, которое понимает и делает доступными для поиска сложные детали видеоконтента.

Конвейер загрузки видео

Конвейер загрузки разработан для параллельной обработки и эффективности. Он использует четыре экземпляра Amazon EC2 c7i.48xlarge, управляя до 600 параллельными рабочими процессами для достижения скорости обработки 19 400 видео в час. Видео, изначально загруженные в Amazon S3, затем обрабатываются асинхронным API Amazon Nova Multimodal Embeddings. Этот API интеллектуально сегментирует видео на оптимальные 15-секундные фрагменты — баланс между захватом значительных изменений сцены и управлением объемом генерируемых эмбеддингов. Затем каждый сегмент преобразуется в 1024-мерный эмбеддинг, представляющий его комбинированные аудиовизуальные признаки. Хотя 3072-мерные эмбеддинги предлагают более высокую точность, 1024-мерный вариант обеспечивает 3-кратную экономию затрат на хранение с минимальным влиянием на точность для этого приложения, что делает его прагматичным выбором для масштабирования.

Для дальнейшего улучшения возможностей поиска используется Amazon Nova Pro (или более новая, более экономичная Nova 2 Lite) для генерации 10-15 описательных тегов для каждого видео из предопределенной таксономии. Этот двойной подход гарантирует, что контент может быть найден как с помощью семантического сходства, так и с помощью традиционного сопоставления по ключевым словам. Эти эмбеддинги хранятся в индексе OpenSearch k-NN, оптимизированном для поиска векторного сходства, в то время как описательные теги индексируются в отдельном текстовом индексе. Такое разделение обеспечивает гибкие и эффективные запросы. Конвейер управляет ограничениями параллелизма Bedrock (30 одновременных заданий на аккаунт) с помощью надежной очереди заданий и механизма опроса, обеспечивая непрерывную и соответствующую требованиям обработку.

Ниже представлено визуальное изображение этого сложного процесса загрузки:

Рисунок 1: Конвейер загрузки видео, показывающий поток данных из хранилища видео S3 через Nova Multimodal Embeddings и Nova Pro в двойные индексы OpenSearch

Расширение возможностей разнообразного поиска видео

Архитектура поиска разработана для универсальности, предлагая несколько режимов обнаружения контента:

Поиск видео по тексту: Пользователи могут вводить запросы на естественном языке, такие как 'съемка города ночью с дрона' или 'крупный план шеф-повара, готовящего изысканное блюдо'. Система преобразует эти запросы в эмбеддинги, а затем использует индекс OpenSearch k-NN для поиска видеосегментов или целых видео, которые семантически соответствуют описанию, даже если точных слов нет в метаданных. Это идеально подходит для интуитивного обнаружения контента и раскадровки.
Поиск видео по видео: Для сценариев, когда у пользователя есть видеоклип, и он хочет найти похожий контент, этот режим превосходен. Путем прямого сравнения эмбеддингов входного видео с эмбеддингами в индексе OpenSearch k-NN система может идентифицировать визуально и аудиально аналогичный контент. Это бесценно для определения дополнительных кадров (B-roll), обеспечения единообразия контента или обнаружения производных работ.
Гибридный поиск: Сочетая лучшее из обоих миров, гибридный поиск интегрирует векторное сходство с традиционным сопоставлением по ключевым словам. Предлагаемое решение использует взвешенный подход (например, 70% векторного сходства и 30% сопоставления по ключевым словам). Это обеспечивает высокую точность и релевантность, позволяя конкретным метаданным направлять поиск, в то время как семантическое понимание обеспечивает широкие контекстуальные совпадения. Этот подход особенно эффективен для сложных запросов, которые выигрывают как от точных тегов, так и от концептуального понимания.

Рисунок 2: Архитектура поиска видео, демонстрирующая три режима поиска – поиск видео по тексту, поиск видео по видео и гибридный поиск, сочетающий k-NN и BM25

Экономичное развертывание и предварительные условия

Развертывание такого сложного озера данных ИИ требует тщательного рассмотрения инфраструктуры и затрат, которые AWS оптимизировала для повышения эффективности. Общая стоимость обработки обширных наборов данных, примерно 8 480 часов видеоконтента, составила ориентировочно 27 328 долларов США (с OpenSearch по требованию) или 23 632 долларов США (с зарезервированными экземплярами OpenSearch Service) за первый год.

Распределение затрат на загрузку показывает основные факторы, влияющие на стоимость:

Вычислительные ресурсы Amazon EC2: $421 (4 спотовых экземпляра c7i.48xlarge на 41 час)
Amazon Bedrock Nova Multimodal Embeddings: $17 096 (30,5 млн секунд по цене $0,00056/секунду за пакетную обработку)
Тегирование Nova Pro: $571 (792 тыс. видео, в среднем около 600 токенов/видео)
Amazon OpenSearch Service: $9 240 (годовая оплата по требованию) или $5 544 (годовая оплата по резервированию)

Предварительные условия для реализации: Для воспроизведения или адаптации этого решения вам потребуется:

Учетная запись AWS с доступом к Amazon Bedrock в регионе us-east-1.
Python 3.9 или новее.
Интерфейс командной строки AWS (AWS CLI), настроенный с соответствующими учетными данными.
Домен Amazon OpenSearch Service (рекомендуется r6g.large или больше), версии 2.11 или новее, с включенным плагином k-NN.
Бакет Amazon S3 для хранения видео и выходных данных эмбеддингов.
Разрешения AWS Identity and Access Management (IAM) для Amazon Bedrock, OpenSearch Service и Amazon S3.

Решение использует конкретные сервисы и модели AWS:

Amazon Bedrock с amazon.nova-2-multimodal-embeddings-v1:0 для эмбеддингов.
Amazon Bedrock с us.amazon.nova-pro-v1:0 или us.amazon.nova-2-lite-v1:0 для тегирования.
Amazon OpenSearch Service 2.11+ с плагином k-NN.
Amazon S3 для хранения.

Реализация решения для мультимодального поиска видео

Начало работы с этой архитектурой предполагает структурированный подход к настройке вашей среды AWS. Первым важным шагом является установка необходимых разрешений.

Шаг 1: Создание ролей и политик IAM

Вам потребуется создать роль IAM, которая предоставит вашему приложению или сервису полномочия взаимодействовать с различными компонентами AWS. Эта роль должна включать разрешения на вызов моделей Amazon Bedrock (как для генерации эмбеддингов, так и для тегирования), запись данных в индексы OpenSearch и выполнение операций чтения/записи в корзинах Amazon S3, где хранятся ваш видеоконтент и обработанные результаты.

Вот пример базовой структуры политики IAM:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:StartAsyncInvoke",
        "bedrock:GetAsyncInvoke",
        "bedrock:List"
      ],
      "Resource": "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::your-video-bucket/*",
        "arn:aws:s3:::your-video-bucket"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "es:ESHttpPost",
        "es:ESHttpPut",
        "es:ESHttpDelete",
        "es:ESHttpGet"
      ],
      "Resource": "arn:aws:es:us-east-1:*:domain/your-opensearch-domain/*"
    }
  ]
}

Эта политика предоставляет специфические разрешения, необходимые для работы конвейера. Не забудьте заменить заполнители, такие как your-video-bucket и your-opensearch-domain, на фактические имена ваших ресурсов. После настройки IAM вы приступите к конфигурированию ваших бакетов S3, настройке домена OpenSearch Service с включенным k-NN и разработке логики оркестрации, которая использует API Bedrock для загрузки. Эта надежная структура гарантирует, что медиа- и развлекательные компании смогут эффективно управлять, обнаруживать и монетизировать свои постоянно растущие библиотеки контента, что знаменует собой значительный скачок в интеллектуальном управлении контентом. Это комплексное решение является примером того, как современные возможности ИИ, особенно в мультимодальном понимании, переопределяют отраслевые стандарты для управления контентом и доступности. Это свидетельство силы интеграции передовых моделей ИИ с масштабируемой облачной инфраструктурой для решения реальных проблем Корпоративного ИИ, способствуя таким достижениям, как те, что наблюдаются в Агентских рабочих процессах ИИ.

Первоисточник

https://aws.amazon.com/blogs/machine-learning/multimodal-embeddings-at-scale-ai-data-lake-for-media-and-entertainment-workloads/

Часто задаваемые вопросы

What is a multimodal AI data lake for media and entertainment workloads?

A multimodal AI data lake for media and entertainment is an advanced system designed to store, process, and enable intelligent search across vast collections of video content. Unlike traditional keyword-based systems, it leverages AI models, specifically multimodal embeddings, to understand the nuanced meaning and context within audio and visual data. This allows for semantic search capabilities, where users can query content using natural language descriptions or by providing another video, moving beyond simple tags to find relevant moments or entire videos based on their actual content. AWS's solution utilizes services like Amazon Nova for embedding generation and Amazon OpenSearch Service for efficient storage and retrieval of these high-dimensional vectors, making it ideal for large-scale content libraries.

How does the video ingestion pipeline handle large-scale datasets?

The video ingestion pipeline detailed in the article is engineered for massive scale, demonstrating processing of nearly 800,000 videos totaling over 8,480 hours of content. It employs a distributed architecture using multiple Amazon EC2 instances (e.g., c7i.48xlarge) to parallelize video processing. Key to its efficiency is the asynchronous API of Amazon Nova Multimodal Embeddings, which segments videos into optimal chunks (e.g., 15-second segments) and generates 1024-dimensional embeddings. To manage Bedrock's concurrency limits, the pipeline implements a job queue with polling, ensuring continuous processing. Additionally, Amazon Nova Pro (or Nova Lite) is used to generate descriptive tags, further enriching the metadata. These embeddings and tags are then efficiently indexed into Amazon OpenSearch Service's k-NN and text indices respectively, preparing the data for rapid search.

What types of video search capabilities does this solution enable?

This multimodal AI data lake solution provides three powerful video search capabilities, significantly enhancing content discovery. First, **Text-to-video Search** allows users to input natural language queries (e.g., 'a person surfing at sunset') which are then converted into embeddings and matched semantically against video content, going beyond exact keyword matches. Second, **Video-to-video Search** enables users to find similar video segments or entire videos by comparing their embeddings directly, useful for content recommendations or identifying duplicates. Third, **Hybrid Search** combines the strengths of both semantic vector similarity and traditional keyword matching (e.g., 70% vector, 30% keyword) for maximum accuracy and relevance, especially when dealing with complex queries that benefit from both contextual understanding and specific metadata.

Which AWS services are critical for building this multimodal embedding solution?

Several core AWS services are critical for constructing this scalable multimodal embedding solution. At its heart are **Amazon Bedrock** and its **Nova Multimodal Embeddings** for generating high-dimensional vector representations from video and audio, and **Nova Pro** (or **Nova Lite**) for intelligent tagging. **Amazon OpenSearch Service** (specifically with its k-NN plugin) serves as the scalable vector database to store and query these embeddings, alongside a traditional text index for metadata. **Amazon S3** (Simple Storage Service) is essential for storing the raw video files and the outputs of the embedding process. **Amazon EC2** provides the compute power for orchestrating the ingestion pipeline and managing the large-scale processing of video data. Additionally, **AWS IAM** is vital for securing access and permissions across these integrated services.

What are the cost considerations for deploying such a large-scale multimodal video search system?

Deploying a large-scale multimodal video search system, as demonstrated by the processing of over 8,000 hours of video, involves significant but manageable costs. The article provides a detailed breakdown, estimating a first-year total cost of approximately $23,632 to $27,328. This cost is primarily divided into two components: one-time ingestion costs and ongoing annual Amazon OpenSearch Service costs. Ingestion is dominated by Amazon Bedrock Nova Multimodal Embeddings usage, charged per second of processed video, and Nova Pro tagging. Amazon EC2 compute for orchestration also contributes but is comparatively smaller. OpenSearch Service costs can be optimized by using Reserved Instances over on-demand pricing. Careful planning and monitoring of resource usage, especially Bedrock API calls and OpenSearch cluster sizing, are key to managing and optimizing these expenditures.

Why is semantic search using multimodal embeddings superior to traditional keyword search for video content?

Semantic search, powered by multimodal embeddings, offers a profound advantage over traditional keyword search for video content by enabling a deeper, contextual understanding. Keyword search is limited to exact matches of words and phrases, often failing to capture synonyms, related concepts, or the visual and auditory nuances of video. For instance, searching for 'people talking' might miss a scene where individuals are silently communicating through gestures. Multimodal embeddings, however, convert the rich information from both audio and video into dense numerical vectors. These vectors capture the meaning, style, and context, allowing for queries based on conceptual similarity rather than just lexical matches. This means users can find relevant content even if the exact keywords aren't present, or describe a visual scene using natural language, significantly improving content discovery and relevance in large video archives.

How does the Amazon Nova family of models contribute to this solution?

The Amazon Nova family of models plays a central role in enabling this advanced multimodal video search solution. Specifically, **Amazon Nova Multimodal Embeddings** is the backbone for transforming raw video and audio into actionable high-dimensional vectors (embeddings). It intelligently segments videos and extracts combined audio-visual features, allowing for sophisticated semantic comparisons. This model is crucial for both text-to-video and video-to-video search functionalities. Additionally, **Amazon Nova Pro** (or the more cost-effective **Nova Lite**) is utilized for generating descriptive tags. These tags enrich the video metadata, enabling hybrid search scenarios where both conceptual similarity and specific keywords can be used to refine search results. Together, these Nova models empower the system to understand, categorize, and make searchable the complex information contained within video content.

What are the benefits of using OpenSearch Service's k-NN index in this architecture?

Amazon OpenSearch Service's k-NN (k-Nearest Neighbor) index is a cornerstone of this multimodal video search architecture, providing the capability to efficiently store and query high-dimensional vector embeddings. The primary benefit is enabling rapid and accurate semantic search. When a query (text or video) is converted into an embedding, the k-NN index can quickly find the 'k' most similar video embeddings within the vast dataset. This is far more efficient than traditional database lookups for vector similarity. It allows for real-time semantic search across millions of video segments. By integrating seamlessly with other OpenSearch capabilities, it also facilitates hybrid search, combining vector similarity with traditional text-based filtering and scoring, ensuring a powerful and flexible search experience that scales with the size of the media library.

Будьте в курсе

Получайте последние новости ИИ на почту.