Skalering av multimodale innebygde representasjoner: AI-datalag for media og underholdning

Revolusjonering av videosøk med multimodale innebygde representasjoner

Medie- og underholdningsindustrien er oversvømt av enorme mengder videoinnhold. Fra arkivmateriale til daglige opplastninger, gjør det enorme volumet tradisjonelle metoder for innholdsgjenfinning – manuell tagging og nøkkelordbaserte søk – stadig mer ineffektive og ofte unøyaktige. Disse eldre tilnærmingene sliter med å fange den fulle rikdommen og nyanserte konteksten innebygd i video, noe som fører til tapte muligheter for gjenbruk av innhold, raskere produksjon og forbedrede seeropplevelser.

Gå inn i æraen med multimodale innebygde representasjoner. AWS er banebrytende med en løsning som overgår disse begrensningene, og muliggjør semantiske søkefunksjoner på tvers av kolossale videodatasett. Ved å utnytte kraften i Amazon Nova-modeller og Amazon OpenSearch Service, kan innholdsskapere og -distributører bevege seg utover overfladiske nøkkelord for å virkelig forstå og få tilgang til mediebibliotekene sine. Denne innovative tilnærmingen gjør det mulig for naturlig språksøk å dykke ned i visuell og auditiv informasjon, noe som gir enestående presisjon til innholdsgjenfinning.

AWS demonstrerer denne funksjonaliteten i en imponerende skala, og har behandlet 792 270 videoer fra AWS Open Data Registry, som omfatter svimlende 8 480 timer med videoinnhold. Denne ambisiøse satsingen, som tok bare 41 timer å behandle over 30,5 millioner sekunder med video, understreker skalerbarheten og effektiviteten til denne AI-drevne tilnærmingen. Førsteårskostnaden, inkludert engangsinnmating og årlig OpenSearch Service, ble estimert til konkurransedyktige 23 632 dollar (med OpenSearch Service Reserverte Instanser) til 27 328 dollar (med on-demand). En slik løsning transformerer fundamentalt hvordan medieselskaper samhandler med sine digitale eiendeler, og åpner nye veier for inntektsgenerering av innhold og produksjonsarbeidsflyter. Dette paradigmeskiftet mot semantisk forståelse er en kritisk utvikling for Bedrifts-AI i media.

Forstå den skalerbare multimodale AI-datalagsarkitekturen

I kjernen er dette kraftige multimodale videosøkesystemet bygget på to sammenkoblede arbeidsflyter: videoinnmating og søk. Disse komponentene integreres sømløst for å skape et AI-datalag som forstår og gjør de intrikate detaljene i videoinnhold søkbart.

Videoinnmatingspipeline

Innmattingspipelinen er konstruert for parallell prosessering og effektivitet. Den bruker fire Amazon EC2 c7i.48xlarge-instanser, som orkestrerer opptil 600 parallelle arbeidere for å oppnå en prosesseringshastighet på 19 400 videoer per time. Videoer som opprinnelig er lastet opp til Amazon S3 behandles deretter av Amazon Nova Multimodale Innebygde Representasjoner asynkrone API. Dette API-et segmenterer videoer intelligent i optimale 15-sekunders biter – en balanse mellom å fange betydelige scenerendringer og å håndtere volumet av genererte innebygde representasjoner. Hvert segment blir deretter transformert til en 1024-dimensjonal innebygd representasjon, som representerer dets kombinerte audiovisuelle funksjoner. Mens 3072-dimensjonale innebygde representasjoner gir høyere gjengivelse, gir 1024-dimensjonale alternativet en 3x lagringskostnadsbesparelse med minimal innvirkning på nøyaktigheten for denne applikasjonen, noe som gjør det til et pragmatisk valg for skala.

For å ytterligere forbedre søkbarheten brukes Amazon Nova Pro (eller den nyere, mer kostnadseffektive Nova 2 Lite) til å generere 10-15 beskrivende tagger per video fra en forhåndsdefinert taksonomi. Denne doble tilnærmingen sikrer at innholdet er oppdagbart både gjennom semantisk likhet og tradisjonell nøkkelordmatching. Disse innebygde representasjonene lagres i en OpenSearch k-NN-indeks, optimalisert for vektorsøk, mens de beskrivende taggene indekseres i en egen tekstindeks. Denne separasjonen muliggjør fleksibel og effektiv spørring. Pipelinen håndterer Bedrocks samtidighet-grenser (30 samtidige jobber per konto) gjennom en robust jobbkø og spørremekanisme, noe som sikrer kontinuerlig og kompatibel prosessering.

Nedenfor er en visuell fremstilling av denne sofistikerte innmatingsprosessen:

Figur 1: Videoinnmatingspipeline som viser flyten fra S3 videolagring gjennom Nova Multimodale Innebygde Representasjoner og Nova Pro til doble OpenSearch-indekser

Muliggjøring av varierte videosøkfunksjoner

Søkearkitekturen er designet for allsidighet, og tilbyr flere modi for innholdsgjenfinning:

Tekst-til-video-søk: Brukere kan legge inn naturlig språksspørringer, for eksempel "et droneopptak av en travel by om natten" eller "et nærbilde av en kokk som forbereder et gourmetmåltid." Systemet konverterer disse spørringene til innebygde representasjoner, og bruker deretter OpenSearch k-NN-indeksen til å finne videosegmenter eller hele videoer som semantisk samsvarer med beskrivelsen, selv om de eksakte ordene ikke er til stede i noen metadata. Dette er ideelt for intuitiv innholdsgjenfinning og storyboardutvikling.
Video-til-video-søk: For scenarier der en bruker har et videoklipp og ønsker å finne lignende innhold, utmerker denne modusen seg. Ved å sammenligne de innebygde representasjonene av inndatavideoen direkte med de i OpenSearch k-NN-indeksen, kan systemet identifisere visuelt og auditivt analogt innhold. Dette er uvurderlig for å identifisere B-roll-materiale, sikre innholdskonsistens eller oppdage avledede verk.
Hybridsøk: Hybridsøk kombinerer det beste fra begge verdener, og integrerer vektorslikhet med tradisjonell nøkkelordmatching. Den foreslåtte løsningen bruker en vektet tilnærming (f.eks. 70 % vektorslikhet og 30 % nøkkelordmatching). Dette sikrer høy nøyaktighet og relevans, slik at spesifikke metadata kan veilede søket mens semantisk forståelse gir brede kontekstuelle treff. Denne tilnærmingen er spesielt effektiv for komplekse spørringer som drar nytte av både presise tagger og konseptuell forståelse.

Figur 2: Videosøkearkitektur som demonstrerer tre søkemoduser – tekst-til-video, video-til-video og hybridsøk som kombinerer k-NN og BM25

Kostnadseffektiv utrulling og forutsetninger

Utrulling av et slikt sofistikert AI-datalag krever nøye vurdering av infrastruktur og kostnader, som AWS har optimalisert for effektivitet. Den totale kostnaden for å behandle de omfattende datasettene, omtrent 8 480 timer med videoinnhold, kom til en estimert førsteårs total på 27 328 dollar (med OpenSearch on-demand) eller 23 632 dollar (med OpenSearch Service Reserverte Instanser).

Kostnadsfordelingen for innmating fremhever viktige kostnadsdrivere:

Amazon EC2-beregning: 421 dollar (4x c7i.48xlarge spot-instanser i 41 timer)
Amazon Bedrock Nova Multimodale Innebygde Representasjoner: 17 096 dollar (30,5 millioner sekunder til 0,00056 dollar/sekund batch-priser)
Nova Pro-tagging: 571 dollar (792 000 videoer, ca. 600 tokens/video i gjennomsnitt)
Amazon OpenSearch Service: 9 240 dollar (on-demand årlig) eller 5 544 dollar (Reservert årlig)

Forutsetninger for implementering: For å replikere eller tilpasse denne løsningen, trenger du:

En AWS-konto med tilgang til Amazon Bedrock i us-east-1.
Python 3.9 eller nyere.
AWS Command Line Interface (AWS CLI) konfigurert med passende legitimasjon.
Et Amazon OpenSearch Service-domene (r6g.large eller større anbefales), versjon 2.11 eller nyere, med k-NN-plugin aktivert.
En Amazon S3-bøtte for videolagring og innebygde representasjonsutdata.
AWS Identity and Access Management (IAM)-tillatelser for Amazon Bedrock, OpenSearch Service og Amazon S3.

Løsningen utnytter spesifikke AWS-tjenester og -modeller:

Amazon Bedrock med amazon.nova-2-multimodal-embeddings-v1:0 for innebygde representasjoner.
Amazon Bedrock med us.amazon.nova-pro-v1:0 eller us.amazon.nova-2-lite-v1:0 for tagging.
Amazon OpenSearch Service 2.11+ med k-NN-plugin.
Amazon S3 for lagring.

Implementering av den multimodale videosøkeløsningen

Å komme i gang med denne arkitekturen innebærer en strukturert tilnærming til å sette opp AWS-miljøet ditt. Det første avgjørende trinnet er å etablere de nødvendige tillatelsene.

Trinn 1: Opprett IAM-roller og -policyer

Du må opprette en IAM-rolle som gir applikasjonen eller tjenesten din myndighet til å samhandle med de ulike AWS-komponentene. Denne rollen må inkludere tillatelser til å påberope Amazon Bedrock-modeller (for både generering av innebygde representasjoner og tagging), skrive data til OpenSearch-indekser, og utføre lese-/skriveoperasjoner på Amazon S3-bøtter der videoinnholdet og de behandlede utdataene dine befinner seg.

Her er et eksempel på en grunnleggende IAM-policystruktur:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:StartAsyncInvoke",
        "bedrock:GetAsyncInvoke",
        "bedrock:List"
      ],
      "Resource": "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::your-video-bucket/*",
        "arn:aws:s3:::your-video-bucket"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "es:ESHttpPost",
        "es:ESHttpPut",
        "es:ESHttpDelete",
        "es:ESHttpGet"
      ],
      "Resource": "arn:aws:es:us-east-1:*:domain/your-opensearch-domain/*"
    }
  ]
}

Denne policyen gir spesifikke tillatelser som er avgjørende for pipelinens drift. Husk å erstatte plassholderne som your-video-bucket og your-opensearch-domain med dine faktiske ressursnavn. Etter IAM-oppsettet vil du fortsette med å konfigurere S3-bøttene dine, sette opp OpenSearch Service-domenet ditt med k-NN aktivert, og utvikle orkestreringslogikken som utnytter Bedrock API-ene for innmating. Dette robuste rammeverket sikrer at medie- og underholdningsselskaper effektivt kan administrere, oppdage og tjene penger på sine stadig voksende innholdsbiblioteker, noe som markerer et betydelig sprang innen innholdsintelligens. Denne omfattende løsningen er et eksempel på hvordan moderne AI-funksjoner, spesielt innen multimodal forståelse, omdefinerer industristandarder for innholdsadministrasjon og tilgjengelighet. Det er et bevis på kraften i å integrere avanserte AI-modeller med skalerbar skyinfrastruktur for å løse virkelige Bedrifts-AI-utfordringer, og fremme fremskritt som de som er sett i Agentiske AI-arbeidsflyter.

Opprinnelig kilde

https://aws.amazon.com/blogs/machine-learning/multimodal-embeddings-at-scale-ai-data-lake-for-media-and-entertainment-workloads/

Ofte stilte spørsmål

What is a multimodal AI data lake for media and entertainment workloads?

A multimodal AI data lake for media and entertainment is an advanced system designed to store, process, and enable intelligent search across vast collections of video content. Unlike traditional keyword-based systems, it leverages AI models, specifically multimodal embeddings, to understand the nuanced meaning and context within audio and visual data. This allows for semantic search capabilities, where users can query content using natural language descriptions or by providing another video, moving beyond simple tags to find relevant moments or entire videos based on their actual content. AWS's solution utilizes services like Amazon Nova for embedding generation and Amazon OpenSearch Service for efficient storage and retrieval of these high-dimensional vectors, making it ideal for large-scale content libraries.

How does the video ingestion pipeline handle large-scale datasets?

The video ingestion pipeline detailed in the article is engineered for massive scale, demonstrating processing of nearly 800,000 videos totaling over 8,480 hours of content. It employs a distributed architecture using multiple Amazon EC2 instances (e.g., c7i.48xlarge) to parallelize video processing. Key to its efficiency is the asynchronous API of Amazon Nova Multimodal Embeddings, which segments videos into optimal chunks (e.g., 15-second segments) and generates 1024-dimensional embeddings. To manage Bedrock's concurrency limits, the pipeline implements a job queue with polling, ensuring continuous processing. Additionally, Amazon Nova Pro (or Nova Lite) is used to generate descriptive tags, further enriching the metadata. These embeddings and tags are then efficiently indexed into Amazon OpenSearch Service's k-NN and text indices respectively, preparing the data for rapid search.

What types of video search capabilities does this solution enable?

This multimodal AI data lake solution provides three powerful video search capabilities, significantly enhancing content discovery. First, **Text-to-video Search** allows users to input natural language queries (e.g., 'a person surfing at sunset') which are then converted into embeddings and matched semantically against video content, going beyond exact keyword matches. Second, **Video-to-video Search** enables users to find similar video segments or entire videos by comparing their embeddings directly, useful for content recommendations or identifying duplicates. Third, **Hybrid Search** combines the strengths of both semantic vector similarity and traditional keyword matching (e.g., 70% vector, 30% keyword) for maximum accuracy and relevance, especially when dealing with complex queries that benefit from both contextual understanding and specific metadata.

Which AWS services are critical for building this multimodal embedding solution?

Several core AWS services are critical for constructing this scalable multimodal embedding solution. At its heart are **Amazon Bedrock** and its **Nova Multimodal Embeddings** for generating high-dimensional vector representations from video and audio, and **Nova Pro** (or **Nova Lite**) for intelligent tagging. **Amazon OpenSearch Service** (specifically with its k-NN plugin) serves as the scalable vector database to store and query these embeddings, alongside a traditional text index for metadata. **Amazon S3** (Simple Storage Service) is essential for storing the raw video files and the outputs of the embedding process. **Amazon EC2** provides the compute power for orchestrating the ingestion pipeline and managing the large-scale processing of video data. Additionally, **AWS IAM** is vital for securing access and permissions across these integrated services.

What are the cost considerations for deploying such a large-scale multimodal video search system?

Deploying a large-scale multimodal video search system, as demonstrated by the processing of over 8,000 hours of video, involves significant but manageable costs. The article provides a detailed breakdown, estimating a first-year total cost of approximately $23,632 to $27,328. This cost is primarily divided into two components: one-time ingestion costs and ongoing annual Amazon OpenSearch Service costs. Ingestion is dominated by Amazon Bedrock Nova Multimodal Embeddings usage, charged per second of processed video, and Nova Pro tagging. Amazon EC2 compute for orchestration also contributes but is comparatively smaller. OpenSearch Service costs can be optimized by using Reserved Instances over on-demand pricing. Careful planning and monitoring of resource usage, especially Bedrock API calls and OpenSearch cluster sizing, are key to managing and optimizing these expenditures.

Why is semantic search using multimodal embeddings superior to traditional keyword search for video content?

Semantic search, powered by multimodal embeddings, offers a profound advantage over traditional keyword search for video content by enabling a deeper, contextual understanding. Keyword search is limited to exact matches of words and phrases, often failing to capture synonyms, related concepts, or the visual and auditory nuances of video. For instance, searching for 'people talking' might miss a scene where individuals are silently communicating through gestures. Multimodal embeddings, however, convert the rich information from both audio and video into dense numerical vectors. These vectors capture the meaning, style, and context, allowing for queries based on conceptual similarity rather than just lexical matches. This means users can find relevant content even if the exact keywords aren't present, or describe a visual scene using natural language, significantly improving content discovery and relevance in large video archives.

How does the Amazon Nova family of models contribute to this solution?

The Amazon Nova family of models plays a central role in enabling this advanced multimodal video search solution. Specifically, **Amazon Nova Multimodal Embeddings** is the backbone for transforming raw video and audio into actionable high-dimensional vectors (embeddings). It intelligently segments videos and extracts combined audio-visual features, allowing for sophisticated semantic comparisons. This model is crucial for both text-to-video and video-to-video search functionalities. Additionally, **Amazon Nova Pro** (or the more cost-effective **Nova Lite**) is utilized for generating descriptive tags. These tags enrich the video metadata, enabling hybrid search scenarios where both conceptual similarity and specific keywords can be used to refine search results. Together, these Nova models empower the system to understand, categorize, and make searchable the complex information contained within video content.

What are the benefits of using OpenSearch Service's k-NN index in this architecture?

Amazon OpenSearch Service's k-NN (k-Nearest Neighbor) index is a cornerstone of this multimodal video search architecture, providing the capability to efficiently store and query high-dimensional vector embeddings. The primary benefit is enabling rapid and accurate semantic search. When a query (text or video) is converted into an embedding, the k-NN index can quickly find the 'k' most similar video embeddings within the vast dataset. This is far more efficient than traditional database lookups for vector similarity. It allows for real-time semantic search across millions of video segments. By integrating seamlessly with other OpenSearch capabilities, it also facilitates hybrid search, combining vector similarity with traditional text-based filtering and scoring, ensuring a powerful and flexible search experience that scales with the size of the media library.

Hold deg oppdatert

Få de siste AI-nyhetene i innboksen din.

Del