Mērogojami multimodāli iegulumi: AI datu ezers plašsaziņas līdzekļu un izklaides industrijai

Video meklēšanas revolūcija ar multimodāliem ieguldījumiem

Plašsaziņas līdzekļu un izklaides industrija ir pārpilna ar milzīgiem video satura apjomiem. No arhīva materiāliem līdz ikdienas augšupielādēm, milzīgais apjoms padara tradicionālās satura atklāšanas metodes — manuālu atzīmēšanu un atslēgvārdu meklēšanu — arvien neefektīvākas un bieži vien neprecīzas. Šīs mantotās pieejas nespēj aptvert visu video satura bagātību un niansēto kontekstu, kas noved pie zaudētām iespējām satura atkārtotai izmantošanai, ātrākai ražošanai un uzlabotām skatītāju pieredzēm.

Ienāk multimodālo ieguldījumu ēra. AWS ir celmlauzis risinājumam, kas pārvar šos ierobežojumus, nodrošinot semantiskās meklēšanas iespējas milzīgās video datu kopās. Izmantojot Amazon Nova modeļu un Amazon OpenSearch Service jaudu, satura veidotāji un izplatītāji var pārsniegt virspusējus atslēgvārdus, lai patiesi saprastu un piekļūtu savām mediju bibliotēkām. Šī inovatīvā pieeja ļauj dabiskās valodas vaicājumiem iedziļināties vizuālās un audio informācijas dziļumos, nodrošinot bezprecedenta precizitāti satura atklāšanā.

Demonstrējot šo iespēju iespaidīgā mērogā, AWS apstrādāja 792 270 videoklipus no AWS Open Data Registry, kas ietver pārsteidzošas 8480 stundas video satura. Šis vērienīgais pasākums, kas ilga tikai 41 stundu, lai apstrādātu vairāk nekā 30,5 miljonus video sekunžu, uzsver šīs AI virzītās pieejas mērogojamību un efektivitāti. Pirmā gada izmaksas, ieskaitot vienreizēju ievadīšanu un gada OpenSearch Service, tika lēstas ļoti konkurētspējīgā $23 632 (ar OpenSearch Service Reserved Instances) līdz $27 328 (ar on-demand). Šāds risinājums fundamentāli pārveido, kā mediju uzņēmumi mijiedarbojas ar saviem digitālajiem aktīviem, atverot jaunas iespējas satura monetizācijai un ražošanas plūsmām. Šī paradigmas maiņa uz semantisko izpratni ir kritiska attīstība Uzņēmuma AI medijos.

Izpratne par mērogojamo multimodālā AI datu ezera arhitektūru

Šīs jaudīgās multimodālās video meklēšanas sistēmas pamatā ir divas savstarpēji saistītas darba plūsmas: video ievadīšana un meklēšana. Šie komponenti nemanāmi integrējas, lai izveidotu AI datu ezeru, kas saprot un padara meklējamu video satura sarežģītās detaļas.

Video ievadīšanas konveijers

Ievadīšanas konveijers ir izstrādāts paralēlai apstrādei un efektivitātei. Tas izmanto četras Amazon EC2 c7i.48xlarge instances, orķestrējot līdz pat 600 paralēliem darbiniekiem, lai sasniegtu apstrādes ātrumu 19 400 videoklipu stundā. Sākotnēji Amazon S3 augšupielādētie videoklipi pēc tam tiek apstrādāti ar Amazon Nova Multimodal Embeddings asinhrono API. Šis API inteliģenti segmentē videoklipus optimālās 15 sekunžu daļās — tas ir līdzsvars starp nozīmīgu ainas izmaiņu uztveršanu un ģenerēto ieguldījumu apjoma pārvaldību. Katrs segments pēc tam tiek pārveidots par 1024 dimensiju ieguldījumu, kas atspoguļo tā kombinētās audio-vizuālās funkcijas. Kamēr 3072 dimensiju ieguldījumi piedāvā augstāku precizitāti, 1024 dimensiju opcija nodrošina 3x glabāšanas izmaksu ietaupījumu ar minimālu ietekmi uz precizitāti šai lietojumprogrammai, padarot to par pragmatisku izvēli mērogam.

Lai vēl vairāk uzlabotu meklēšanas iespējas, Amazon Nova Pro (vai jaunākais, ekonomiski efektīvākais Nova 2 Lite) tiek izmantots, lai ģenerētu 10-15 aprakstošas atzīmes katram video no iepriekš definētas taksonomijas. Šī divējādā pieeja nodrošina, ka saturu var atrast gan ar semantisko līdzību, gan ar tradicionālo atslēgvārdu atbilstību. Šie ieguldījumi tiek glabāti OpenSearch k-NN indeksā, kas optimizēts vektoru līdzības meklēšanai, savukārt aprakstošās atzīmes tiek indeksētas atsevišķā teksta indeksā. Šī atdalīšana nodrošina elastīgu un efektīvu vaicāšanu. Konveijers pārvalda Bedrock vienlaicīguma ierobežojumus (30 vienlaicīgu darbu uz kontu), izmantojot stabilu darba rindu un aptaujas mehānismu, nodrošinot nepārtrauktu un atbilstošu apstrādi.

Zemāk ir šī sarežģītā ievadīšanas procesa vizuāls attēlojums:

Figure 1: Video ievadīšanas konveijers, kas parāda plūsmu no S3 video krātuves caur Nova Multimodal Embeddings un Nova Pro uz diviem OpenSearch indeksiem

Dažādu video meklēšanas iespēju stiprināšana

Meklēšanas arhitektūra ir izstrādāta daudzpusībai, piedāvājot vairākus satura atklāšanas režīmus:

Teksta-video meklēšana: Lietotāji var ievadīt dabiskās valodas vaicājumus, piemēram, "drona uzņēmums ar rosīgu pilsētu naktī" vai "pavāra tuvplāns, kas gatavo gardēžu maltīti". Sistēma pārveido šos vaicājumus ieguldījumos, pēc tam izmanto OpenSearch k-NN indeksu, lai atrastu video segmentus vai veselus videoklipus, kas semantiski atbilst aprakstam, pat ja precīzi vārdi nav klāt nevienā metadatos. Tas ir ideāli piemērots intuitīvai satura atklāšanai un sižeta veidošanai.
Video-video meklēšana: Scenārijiem, kur lietotājam ir video klips un viņš vēlas atrast līdzīgu saturu, šis režīms ir izcils. Tieši salīdzinot ievades video ieguldījumus ar tiem, kas atrodas OpenSearch k-NN indeksā, sistēma var identificēt vizuāli un audio analogu saturu. Tas ir nenovērtējams B-roll materiālu identificēšanai, satura konsekvences nodrošināšanai vai atvasinātu darbu atklāšanai.
Hibrīda meklēšana: Apvienojot labāko no abām pasaulēm, hibrīda meklēšana integrē vektoru līdzību ar tradicionālo atslēgvārdu atbilstību. Piedāvātais risinājums izmanto svērto pieeju (piemēram, 70% vektoru līdzība un 30% atslēgvārdu atbilstība). Tas nodrošina augstu precizitāti un atbilstību, ļaujot specifiskiem metadatiem vadīt meklēšanu, kamēr semantiskā izpratne nodrošina plašas kontekstuālas atbilstības. Šī pieeja ir īpaši efektīva sarežģītiem vaicājumiem, kas gūst labumu gan no precīzām atzīmēm, gan no konceptuālās izpratnes.

Figure 2: Video meklēšanas arhitektūra, kas demonstrē trīs meklēšanas režīmus – teksta-video, video-video un hibrīda meklēšanu, apvienojot k-NN un BM25

Rentabla ieviešana un priekšnoteikumi

Tik sarežģīta AI datu ezera ieviešana prasa rūpīgu infrastruktūras un izmaksu apsvēršanu, ko AWS ir optimizējusi efektivitātei. Kopējās izmaksas par plašo datu kopu, aptuveni 8480 stundu video satura, apstrādi, pirmajā gadā tika lēstas aptuveni $27 328 (ar OpenSearch on-demand) vai $23 632 (ar OpenSearch Service Reserved Instances).

Ievadīšanas sadalījums uzsver galvenos izmaksu virzītājus:

Amazon EC2 skaitļošana: $421 (4x c7i.48xlarge spot instances 41 stundai)
Amazon Bedrock Nova Multimodal Embeddings: $17 096 (30,5M sekundes par $0,00056/sekundi partijas cenā)
Nova Pro atzīmēšana: $571 (792K videoklipi, aptuveni 600 žetoni/video vidēji)
Amazon OpenSearch Service: $9240 (on-demand gadā) vai $5544 (Reserved gadā)

Priekšnoteikumi ieviešanai: Lai atkārtotu vai pielāgotu šo risinājumu, jums būs nepieciešams:

AWS konts ar piekļuvi Amazon Bedrock reģionā us-east-1.
Python 3.9 vai jaunāka versija.
AWS komandrindas interfeiss (AWS CLI), konfigurēts ar atbilstošiem akreditācijas datiem.
Amazon OpenSearch Service domēns (ieteicams r6g.large vai lielāks), versija 2.11 vai jaunāka, ar iespējotu k-NN spraudni.
Amazon S3 saglabātuve (bucket) video glabāšanai un ieguldījumu izvadei.
AWS Identity and Access Management (IAM) atļaujas Amazon Bedrock, OpenSearch Service un Amazon S3.

Risinājums izmanto specifiskus AWS pakalpojumus un modeļus:

Amazon Bedrock ar amazon.nova-2-multimodal-embeddings-v1:0 ieguldījumiem.
Amazon Bedrock ar us.amazon.nova-pro-v1:0 vai us.amazon.nova-2-lite-v1:0 atzīmēšanai.
Amazon OpenSearch Service 2.11+ ar k-NN spraudni.
Amazon S3 glabāšanai.

Multimodālās video meklēšanas risinājuma ieviešana

Sākot darbu ar šo arhitektūru, ir jāievēro strukturēta pieeja AWS vides iestatīšanai. Pirmais svarīgais solis ir nepieciešamo atļauju izveidošana.

1. solis: Izveidot IAM lomas un politikas

Jums būs jāizveido IAM loma, kas piešķir jūsu lietojumprogrammai vai pakalpojumam tiesības mijiedarboties ar dažādām AWS komponentēm. Šai lomai jāietver atļaujas Amazon Bedrock modeļu izsaukšanai (gan ieguldījumu ģenerēšanai, gan atzīmēšanai), datu rakstīšanai OpenSearch indeksos un lasīšanas/rakstīšanas operāciju veikšanai Amazon S3 saglabātuvēs, kur atrodas jūsu video saturs un apstrādātie rezultāti.

Šeit ir pamata IAM politikas struktūras piemērs:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:StartAsyncInvoke",
        "bedrock:GetAsyncInvoke",
        "bedrock:List"
      ],
      "Resource": "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::your-video-bucket/*",
        "arn:aws:s3:::your-video-bucket"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "es:ESHttpPost",
        "es:ESHttpPut",
        "es:ESHttpDelete",
        "es:ESHttpGet"
      ],
      "Resource": "arn:aws:es:us-east-1:*:domain/your-opensearch-domain/*"
    }
  ]
}

Šī politika piešķir specifiskas atļaujas, kas ir būtiskas konveijera darbībai. Atcerieties aizstāt vietturus, piemēram, your-video-bucket un your-opensearch-domain, ar saviem faktiskajiem resursu nosaukumiem. Pēc IAM iestatīšanas jūs turpinātu ar S3 saglabātuvju konfigurēšanu, OpenSearch Service domēna iestatīšanu ar iespējotu k-NN un orķestrēšanas loģikas izstrādi, kas izmanto Bedrock API ievadīšanai. Šis robustais ietvars nodrošina, ka plašsaziņas līdzekļu un izklaides uzņēmumi var efektīvi pārvaldīt, atklāt un monetizēt savas arvien augošās satura bibliotēkas, iezīmējot būtisku lēcienu satura inteliģencē. Šis visaptverošais risinājums ir piemērs tam, kā mūsdienu AI iespējas, īpaši multimodālā izpratnē, no jauna definē nozares standartus satura pārvaldībai un pieejamībai. Tas ir apliecinājums tam, cik jaudīga ir progresīvu AI modeļu integrēšana ar mērogojamu mākoņinfrastruktūru, lai atrisinātu reālās pasaules Uzņēmuma AI izaicinājumus, veicinot sasniegumus, kas līdzīgi tiem, kas novēroti Aģentu AI darba plūsmās.

Sākotnējais avots

https://aws.amazon.com/blogs/machine-learning/multimodal-embeddings-at-scale-ai-data-lake-for-media-and-entertainment-workloads/

Bieži uzdotie jautājumi

What is a multimodal AI data lake for media and entertainment workloads?

A multimodal AI data lake for media and entertainment is an advanced system designed to store, process, and enable intelligent search across vast collections of video content. Unlike traditional keyword-based systems, it leverages AI models, specifically multimodal embeddings, to understand the nuanced meaning and context within audio and visual data. This allows for semantic search capabilities, where users can query content using natural language descriptions or by providing another video, moving beyond simple tags to find relevant moments or entire videos based on their actual content. AWS's solution utilizes services like Amazon Nova for embedding generation and Amazon OpenSearch Service for efficient storage and retrieval of these high-dimensional vectors, making it ideal for large-scale content libraries.

How does the video ingestion pipeline handle large-scale datasets?

The video ingestion pipeline detailed in the article is engineered for massive scale, demonstrating processing of nearly 800,000 videos totaling over 8,480 hours of content. It employs a distributed architecture using multiple Amazon EC2 instances (e.g., c7i.48xlarge) to parallelize video processing. Key to its efficiency is the asynchronous API of Amazon Nova Multimodal Embeddings, which segments videos into optimal chunks (e.g., 15-second segments) and generates 1024-dimensional embeddings. To manage Bedrock's concurrency limits, the pipeline implements a job queue with polling, ensuring continuous processing. Additionally, Amazon Nova Pro (or Nova Lite) is used to generate descriptive tags, further enriching the metadata. These embeddings and tags are then efficiently indexed into Amazon OpenSearch Service's k-NN and text indices respectively, preparing the data for rapid search.

What types of video search capabilities does this solution enable?

This multimodal AI data lake solution provides three powerful video search capabilities, significantly enhancing content discovery. First, **Text-to-video Search** allows users to input natural language queries (e.g., 'a person surfing at sunset') which are then converted into embeddings and matched semantically against video content, going beyond exact keyword matches. Second, **Video-to-video Search** enables users to find similar video segments or entire videos by comparing their embeddings directly, useful for content recommendations or identifying duplicates. Third, **Hybrid Search** combines the strengths of both semantic vector similarity and traditional keyword matching (e.g., 70% vector, 30% keyword) for maximum accuracy and relevance, especially when dealing with complex queries that benefit from both contextual understanding and specific metadata.

Which AWS services are critical for building this multimodal embedding solution?

Several core AWS services are critical for constructing this scalable multimodal embedding solution. At its heart are **Amazon Bedrock** and its **Nova Multimodal Embeddings** for generating high-dimensional vector representations from video and audio, and **Nova Pro** (or **Nova Lite**) for intelligent tagging. **Amazon OpenSearch Service** (specifically with its k-NN plugin) serves as the scalable vector database to store and query these embeddings, alongside a traditional text index for metadata. **Amazon S3** (Simple Storage Service) is essential for storing the raw video files and the outputs of the embedding process. **Amazon EC2** provides the compute power for orchestrating the ingestion pipeline and managing the large-scale processing of video data. Additionally, **AWS IAM** is vital for securing access and permissions across these integrated services.

What are the cost considerations for deploying such a large-scale multimodal video search system?

Deploying a large-scale multimodal video search system, as demonstrated by the processing of over 8,000 hours of video, involves significant but manageable costs. The article provides a detailed breakdown, estimating a first-year total cost of approximately $23,632 to $27,328. This cost is primarily divided into two components: one-time ingestion costs and ongoing annual Amazon OpenSearch Service costs. Ingestion is dominated by Amazon Bedrock Nova Multimodal Embeddings usage, charged per second of processed video, and Nova Pro tagging. Amazon EC2 compute for orchestration also contributes but is comparatively smaller. OpenSearch Service costs can be optimized by using Reserved Instances over on-demand pricing. Careful planning and monitoring of resource usage, especially Bedrock API calls and OpenSearch cluster sizing, are key to managing and optimizing these expenditures.

Why is semantic search using multimodal embeddings superior to traditional keyword search for video content?

Semantic search, powered by multimodal embeddings, offers a profound advantage over traditional keyword search for video content by enabling a deeper, contextual understanding. Keyword search is limited to exact matches of words and phrases, often failing to capture synonyms, related concepts, or the visual and auditory nuances of video. For instance, searching for 'people talking' might miss a scene where individuals are silently communicating through gestures. Multimodal embeddings, however, convert the rich information from both audio and video into dense numerical vectors. These vectors capture the meaning, style, and context, allowing for queries based on conceptual similarity rather than just lexical matches. This means users can find relevant content even if the exact keywords aren't present, or describe a visual scene using natural language, significantly improving content discovery and relevance in large video archives.

How does the Amazon Nova family of models contribute to this solution?

The Amazon Nova family of models plays a central role in enabling this advanced multimodal video search solution. Specifically, **Amazon Nova Multimodal Embeddings** is the backbone for transforming raw video and audio into actionable high-dimensional vectors (embeddings). It intelligently segments videos and extracts combined audio-visual features, allowing for sophisticated semantic comparisons. This model is crucial for both text-to-video and video-to-video search functionalities. Additionally, **Amazon Nova Pro** (or the more cost-effective **Nova Lite**) is utilized for generating descriptive tags. These tags enrich the video metadata, enabling hybrid search scenarios where both conceptual similarity and specific keywords can be used to refine search results. Together, these Nova models empower the system to understand, categorize, and make searchable the complex information contained within video content.

What are the benefits of using OpenSearch Service's k-NN index in this architecture?

Amazon OpenSearch Service's k-NN (k-Nearest Neighbor) index is a cornerstone of this multimodal video search architecture, providing the capability to efficiently store and query high-dimensional vector embeddings. The primary benefit is enabling rapid and accurate semantic search. When a query (text or video) is converted into an embedding, the k-NN index can quickly find the 'k' most similar video embeddings within the vast dataset. This is far more efficient than traditional database lookups for vector similarity. It allows for real-time semantic search across millions of video segments. By integrating seamlessly with other OpenSearch capabilities, it also facilitates hybrid search, combining vector similarity with traditional text-based filtering and scoring, ensuring a powerful and flexible search experience that scales with the size of the media library.

Esiet informēti

Saņemiet jaunākās AI ziņas savā e-pastā.

Dalīties