. : New eShop! - Mobilní verze - Pandatron.cz - Pandatron.sk - Diskuzní fórum - Zakázkový vývoj : .
 
Převod audio/video kódování pro spotřební elektroniku

Převod audio/video kódování pro spotřební elektroniku

V posledních letech se způsob přístupu uživatelů ke zvukovému a obrazovému obsahu posunul z používání samostatných datových zařízení (PC připojený přes modem), hlasových (zejména telefonu) a audiovizuálních přehrávačů (DVD) směrem k novějším integrovaným zařízením, které kombinují všechny tři služby a navíc podporují aplikace, jako hry pro více hráčů, video-on-demand (VOD) a další. Kromě toho mnoho přenosných zařízení, jako jsou přenosné přehrávače a kapesní počítače, nyní nabízí škálu dalších služeb a aplikací, např. MPEG-2, MPEG-4 Simple Profile (SP), H.264, VC-1, On2 či DivX.

Internetové a mobilní sítě se rovněž používají pro přístup a sledování audiovizuálních médií z domova. Spotřebitel chce přesouvat audiovizuální obsah z jednoho zařízení do druhého a z místa na místo s minimálními náklady a v reálném čase či rychleji. To vyžaduje výměnu uloženého nebo shlédnutého obsahu mezi zařízeními v domácnosti i mimo ní, v různých časech a také mezi různými lidmi..

K tomu jsou potřeba adaptivní zařízení, které splní tři základní podmínky:

  1. adaptivní multimediální formát – vytvoření požadovaného formátu, který uživatelské zařízení pro přehrávání audiovizuálního obsahu podporuje
  2. adaptivní síťový protokol – kompatibilita v odesílání a přijímání protokolů a módů mezi různými zařízení, aby se dosáhlo přesného a spolehlivého přesunu audiovizuálního obsahu mezi zařízeními
  3. převod kódů – vyřešení nekompatibilit v kompresních formátech, v rozlišení displejů, v kapacitách pamětí a ve výkonů různých zařízení.

Tento článek popisuje tyto důležité podmínky a možnosti, jak je lze splnit v zařízeních na principu samostatného systému SOC (single system-on-a-chip), jako je např. rodina procesorů DaVinci společnosti Texas Instruments.

Audiovizuální obsah mezi klienty a servery
Procesy probíhající ve standardní aplikaci mezi audiovizuálním klientem a serverem jsou buď deterministické (např. Ethernet, USB, FLASH, AV Demux, AV Mux) nebo nedeterministické (např. nahrání a zobrazení obrazu, nahrání a přehrání zvuku, kódování či dekódovaní videa a zvuku). Nedeterministické procesy nejsou periodické, zatímco deterministické procesy periodické jsou. Z pohledu architektury by se nedeterministické a deterministické procesy neměly slučovat. V ideálním případě by hostitelský procesor zpracovával nedeterministické procesy a digitální signální procesor (DSP) by sloužil jako koprocesor a zpracovával deterministické operace s většími výpočetními nároky.

V takovéto architektuře je celková systémová propustnost vysoká, protože nedeterministické procesy jsou zabezpečené před přerušením procesů běžících na procesorech DSP. Hodnota takové architektury se zvyšuje, když vzroste počet procesů, zejména v aplikacích HD (High Definition) nebo při dekódování videa. Pro podporu této architektury vyvinula TI rodinu digitálních signálních procesorů DaVinci. Obrázek 1 ukazuje zařízení DM6446 z rodiny DaVinci, které obsahuje ARM926 a digitální signální procesor C64x.


Obr. 1: Blokové schéma zařízení DaVinci (DM6446)

V systému DaVinci provádí interní procesor DSP deterministické procesy a procesoru ARM dává prostor ke zpracovávání nedeterministických procesů. V tomto případě flexibilní architektura procesoru provádí kódovací operace a dosahuje velmi dobrého poměru mezi cenou a výkonem. Procesor DSP implementuje algoritmicky kompletní podporu různých kompresních formátů a tím tato architektura získává potřebné programovací možnosti i pro budoucí kompresní formáty a softwarové aktualizace.

Adaptivní síťové protokoly
Ačkoli HTTP je nejoblíbenější internetový síťový protokol, není vhodný pro přenos dočasného obsahu s časovým a snímkovým indexováním.Naproti tomu protokol RTSP pracuje v několika módech a může zpracovávat audiovizuální obsah s časovými a snímkovými indexy.

Jakmile se naváže spojení s audiovizuálním médiem, protokol RTSP se přepíná mezi několika módy podle toho, jak uživatel zadává požadavky na přehrávání, přerušení, zastavení a ukončení záznamu. Protokol RTSP je pro přehrávání audiovizuálního obsahu bezesporu vhodnější než HTTP, je mnohem komplexnější, a to zejména když uvážíme různé módy, které podporuje. Za zmínku stojí především prokládaný provozní mód, s jehož pomocí lze multimediální soubor zaslat bez rozdělování a bez nutnosti otevírání jakýchkoliv socketů RTP/RTCP.

Aby se vyřešily problémy s nekompatibilitou síťových protokolů, sestavilo sdružení Digital Living Network Alliance (DLNA) soubor pravidel. Například, všechny produkty musí podle těchto pravidel podporovat jednak protokol HTTP, tak i umožňovat rozšíření o standardní protokoly pro přenos audiovizuálního obsahu mezi klienty a servery. Navíc DLNA vytvořilo takové rozšíření pro protokol HTTP, které umo6ńuje nasazovat operace na bázi RPSP, které však nejsou tam komplexní jako samotný protokol RTSP.

Adaptivní multimediální formáty
Pro přehrávání audiovizuálního obsahu existuje mnoho různých formátů. Nejoblíbenějšími jsou formáty AVI (Audio Video Interleaved) a ASF (Advanced Systems Format) společnosti Microsoft, dále pak formáty TS (Transport Stream) a PS (Program Stream) pracující s MPEG-2, a MP4 (MPEG-4). Všechny tyto formáty podporují na určité úrovni metadata a umožňují ukládat audiovizuální obsah.
Jednou z charakteristik, která rozlišuje multimediální formáty, je zpracování metadat. Formát MP4 je dobrý pro oddělení komprimovaných data z metadat. Umožňuje velmi efektivní a spolehlivý přenos, u něhož se klíčové načasování informací a parametry bitového toku, umístěné obvykle v hlavičkách ES, zasílají samostatně z komprimovaných snímků. Multimediální formáty používané v počítačových aplikacích se často stávají samostatnými formáty, jako např. AVI a ASF nebo FLV (Flash Video) společnosti Adobe, a stávají se základem pro standardy v set-top boxech a v DVD přehrávačích, kde využívají formáty TS a PS. Na druhou stranu internetová metodologie MPEG-4 a formát MP4 jsou mnohem častější v přenosných zařízeních.

Převod kódů
Převod kódů je výpočetně nejnáročnější operace. Pro obsah ve formátu HD je převod kódů kvůli extrémním výpočetním nárokům na dekódování a kódování bitového toku mimo možnosti standardního hostujícího procesoru. Navíc během převodu kódů běží mnoho algoritmů, což dále prohlubuje výpočetní složitost a vede k celkové ztrátě kvality obrazu.

Výpočetní složitost plyne z kodéru, který během svého vyhodnocovacího procesu musí zpracovat prohledávání plného pohybu, protože nemá žádné znalosti o pohybových vektorech použitých v dekódovacím procesu. Ztráty kvality obrazu vychází z nesprávného umístění snímků a makrobloků mezi dekódováním a kódováním. Zejména pokud se při kódování vytvoří I-snímek (intra; vnitřní) na snímku, který byl dekódován jako B-snímek (bidirectional; obousměrný). V tomto případě se B-snímek použije jako referenční nebo jako P-snímek (predictive; předvídavý) pro předcházející i následující snímky při dekódování a vytváří další chyby.

Během samotného převodu kódů může být předávání informací o všech typech snímků (I, P, B), makroblokových módech a pohybových vektorech z dekodéru do kodéru velmi přínosné. Pokud dojde ke snížení počtu snímků, např. z 30 snímků za sekundu na 15, a víme, kde se ve zdrojovém souboru nacházejí B-snímky, pak se zpracování výrazně zjednodušuje. Protože B-snímky se nepoužívají jako referenční snímky, lze je jednoduše odstranit z bitového toku a snížit počet snímků bez nutnosti dalšího zpracování kodérem.

Znalost pohybového vektoru každého makrobloku v HD streamu může vést k rychlejšímu zpracování během kódování. Vyhledávací proces pohybu jakéhokoliv kodéru má totiž největší výpočetní nároky. Znalost okolí každého pohybového vektoru makrobloku ve zdrojovém souboru výrazně snižuje potřebný počet výpočtů, protože vyhledávání pohybů se pak stává spíše upřesňováním známého referenčního bodu namísto masivního prohledávání ve velmi velké obrazové rovině. Důležitým bodem je, že kodér vysílání HD potřebuje neskutečné množství procesů a paměti, aby dospěl k optimální sadě parametrů pro každý snímek a makroblok v sekvenci, navíc často kóduje jeden snímek vícekrát. Opomenutí tohoto faktu se nevyplatí, protože výrazně navyšuje počet kódovacích procesů, což často vede k celkově nižší kvalitě obrazu. Umístění dekodéru a kodéru blízko sebe snižuje celkovou složitost a vede k mnohem optimálnějšímu řešení. Příklad takového řešení ukazuje obrázek 2.


Obr. 2: Blokové schéma převaděče kódů

Dekodér poskytuje kodéru typ snímku, typ a mód makrobloku, pohybové vektory, kvantové úrovně a parametry přenosové rychlosti, čímž zajistí lepší rozhodování na kódovaném bitovém toku, který kodér vytváří. Ačkoli kodér musí provést úplné kódování dat, mnoho modulů může pracovat jednodušeji díky informacím od dekodéru, které získají v předstihu. To platí zejména pro vyhodnocovací proces pohybu, který je spíše o upřesňování než o masivním prohledávání. Pokud se změní velikost obrazu, systém vytvoří přesné rozměry snímku dříve než ho odešle z kodéru, a proto snižuje potřebné množství paměti a tím i celkové náklady na převod kódů.

Řešení převodu kódů DaVinci
Pro různé síťové protokoly a multimediální formáty je nepochybně potřebný koprocesor, který převede kódy do mnoha různých kodeků, jež jsou nyní k dispozici, jako MPEG-2, H.264 nebo VC-1. Architektura DaVinci je pro takový úkol vhodným řešením. Obrázek 3 ukazuje příklad DVD rekordéru s převodníkem kódů, do něhož přichází komprimovaný obsah ze set-top boxu. Z něj pak odchází překódovaný obsah zpět a současně dokáže dekódovat video, které lze zobrazit prostřednictvím set-top boxu ve formátu PIP (picture-in-picture).


Obr. 3: Blokové schéma set-top boxu a převodníku kódů

Tato aplikace primárně potřebuje jen funkci převodu kódů. Ale s dalšími zařízeními v domácí síti lze hostitelský procesor DaVinci použít pro zpracování síťových protokolů a multimediálních formátů. Současně procesor DSP pracuje jako koprocesor převádějící kódy, čímž snižuje celkové náklady systému a domácnostem nabízí mnohem adaptivnější řešení.

Autor: Tim Simerly, Video Systems Architect - Texas Instruments

Odkazy & Download:
Domovská stránka výrobce
Domovská stránka výrobce v českém jazyce
Přehled distributorů

DaVinci™ Digital Media Processors
Applications Processor and DSP Selection Tool
TMS320DM6446 - DaVinci Digital Media System-on-Chip







GooglePlus1 FaceBook Twitter del.icio.us DiGG Google StumbleUpon Google Buzz Email RSS PDF Tisk

Komentáře:
Název příspěvku: Vaše jméno: host
                 
  Zakázat formátování [Zakáže kódování a nahrazování smajlíky.]
Připojit soubory
reklama:
AS433 AUREL
Anténa vertikální 433.92MHz, 50 ohmů, max. 50W, s koaxiálním kablíkem
od 189 Kč

Informace uvedené v článcích jsou platné v době jejich vydání a samotné články jsou určeny pouze jako zdroj informací. Autor článku ani správce webu nenesou žádnou zodpovědnost za případné újmy na majetku a zdraví. Názvy společností a výrobků, loga a další multimediální materiál mohou být ochrannými známkami příslušných společností.
RSS kanály: | |
+420 723 846 377
info@pandatron.cz
Všechna práva vyhrazena | mobilní verze | © Copyright 2000 - 2016 ISSN 1803-6007