Kam směřuje vývoj mediální zábavy? Technické novinky z IBC 2023 v Amsterdamu

Témata, jako je umělá inteligence (AI), sítě 5G, virtuální a rozšířená realita (VR/AR/XR) , metaversum, hraní her, cloud a edge computing, byla v popředí zájmu všech předváděcích stánků a výstavních hal. Představením nových příležitostí a rozšířením několika výstavních hal – včetně otevření haly 3 – IBC2023  hostilo rozsáhlý herní a esportový program ve vyhrazené zóně na výstavní ploše se zaměřenými technickými prohlídkami, protože světy filmu, televize a her se stále sbližují.  Bývalá Zóna budoucnosti (Future Zone) byla přepracována na IBC Technickou Zónu podporovanou Evropskou Vysílací Unií (EBU), která představila špičkové technologie utvářející budoucnost mediálních zážitků.

V následujících odstavcích se pokusíme přiblížit uplatnění umělé inteligence jak v produkci zpravodajství, tak i ve zlepšení kvality zobrazení, použití nových úspornějších kodeků, snižování spotřeby energie pro HDR displeje a propojení budoucích distribučních systémů v DVB-I, vysílání 5G a streamování přes OTT služby. Nejdříve se ale zastavme vyhlášení vítězů cen udělených mezinárodní porotou.

Mezinárodní ceny IBC 2023

Nejprestižnější ocenění IBC2023 „International Honor for Excellence (IHFE) Award“ bylo uděleno společnosti Warner Bros. Motion Picture Group ke 100. výročí jejího založení Albertem, Samem a Jackem Warnerovými.

Další ze série speciálních cen IBC oslavujících to nejlepší v oblasti inovací a změn v médiích a zábavě patřilo německému DVB-I projektu – iniciativě sdružující několik zúčastněných stran z německého mediálního průmyslu, včetně provozovatelů vysílání, výrobců zařízení, poskytovatelů softwaru a výzkumných institucí. Projekt cílí k pokroku ve standardu DVB-I a směřuje tak k průběžnému používání lineárních televizních programů na všech distribučních platformách. O DVB-I jsme psali v tomto článku.

Další informace o standardu DVB-I, jako univerzálního prostředku distribuce budoucnosti,  jsou uvedeny ke konci článku a určitě se k nim ještě budeme v budoucnu vracet.

Technické přednášky

Součástí mezinárodní konference jsou také technické dokumenty (Terchnical Papers) IBC, které letos zaznamenaly triumfální návrat a byly prezentovány na tematických seminářích pořádaných v rámci IBC2023 průmyslovými mozky stojícími za zveřejněnými studiemi. Umělá inteligence, pracovní toky živé produkce, udržitelnost, audiovizuální obsah, 5G, obsah na vyžádání, VR a živé vysílání budou jen některé z progresivních témat, která se objevila na konferenčních relacích s vítěznými příspěvky.

BBC s partnerskými společnostmi získala ocenění za „Best Technical Paper“ – nejlepší technický článek za 5G samostatnou neveřejnou síť pro živé vysílání příspěvků pomocí sdíleného spektra, nasazenou během korunovace krále Karla III. Tato 5G SA síť usnadnila živé zpravodajské příspěvky pro více vysílacích společností a zapojení více technologických partnerů v prostředí s vysokou hustotou poptávky po spojení.

Následující nekomerční prezentované dokumenty, které představují originální, neotřelý výzkum řešení skutečných problémů, pokrývají celý mediální průmysl a jsou předkládány kombinací profesionálů z oboru, akademiků a odborníků na výzkum a vývoj. Vybrali jsme pro vás 9 dokumentů, které jsme se pokusili stručně popsat. Odkazy na ně jsou uvedeny na konci článku.

Redakční systémy podporované umělou inteligencí (AI)

Přestože jsou redakční systémy srdcem a páteří žurnalistického procesu, jsou v rámci inovačních procesů a žurnalistického výzkumu podceňovány. To je pozoruhodné, protože technologický vývoj – mimo jiné rychlý vzestup umělé inteligence, nabízí četné příležitosti k oživení redakčních systémů. Nové (hybridní) novinářské způsoby práce a fungování navíc vyžadují redesign redakčních systémů ^[1].

Konkrétní příklad byl uveden v dokumentu AI: výroba krátkých klipů videí se souhrnem zpráv ^[2]. V době, kdy se upřednostňují krátká videa, vysílací stanice se zaměřují na distribuci souhrnných videí z odvysílaného obsahu na sociálních sítích. Proto autoři z japonské společnosti NHK vyvinuli systémy automatického generování zpravodajských videí a shrnutí pořadů. Pomocí umělé inteligence (AI) pro sumarizaci videa, která se naučila kompozici obrazu a kameru typickou pro důležité scény, je možné automaticky generovat přehledná videa s vysokou kvalitou blízkou videím sestříhaným skutečnými zaměstnanci produkce. Tyto systémy byly testovány a prakticky používány na různých vysílacích stanicích NHK. Vygenerovaná souhrnná videa jsou denně zveřejňována na sociálních sítích. Vzhledem k tomu, že webové stránky programu jsou také důležitým obsahem, který by mohl zvýšit míru kontaktu diváků, byl vyvinut systém podpory také pro vytváření webových stránek programu pomocí umělé inteligence sloužící pro automatické vytváření náhledových miniatur. S jejich pomocí můžete vytvářet webové stránky programu s minimálním úsilím. Tyto technologie mohou zefektivnit produkci internetového obsahu, jako jsou souhrnná videa a webové stránky programů. Navíc výrazně podpoří zavádění různých vysílacích programů na internetu.

Upscaling videa neboli super rozlišení s umělou inteligencí (AI)

Vysoké produkční náklady byly klíčovým faktorem při oddalování širokého nasazení nabídky vysílání v Ultra HD. Pouze několik speciálních událostí má tendenci být produkováno a vysíláno v UHD, přičemž většina skutečného 4K obsahu pochází od poskytovatelů streamování, jako jsou Netflix, Amazon Video nebo Disney+, a i v těchto případech je dostupnost obsahu stále výrazně omezenější než u jejich poskytovatelů. Výsledkem je, že potenciál UHD displejů moderních „chytrých“ televizí není plně využit, přičemž výsledná reprezentace obrazu závisí na možnostech upgradu zobrazovacího zařízení, které jsou obvykle značně omezeny výpočetní kapacitou a omezeními spotřeby energie.

Vysoce kvalitní a spolehlivá konverze může představovat životaschopné řešení pro urychlení dostupnosti UHD, což poskytovatelům obsahu umožní výrazně snížit náklady doplněním jejich nabídky o vysoce kvalitní obsah upscalovaný ze stávajících HD knihoven a využití jejich současných produkčních kanálů až k uživateli. Široce prozkoumané metody založené na hlubokém učení jsou perfektními kandidáty pro takové aplikace, výrazně překonávají tradiční techniky a jsou zvláště vhodné pro cloudová nasazení, kde akcelerace GPU (grafických procesorů) může pomoci zajistit vysokou propustnost ^[3].

Metody super-rozlišení (SR) se týkají procesu generování obrázků nebo videí s vysokým rozlišením ze vstupů s nízkým rozlišením. Tyto techniky byly důležitým tématem výzkumu již několik desetiletí, přičemž rané metody SR se spoléhají na techniky prostorové interpolace. I když byly tyto metody jednoduché a účinné, kvalita upscalovaných snímků byla omezena jejich neschopností generovat vysokofrekvenční detaily. Nejvýznamnější pokrok však přinesly nové techniky hlubokého učení a zejména konvoluční neuronové sítě (CNN).

Zde se odehrávala většina technických prezentací (Foto Martin Junek)

První super rozlišovací metoda založená na konvoluční neuronové síti (CNN) navrhla „SRCNN“ (Super-Resolution Convolutional Neural Network) vyvinutím třívrstvé architektury CNN, která je schopna se naučit mapování z obrázků s nízkým rozlišením až s vysokým rozlišením pomocí velké trénovací datové sady.

Na základě dalších inovací a zvyšování hardwarových schopností pro trénování a provozování větších a složitějších sítí se oblast s vysokým rozlišením v posledních letech velmi rychle vyvíjela. Pokroky v generativních modelech, jako jsou Auto-Encoders a Generative Adversarial Networks (GAN), otevřely nové možnosti a poskytly vysoce kvalitní upscaling, které odpovídají základní distribuci obrázků s vysokým rozlišením i v případech, kdy jsou vstupní data zašuměná nebo neúplná. Každá síťová architektura má však své výhody a nevýhody, takže je velmi důležité přizpůsobit každé řešení jeho cílové aplikaci.

Softwarový kodér pro 8Kp60 HDR video

Hlavní výzvou video kodéru je komprimovat 8K signál na relativně nižší bitovou rychlost tak, aby výsledný bitový tok mohl být přenášen přes aktuální distribuční sítě (satelit, kabel, internet či terestricky), a to při zajištění takové kvality (QoE), kterou koncový uživatel od služby 8K očekává. Navíc kodér v případě živého vysílání musí provést kódování v reálném čase a s nízkou latencí. Velikosti nekomprimovaných datových toků, o kterých se u UHDTV jedná, navíc ve spojení s vysokým dynamickým rozsahem (HDR) a rozšířeným barevným gamutem (WCG) dosahují hodnot 30 Gb/s ^[4].

VVC/H.266 je nejnovější standard kódování videa navržený tak, aby výrazně zlepšil účinnost komprese oproti HEVC/H.265 a poskytoval účinné kódování pro širší škálu formátů videa. Živé kódování VVC by usnadnilo přijetí aplikací nové generace, jako je 8K pozemní vysílání nebo 8K adaptivní datový tok pro streaming. Základní principy VVC (Všestranném Video Kódování) jsme uveřejnili v březnu tohoto roku

HEVC má nástupce: kodek VVC Nové kódování videa schválil DVB

Ačkoli již byly oznámeny některé živé kodéry 8K VVC, japonský KDDI a německý Spin Digital, dosahují výkonu potřebného pro živé 8K pouze při maximální rychlosti 30 snímků za sekundu. Očekává se, že první implementace kódování 8Kp60 VVC v reálném čase budou založeny na architekturách CPU nejnovější generace. Nicméně, pokud je známo, žádná podobná CPU dosud nebyla vydána ani předvedena.

Článek si kladl za cíl poskytnout analýzu schopností VVC pro živé aplikace pomocí popisu softwarového kodéru 8K VVC v reálném čase. Kodér byl rozsáhle optimalizován s pokročilými algoritmy pro rozhodování o režimu a rozdělení, instrukcemi SIMD a škálovatelnou vícenásobnou vláknovou architekturou. Navrhovaný kodér dosahuje 24% snížení datového toku při stejné kvalitě oproti vysoce optimalizovanému kodéru HEVC v reálném čase, který byl nasazen během olympijských her v Tokiu 2020. Kombinací všech optimalizací a 4. generace škálovatelných procesorů Intel Xeon® dosahuje nový kodér VVC vysílací kvalitu pro 8K 60 fps při 10bitovém živém kódování HDR.

Kodér běžící na serveru Intel Xeon Scalable CPU 4. generace dosahuje výkon požadovaný pro živé kódování 8Kp60 10bitové HDR při rychlosti 40 Mb/s, což z něj činí životaschopnou volbu pro živé 8K aplikace s omezenou šířkou pásma, jako je pozemní vysílání nebo internetové streamování. Pro ostatní aplikace s vyššími povolenými datovými toky, se ukázaly optimalizované kodéry HEVC stále dobrou volbou živého kódování poskytujíci vysoce kvalitní 8Kp60 10bitové HDR video.

Kódování VVC umožňuje otevřený GOP v adaptivním streamování

Technologie adaptivního streamování Over-The-Top (OTT) se stala oblíbenou metodou pro poskytování vysoce kvalitního videoobsahu přes internet, upravující kvalitu videa na základě rychlosti připojení uživatele k internetu a možností zařízení. Používá kódování video obsahu s více bitovými rychlostmi, kde je video rozděleno na menší segmenty s různou bitovou rychlostí a rozlišením (ABR). Kvůli omezením kodeků musely být segmenty kódovány v takzvané uzavřené konfiguraci GOP, zatímco ve vysílání se široce používá efektivnější otevřená GOP. Vznikající standard Versatile Video Coding (VVC/H.266) umožňuje použití efektivnějšího přístupu otevřeného kódování GOP také v adaptivním streamování ^[5].

Pokud jde o objektivní výkon, uvádí se, že použití otevřené skupiny obrázků (GOP) může pro délky segmentů 1s a 4s poskytnout 8,5% a 2% úsporu bitové rychlosti při stejném poměru špičkového signálu k šumu (PSNR).

Hlášené úspory bitové rychlosti při použití otevřené GOP jsou založeny na hodnotách PSNR zprůměrovaných ze všech obrázků. Avšak v uzavřené GOP struktuře nejsou chyby rovnoměrně rozloženy v celém videu, ale většinou se soustředí v přepínacích bodech s náhodným přístupem, tj. kolem intra obrazů. To může vést k nepříjemným artefaktům, tj. v bodě sepnutí lze pozorovat tzv. efekt dočasného čerpání. Je to proto, že uzavřená GOP narušuje pohybově kompenzovanou předpověď, což má za následek různé vzory zkreslení.

V tomto článku je popsána a diskutována integrace otevřeného kódování GOP v cloudovém překódování a aplikace adaptivního streamování živého kódování. Neformální subjektivní test navíc potvrdil výhody navrhované techniky otevřené GOP a ukázal, že subjektivní kvalita se výrazně zlepšuje ve srovnání s uzavřeným kódováním GOP.

Společnost Spin Digital vyvinula softwarový kodér VVC pro aplikace UHD živého adaptivního bitového toku (ABR), které splňují všechny výše uvedené požadavky: živé kódování ve VVC pro více ztvárnění na jednom serveru, kódování s nízkou latencí, balení v HLS nebo DASH a doručení do CDN.

Vstup do jedné z přednáškových a prezentačních prostor (Foto Martin Junek)

Úspora energie pro HDR displeje

Videí s vysokým dynamickým rozsahem (HDR) vylepšují zážitek se sledováním pořadů v domácím prostředí. Zobrazení obsahu HDR videa však může zvýšit spotřebu energie televizorů s průměrnou velikostí obrazovky na více než 300 W v závislosti na obsahu scény, i když standardní příkon se očekává okolo 120 W. Stávající řešení, které zavádějí někteří výrobci, aby vyhověli energetickým štítkům v EU, snižují v tzv. eko režimu maximální jas, což nepříznivě ovlivňuje vizuální věrnost.

Šetří nám televizory po 1. březnu za spotřebu? Eco design ano, ale….

Jako odpověď pro úsporu energie další dokument navrhuje model JND (just noticeble difference – právě rozpoznatelného rozdílu) pouze na vymezené oblasti, techniky jasové adaptace a prostorové korekce. Model také zahrnuje detekci pokožky a optimalizaci založenou na technice věrnosti vizuálních informací ke snížení ztráty vizuální věrnosti. Model JND využívá detekci oblastí zájmu (ROI) založenou na hlubokém učení v neuronových sítích RCNN zmíněných výše o super rozlišení. Složitými výpočty a pomocní dalších algoritmů byly hodnoty JND masky a následně ověřeny.

Rozsáhlé experimenty provedené u více režimů LCD a OLED televizorů vykázaly značné úspory snížení spotřeby (v průměru o 1-18 %). Nejvýkonnější varianta navrhovaného model JND může dosáhnout průměrného snížení výkonu o 41 W až 69 W v režimu domácího kina u LCD displeje.

Značná pozornost na IBC 2023 byla věnována gamingu a e-sportům, které zřejmě v budoucnosti zahltí distribuční sítě velkými toky dat s minimální latencí (Foto Martin Junek)

Pro testy byly jako displej vybrány tři 65palcové komerční televizory zařízení: Sony Bravia LCD (LED podsvícení), LG OLED C2 a LG OLED B1 pro dva režimy, a to standardní a filmový u OLED TV a standardní a domácí kino u LCD. Televizory byly přímo napájeny Bryantovou energií distribuční jednotka, která také napomáhá získávání údajů o výkonu.

Předpokládá se, že navrhovaná technologie by fungovala na straně dekodéru (tj. pro televizory, set-top boxy, mobilní telefony) se samostatným režimem, který by umožnil technologii aktivovat nebo deaktivovat podle uvážení uživatele ^[6].

Služba DVB-I přes sítě 5G

Konvergence poskytování internetových médií a tradičního vysílání představuje příležitost oddělit způsob, jakým jsou služby popsány a objevovány, od technologií používaných k jejich poskytování. Nedávné standardy 5G zveřejněné skupinou 3GPP zároveň umožňují poskytovat lineární televizní a rozhlasové služby prostřednictvím jednosměrných a obousměrných mobilních sítí 5G ^[7].

Kromě definování informací o službách pro popis lineárních služeb dostupných v sítích digitálního vysílání a pro naplnění elektronických programových průvodců (EPG) projekt DVB nedávno specifikoval formát založený na XML pro zjišťování lineárních a souvisejících služeb na vyžádání dostupných prostřednictvím vysílání a /nebo sítě založené na IP, stejně jako doprovodná programová metadata. Tyto služby jsou označovány jako DVB-I služby

Vysílání 5G založené na LTE (jak je definováno v ETSI TS 103 720) poskytuje všechny funkce pro provozování klasických televizních služeb, včetně režimu pouze pro příjem, volně šířeného vysílání a vysokovýkonných síťových infrastruktur s vysokými věžemi.

Budoucí standard TV vysílání 5G Broadcast Cesta od mobilů k TV s 5G BC

V lednu 2022 DVB a 5G-MAG (5G Media Action Group) schválily vytvoření společné pracovní skupiny pro DVB-I přes 5G s cílem vypracovat technickou zprávu (TR) dokumentující pokyny k nasazení pro poskytování služeb DVB-I přes systémy 5G. Tento dokument poskytl přehled technické zprávy, která vyšla v polovině roku 2023 jako ETSI TR 103 972. Popisuje klíčové případy realizace DVB-I služby přes 5G Broadcast a režimu unicast jako:

• Samostatná služba DVB-I využívající vysílání 5G.
• Služba DVB-I využívající streamování médií 5G.
• Nabídka služeb DVB-I současně přes mód broadcast a unicast.

Dočkáme se příjmu 5G Broadcast (5G BC) na stávajících telefonech?

Otázce distribuce lineárního i streamovaného obsahu přes sítě 5G se věnovaly i další příspěvky v rámci publikovaných Technických dokumentů IBC 2023. Mezi ně patřil článek zpracovaný společností Qualcomm Technologies Inc. ze San Diega a Qualcomm Technologies GmbH z Mnichova, dnes vlastně jediného prototypu schopného přijímat 5G Broadcast na mobilním telefonu, jak jsme popisovali v tomto článku.  IBC technický dokument vychází z vysílání 5G založeného na LTE, které bylo vyvinuto s ohledem na architekturu celulárního modemu a zahrnuje návrh přidání nové funkce do fyzické a vyšší vrstvy tak, aby byly kompatibilní s celulárními modemy, které jsou dnes v našich „smart“ telefonech. Prezentace dochází k názoru, že pro podporu příjmu z vysílacích sítí, jako je vysoce výkonná high-tower (HPHT) infrastruktura směrovaná k uživateli, lze stávající hardware v chytrých telefonech zcela znovu použít ^[8].

Nejatraktivnější funkcí vysílání 5G je možnost přímého spojení s chytrými telefony, které používají současné mobilní čipové sady. V části předložené studie se uvádí, že i s omezením opětovného použití celulárního hardwaru aktuálně specifikovaná verze 5G Broadcast skupinou 3GPP nabízí konkurenceschopný výkon ve srovnání s neomezeným systémem, jako je americký standard ATSC 3.0. Studie také zkoumala, jak lze funkce nativního vysílání (časové prokládání) přidat do 5G Broadcast při zachování principu opětovného použití hardwaru a jak příjem pomocí duální antény mohou být přínosem pro příjem vysílání.

Na příkladu italského projektu ‘5G Audiovisivo 2022’, který byl podporován italským Ministerstvem pro podniky a koordinován společností RAI Way, studie o Efektivním doručení audiovisuálního obsahu na mobilní zařízení přes 5G BC a CDN ukázala, že vysílací síť HPHT může zaručit řádné městské 5G vysílání pro mobilní příjem, pokud je v některých kritických oblastech doplněno bezproblémovým přechodem na širokopásmovou službu OTT ^[9].

Možný budoucí distribuční řetěz

Nové funkce představené v profilu broadcast/multicast 3GPP Rel-14/16 také známé jako „5G Broadcast“ by mohly skutečně znamenat v budoucnosti zásadní změnu při poskytování obsahu, protože by mohly nabídnout konkurenční výhodu pro všechny zúčastněné strany zapojené do mediálního distribučního řetězce: poskytovatele obsahu/služeb, operátory mobilních sítí (MNO), výrobce a provozovatele vysílacích sítí (BNO). 5G Broadcast umožňuje poskytovatelům obsahu a služeb nabízet volně dostupné mediální služby pro mobilní spotřebitelská zařízení při garantované kvalitě služby (QoS) bez ohledu na počet současně sledujících a bez ovlivnění běžného mobilního zařízení.

Dalším krokem bude integrace služeb 5G Broadcast do nabídky služeb vysílacích společností. To vyžaduje společnou vrstvu služeb, která může být umožněna specifikací DVB-I, jak je v současné době zvažována Společnou pracovní skupinou tvořenou 5G-MAG a projektem DVB o DVB-I přes 5G. Kromě toho definovaná systémová architektura, která se zaměřuje na různé případy použití, má vysoký stupeň podobnosti s jinými činnostmi probíhajícími v různých sektorech vysílací domény, jako jsou vysílací služby pro IP zařízení prostřednictvím domácí nebo automobilové brány a zlepšení synergie s širokopásmovými doručovacími sítěmi.

Pohled našich účastníků na IBC 2023 a zhodnocení jejich účasti je předmětem semináře ABEX s názvem „Post IBC“, který se koná právě dnes v budově České televize na Kavčích horách. Informace o jeho průběhu vám přineseme příště.

V článku byly použity následující zdroje:

[1] Redakční systém podporovaný AI

[2] Analýza obrázků pomocí AI pro náhledová videa

[3] Přehled posledních AI modelů pro super rozlišení videa

[4] VVC/H.266 softwarový kodér pro živé přenosy v 8k60fps HDR

[5] VVC umožňuje kódování s otevřeným GOP v adaptivním streamování

[6] Model snížení energie u HDR displejů v závislosti na obsahu videa

[7] DVB-I služba přes 5G systémy

[8] Optimalizace výkonu přijímačů 5G Broadcast v rámci implementačních omezení

[9] Efektivním doručování audiovisuálního obsahu na mobilní zařízení přes 5G Broadcast a CDN

Úvodní foto představuje pohled na výstavní areál RAI v Amsterdamu. Autor: Martin Junek