HRP20000488A2 - Processing of digital picture data in a decoder - Google Patents

Description

Područje izuma

Izum je iz područja telekomunikacije. Izum se odnosi na dekoder za digitalni audiovizualni prijenosni sustav, a dekoder sadrži procesorski sklop za dekomprimiranje i prikaz komprimiranih digitalnih slikovnih podataka i memorijski sklop.

Stanje tehnike

Emisijski prijenos digitalnih podataka dobro je poznat u području plaćenih TV sustava, gdje se kodirana audiovizualna informacija šalje, obično pomoću satelita ili satelitsko-kabelskom vezom, do određenog broja pretplatnika, pri čemu svaki pretplatnik ima dekoder koji može dekodirati emitirani program za naknadno gledanje. Zemaljski digitalni emitirajući sustavi su također poznati. Noviji sustavi koriste emisijsku vezu za prijenos ostalih podataka, uz audiovizualne podatke i na isti način, kao što su računalni programi ili interaktivne aplikacije.

Na temeljnoj razini funkcionalnosti takvih programa, digitalni audio i video podaci koji se odnose na televizijski program prenose se u komprimiranom obliku, primjerice sukladno MPEG-2 standardu sažimanja. Dekoder prima i dekomprimira ove podatke da bi regenerirao televizijski program.

Uz jednostavne televizijske programske podatke, za dekoder je postalo uobičajeno da rastu zahtjevi da se rabi za obradu ostalih komprimiranih slika ili grafičkih podataka. Primjerice, ako dekoder ima mogućnosti pretraživača mreže, procesor dekodera može zahtijevati prijam i dekompresiju učitanih digitalnih slikovnih podataka, naprimjer nepokretnih video slika, grafičkih ikona, pokretnih računalno generiranih slika itd. Slikovna informacija može se prikazati preko normalnih televizijskih programskih slika.

Podatke o takvoj nepokretnoj ili pokretnoj slici mogu se tipično preuzeti u jednom od određenog broja komprimiranih formata koji se trenutačno rabe u sklopu mrežnih pretraživača za PC računalo. Primjerice, slika može biti formatirana i komprimirana sukladno dobro poznatim GIF ili PNG standardima, gdje je slika opisana pomoću pregledne tablice boja koja definira tablicu boja i matrice vrijednosti piksela koje se odnose na ovu tablicu, a matrični podaci su komprimirani sukladno poznatim postupcima sažimanja da se dobije GIF/PNG slika. Alternativno, slika može biti formatirana i komprimirana kako nepokretna MPEG ili JPEG slika, u kojoj je svaki piksel izravno povezan s vrijednostima crvene/zelene/plave boje.

Cilj ovog izuma je da se načini sklop za učinkovito rukovanje takvim učitanim nepokretnim slikovnim datotekama.

Rješenje tehničkog problema s primjerima izvođenja

Sukladno ovom izumu, načinjen je dekoder za digitalni audiovizualni prijenosni sustav, koji sadrži procesor za dekomprimiranje i prikaz podataka komprimirane nepokretne slike i memoriju, koji je karakteriziran time što memorija sadrži memoriju za pohranjivanje koja je namijenjena za prijam iz procesora dekomprimiranih podataka koji predstavljaju množinu nepokretnih slika, te bar jednu videomemoriju koja je prilagođena za držanje podataka koji predstavljaju višestruke nepokretne slike koje može čitati procesor prije prikaza, a podaci predstavljaju množinu nepokretnih slika koje su kopirane iz memorije za pohranjivanje u videomemoriju za naknadni prikaz.

Podjela memorije u memoriju za pohranjivanje i videomemoriju unosi određen stupanj elastičnosti u prikaz podataka nepokretnih slika, posebice omogućavanjem da se podaci koji predstavljaju nepokretnu sliku drže u isto vrijeme u sklopu za pohranjivanje i sklopu za prikaz. Podaci koji predstavljaju jednu ili više nepokretnih slika mogu se držati beskonačno u memoriji za pohranjivanje sve dok postoji potreba za tim podacima, čak i kada je slika uklonjena sa zaslona brisanjem podataka iz videomemorije.

U nekim slučajevima, dekomprimirani podaci slika mogu se jednostavno kopirati “kakvi su” u videomemoriju. Međutim, u nekim slučajevima, digitalni podaci slike koji se kopiraju iz memorije za pohranjivanje u videomemoriju mogu se mijenjati ili udvostručiti tijekom stupnja kopiranja, primjerice da bi se promijenila veličina digitalne slike ili da bi se jedna slika kopirala određeni broj puta u videomemoriju.

Poželjno, procesorski sklop je prilagođen za obradu slikovnih datoteka u videomemoriji kao jedan sloj među mnogim slojevima koji su položeni jedan na drugog kada se prikazuju.

Kao što je prije razmotreno, slikovni podaci mogu se u višim slojevima postavljati iznad, primjerice one audiovizualne informacije koja predstavlja normalnu televizijsku sliku. Međutim, u jednoj realizaciji, slikovni podaci u videomemoriji mogu se prikazati u sloju koji se normalno koristi pomoću procesorskog sklopa za prikaz emitirane audiovizualne informacije. To, primjerice, može biti slučaj kada dekoder prelazi iz načina da radi kao “televizor”, kada se prikazuje emitirani program, u način da radi kao “mrežni preglednik”, u kojem se učitani slikovni podaci s interneta prikazuju umjesto normalnog televizijskog programa.

Zgodno, memorija sadrži drugu videomemoriju koju čita sklop grafičkog procesora i koji odgovara drugom sloju prikazanih slikovnih podataka, te se podaci kopiraju iz memorije za pohranjivanje u drugu videomemoriju za naknadni prikaz u drugom sloju slikovnih podataka.

Opet, kao i prije, podaci digitalne slike koji su kopirani iz memorije za pohranjivanje u drugu videomemoriju mogu se mijenjati tijekom stupnja kopiranja.

U jednoj realizaciji, primjerice, gdje se dekoder prebacuje između rada kao televizora i rada kao preglednik, slikovni podaci u drugoj videomemoriji mogu se prikazati u najnižem osnovnom sloju kojega normalno koristi procesorski sklop za prikaz emitiranih statičnih audiovizualnih informacija.

Poželjno, podaci djelomične slike kopiraju se iz memorije za pohranjivanje u videomemoriju pod kontrolom aplikacije koja se izvršava u dekoderu da se omogući prikaz dijela slike. To može biti poželjno, naprimjer, kada se dekomprimiranje i učitavanje slike u memoriju za pohranjivanje pomoću procesora odvija u više stupnjeva.

U jednoj realizaciji, slikovni podaci se kopiraju iz memorije za pohranjivanje u prvu ili drugu videomemoriju pod kontrolom aplikacije visoke razine koja se izvršava u procesoru. Alternativno, ovaj postupak može se vršiti automatski pomoću aplikacije niske razine koja je primjerice povezana s općim rukovanjem primljenim slikovnim podacima.

Komprimirani digitalni slikovni podaci poželjno se pohranjuju u memoriju međuspremnika prije dekomprimiranja pomoću procesora. Nije neophodno da ovaj sklop međuspremnika bude jedan integralni blok memorije, posebice ako podaci stižu kao određen broj blokova informacije. Konkretno, u jednoj realizaciji, međuspremnik sadrži množinu elemenata memorije međuspremnika. Svaki memorijski element može odgovarati naprimjer bloku podataka koji je učitan u dekoder.

Poželjno, dekomprimiranje i prijenos slikovnih podataka iz elemenata memorije međuspremnika u memoriju za pohranjivanje, te iz memorije za pohranjivanje u videomemoriju, kontroliran je procesorom tako da se slikovne informacije koje se nalaze u memoriji za pohranjivanje prenose u videomemoriju na kraju dekomprimiranja sadržaja svakog elementa međuspremnika.

Može biti slučaj, primjerice, da informacija koja odgovara jednoj slici bude razvučena na veći broj elemenata međuspremnika. Kako se svaki međuspremnik prazni i dekomprimira, informacija je koja je spremna za prikaz prenosi se trenutačno do videomemorije, što omogućuje prikaz cijele slike.

Nadalje, ili umjesto toga, dekomprimiranje i prijenos skupine slika u jednoj slikovnoj datoteci iz memorije međuspremnika u memoriju za pohranjivanje, te iz memorije za pohranjivanje u videomemoriju, kontroliran je procesorom tako da se te informacije prenose iz memorije za pohranjivanje u videomemoriju na kraju dekomprimiranja svake slike u slikovnu datoteku.

Kao što je prije razmotreno, slikovni podaci mogu biti poslani u različitim formatima. U jednoj realizaciji, procesor je prilagođen za dekomprimiranje slikovnih podataka koji su poslani standardno komprimirani, kao GIF ili PNG, koji koriste preglednu tablicu boja.

K tome ili umjesto toga, procesor je prilagođen za dekomprimiranje slikovnih podataka koji su poslani standardno komprimirani, kao MPEG ili JPEG, koji koristi vrijednost boje crveno/zeleno/plavo koja se odnosi na svaki piksel.

Sve funkcije za dekomprimiranje, prikaz itd. mogu se ugraditi u jedan procesor. Alternativno, procesor u dekoderu ne mora nužno biti realiziran kao jedan čip, već se može primjerice podijeliti u opći procesor koji vrši dekomprimiranje podataka i grafički procesor koji priređuje dekomprimirane podatke za prikaz.

Slično, mada se aplikacija može odnositi na memoriju za pohranjivanje, videomemoriju itd., podrazumijeva se da to ne mora nužno odgovarati fizički odvojenim memorijskim uređajima (RAM, ROM, FLASH itd.) već može odgovarati jednom području ili to može biti više područja koja su namijenjena za ovu svrhu kontroliranjem aplikacije i dijeljenjem između jednog ili više fizičkih memorijskih uređaja.

Ovaj izum razmotren je prije u odnosu na dekoderski uređaj. Ovaj izum jednako se proširuje na metodu obrade digitalne slike u dekoderu, što odgovara općim i poželjnim aspektima izuma koji je prije razmotren.

U kontekstu ovog izuma pojam “digitalni audiovizualni prijenosni sustav” odnosi se na sve prijenosne sustave za prijenos ili emitiranje primarno audiovizualnih ili multimedijskih digitalnih podataka. Mada je ovaj izum konkretno primjenjiv za sustav emitiranja digitalne televizije, ovaj izum može se jednako koristiti u filtriranju podataka koji su poslani fiksnom telekomunikacijskom mrežom za multimedijske internet aplikacije itd.

Slično, pojam “dekoder” koristi se u primjeni integriranog prijamnika/dekodera za prijam i dešifriranje šifriranog prijenosa, pri čemu se prijamnik i dekoder kao elementi takvog sustava razmatraju izdvojeno, kao što prijamnik može primati nekodirano emitiranje. Pojam jednako vrijedi za dekodere koji sadrže dodatne funkcije, ako što su mrežni preglednici, zajedno s dekoderima koji su integrirani s ostalim uređajima, primjerice integrirani VHS/dekoder uređaji, digitalni televizori i slično.

Pojam MPEG odnosi se na standarde prijenosa podataka koje je razvila radna skupina “Ekspertna skupina za film” Međunarodne organizacije za standarde te je MPEG-2 standard razvijen za primjenu u digitalnoj televiziji i opisan u dokumentima ISO 13818-1, ISO 13818-2, ISO 13818-3 i ISO 13818-4. U kontekstu ove patentne prijave, pojam uključuje sve inačice, modifikacije i razvoj osnovnog MPEG formata koji se primjenjuje u polju digitalnog prijenosa podataka.

Sada će biti opisana, samo kao primjer, poželjna realizacija ovog izuma, s referencom na priložene slike koje prikazuju sljedeće:

Slika 1 prikazuje pregled digitalnog televizijskog sustava;

Slika 2 prikazuje elemente prijamnika/dekodera na slici 1;

Slika 3 prikazuje blok-dijagram računalnog sustava prijamnika/dekodera;

Slika 4 prikazuje u obliku slojeva slikovne podatke koje obrađuje grafički procesor na slici 2;

Slika 5 prikazuje operacije koje su izvršene u memoriji da bi se slikovni podaci prikazali u MPEG sloju na slici 4; i

Slika 6 prikazuje operacije koje su izvršene u memoriji za djelomični prikaz slikovnih podataka u MPEG sloju.

Na slici 1 prikazan je pregled digitalnog televizijskog sustava sukladno ovom izumu. Izum uključuje većinom uobičajen digitalni televizijski sustav 2 koji koristi poznati MPEG-2 sustav sažimanja za prijenos komprimiranih digitalnih signala. Točnije, MPEG-2 kompresor 3 u središtu emitiranja prima tok digitalnog signala (tipično tok video signala). Kompresor 3 povezan je s multiplekserom i koderom 4 pomoću veze 5.

Multiplekser 4 prima množinu ulaznih signala, spaja prijenosni tok i prenosi komprimirane digitalne signale do odašiljača 6 središta emitiranja putem veze 7, koja može naravno biti u cijelom nizu oblika uključujući telekomunikacijske veze. Odašiljač 6 prenosi elektromagnetske signale putem satelitske veze 8 prema satelitskom transponderu 9, gdje se elektronički obrađuju i emitiraju putem zemaljske veze do zemaljskog prijamnika 12, koji je uobičajeno u obliku tanjura kojega posjeduje ili je unajmio krajnji korisnik. Signali koje prima prijamnik 12 prenose se do integriranog prijamnika/dekodera 13 kojega posjeduje ili unajmio krajnji korisnik i koji je povezan s televizorom 14 krajnjeg korisnika. Prijamnik/dekoder 13 dekodira komprimirani MPEG-2 signal u televizijski signal za televizor 14.

Naravno, mogući su drugi prijenosni putovi za prijenos podataka, kao što je zemaljsko emitiranje, kabelski prijenos, kombinirane veze satelit/kabel, telefonska mreža itd.

U višekanalnom sustavu, multiplekser 4 obrađuje audio i video informacije koje prima iz određenog broja paralelnih izvora i u interakciji je s odašiljačem 6 da bi odaslao informacije na odgovarajućem broju kanala. Uz audiovizualnu informacije, poruke ili aplikacije ili bilo koja druga vrsta digitalnih podataka može se uvesti u neke ili sve kanale ispreplićući se s emitiranom digitalnom audio i video informacijom.

Sustav uvjetnog pristupa 15 povezan je s multiplekserom 15 i prijamnikom/dekoderom 13, te je djelomično smješten u sjedištu emitiranja a djelomično u dekoderu. On omogućuje krajnjem korisniku pristup digitalnom televizijskom emitiranju iz jednog ili više izvora emitiranja. Inteligentna kartica, koja može dešifrirati poruke koje se odnose na komercijalnu ponudu (dakle, jedna ili nekoliko televizijskih programa koje je kupio davatelj usluge), može se staviti u prijamnik/dekoder 13. Koristeći dekoder 13 i inteligentnu karticu, krajnji korisnik može kupiti komercijalnu ponudu bilo u pretplatničkom ili “plati i gledaj” načinu.

Kao što je gore navedeno, programi koje emitira sustav su kodirani na multiplekseru 4, a uvjeti i uporabni ključevi koji su primijenjeni za dani prijenos određuje sustav uvjetnog pristupa 15. prijenos šifriranih podataka na ovaj način je dobro poznat u području plaćenih TV sustava. Tipično, kodirani podaci se prenose zajedno s kontrolnom riječi za dekodiranje podataka, a sama kontrolna riječ je šifrirana pomoću tzv. uporabnog ključa i emitirana u šifriranom obliku.

Kodirani podaci i šifrirana kontrolna riječ zatim dolaze do dekodera 13 koji ima pristup do ekvivalenta uporabnog ključa koji je pohranjen na inteligentnoj kartici koja je stavljena u dekoder da se dešifrira šifrirana kontrolna riječ i nakon toga dešifriraju emitirani podaci. Pretplaćeni pretplatnik će primiti, primjerice, tijekom emitiranja mjesečni ECM (naslovna kontrolna poruka) uporabni ključ koji je neophodan za dešifriranje kontrolne riječi tako da se omogući gledanje prijenosa.

Interaktivni sustav 16, koji je također povezan s multiplekserom 4 i prijamnikom/dekoderom 13 i opet smještena djelomično u sjedištu emitiranja i djelomično u dekoderu, omogućuje krajnjem korisniku interakciju s različitim aplikacijama putem modemskog povratnog kanala 17. Modemski povratni kanal može se također koristiti za komuniciranje koje se koristi u sustavu uvjetnog pristupa 15. Interaktivni sustav može se rabiti, primjerice, do omogući gledatelju da trenutačno komunicira sa sjedištem emitiranja da zahtijeva autoriziranje za promatranje određenog događaja, učita neku aplikaciju itd.

Prema slici 2, sada će biti elementi prijamnika/dekodera 13 ili “set-top box” uređaja prilagođeni su korištenju u ovom izumu. Elementi koji su prikazani na ovoj slici bit će opisani pomoću funkcionalnih blokova.

Dekoder 13 sadrži središnji procesor 20 koji uključuje odgovarajuće memorijske elemente i prilagođen je prijamu ulaznih podataka sa serijskog međusklopa 21, paralelnog međusklopa 22, modema 23 (koji je povezan s modemskim povratnim kanalom 17 na slici 1) i kontakata prekidača 24 na prednjoj strani dekodera.

Dekoder je dodatno prilagođen za prijam ulaza s daljinskog infracrvenog upravljača 25 putem kontrolne jedinice 26 i također sadrži dva čitača inteligentnih kartica 27, 28 koji su prilagođeni za čitanje bankovnih ili pretplatničkih inteligentnih kartica 29, odnosno 30. Čitač pretplatničkih inteligentnih kartica 28 postavlja se prema umetnutoj pretplatničkoj kartici 30 i s jedinicom uvjetnog pristupa 29 da se dostavi neophodna kontrolna riječ do demultipleksera/dekodera 30 da se omogući dekodiranje šifriranog emitiranog signala. Dekoder također sadrži standardni prijamnik 31 i demodulator 32 da se primi i demodulira satelitski prijenos prije filtriranja i demultipleksiranja jedinicom 30.

Obrada podataka u dekoderu općenito se vrši središnjim procesorom 20. Softverska arhitektura središnjeg procesora odgovara virtualnom stroju interakcijom putem sloja međusklopa s operativnim sustavom niže razine koji je ugrađen u hardverske komponente dekodera. To će sada biti objašnjeno prema slici 3.

Za potrebe ovog opisa, aplikacija je dio računalnog koda za kontroliranje funkcija visoke razine prijamnika/dekodera 13. Na primjer, kada krajnji korisnik usmjeri žarište daljinskog upravljača na tipku objekta koji se vidi na zaslonu televizora te pritisne tipku potvrde, pokreće se niz naredbi koji se odnosi na tu tipku.

Interaktivna aplikacija nude izbornike i izvršava naredbe na zahtjev krajnjeg korisnika te daje podatke koji se odnose na aplikaciju. Aplikacije mogu biti bilo rezidentne aplikacije, dakle one koje su pohranjene u ROM (ili FLASH ili drugu trajnu memoriju) prijamnika/dekodera 13, ili mogu biti emitirane i učitane u RAM ili FLASH memoriju prijamnika/dekodera 13.

Aplikacije su pohranjene u memorijskim lokacijama prijamnika/dekodera 13 i predstavljaju uslužne datoteke. Uslužne datoteke sadrže datoteke grafičkih objekata opisnih jedinica, datoteke blokova varijabli, datoteke niza naredbi, aplikacijske datoteke i podatkovne datoteke.

Prijamnik/dekoder sadrži memoriju koja je podijeljena u RAM dio, FLASH dio i ROM dio, ali ova čisto fizička organizacija razlikuje se od logičke organizacije. Memorija se može nadalje podijeliti u memorijske dijelove koji se odnose na različite međusklopove. S jedne točke motrišta, memorija se može smatrati dijelom hardvera. S druge točke motrišta, memorija se može smatrati onim što podržava ili sadrži cjelinu sustava, bez obzira na hardver.

Prema slici 3, računalni sustav može se smatrati centriranim na izvršni stroj 40 koji čini dio virtualnog stroja 41. On se povezuje s aplikacijama na jednoj strani (strana “visoke razine”) i, na drugoj strani (strana “niske razine”), putem različitih logičkih jedinica koja se niže razmotrene, s hardverom prijamnika/dekodera 42. Hardver prijamnika/dekodera možemo uzeti da uključuju različite ulaze koji odgovaraju funkcijskim blokovima koji su razmotreni u odnosu na sliku 2 (međusklop 26 za ručni uređaj 25, međusklop MPEG toka 30, serijski međusklop 21, paralelni međusklop 22, međusklopovi za čitače kartica 27, 28, te međusklop za modemizirani povratni kanal 17).

Različite aplikacije povezane su s virtualnim strojem. Neke od ovih općenito korištenih aplikacija mogu biti manje ili više rezidentne u sustavu, kao što je naznačeno na 44, dok se ostale mogu učitati u sustav, npr. iz MPEG toka podataka ili iz ostalih ulaza, po potrebi.

Virtualni stroj 40 uključuje, uz izvršni stroj 40, neke rezidentne bibliotečne funkcije 45 koje uključuju traku s alatima 46. Biblioteka sadrži različite funkcije u C jeziku koje koristi stroj 40. One uključuju manipuliranje podacima kao što je komprimiranje, širenje ili uspoređivanje sa strukturom podataka, crtanje crte itd. Biblioteka 45 također uključuje informaciju o pogonskim sklopovima uređaja 49 u firmveru prijamnika/dekodera, kao što su verzije hardvera i softvera i raspoloživi prostor RAM-a, te funkciju koja se rabi pri učitavanju novog uređaja 47. Funkcije mogu biti učitane u biblioteku i pohranjene u FLASH ili RAM memoriju.

Izvršni stroj 40 povezan je s upravljačem uređaja 48 koji je povezan sa skupom uređaja 47 koji su povezani s pogonskim sklopovima uređaja 49 koji su opet povezani s ulazima ili međusklopovima. Općenito, pogonski sklop uređaja može se smatrati da definira logičke međusklopove, tako da se različiti pogonski sklopovi uređaja mogu vezati za zajednički fizički ulaz (port). Uređaj će normalno biti povezan s više nego jednim pogonskim sklopom uređaja. Ako je uređaj povezan s jednim pogonskim sklopom uređaja, uređaj će normalno biti oblikovan da obuhvati punu funkcionalnost koja se zahtijeva za komuniciranje, tako da se izbjegava potreba za odvojenim pogonskim sklopom uređaja. Određeni uređaji mogu međusobno komunicirati.

Kao što će niže biti objašnjeno, postoje tri načina komuniciranja od uređaja 47 prema izvršnom stroju: pomoću varijabli, međuspremnika, te događaja koji se šalju do skupa događaja na čekanju.

Svaka funkcija prijamnika/dekodera predstavljena je uređajem 47. Uređaji mogu biti lokalni ili udaljeni. Lokalni uređaji obuhvaćaju inteligentne kartice, SCART konektore signala, modeme, serijske i paralelne međusklopove, MPEG video i audio svirač i MPEG ekstraktor odjeljaka i tablica. Udaljeni uređaji izvršavaju se na udaljenim mjestima, te se razlikuju od lokalnih uređaja time što moraju biti definirani ulaz (port) i postupak od strane onoga koji nadzire ustav ili ga je načinio, a ne pomoću uređaja ili pogonskog sklopa uređaja kojega je načinio i oblikovao proizvođač prijamnika/dekodera.

Izvršni stroj 40 izvršava se pod kontrolom mikroprocesora i zajedničkog programirajućeg aplikacijskog međusklopa. Oni su instalirani u svakom prijamniku/dekoderu tako da su svi prijamnici/dekoderi identični s aplikacijske točke motrišta.

Stroj 40 izvršava aplikacije 43 na prijamniku/dekoderu. On izvršava interaktivne aplikacije i preuzima događaje koji stižu iz okoline prijamnika/dekodera, prikazuje grafiku i tekst, poziva uređaje za usluge i koristi funkcije biblioteke 45 koja je povezana sa strojem 40 za specifično izračunavanje.

Izvršni stroj 40 je izvršni kod koji je instaliran u svakom prijamniku/dekoderu, te uključuje interpreter za interpretiranje i izvršenje aplikacija. Stroj je prilagodljiv za svaki operativni sustav, uključujući jednozadaćni operativni sustav (kao što je MS DOS). Stroj se temelji na procesnim sekvencerskim jedinicama (koje preuzimaju različite događaje kao što su pritisak tipke, da se izvrše različite akcije), te imaju svoj osobni vremenski raspored za upravljanje događajima na čekanju iz različitih hardverskih međusklopova. On također izvršava prikazom grafike i teksta. Procesna sekvencerska jedinica sadrži skup akcija-skupina. Svaki događaj dovodi do pomicanja procesne sekvencerske jedinice iz njene trenutačne akcija-skupine prema drugog akcija-skupini u ovisnosti o karakteru događaja, te izvršavanja akcije nove akcija-skupine.

Stroj 40 sadrži punjač koda da se unesu i učitaju aplikacije 43 u memoriju prijamnika/dekodera. Unosi se samo neophodan kod u RAM ili FLASH memoriju, da bi se postigla optimalna uporaba. Učitani podaci se provjeravaju mehanizmom izvornosti da se spriječi bilo kakva promjena aplikacije 43 ili izvršavanje neautorizirane aplikacije. Stroj 40 nadalje sadrži dekompresor. Aplikacijski kod (oblik međukoda) je komprimiran da se uštedi prostor i da se postigne brže učitavanje iz MPEG toka ili putem ugrađenog prijamnik/dekoder načina, pri čemu kod mora biti dekomprimiran prije unošenja u RAM. Stroj 40 također sadrži interpreter da se interpretira aplikacijski kod da bi se obnovile vrijednosti različitih varijabli i odrede promjene statusa, te provjeritelj pogrešaka.

Prije korištenja usluga bilo kojeg uređaja 47, neki program (kao što je aplikacijski niz naredbi) mora se deklarirati kao “klijent”, dakle kao logički način pristupanja uređaju 47 ili upravljaču uređaja 48. Upravljač daje klijent njegov broj koji se navodi u svim pristupima uređaju. Uređaj 47 može imati nekoliko klijenata: broj klijenata za svaki uređaj 47 ovisi o tipu uređaja. Klijent se povezuje s uređajem 47 pomoću postupka “Device: Open Channel”. Ovaj postupak dodjeljuje klijentu njegov broj. Klijent se može izuzeti iz liste klijenata upravljača uređaja 48 pomoću postupka “Device: Close Channel”.

Pristup uređaju 47 omogućuje upravljački uređaj 48, te može biti sinkroni ili asinkroni. Za sinkroni pristup, koristi se postupak “Device: Call”.

To je sklop za pristup podacima koji je trenutačno dostupan ili takav da funkcioniranje ne uključuje čekanje za željeni odgovor. Za asinkroni pristup, koristi se postupak “Device: I/O”. To je sklop za pristup podacima koji uključuje čekanje na odgovor, primjerice skaniranje tunerskih frekvencija da se nađe multipleks ili da se dobije natrag tablica iz MPEG toka. Kada je dostupan traženi rezultat, događaj se stavlja u red čekanja stroja da se signalizira njegov dolazak. Sljedeći postupak “Device: Event” daje sklop za upravljanje neočekivanim događajima.

Kao što je prije navedeno, glavna petlja izvršnog stroja vezana je s različitim procesnim sekvencerskim jedinicama, te kada glavna petlja naiđe na neodgovarajući događaj, kontrola se privremeno prenosi na jednu od procesnih sekvencerskih jedinica.

Prema tome, može se vidjeti da računalni sustav koji je ugrađen u procesor 20 daje platformu koja ima odgovarajuću elastičnost da omogući aplikaciji komuniciranje s različitim uređajima.

Vratimo li se sliku 2, sada će biti opisana obrada zvučnih i slikovnih podataka pomoću svakog od pridruženih procesora. U slučaju primljenih audio i video signala, MPEG paketi koji sadrže ove signale bit će demultipleksirani i filtrirani tako da propuste u realnom vremenu audio i video podatke u obliku paketnog elementarnog toka (PES) audio i video podataka do namjenskih audio i video procesora ili dekodera 33, 34. Prevedeni izlaz iz audio procesora šalje se do pretpojačala 35 i nakon toga putem audio izlaza do prijamnika/dekodera. Prevedeni izlaz iz video procesora 34 prolazi putem grafičkog procesora 36 i PAL/SECAM enkodera 37 do video izlaza prijamnika/dekodera. Video procesor može biti nekog standardnog tipa, kao što je ST 3520 A od SGS Thomson.

Grafički procesor 36 nadalje prima grafičke podatke za prikaz (kao što se generirane slike itd.) iz središnjeg procesora 20 i kombinira ovu informaciju s informacijom koju prima iz video procesora 34 da se generira prikaz na zaslonu kombiniranjem pokretnih slika s dodanim tekstom ili ostalim slikama. Primjer grafičkog procesora koji je prilagođen da izvrši ovakvu vrstu operacija je CL 9310 od C-CUBE.

U slučaju primljenih teletekst i/ili titl podataka, prevođenje u realnom vremenu PES podataka da bi se dobile odgovarajuće slike može se također izvršiti namjenskim procesorima. Međutim, u većini uobičajenih sustava, to se izvršava općim procesorom 20.

Ustvari, većima funkcija koje se odnose na elemente kao što su grafički procesor 36, video dekoder 34, središnji procesor 20 itd. mogu se kombinirati ili podijeliti na mnogo načina, npr. integriranjem središnjeg i grafičkog procesora da se dobije jedan procesorski sklop itd.

Prema slici 4, sada ćemo opisati funkcioniranje grafičkog procesora 36. Kao što je prije razmotreno, grafički procesor preuzima i obrađuje u realnom vremenu video podatke iz video dekodera 34 zajedno s grafičkim podacima koje dobiva iz općeg procesora 20 da bi se dobio sjedinjeni prikaz na zaslonu.

Kao što je prikazano na slici 4, grafički procesor 36 prilagođen je za obradu ulaznih podataka koji su podijeljeni u četiri odvojena sloja: osnovni sloj 50, MPEG sloj 51, grafički sloj 52 i kursorski sloj 53. Razumljivo, osnovni sloj 50 odgovara najnižem sloju prikaza na zaslonu: svi ostali slojevi progresivno se postavljaju preko njega s različitim stupnjem prozirnosti ili neprozirnosti.

U slučaju kada je dekoder konfiguriran za prikaz emitiranog video signala, osnovni i MPEG sloj 50, 51 odgovaraju toku podataka koji dolazi iz video dekodera 34 – sloj 50 odgovara MPEG nepokretnoj slici koja dolazi iz dekodera 34 a sloj 51 odgovara pokretnom video MPEG signalu koji dolazi iz dekodera. Podjela video signala u nepromjenjivi i promjenjivi dio je poznato svojstvo MPEG komprimiranja.

Moguće su odatle konfiguracije dekodera, primjerice takva u kojoj osnovni i MPEG sloj 50, 51 bivaju kompletirani pomoću slikovnih podataka u bilo kojem broju formata koji stižu iz procesora 20. Primjerice, u slučaju kada dekoder djeluje u konfiguraciji preglednika mreže, procesor 20 može davati podatke za nepokretne i/ili pokretne slike da bi se kompletirali slojevi 50, 51. Sloj 50 može jednako odgovarati, primjerice, osnovnoj boji i sloju 51 za jedan ili više prozora koji se prikazuju preko podloge i sadrže, primjerice, informacije, pokretne ikone i slično. Rad sustava pri rukovanju slikovnim podacima bit će razmotrena niže, sukladno slikama 5 i 6.

Nepokretne i pokretne slike iz osnovnog sloja i MPEG sloja 50, 51 pomiješane su zajedno pomoću grafičkog procesora 36, kao što je prikazano pomoću elementa 54, te je dobiven sjedinjeni izlaz. Miješanjem informacije MPEG sloja 51 preko osnovnog sloja 50 pomoću grafičkog procesora može se izvršiti korištenjem tzv. alfa faktora miješanja da se omogući veći ili manji stupanj prozirnosti piksela u MPEG sloju slike. U slučaju pokretne video slike koja dolazi iz video dekodera 34, koristi se jednaki faktor miješanja za sve piksele u video sekvenci. U slučaju slikovnih podataka iz središnjeg procesora 20, vrijednost faktora miješanja za sloj 51 može biti različita za različite dijelove zaslona.

Grafički sloj 52 koristi se za tekstove, oblike, ikone itd. koji će biti prikazan na zaslonu preko slika koje su uzete iz slojeva 50,51, primjerice da se omogući prikaz pokretne ikone ili slično što generira procesor 20 preko video sekvence u realnom vremenu koja se preuzima iz video dekodera 34.

Na sličan način kao što se miješanje vrši za slojeve 50,51, element 55 koji vrši miješanje grafičkog sloja 52 s kombiniranim izlazom slojeva 50, 51. Različita područja u grafičkom sloju 52 mogu se dodijeliti različiti faktori miješanja te odgovarajući različiti faktori prozirnosti, ovisno o svojstvima podataka u svakom području.

Završni sloj, kursorski sloj, prikazan je na 53 i predstavlja neprozirnu sliku kursora, koju stvara hardver pod kontrolom središnjeg procesora 20 i postavlja se na sve prethodne slojeve. Kao što je prikazano na 56, ovaj sloj se kombinira sa sumarnim izlazom iz kombinacije svih prethodnih slojeva da se generira konačni sjedinjeni izlaz 57 koji se šalje enkoderu 37 za naknadni prikaz. Za razliku od prethodnih slojeva, kursor predstavlja neprekidno neprozirnu pojavu i postavlja se na kombinirane slojeve bez ikakva miješanja.

Prema slikama 5 i 6, sada će biti opisan rad uređaja 47 na način koji je prikazan na slici 3 koji je prilagođen za dekomprimiranje i prikaz učitane slike u MPEG sloju 51. U opisu koji slijedi, pojam slika koristi se za opis komprimirane digitalne slike. Tipično, slikovni formati koji se rabe su MPEG nepokretna slika, JPEG format slike, GIF format slike itd.

Dok će se opis koji slijedi usredotočiti na obradu i prikaz jedne slike, može se prikazati niz nepokretnih slika jedna za drugom da bi se generirao niz pokretnih slika.

Prema slici 5, učitani komprimirani slikovni podaci 60, 61, 62 je početno pohranjen u međuspremničkom dijelu RAM memorije dekodera koji je označen na 63. Ova međuspremnička memorija može biti takvog tipa da se inicijalizira i upravlja pomoću aplikacije visoke razine 43 koja je odgovorna za dekodiranje i prikaz slika, ili to može biti memorijsko područje kojim upravlja upravljač uređaja 48 koji je prikazan na slici 3.

Svaki tip slikovne datoteke ili skupina slikovnih datoteka ima zaglavlje koji pokazuje format slikovne datoteke (GIF, MPEG itd.) kao i informaciju koja je neophodna za dekompresiju slikovne datoteke. Primjerice, GIF formatirana datoteka 62 koja sadrži više od jedne slike ima opće zaglavlje koje opisuje veličinu ukupnog područja gdje će dvije komprimirane slike biti prikazane i specifično zaglavlje za svaku sliku koje opisuje njenu veličinu i postavke koordinata u cjelokupnom području.

Nakon učitavanja komprimirane slike u međuspremničkom dijelu 63 memorije, dekomprimiranje slikovnih podataka može se izvršiti pomoću uređaja kao odgovor na naredbu PICTURE_DECOMPRESS koja se preuzima iz aplikacije. Nakon toga se dekomprimirani slikovni podaci 63, 64, 65 odlažu u odvojeni spremnički dio RAM memorije koji je označen na 66 i koji je rezerviran za slikovne podatke koje eventualno treba prikazati u MPEG sloju. Svakoj dekomprimiranoj slici ili nizu slika dodjeljuju se oznake identiteta slike Id1, Id2, Id3 pomoću uređaja, a ova ID vrijednost se daje aplikaciji visoke razine te se koristi za sve kasnije operacije koje treba izvršiti s ovim podacima.

Za razliku od komprimiranih slikovnih podataka koji se privremeno drže u aplikacijskom međuspremniku 63, dekomprimirani slikovni podaci 63, 64, 65 mogu se držati neograničeno u memoriji za pohranjivanje 66 sve do vremena kada aplikacija odluči da obriše tu informaciju.

Pohranjivanje dekomprimiranih slikovnih podataka u različita dodijeljena memorijska područja omogućuje da se podacima rukuje na mnogo načina prije prikaza. Primjerice, može se izvršiti promjena veličine slike, bilo samim uređajem, upravljačem uređaja ili aplikacijom više razine. Jednako, slika se može kopirati da bi se mogla prikazati na određenom broju položaja na zaslonu. Prevođenje podataka o boji koji se odnose na sliku, naprimjer da se nadoknade ograničenja glede funkcionalnosti grafičkog procesora, također se mogu izvršiti na slici.

Promijenjeni ili nepromijenjeni podaci koji su pohranjeni u memoriji 66 šalju se, kao odgovor na naredbu PICTURE_DISPLAY iz aplikacije, u odvojeni odjeljak RAM memorije 67 koji je namijenjen za slike koje se prikazuju u MPEG sloju 51 (vidi sliku 2). veličina videomemorije 67 odgovara području zaslona. Kao što je prikazano, slike Id1 i Id2 prikazane su na 68 i 69, dok je slika ili niz slika Id3 udvostručeni i prikazani na položajima 70, 71. Informacija u memorijskom odjeljku 67 dovodi se grafičkom procesoru 36 da bi se načinio MPEG sloj 51, kao što je prikazano na slici 2.

Uz prijenos informacije o slici između područja za pohranjivanje 66 i područja za prikaz 67, drugi prijenos može se također izvršiti da se kopira informacija koja se drži u području za pohranjivanje 66 u memorijskom području (nije prikazano) koje se odnosi na prikaz slika u osnovnom sloju 40 na slici 2. Primjerice, jedna slika može se kopirati i prikazati na mnogo načina u osnovnom sloju da bi prekrila zaslon kao pozadina. Informacija koja je pohranjena u memorijskom području koje se odnosi na osnovni sloj pristupa se od strane grafičkog procesora na isti način kao MPEG području zaslona 67.

Razumljivo, memorijski odjeljci 63, 64, 65 ne trebaju fizički odgovarati neprekinutim memorijskim područjima u jednom RAM-u ili drugom memroijskom elementu. Konkretno, memorijsko područje 63 može se podijeliti između određenog broja međuspremnika. Slika 6 prikazuje stupnjeve koji se odnose na dekomprimiranje datoteke 80 koja sadrži dvije komprimirane slike 81, 82 koje su učitane u četiri pridružena međuspremnička elementa ili liste međuspremnika 83, 84, 85, 86.

Svaka lista međuspremnika odgovara područjima međuspremnika u kojem je blok podataka učitan iz MPEG toka. Sama lista međuspremnika može načiniti neki broj odvojenih područja međuspremnika, ovisno o raspoloživosti kada se učitava informacija.

U stupnju 87, aplikacija šalje PICTURE_DECOMPRESS naredbu 87 da se započne postupak dekomprimiranja. Uređaj određuje skupinu slika Id i započinje čitanjem međuspremnika. Kada je jednom nađen početak slike u stupnju 88, uređaj dodjeljuje Id slike i započinje dekomprimiranjem slike. U stupnju 89, dosiže se završetak liste prvog međuspremnika i aplikacija šalje naredbu PICTURE_ADD_DATA u stupnju 90 naređujući uređaju da čita sljedeću listu međuspremnika u nizu.

U ovom stupnju, samo dio slike prvog predloška 81 je dekomprimiran i pohranjen u memorijsko područje za pohranjivanje 66. Aplikacija može ipak odlučiti da odmah izvrši prijenos dijela slike u područje videomemorije 67.

Dekomprimiranje preostalog dijela slike 81 se zatim nastavlja sve do dok se ne nađe početak sljedeće slike na 91. U tom stupnju, cjelokupna prva slika 81 se zatim dekomprimira i pohranjuje u memorijsko područje 66. Aplikacija može zatim obnoviti sadržaj videomemorije 67 kopiranjem cjelokupne slike u područje za prikaz 67. Na taj način, cijela prva slika 81 može se prikazati prije nego se dekomprimira druga slika.

U stupnju 92, uređaj obavješćuje aplikaciju o kraju liste drugog međuspremnika 84 i aplikacija šalje drugu PICTURE_ADD_DATA naredbu 93 da se započne čitanjem liste sljedećeg međuspremnika 85. Postupak se ponavlja na kraju treće liste međuspremnika 85 i početku četvrte liste međuspremnika 86 stupnjevima 94, 95. Opet, svaki puta kada se dosegne završetak međuspremnika na 92, 94, aplikacija može kopirati podatke koji su već bili dekomprimirani iz područja spremnika 66 u područje za prikaz 67.

U stupnju 96, dostiže se završetak datoteke i obje slike 81, 82 su dekomprimirane i učitane u memoriju spremnika 66. U tom stupnju, uređaj obavješćuje aplikaciju o uspješnom dekomprimiranju cijele datoteke i aplikacija opet kopira sadržaj memorije spremnika 66 u videomemoriju 67 da se prikaže cjelokupni skup slika.

Claims (18)

1. Dekoder za digitalni audiovizualni prijenosni sustav, koji uključuje procesor za dekomprimiranje i prikaz podataka komprimirane nepokretne slike i memorije, naznačen time što memorija sadrži memoriju spremnika koja je namijenjena za prijam iz procesora dekomprimiranih podataka koji predstavljaju množinu nepokretnih slika, te bar jednu videomemoriju koja je prilagođena čuvanju privremenih podataka koji predstavljaju višestruke nepokretne slike koje može čitati procesor prije prikaza, a podaci predstavljaju množinu nepokretnih slika koje se kopiraju iz memorije spremnika u videomemoriju da bi nakon toga bile prikazane.

2. Dekoder prema zahtjevu 1, naznačen time što se podaci digitalne slike koji se kopiraju iz memorije spremnika u videomemoriju mijenjaju ili udvostručuju tijekom stupnja kopiranja.

3. Dekoder prema zahtjevu 1 ili 2, naznačen time što je procesor prilagođen za obradu slikovnih podataka u videomemoriji kao jedan sloj u među množinom slojeva koji se prekrivaju jedan preko drugog kada se prikazuju.

4. Dekoder prema zahtjevu 3, naznačen time što je procesor prilagođen za prikaz slikovnih podataka u videomemoriji u sloju koji se normalno koristi procesorskim sklopom za prikaz emitiranih audiovizualnih informacija.

5. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što memorija sadrži drugu videomemoriju koju može čitati procesorski sklop i koja odgovara drugom sloju prikazanih slikovnih podataka, pri čemu se podaci kopiraju iz memorije spremnika u drugu videomemoriju za naknadno prikazivanje u drugom sloju slikovnih podataka.

6. Dekoder prema zahtjevu 5, naznačen time što se podaci digitalne slike koji se kopiraju iz memorije spremnika u drugu videomemoriju mijenjaju ili udvostručuju tijekom stupnja kopiranja.

7. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što se djelomični slikovni podaci kopiraju iz memorije spremnika u videomemoriju da se omogući prikaz dijela slike.

8. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što se slikovni podaci kopiraju iz memorije spremnika u prvu ili drugu videomemoriju pod kontrolom aplikacije visoke razine koja je izvršava na procesoru.

9. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što se podaci komprimirane digitalne slike pohranjuju u sklop memorijskog međuspremnika prije dekomprimiranja pomoću procesora.

10. Dekoder prema zahtjevu 9, naznačen time što sklop međuspremnika sadrži množinu memorijskih elemenata međuspremnika.

11. Dekoder prema zahtjevu 10, naznačen time što je dekomprimiranje i prijenos slikovnih podataka iz memorijskih elemnata međuspremnika u memoriju spremnika, te iz memorije spremnika u videomemoriju kontrolirano pomoću procesora tako da unformacija o slici koja se nalazi u memoriji spremnika prenosi na zaslon na kraju dekomprimiranja sadržaja svakog elementa međuspremnika.

12. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što je dekomprimiranje i prijenos skupa slika u jednoj slikovnoj datoteci iz memorije međuspremnika u memoriju spremnika, te iz memorije spremnika u videomemoriju kontrolirano procesorskim sklopom tako da se slikovna informacija prenosi iz memorije spremnika u videomemoriju na kraju dekomprimiranja svake slike u slikovnoj datoteci.

13. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što je svaki procesor prilagođen dekomprimiranju slikovnih podataka koji su poslani u standardu sažimanja koji koristi preglednu tablicu boja.

14. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što je procesor prilagođen dekomprimiranju slikovnih podataka koji se šalju u standardu komprimiranja koji rabi vrijednost boje crveno/zeleno/plavo koja se odnosi na svaki piksel.

15. Dekoder prema bilo kojem prethodnom zahtjevu, naznačen time što procesor sadrži opći procesor za dekomprimiranje podataka digitalne slike i grafički procesor za priređivanje dekomprimiranih podataka za prikaz.

16. Metoda obrade digitalne slike u dekoderu za digitalni audiovizualni prijenosni sustav, naznačena time što dekoder sadrži procesor za dekomprimiranje i prikaz komprimiranih slikovnih podataka naznačen time što dekomprimirani podaci digitalne slike predstavljaju množinu nepokretnih slika koje dolaze iz procesora i prenose se u memoriju spremnika te nakon toga kopiraju iz memorije spremnika u videomemoriju koja čuva privremeno podatke koji predstavljaju navedene višestruke slike, a podatke čita procesor za naknadni prikaz takvih višestrukih slika.

17. Dekoder za digitalni audiovizualni prijenosni sustav, naznačen time što je suštinski jednak ovdje opisanom.

18. Metoda obrade digitalne slike u dekoderu za digitalni audiovizualni prijenosni sustav, naznačena time što je jednaka ovdje opisanoj.