JP2002041285A

JP2002041285A - データ処理装置およびデータ処理方法

Info

Publication number: JP2002041285A
Application number: JP2000229153A
Authority: JP
Inventors: Tomoya Kodama; 知也児玉
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-07-28
Filing date: 2000-07-28
Publication date: 2002-02-08
Also published as: US20020013633A1

Abstract

(57)【要約】【課題】ＤＳＰなどを用いた従来のオーディオ処理装置
よりも小さな回路規模で、オーディオ符号化・復号化処
理を実現する。【解決手段】１チップに収められ、外部に存在するメモ
リをビデオ処理とオーディオ処理とで共有するＵＭＡ方
式に基づくビデオ・オーディオ処理装置において、オー
ディオ処理プロセッサ10,11に小容量のローカルメモリ1
3,14を接続する。オーディオ処理プロセッサは次に行わ
れる処理を予測して、必要なデータやプログラムを前も
って外部メモリ１からローカルメモリに転送するように
ＤＭＡコントローラ15を制御する。逆にしばらく使用し
ないと判断されるデータは、生成直後にローカルメモリ
から外部メモリに退避する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、放送や蓄積メディ
アから入力される符号化されたオーディオ信号を伸張す
るオーディオ復号化装置、及びオーディオ信号を符号化
する符号化装置に関する。

【０００２】

【従来の技術】近年、ディジタル動画データ及びディジ
タルオーディオデータの符号化技術が確立し、放送や蓄
積メデイアでの活用が一般的になり、同時にＬＳＩ技術
のさらなる発展に伴い、１チップ上に数百万〜数千万ゲ
ートもの回路を実装することが可能になってきている。

【０００３】このことから、ディジタル圧縮された動画
像およびオーディオデータの伸張処理とグラフィックス
などのバックエンド処理、さらに伸張された動画像およ
びオーディオデータの再圧縮処理などを１チップで行う
ＬＳＩ素子のニーズが高まってきている。このようなＬ
ＳＩの構成は、外部に十数Ｍビットから数十Ｍビット程
度の容量をもつメモリを接続し、ビデオ処理やオーディ
オ処理がそのメモリを共有するようなＵＭＡ（Unified
Memory Architecture）とされることが多い。

【０００４】今、特にオーディオ処理に着目した場合、
ＤＶＤビデオ向けのアプリケーションではＤｏｌｂｙ
ＡＣ−３規格、リニアＰＣＭ規格、ＤｉｇｉｔａｌＴ
ｈｅａｔｅｒＳｙｓｔｅｍ（ＤＴＳ）規格などが存在
し、それらすべてを復号できることが望ましい。さら
に、日本のディジタルＢＳ放送においては、ＭＰＥＧ−
２ＡＡＣ規格に基づいた復号化処理を行う必要があるな
ど、アプリケーションに応じて様々な方式に対応する必
要がある。

【０００５】このような背景から、従来の１チップオー
ディオ・ビデオ（ＡＶ）デコーダでは、オーディオ処理
のために専用の信号処理プロセッサ（ＤＳＰ）を搭載
し、ソフトウエアベースで復号処理を行うことが多かっ
た。一方で、コストを抑制する目的から、ＬＳＩの回路
規模を削減する要求もある。ＤＳＰではオーディオ処理
で使われる周波数変換（ＦＦＴ；高速フーリエ変換）や
フィルタ処理を高速に実行できるため、低い動作周波数
でオーディオ処理を実現できる一方、演算処理を効率的
に実行させるために２個以上のローカルメモリおよびメ
モリアクセスユニット、アドレス更新のための演算器を
備える必要があり、メモリを含めた回路規模は決して小
さくない。

【０００６】また、オーディオ処理以外の例えばホスト
ＣＰＵとの通信や外部ハードウェアモジュールの制御な
どを行う場合には、ＤＳＰでは非効率であり、余分なハ
ードウェア資源を消費することが多い。このため、ＬＳ
Ｉ（集積回路素子）全体のコストを引き上げる要因とな
る。

【０００７】このような問題に対して、特開平８−１１
１６４２号公報に示されるＭＰＥＧ規格の映像音声デコ
ーダでは、バス上に配した１個のプロセッサと映像およ
びオーディオデータの逆離散コサイン変換（ＩＤＣＴ）
を行うための信号処理ユニットを設け、プロセッサと信
号処理ユニットを同時に動作させることにより、オーデ
ィオ処理とビデオ処理を同じハードウェア上で実現する
方法が提案されている。

【０００８】この方法の概略を図６に示す。図６の構成
においてはプロセッサ２１は、信号処理ユニット２９の
前後に設けられたローカルメモリ２５および２７上に、
データを供給したり読み出したりする制御を行うと共
に、ビットストリームの内容に応じて信号処理ユニット
２９ヘコマンドを送り、デコード処理を行う。

【０００９】信号処理ユニット２９では、一般的なプロ
セッサと同様にコマンドに対応するマイクロプログラム
を命令メモリ３１から読み出し、順次バタフライユニッ
トや乗算・累積加算（ＭＡＣ）ユニットを用いて演算処
理を行う。

【００１０】そして、その演算処理の際の途中結果は、
ローカルメモリ３２および３３に格納される。ここで、
ビデオ・オーディオのデコード処理は、ビットストリー
ムの解読処理と、バタフライ演算に代表されるデータに
対する演算処理に分割できる。

【００１１】このうち、ビットストリームの解読処理は
ＶＬＤ処理部２４で実行され、演算処理には乗算・累積
加算ユニット２６，バタフライユニット３０，命令メモ
リ３１等からなる信号処理ユニット２９にて実行され
る。

【００１２】このため、ビットストリームの解読処理と
演算処理、そしてプロセッサ２１によるデータ供給処理
は並列に実行されることとなる。さらに、この従来の提
案では、ＭＰＥＧ−２ビデオ規格に基づいたビットスト
リームのデコードも同じハードウェア上で実行すること
を想定している。この場合、図６には図示していない動
き補償のためのハードウェアユニットも利用して、並列
の度合いを高めることができる。

【００１３】また、特開平１０−３４１４２２号公報に
示される映像音声処理装置においては、デコード処理と
は非同期に発生するビットストリームの入力と映像・オ
ーディオ情報の出力部を分割し、独立したプロセッサで
制御することにより、デコード処理部め負担を低減して
リアルタイム処理を実現する方法が提案されている。

【００１４】そして、ＭＰＥＧ−２ビデオ規格に基づい
たビデオデコード処理を想定した場合、一般的なテレビ
受像機向けの解像度で１秒間に２７［MByte］（メガバ
イト）ものデータを送出しなければならない上、この処
理はデコード処理とは非同期に一定間隔で行われなけれ
ばならないため、この処理を別プロセッサに担当させる
ようにしている。これによってデコード処理部の効率的
な実行を可能にする。その一方で、オーディオ信号の出
力は、１秒間に数百Ｋ［バイト］程度である。

【００１５】それ故、このような遅いオーディオ信号の
処理に専用のプロセッサを用いるのは、あまりにもった
いない。

【００１６】

【発明が解決しようとする課題】このように、上記従来
技術によれば、ビデオとオーディオの両方のデータを処
理するのに、一つのプロセッサにより実施させる方式
と、入出力の処理に対して専用のプロセッサを用いて別
々に処理させる方式があった。

【００１７】前者の場合、プロセッサはビデオとオーデ
ィオの両方を処理しなければならないため、高い処理能
力が要求される。このために、高い動作周波数が要求さ
れ、コストの上昇を招く。そして、この方式では、周辺
に配置されたメモリが占める面積も大きくなる傾向があ
り、コストの増大を招く。さらに、信号処理プロセッサ
自体が自律して動作するため、ＣＰＵと同程度の制御回
路が必要である上、演算器も高機能なものが必要とな
る。

【００１８】すなわち、オーディオ用のバタフライ演算
では２４ビツト程度の演算精度が必要である一方、バタ
フライ演算の回数は１秒間に数百万回のレベルであるの
に対し、ビデオ用の場合の精度は１２ビット程度でも良
いが、１秒間に数千万回も行う必要がある。これら２つ
の演算を両立させるためには、信号処理ユニットは高い
精度と高速性を良質しなければならず、回路規模の大き
いコストの高いものとなる可能性が高い。

【００１９】また、後者の方式は、画像、音声の情報を
入出力する専用のプロセッサを用いて処理するようにす
るが、ビデオとオーディオの処理をデコード部で交互に
しなければならないことは変わらず、高い精度を要求さ
れるオーディオ処理と高速性を要求されるビデオ処理と
を両立させるために高性能なハードウェアを要求するこ
ととなる。オーディオ処理だけを独立させた場合には、
オーディオの入出力レートは十分に低いため、入出力部
とデコード処理部を分けたことによる効果はほとんどな
い。さらに、デコード処理部と入出力部とを分けたこと
により、必要なメモリ量は増大するため、それによるチ
ップ面積の増加という問題もある。

【００２０】メモリ量を削減するため、局所的に配置さ
れたメモリの代わりに外部に接続されたメモリを一次記
憶媒体に用い、キャッシュメモリによってメモリアクセ
ススピードを改善する方法が考えられるが、キャッシュ
メモリがミスヒットした場合には、外部メモリを参照し
なけれぱならい。外部メモリは、元々内部のメモリより
もアクセススピードが遅い上、例えばビデオ処理などと
共有されるためにキャッシュがミスヒットした時には大
きな遅延が発生する。これは、リアルタイム処理を行わ
なければならないオーディオ処理のようなアプリケーシ
ョンでは致命的になる。

【００２１】本発明は、上記の点に鑑みてなされたもの
であり、オーディオ処理が固定的な順を追って処理がな
されることに着目し、それを利用することで、プロセッ
サなどのランダムゲートのみならず、内蔵するメモリの
容量まで考慮し、両者の合計のハードウェア量を小さく
した上で、効率的にオーディオ処理等のデータ処理を実
現するアーキテクチャとするデータ処理装置を提供する
ことを目的とする。

【００２２】

【課題を解決するための手段】本発明は、上述の目的を
達成するために、本発明は次のように構成する。

【００２３】［１］第１には、与えられるデータに対し
て、複数種の処理を順序を追って実施する処理装置にお
いて、前記各処理を、処理単位でモジュール化してなる
プログラムモジュールを保持する外部記憶手段と、必要
最小限の容量の内部メモリと、前記処理のうちのいずれ
かの処理の実施中に、次の処理用のモジュールおよび処
理対象のデータを前記外部記憶手段より読み込み、前記
内部メモリに保持させる制御手段と、前記内部メモリの
保持内容に従った処理を実施する処理手段とを具備する
ことを特徴とする。

【００２４】このような構成の本発明装置は、与えられ
るデータに対して、複数種の処理を順序を追って実施す
るが、各処理は予め各処理単位でプログラムモジュール
化した形態を採用している。そして、内部メモリにこの
処理単位分のプログラムモジュールを保持させ、処理手
段にはこの内部メモリの内容対応に処理を実施していく
が、前記制御手段は前記処理手段が処理実施中に次の処
理用のモジュールおよび処理対象のデータを読み込み、
前記内部メモリに保持させる。

【００２５】従って、すなわち、さしあたって現在処理
しようとする必要分だけの必要情報を内部メモリに取り
込み、処理を実施させることで、内部メモリは最小限の
容量にとどめることができるようになり、メモリ資源の
節約を図ることが出来るようにすると共に、現在の処理
の実施中に次の先取りをしておくことで、読み込みの遅
れによる処理の遅延を防止することができる。

【００２６】［２］また第２には、本発明は、符号化ま
たは復号化のためのデータ処理を行うプロセッサと、符
号化または復号化を行うプログラム・入出力データ・ワ
ークデータ・テーブルデータ等を保持する外部メモリ
と、プロセッサに命令を供給するための小容量のインス
トラクションメモリと、前記インストラクションメモリ
及びデータメモリと前記外部メモリ間のデータ転送をプ
ロセッサの動作と平行して行うＤＭＡコントローラと、
を備えたことを特徴とする。

【００２７】本発明によれば、オーディオ処理を実行す
る上でプロセッサが必要とするデータおよび命令群を、
ＤＭＡコントローラを介して前もって小容量のインスト
ラクションメモリおよびデータメモリに読み出してお
き、また、所定の処理が終了したデータは、ＤＭＡコン
トローラを介して外部メモリに書き戻す処理を行うこと
により、オーディオ処理に必要となるメモリの容量を削
減することができる。プロセッサは、該インストラクシ
ョンメモリまたは該データメモリのアクセスが該ＤＭＡ
コントローラと干渉しない限り、演算処理を続行できる
ため、メモリ削減による処理能力の低下はＤＭＡコント
ローラによるメモリ転送量未満に抑えることができる。
さらに、プロセッサは安価な汎用プロセッサを使用した
としても、それに乗算−累積加算器（ＭＡＣ）程度のご
く簡単な演算器を付加することでオーディオ処理に十分
な処理能力を確保することができる。

【００２８】

【発明の実施の形態】本発明は、１チップに収められ、
外部に存在するメモリをビデオ処理とオーディオ処理と
で共有するようにしたＵＭＡ方式に基づくビデオ・オー
ディオ処理装置において、基本概念としては、オーディ
オ処理プロセッサに小容量のローカルメモリ（データメ
モリ、インストラクションメモリ）を接続するように
し、このオーディオ処理プロセッサには次に行われる処
理を予測して、必要なデータ・プログラムを前もって外
部メモリからローカルメモリに転送するようにＤＭＡコ
ントローラの制御をさせるようにし、逆にしばらく使用
しないと判断されるデータは、生成直後にローカルメモ
リから外部メモリに退避させるようにし、また、ローカ
ルメモリ中の不要となったデータやプログラムの格納領
域は解放するというものである。

【００２９】以下、本発明の実施例について図面を参照
して説明する。

【００３０】図１は本発明の一実施の形態を示すブロッ
ク図である。図１において、１は外部メモリ、２はメモ
リコントローラ、３はバス、４はシステム処理部、５は
ビデオ処理部、６はオーディオ処理部である。このオー
ディオ処理部６は、汎用プロセッサ１０、オーディオ処
理用プロセッサ１１、ローカルバス１２、インストラク
ションメモリ１３、データメモリ１４、ＤＭＡコントロ
ーラ（Direct MemoryAccess Controler）１５、オーデ
ィオ入出力インタフェース１６、小容量メモリ１７を備
えて構成される。

【００３１】汎用プロセッサ１０、ＤＭＡコントローラ
１５、オーディオ入出力インタフェース１６はローカル
バス１２を介して接続され、また、システム処理部４、
ビデオ処理部５、オーディオ処理部６は、バス３を介し
て接続される。

【００３２】上述の外部メモリ１は、システム処理部４
やビデオ処理部５およびオーディオ処理部６が共用する
メモリであり、システム処理部４にて処理されて出力さ
れたビデオストリームやオーディオストリームなどのデ
ータの格納、さらには汎用プロセッサ１０に実行させる
ための演算・処理などの命令（プログラム）や演算処理
に必要なデータ類などを保持に使用される。

【００３３】メモリコントローラ２は、この外部メモリ
１のアクセスをコントロールするためのものである。

【００３４】システム処理部４は、入力信号として入力
されたストリーム（例えば、ＭＰＥＧ−２のデータスト
リーム）をビデオストリームとオーディオストリームに
分離し、それぞれ外部メモリ１の異なる独立したメモリ
領域に書き込むように処理するものであり、ビデオ処理
部５は、外部メモリ１に書き込まれたビデオストリーム
を伸張処理し、所定のタイミングで外部へ出力するもの
である。

【００３５】また、オーディオ処理部６は、外部メモリ
１に書き込まれたオーディオストリームを処理し、所定
のタイミングで外部へ出力するものである。

【００３６】このオーディオ処理部６は、汎用プロセッ
サ１０、オーディオ処理用プロセッサ１１、ローカルバ
ス１２、インストラクションメモリ１３、データメモリ
１４、ＤＭＡコントローラ１５、オーディオ入出力イン
タフェース１６、小容量メモリ１７を備えて構成される
が、これらのうち、オーディオ処理用プロセッサ１１
は、汎用プロセッサ１０に対するコプロセッサであっ
て、当該汎用プロセッサ１０を介して得られたオーディ
オデータを復元する処理をするものであり、国際標準の
圧縮符号化技術のひとつであるＭＰＥＧ−２ＡＡＣビ
ットストリームのデコードの場合、その処理はビットス
トリームデータの解読処理、ノイズレスデコーディング
処理、逆量子化処理、スケールファクタ処理、ＴＮＳ処
理（ノイズリダクション処理）、フィルタバンク処理
（オーディオ成分に対するフィルタリング処理）、ブロ
ックスイッチング処理を順に実施してオーディオデータ
を復元する。

【００３７】また、インストラクションメモリ１３は、
汎用プロセッサ１０に対する命令コードを保持するため
のメモリであり、また、データメモリ１４は、汎用プロ
セッサ１０の処理対象となる各種のデータを保持するた
めのメモリである。

【００３８】また、汎用プロセッサ１０は、インストラ
クションメモリ１３に保持されている命令コードに従っ
て処理を実行するものであって、ここでは、主としてオ
ーディオ処理用コプロセッサ１１での処理に際して、必
要なデータ（オーディオストリーム）の取り込みやバッ
ファリング、そして、各種テーブルやフィルタバンク係
数等、オーディオデータ復元処理におけるその処理の進
行段階対応に、必要とするデータをデータメモリ１４に
取り込んでオーディオ処理用コプロセッサ１１に渡した
り、オーディオ処理用コプロセッサ１１が得たデータを
データメモリ１４に格納させたり、ＤＭＡコントローラ
１５を制御したりするといったことを行うものである。

【００３９】また、ＤＭＡコントローラ１５は、汎用プ
ロセッサ１０による指示に基づき、外部メモリ１やイン
ストラクションメモリ１３およびデータメモリ１４に対
して指定のメモリアドレス領域をCPUを介することなく
直接、アクセスしてデータの書き込みあるいは読み出し
を制御する（DMA（Direct Memory Access）転送を制御
する）ためのコントローラである。

【００４０】オーディオ入出力インタフェース１６は、
オーディオ信号の入出力のためのインタフェースであ
り、小容量メモリ１７はオーディオ入出力インタフェー
ス１６によるオーディオ信号の入出力の際のバッファと
なるメモリである。

【００４１】本実施形態に示した装置は、ＤＶＤ再生装
置（ＤＶＤは、Digital VersatileDiscまたはDigital V
ersatile Diskの略で、動画、音声、データなどをデジ
タル記録できる大容量光ディスク）などに備えられ、Ｍ
ＰＥＧ−２システムストリームに基づく圧縮ビデオ・オ
ーディオストリームをデコードし、得られたビデオおよ
びオーディオ信号を外部へ出力するものである。また、
図中において、外部メモリ１以外は１つのＬＳＩの中で
構成されることを想定している。

【００４２】外部メモリ１はこのＬＳＩの外に接続され
るので、ＬＳＩの内部に組み込まれている要素であるシ
ステム処理部４、ビデオ処理部５、オーディオ処理部６
は１つの外部メモリ１を共有するかたちになる。

【００４３】また、図には表されていないが、ビデオバ
ックエンド処理など、他の処理を行う部分も当該外部メ
モリ１を共有する構成である場合も考えられる。外部メ
モリ１は、例えば同期型ダイナミックメモリ（ＳＤＲＡ
Ｍ）などで構成され、比較的大きな容量を持つが、各部
（システム処理部４、ビデオ処理部５、オーディオ処理
部６など）が同じメモリを共有するために、各部がアク
セスを開始するためにメモリコントローラ２にリクエス
トを発行してから、実際にアクセスが行われるまでの間
に遅延が発生するという特徴を有している。

【００４４】この実施例においては、オーディオ処理部
６の特徴として、処理単位別プログラムモジュールを処
理の進行に合わせて取り込むようにすることで、当該オ
ーディオ処理部６での処理に必要な内部メモリのメモリ
資源を最小限にとどめるようにすると共に、プログラム
モジュールを処理に先駆けて先取りすることで上記遅延
を実質的に抑制するようにしている。

【００４５】例えば、ＭＰＥＧ-２ＡＡＣに基づいた
ビットストリームのデコード処理の場合、処理手順とし
ては、ビットストリームデータの解読処理、ノイズレス
デコーディング処理、逆量子化処理、スケールファクタ
処理、ＴＮＳ処理、フィルタバンク処理、ブロックスイ
ッチング処理の順番を踏んでオーディオデータ復元する
ことから、現在行っている処理の後に何の処理を行うか
は予測可能である。従って、この事実を根拠に、本発明
システムにおいては、現在行っている処理を続けなが
ら、次の処理に必要なデータや命令群を、予め用意する
ようにＤＭＡコントローラ１５に要求すると云った形態
が実現できるような処理単位のプログラムモジュール
を、外部メモリ１に用意し、且つ、このプログラムモジ
ュールには、次の処理に用いるプログラムモジュールを
外部メモリ１から読み込むべく、その格納エリアを指定
してのＤＭＡ転送による読み込みを実施することのでき
るＤＭＡ転送命令を付加したかたちにしておくことで、
その処理の進行に伴って必要なプログラムモジュールを
先読みして取り込んでおき、このプログラムモジュール
を構成するプログラムの示す命令群を汎用プロセッサ１
０が実行することで、その時々の処理の進行に合わせ
て、次の処理に必要な処理単位分のプログラムモジュー
ルや必要データを読み込むべく、ＤＭＡコントローラ１
５に命令することができる仕組みを得ている。

【００４６】つまり、オンデマンド方式を採用するもの
であって、処理の進行状況に従って、次の処理に必要な
手当を、必要最小単位分づつ、細切れに先取りして準備
し、利用していくと云う細切れ先読み方式で処理を繋い
でいく形態であって、メモリ資源特にインストラクショ
ンメモリ１３，データメモリ１４の節約を図ると共に、
読み込みに必要な時間を節約する仕組みを具現化してい
る。インストラクションメモリ１３，データメモリ１４
を含め、汎用プロセッサ１０とＤＭＡコントローラ１５
はそのために用意されたものである。

【００４７】次に、上記構成の本システムの作用を説明
する。

【００４８】入力信号であるＭＰＥＧ−２システムスト
リームはシステム処理部４に入力される。システム処理
部４では、入力されたストリームをビデオストリームと
オーディオストリームに分離し、それぞれ外部メモリ１
の異なる独立したメモリ領域に書き込む。そして、外部
メモリ１に書き込まれたビデオストリームはビデオ処理
部５で伸張処理がなされ、所定のタイミングで外部へ出
力される。

【００４９】同様に、外部メモリ１に書き込まれたオー
ディオストリームは、オーディオ処理部６で伸張処理が
なされ、所定のタイミングで外部へ出力される。

【００５０】上述したように、オーディオ処理部６に
は、汎用プロセッサ１０が設けられているが、このオー
ディオ処理部６の汎用プロセッサ１０は、一般に機器組
み込み用に使用されるＣＰＵコアが使われる。汎用プロ
セッサ１０が実行すべき命令群および処理の対象となる
データ群は外部メモリ１に格納され、汎用プロセッサ１
０は、当該外部メモリ１に格納された命令群およびデー
タ群を、適宜、ＤＭＡコントローラ１５を制御すること
によって命令群はインストラクションメモリ１３に、そ
して、データ群はデータメモリ１４に転送する。

【００５１】次に、汎用プロセッサ１０はインストラク
ションメモリ１３に格納された命令群に基づきデータメ
モリ１４に格納されたデータを利用して、オーディオ処
理を実行させるべく、オーディオ処理用コプロセッサ１
１に指示を与え、これにより、オーディオ処理用コプロ
セッサ１１は指示された内容のオーディオ処理を実施す
る。処理された結果は、汎用プロセッサ１０の制御のも
とに、一時的に外部メモリ１にバッファリングされた
後、オーディオ処理部６内の小容量メモリ１７に順次書
き込まれ、オーディオ入出カインタフェース１６を通し
て外部へ出力される。

【００５２】汎用プロセッサ１０は、保存しておくべき
演算の途中結果については、適宜ＤＭＡコントローラ１
５を用いて外部メモリ１へ転送させ、保持させる。

【００５３】＜音声データのデコード処理＞ここで、オ
ーディオ処理部６によるオーディオストリームのデコー
ド処理について説明する。図１に示す構成の場合、この
オーディオストリームデコード処理はオーディオ処理用
コプロセッサ１１が担うが、その処理内容は次の通りで
ある。

【００５４】例えば、オーディオストリームのデコード
処理の例として、ＭＰＥＧ-２ＡＡＣに基づいたビッ
トストリームのデコード処理の流れを図２に示す。ＭＰ
ＥＧ−２ＡＡＣビットストリームのデコードの場合、
その処理は［１］ビットストリームデータの解読４０、
［２］ノイズレスデコーディング４１、［３］逆量子化
４２、［４］スケールファクタ４３、［５］ＴＮＳ（ノ
イズリダクション処理）４４、［６］フィルタバンク
（オーディオ成分に対するフィルタリング処理）４５、
［６］ブロックスイッチング４６の順で行われる。

【００５５】この処理順はほぼ固定的であるため、現在
行っている処理の後に何の処理を行うかを予測すること
は容易である。従って、現在行っている処理を続けなが
ら、次の処理に必要なデータや命令群を、予め用意する
ようにＤＭＡコントローラ１５に要求することができ
る。

【００５６】従って、本発明システムにおいては、汎用
プロセッサ１０は、このような予測を実施し、次の処理
に必要なデータや命令群を予め用意するためにＤＭＡコ
ントローラ１５に要求するといったことを、現在実行中
の処理の内容と進行状況を見計らった最適タイミングで
実施する機能を持たせておく。

【００５７】具体的には、例えば、次のような処理を実
施させる。

【００５８】いま、データメモリ１４、インストラクシ
ョンメモリ１３の容量をそれぞれＤ［バイト］およびＩ
［バイト］とし、現在、実行中の処理としてビットスト
リームデータの解読４０を行っているとする。このため
に必要なデータは、ＶＬＣ（Variab1e Length Coding＝
可変長符号）テーブルおよびビットストリームデータで
あり、これらはデータメモリ１４に格納されているもの
とする。

【００５９】このときのデータメモリ１４の占有量をＤ
i0［バイト］とする。また、同様にビットストリームデ
ータの解読に必要な命令群は予めインストラクションメ
モリ１３に格納されているものとする。

【００６０】このときのインストラクションメモリ１３
の占有量をＩ0［バイト］とする。ビットストリームデ
ータの解読４０の処理は、ビットストリームを読み出し
て所定の処理を行うことで、データメモリ１４上のＤw0
［バイト］のワークエリアを使用し、Ｄo0［バイト］の
データを生成する。

【００６１】従って、ビットストリームデータ解読４０
の処理において使用するデータメモリ１４の占有容量
は、Ｄi0＋Ｄw0＋Ｄo0［バイト］であり、インストラク
ションメモリ１３での占有容量はIi0［バイト］であ
る。

【００６２】このときのそれぞれのメモリ状態を図３に
示す。すなわち、インストラクションメモリ１３上での
占有状況は図３（ａ）の如きであり、データメモリ１４
上での占有状況は図３（ｂ）の如きである。

【００６３】この状態で、次の処理においては必要なメ
モリは次のように増える。すなわち、ビットストリーム
データ解読処理の次はノイズレスコーディング４１の処
理であるが、当該ノイズレスコーディング処理に必要な
データは、ビットストリームの解読によって得られたＤ
o0［バイト］のデータと、ノイズレスデコーディングに
必要なＤf1［バイト］のテーブルデータ（べき乗を計算
するためのテーブル）であり、さらにはこの処理でデー
タメモリ１４上のＤw1［バイト］分のワークエリアを使
用し、Ｄo1＝Ｄo0［バイト］のデータを置き換える。ま
た、ノイズレスデコーディングの処理に必要な命令群の
サイズはI1［バイト］とする。

【００６４】従って、この段階ではデータメモリ１４で
は更にＤi0［バイト］分のメモリ空間が必要となり、イ
ンストラクションメモリ１３ではＩ0［バイト］分のメ
モリ空間が必要となるわけである。

【００６５】すなわち、データメモリ１４においてはメ
モリ容量ＤがＤ＞Ｄi0＋Dw0＋Ｄo0＋Ｄi1 を満たし、かつ、インストラクションメモリ１３にお
いてはメモリ容量ＩがＩ＞Ｉ0＋Ｉ1 を満たしていれば、ノイズレスデコーディング処理に使
用する命令群およびデータ群は前段のビットストリーム
解読処理中に前もって転送しておくことが可能である。

【００６６】そこで、ビットストリーム解読処理を開始
するときに、汎用プロセッサ１０にはＤＭＡコントロー
ラ１５に対してコマンドを送り、インストラクションメ
モリ１３の空きエリアにノイズレスデコーディング処理
に必要なＩ1［バイト］の命令群を転送し、データメモ
リ１４の空きエリアにノイズレスデコーディング処理に
必要なＤi1［バイト］のデータを読み込ませるための予
約を行うように制御させるようにする。

【００６７】ノイズレスデコーディング処理の段階では
なく、ビットストリーム解読処理を開始するときに、こ
のような制御を汎用プロセッサ１０に実施させるという
点が重要なのである。

【００６８】一般に、外部メモリ１をビデオ処理部５、
システム処理部４などと共有するＵＭＡ構成の場合、外
部メモリ１へのアクセスにはある程度遅延が発生する。

【００６９】このため、ＤＭＡコントローラ１５へのコ
マンド送出後、実際にメモリ転送が開始されるまでに遅
延が発生する。仮に、ノイズレスデコーディング処理を
開始する直前に、ＤＭＡコントローラ１５へ必要なメモ
リ転送を行うようにコマンドを送ったとすると、この遅
延の間、汎用プロセッサ１０は処理を行えなくなる。こ
の遅延の時間分が無駄時間となるわけである。

【００７０】しかし、本発明のように、ノイズレスデコ
ーディング処理よりも１つ前の段階での処理であるビッ
トストリーム解読処理の時点で予めＤＭＡコントローラ
１５にコマンドを送出しておけば、この遅延を隠し、汎
用プロセッサ１０は２つの処理の間、動作しつづけるこ
とができるようになり、無駄時間がなくなって、処理速
度が向上することになる。

【００７１】さらに、ビットストリーム解読処理で生成
したデータのうち、次段のノイズレスデコーディング処
理で使用せず、後段の処理で使用するために保存してお
くべきデータが存在する場合、それらはビットストリー
ム解読処理直後に、外部メモリ１へ退避するように汎用
プロセッサ１０からＤＭＡコントローラ１５にコマンド
送出させるようにする。

【００７２】こうすることで、ノイズレスデコーディン
グ処理以後に、退避された領域を新たなデータ領域とし
て使用することができる。

【００７３】以後、同様に、汎用プロセッサ１０には、
ｋ番目の処理を開始するときに、ｋ−１番目の処理結果
のうち、ｋ番目の処理に不必要なデータメモリ１４内容
を外部メモリ１に退避し、ｋ＋１番目の処理のために必
要な命令群とデータを外部メモリ１からインストラクシ
ョンメモリ１３およびデータメモリ１４に転送するよう
に制御させる。

【００７４】これにより、オーディオ処理用コプロセッ
サ１１がオーディオストリームに対してオーディオ処理
を実行する上で必要なメモリ量を削減することが可能と
なる。なお、ｋは任意の整数を示す。

【００７５】ＭＰＥＧ−２ＡＡＣデコード処理におけ
るデータメモリ１４の時間遷移の例を図４に示す。図中
横軸はメモリアドレス、縦軸は時間をそれぞれ表し、ま
た、黒マル印で示される点はそれぞれの処理の開始時点
を、また、黒四角印はＤＭＡ転送の開始時点を示してい
る。そして、当該図４中のグラフはどの時点からどの時
点まではどの処理におけるデータ等がデータメモリ１４
中のどのアドレス空間を占有し、…ということを示して
おり、従って、図４は処理の変遷に伴うデータメモリ１
４におけるメモリ空間の状態遷移を示した図でとなって
いる。

【００７６】図４では、処理単位を〔段階１〕ビットス
トリーム解読処理、〔段階２〕ノイズレスデコーディン
グ・逆量子化・スケールファクタ処理、〔段階３〕ＴＮ
Ｓ処理、〔段階４〕フィルタバンク処理、〔段階５〕ブ
ロックスイッチング処理、の５段階に分割している。

【００７７】例えば、ｔ５の時点において、〔段階４〕
での処理であるフィルタバンクの処理が始まるが、当該
フィルタバンクの処理に必要なフィルタバンク係数は、
ｔ３の時点で開始される〔段階２〕での処理であるノイ
ズレスデコーディング処理が開始されるときにＤＭＡコ
ントローラ１５が制御され（図中の黒マル印で示される
時点）、外部メモリ１から読み出しが開始される。外部
メモリ１から読み出されるフィルタバンク係数のデータ
メモリ１４上の格納先は、アドレスＫ１からアドレスＬ
０までのメモリ空間である。

【００７８】フィルタバンク処理が行われることによっ
て、生成されるデータはデータメモリ１４上のアドレス
Ｍ１からＭ６のメモリ空間に格納される。そして、当該
フィルタバンク処理が行われた後、このアドレスＭ１か
らＭ６のメモリ空間に格納されている生成データは時点
ｔ６から開始される次の〔段階５〕での処理であるブロ
ックスイッチング処理で使われると同時に、１ブロック
（１０２４サンプル）後の処理でも使用されるため、ブ
ロックスイッチング処理が開始される前にＤＭＡコント
ローラ１５を制御（図中の黒四角印）して外部メモリ１
に転送書き込みが開始される。従って、〔段階５〕での
処理であるブロックスイッチング処理が実行されるのと
平行して、外部メモリ１への転送が行われる。

【００７９】なお、前記ＤＭＡコントローラ１５によっ
て前記インストラクションメモリ１３または前記データ
メモリ１４がアクセスされるときは、前記汎用プロセッ
サ１０による前記インストラクションメモリ１３または
データメモリ１４へのアクセスが競合する場合に、その
競合の間、プロセッサ動作を一時的に停止させるように
する。ＤＭＡ転送の時間は短時間で済むので、オーディ
オ処理に及ぼす影響の度合いはプロセッサ１０によるア
クセスを停止させる方が小さいからである。

【００８０】ここで、本実施の形態におけるオーディオ
処理装置は、従来、広く用いられてきた信号処理プロセ
ッサ（ＤＳＰ）に適用したものではなく、汎用のプロセ
ッサを使用した構成に適用している。その理由は、ＤＳ
Ｐでは、高い演算効率を実現するために、メモリ効率が
犠牲になるからである。

【００８１】例えば、ＤＳＰでは、２要素の乗算を毎ク
ロック実行するために、最低でも２つのメモリロードユ
ニットを装備するのが一般的であり、従って、ＤＳＰで
十分な性能を実現するにはデータメモリが２個以上必要
になる。

【００８２】これに対して、本実施の形態においてはオ
ーディオ処理に用いるプロセッサは、汎用プロセッサで
あるためにデータメモリ１４は１個で良い。また、汎用
プロセッサはＤＳＰに比べ、乗算・累積加算（ＭＡＣ）
演算に対する処理性能が劣るが、この乗算・累積加算
（ＭＡＣ）演算の高性能化を図るために、本実施の形態
では汎用プロセッサ１０にその機能補助用としてのオー
ディオ処理用のコプロセッサを配する。

【００８３】このコプロセッサは、例えばＶＬＩＷ（Ve
ry Long Instruction Word；プログラムをコンパイルす
る際、あらかじめ同時に実行できる命令を並列に並べて
おく手法の1つ。）などの方法により駆動される。

【００８４】汎用プロセッサ１０のデータ供給能力は、
メモリロードユニットがＤＳＰの半分であるから、コプ
ロセッサの能力も半分程度、すなわち、２クロックに１
回の演算ができる程度のスループットで良い。

【００８５】このような構成により、最もＤＳＰが効率
的に動作する乗算・累積加算が連続した場合でもＤＳＰ
に比べ１／２程度の性能差とすることができる。しか
も、一般的なオーディオ処理ではすべてが乗算・累積加
算で占められることはなく、論理演算やアドレスの加算
・減算なども含まれるため、ＤＳＰと本実施の形態にお
けるオーディオ処理装置の性能差の開きは、より小さく
なる。例えば、ＭＰＥＧ−２ＡＡＣデコード処理の場
合、ＴＮＳ、フィルタバンク、ブロックスイッチングで
は、処理の多くが乗算・累積加算で占められるため、性
能の差は大きいが、ビットストリーム解読４０の処理、
ノイズレスデコーディング４１の処理、逆量子化４２の
処理、スケールファクタ４３の処理での性能差は大きく
ない。

【００８６】従って、本発明の構成におけるＤＳＰとの
実際の性能差は２／３程度となる。しかも、上述したメ
モリ転送方式により、本実施の形態におけるオーディオ
処理装置において必要となるインストラクションメモリ
１３とデータメモリ１４の必要量は、ＤＳＰに比べ大幅
に削減することができる上、本質的に汎用プロセッサ１
０を利用する本実施の形態の方式の方が、必要ハードウ
ェア量も小さく、高クロックでの動作も容易であるた
め、この程度の性能差は問題にならないと言える。

【００８７】なお、本実施例ではオーディオ符号化方式
としてＭＰＥＧ−２ＡＡＣデコード処理を例に説明し
たが、他の符号化方式であるＭＰＥＧ１オーディオやＤ
ｏｌｂｙＡＣ−３などのデコード処理やエンコード処
理についても同様な制御を行うことができる。

【００８８】また、上述の実施例では、オーディオ処理
部６はオーディオビットストリームのデコード処理しか
行わない例を示したが、プロセッサの処理許容量に余裕
がある場合には、図５に示すように、１つのプロセッサ
がオーディオ処理とビデオ処理を兼ねるような構成にす
ることもできる。すなわち、図５に示す構成において
は、外部メモリ５１、メモリコントローラ５２、バス５
３、システム処理部５４、ビデオ・オーディオ処理部５
５から構成される。外部メモリ５１、メモリコントロー
ラ５２、バス５３、システム処理部５４、はそれぞれ図
１の外部メモリ１、メモリコントローラ５、バス３、シ
ステム処理部４に該当する。

【００８９】ビデオ・オーディオ処理部５５は、ビデオ
処理機能とオーディオ処理機能を併せ持つものであっ
て、図１におけるビデオ処理部５とオーディオ処理部６
を合体させたものである。

【００９０】ビデオ・オーディオ処理部５５は、汎用プ
ロセッサ６０、オーディオ処理用コプロセッサ６１、ロ
ーカルバス６２、インストラクションメモリ６３、デー
タメモリ６４、ＤＭＡコントローラ６５、小容量メモリ
６６〜７０、オーディオ入出力インタフェース７１、そ
して、ビットストリームの解読処理を行うＶＬＤ処理部
７２、逆量子化処理を行うＩＱ（逆量子化部）７３、逆
離散コサイン変換処理をするＩＤＣＴ（逆離散コサイン
変換部）７４、動き補償処理をする動き補償部７５等か
ら構成される。

【００９１】すなわち、図５に示すビデオ・オーディオ
処理部５５は、オーディオビットストリームのデコード
と共にＭＰＥＧ−２ビットストリームのデコードを行う
場合の構成を示している。

【００９２】ＭＰＥＧ−２ビデオビットストリームの場
合にも、その処理順は固定的であるため、前述したデー
タやテーブルなどの格納に用いるデータメモリ６４、命
令を格納するインストラクションメモリ６３へ、外部メ
モリ５１から前もって読み込む処理が適用できる。

【００９３】ビデオ処理の場合には、その演算量が大き
いため、多数の小容量メモリ６７〜７０を用意し、ま
た、これら小容量メモリ６７〜７０を介してＭＰＥＧ−
２ビデオビットストリームデコードに必要な演算を行う
演算器（ＶＬＤ処理部７２、ＩＱ（逆量子化部）７３、
ＩＤＣＴ（逆離散コサイン変換部）７４、動き補償部７
５）を用意し、汎用プロセッサ６０はＤＭＡコントロー
ラ６５を制御して、外部メモリ５１と小容量メモリ６７
〜７０の間、および小容量メモリ６７〜７０間のデータ
転送を行わせる。

【００９４】これにより、汎用プロセッサ６０の演算量
の極端な増加を抑えてビデオおよびオーディオのデコー
ドが実現される。

【００９５】なお、実施形態に示した例は、本発明装置
をＤＶＤ再生装置に適用した場合を説明したが、受信装
置に適用したり、送信装置や符号化装置に適用すること
もできる。要は、外部から提供される符号化されたビッ
トストリームをデコード（復号化）し、デコード結果を
外部に一定間隔で出力する復号化装置、または外部から
提供されるディジタルデータをエンコード（符号化処
理）し、エンコード結果を外部に出力する符号化装置に
適用できる。

【００９６】また、本願発明は、上記各実施形態に示さ
れる例に限定されるものではなく、実施段階ではその要
旨を逸脱しない範囲で種々に変形することが可能であ
る。更に、上記実施形態には種々の段階の発明が含まれ
ており、開示される複数の構成要件における適宜な組み
合わせにより種々の発明が抽出され得る。例えば、実施
形態に示される全構成要件から幾つかの構成要件が削除
されても、発明が解決しようとする課題の欄で述べた課
題の少なくとも１つが解決でき、発明の効果の欄で述べ
られている効果の少なくとも１つが得られる場合には、
この構成要件が削除された構成が発明として抽出され得
る。

【００９７】以上、本発明は、与えられるデータに対し
て、複数種の処理を順序を追って実施する例えば、符号
化されたオーディオストリームデータの復号化、あるい
はオーディオストリームデータの符号化などの処理をす
るデータ処理装置において、前記各処理を、処理単位で
モジュール化してなるプログラムモジュールを保持する
外部記憶手段（外部メモリ）と、必要最小分の容量の内
部メモリ（インストラクションメモリ、データメモリ）
と、前記処理のうちのいずれかの処理の実施中に、次の
処理用のモジュールおよび処理対象のデータを前記外部
記憶手段より読み込み、前記内部メモリに保持させる制
御手段（ＤＭＡコントローラ、汎用プロセッサ）と、前
記内部メモリの保持内容に従った処理を実施する処理手
段（オーディオ処理用コプロセッサ）とを具備して構成
したものである。内部メモリ中における処理の用済みと
なった格納領域はメモリを解放する。

【００９８】そして、このような構成において、与えら
れるデータに対して、複数種の処理を順序を追って実施
するが、本発明では各処理は予め各処理単位でプログラ
ムモジュール化した形態を採用しており、そして、内部
メモリにこの処理単位分のプログラムモジュールを保持
させ、処理手段にはこの内部メモリの内容対応に処理を
実施していくが、前記制御手段は前記処理手段が処理実
施中に次の処理用のモジュールおよび処理対象のデータ
を読み込み、前記内部メモリに保持させるようにした。
すなわち、本発明は、さしあたって現在処理しようとす
る必要分だけの必要情報を内部メモリに取り込み、処理
を実施させることで、内部メモリは最小限の容量にとど
めることができるようになって、メモリ資源の節約を図
ることが出来るようになり、また、現在の処理の実施中
に次の先取りをしておくことで、読み込みの遅れによる
処理の遅延を防止することができるようになる。

【００９９】

【発明の効果】以上説明したように、本発明によれば、
例えば、オーディオ処理のアルゴリズムのように、処理
順序がほぼ一定であるアルゴリズムを用いるデータ処理
の場合に、この処理順序が定まっていることに着目し、
汎用プロセッサに回路量を必要としないコプロセッサを
付加した演算装置と、内部ローカルメモリと外部メモリ
とのメモリ転送を行うＤＭＡコントローラを配置し、次
の処理に必要なデータや命令群をあらかじめ前の処理の
間に転送するようにＤＭＡコントローラを制御すること
により、従来よりも低コストなオーディオ処理装置など
のデータ処理装置を実現することが可能となる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
第一の実施の形態の構成を示すブロック図である。

【図２】本発明システムで用いるオーディオストリーム
のデコード処理の例として、ＭＰＥＧ-２ＡＡＣに基
づいたビットストリームのデコード処理の流れを説明す
るための図である。

【図３】本発明を説明するための図であって、本発明の
システムにおけるビットストリーム解読開始時のローカ
ルメモリの状態を示す図である。

【図４】本発明を説明するための図であって、本発明の
ビットストリームデコード処理におけるデータメモリの
変化を示す図である。

【図５】本発明の別の実施形態を説明するための図であ
って、オーディオ処理部がビデオデコードも兼ねる場合
の構成例を示したブロック図である。

【図６】従来のビデオ・オーディオデコーダーの構成を
示す図である。

【符号の説明】

１，２０，５１…外部メモリ２，２２，５２…メモリコントローラ３，５３…バス４，５４…システム処理部５…ビデオ処理部６…オーディオ処理部１０，２１，６０…汎用プロセッサー１１１，６１…オーディオ処理用コプロセッサ１２，６２…ローカルバス１３，１４，１７，２５，２７，３２，３３，６３，６
４，６６，６７，６８，６９，７０…ローカルメモリ１５，６５…ＤＭＡコントローラ１６，７１…オーディオ入出カインタフェース２３…ＦＩＦＯメモリ２４，７２…ＶＬＤ処理部２６…乗算・累積加算（ＭＡＣ）ユニット２８…レジスタファイル２９…信号処理ユニット３０…バタフライユニット３１…命令メモリ４０…ビットストリーム解読処理４１…ノイズレスデコーディング処理４２…逆量子化処理４３…スケールファクタ処理４４…ＴＮＳ処理４５…フィルタバンク処理４６…ブロックスイッチング処理５６…ビデオ・オーディオ処理部７３…逆量子化部７４…ＩＤＣＴ処理部７５…動き補償部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１０Ｌ 19/00 Ｇ１０Ｌ 9/18 Ｍ

Claims

【特許請求の範囲】

【請求項１】与えられるデータに対して、複数種の処理
を順序を追って実施する処理装置において、前記各処理を、処理単位でモジュール化してなるプログ
ラムモジュールを保持する外部記憶手段と、内部メモリと、前記処理のうちのいずれかの処理の実施中に、次の処理
用のモジュールおよび処理対象のデータを前記外部記憶
手段より読み込み、前記内部メモリに保持させる制御手
段と、前記内部メモリの保持内容対応の処理を実施する処理手
段と、を具備することを特徴とするデータ処理装置。
【請求項２】外部から提供される符号化されたビットス
トリームをデコードし、デコード結果を外部に一定間隔
で出力する復号化装置、または外部から提供されるデー
タをエンコードし、エンコード結果を外部に出力する符
号化装置に用いられるデータ処理装置であって、符号化または復号化のためのデータ処理を行うプロセッ
サと、符号化または復号化を行うプログラム，入出力データ，
ワークデータ，テーブルデータ等を保持する外部メモリ
と、前記プロセッサに命令を供給するためのインストラクシ
ョンメモリと、前記プロセッサにデータを供給するためのデータメモリ
と、前記インストラクションメモリ及びデータメモリと前記
外部メモリ間のデータ転送を行うＤＭＡコントローラ
と、を備え、前記プロセッサは、データの符号化処理及び復号化処理
を行うと共に、次に行う処理に応じて前もって必要なプ
ログラム及びデータを前記外部メモリから読み出すよう
に、また、処理が終了したデータを前記外部メモリに書
き戻すように前記ＤＭＡコントローラを制御することを
特徴とするデータ処理装置。
【請求項３】前記プロセッサは、汎用のプロセッサに少
なくとも乗算・加算処理を高速化する演算装置を付加し
た構成とすることを特徴とする請求項２記載のデータ処
理装置。
【請求項４】前記ＤＭＡコントローラによって前記イン
ストラクションメモリまたは前記データメモリがアクセ
スされるとき、前記プロセッサによる前記インストラク
ションメモリまたはデータメモリへのアクセスが競合す
る間、前記プロセッサ動作を一時的に停止させるように
することを特徴とする請求項２記載のデータ処理装置。
【請求項５】与えられるデータに対して、複数種の処理
を順序を追って実施する処理装置に適用する処理方法で
あって、前記各処理を、処理単位でモジュール化してなるプログ
ラムモジュールを用意し、前記処理のうちのいずれかの処理の実施中に、次の処理
用のモジュールおよび処理対象のデータを先行して読み
込み、前記プログラムモジュール対応の処理を実施することを
特徴とするデータ処理方法。