Nothing Special   »   [go: up one dir, main page]

JP2001223987A - メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体 - Google Patents

メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体

Info

Publication number
JP2001223987A
JP2001223987A JP2000344223A JP2000344223A JP2001223987A JP 2001223987 A JP2001223987 A JP 2001223987A JP 2000344223 A JP2000344223 A JP 2000344223A JP 2000344223 A JP2000344223 A JP 2000344223A JP 2001223987 A JP2001223987 A JP 2001223987A
Authority
JP
Japan
Prior art keywords
memory
image
image data
data
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000344223A
Other languages
English (en)
Inventor
Shinya Sumino
眞也 角野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000344223A priority Critical patent/JP2001223987A/ja
Publication of JP2001223987A publication Critical patent/JP2001223987A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】 メモリバンクの利用効率を高め、符号化・復
号化・表示に必要な画面データが消失する可能性を大幅
に低減する。 【解決手段】FM1a, FM1b, FM2a, FM2bは、それぞれ第1
の画像系列の第1の画面エリア、 第1の画像系列の第2
の画面エリア、第2の画像系列の第1の画面エリア、第
2の画像系列の第2の画面エリアである。また、AD12a,
AD12bは、それぞれ第1の画像系列の第1のアドレス開始
位置、 第1の画像系列の第2のアドレス開始位置であ
り、第1の画像系列は各開始位置から上位アドレスに向
かって画面サイズSZ1a,SZ1bが確保される。第2の画像
系列は、AD12b−SZ2a, AD34a−SZ2bから上位アドレスに
向かって画面サイズSZ2a,SZ2bが確保される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、メモリ管理方法、
画像符号化方法、画像復号化方法、画像表示方法、メモ
リ管理装置、画像符号化装置、画像復号化装置、画像表
示装置、メモリ管理プログラム記録媒体、画像符号化プ
ログラム記録媒体、画像復号化プログラム記録媒体およ
び画像表示プログラム記録媒体に関するものであり、特
に、複数の画像系列を同時に符号化・復号化・あるいは
表示するために必要なメモリ容量を節約できるメモリ管
理方法、そのメモリを利用した画像符号化・画像復号化
・画像表示方法、これらメモリ管理方法、画像符号化・
画像復号化・画像表示方法に対応する装置、およびそれ
をソフトウエアで実施するためのプログラムが記録され
た記録媒体に関するものである。
【0002】
【従来の技術】近年、音声,画像,その他の画素値を統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア,つまり新聞,雑誌,テレビ,ラジオ,電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
【0003】ところで、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
場合、1文字当たりの情報量は1〜2バイトであるのに
対し、電話品質の音声の場合は、1秒当たり64kbi
t、さらに現行テレビ受信品質の動画については、1秒
当たり100Mbit以上の情報量が必要となり、上記情
報メディアでその膨大な情報をディジタル形式でそのま
ま扱うことは現実的ではない。例えば、テレビ電話は、
64kbps〜1.5Mbpsの伝送速度を持つサービス総合デ
ィジタル網(ISDN:Integreted Services Digital N
etwork)によってすでに実用化されているが、テレビ・
カメラの映像をそのままISDNで送ることは不可能で
ある。そこで、必要となってくるのが情報の圧縮技術で
あり、例えば、テレビ電話の場合、ITU−T(国際電
気通信連合 電気通信標準化部門)で国際標準化された
H.261やH.263規格の動画圧縮技術が用いられ
ている。また、MPEG1規格の情報圧縮技術による
と、通常の音楽用CD(コンパクト・ディスク)に音声
情報とともに画像情報を収録することも可能となる。
【0004】ここで、MPEG(Moving Picture Exper
ts Group)とは、動画像の画素値圧縮の国際規格であ
り、MPEG1は、動画画素値を1.5Mbpsまで、つま
りテレビジョン信号の情報を約100分の1にまで圧縮
できる規格である。また、MPEG1規格を対象とする
伝送速度が主として約1.5Mbpsに制限されていること
から、さらなる高画質化の要求をみたすべく規格化され
たMPEG2では、動画画素値が2〜15Mbpsに圧縮さ
れる。
【0005】さらに現状では、MPEG1,MPEG2
と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC2
9/WG11) によって、画像に含まれる物体単位で符号化・
操作を可能とし、マルチメディア時代に必要とされる新
たな機能を実現するMPEG4が規格化されつつある。
MPEG4では、当初、低ビットレートの符号化方法の標準
化を目指してきたが、現在はインタレース画像の符号化
や高ビットレートの符号化を含む、より汎用的な符号化
規格に拡張されている。
【0006】MPEG4の特徴の1つに、複数の画像系
列を同時に符号化し伝送する仕組みが挙げられる。これ
は、複数の画像によって1つの画像シーンを構成できる
ようにしたものであり、例えば、前景と背景とを別の画
像系列にしてこれらのフレーム周波数や画質・ビットレ
ートを個別に変更することが可能であり、複数の画像系
列を、テレビジョン受信機等におけるマルチ画面のよう
に、水平もしくは垂直方向に並べてユーザが所望の画像
系列のみを抽出したり拡大表示したりできるようになっ
た。
【0007】さて、図15は、画像系列に対しMPEG符号
化を行った代表的な例を示すものである。これは、MPEG
1またはMPEG2のフレーム構造の例を示すものであり、MP
EG4では或るオブジェクトのVOPの参照構造に相当す
る。MPEG符号化では、画面内演算のみで符号化されるフ
レーム(Iフレーム)と、画面間の相関を利用して画面
間予測符号化を行うフレーム(Pフレーム)、さらに
は、過去のフレームと未来のフレームとに基づき双方向
予測符号化を行うフレーム(Bフレーム)がある。
【0008】図15は例えば連続する8つのフレームFR
1, FR2, ..., FR8に対しMPEG符号化を行った場合を示す
ものであり、フレームFR1とFR5がIフレーム、残りのフ
レーム、即ち、FR2, FR3, FR4及びFR6, FR7, FR8
がPフレームである。Iフレームはそれ自体で復号化が
可能であるが、Pフレームは、参照する前時刻の画面が
正しく符号化・復号化できなければ当該画面を正しく符
号化・復号化することができない。このため、ビットス
トリームの伝送誤りや、復号化時の障害が発生した場合
は、次のIフレームまで正しい画像データを得ることが
できない。さて、Pフレームの符号化・復号化では参照
画面が必要であり、当該画面の符号化・復号化過程のデ
ータを記録するための1画面と合わせて、合計2画面分の
メモリが1画像系列(オブジェクト)の符号化・復号化
に必要である。同様に、n個の画像系列の符号化・復号
化には2n画面分のメモリエリアが必要である。このた
め、従来はメモリアドレス空間を2n個に分割し、分割
された各エリア(バンク)を1画面分のメモリとして利
用し、これにその画像データを格納していた。
【0009】図16は従来のメモリアドレスの分割の仕
方の例を示すものである。同図において、FM1a, FM1b,
FM2a, FM2b, FM3a, FM3bは、それぞれ第1の画像系列の
第1の画面エリア、 第1の画像系列の第2の画面エリ
ア、第2の画像系列の第1の画面エリア、第2の画像系
列の第2の画面エリア、第3の画像系列の第1の画面エリ
ア、第3の画像系列の第2の画面エリアである。また、A
D1a, AD1b, AD2a, AD2b, AD3a, AD3bは、それぞれ第1
の画像系列の第1のアドレス開始位置、第1の画像系列
の第2のアドレス開始位置、第2の画像系列の第1のアド
レス開始位置、第2の画像系列の第2のアドレス開始位
置、第3の画像系列の第1のアドレス開始位置、第3の
画像系列の第2のアドレス開始位置であり、AD1aから A
D1b−1までが第1aのメモリバンクに、AD1bからAD2a
−1までが第1bのメモリバンクに、AD2a からAD2b−
1までが第2aのメモリバンクに、AD2bから AD3a−1
までが第2bのメモリバンクに、AD3aからAD3b−1まで
が第3aのメモリバンクに、それぞれ相当する。また、
SZ1a, SZ1b, SZ2a, SZ2b, SZ3a, SZ3bは、それぞれ第1
の画像系列の第1の画面サイズ、第1の 画像系列の第2
の画面サイズ、第2の画像系列の第1の画面サイズ、第
2の画像系列の第2の画面サイズ、第3の画像系列の第1
の画面サイズ、第3の画像系列の第2の画面サイズであ
る。
【0010】ここで、各画像系列の画像データの格納の
仕方を、図15におけるフレームFR1, FR2, ..., FR8を
復号する場合を例にとって説明する。これらのフレーム
FR1, FR2, ..., FR8は、1つの画像系列(第1の画像系
列とする)を構成するものとする。この画像系列はMPEG
4では1つのオブジェクトに相当し、MPEG2ではGOPに
相当するものである。まず、第1の画像系列中の最初の
IフレームであるフレームFR1を復号し、これを画面エ
リアFM1aに格納する。次に、フレームFR2については、
この画面エリアFM1aに格納された,フレームFR1の復号
画像データを参照して復号を行い、復号結果を画面エリ
アFM1bに格納する。
【0011】そして、次に、フレームFR3については、
この画面エリアFM1bに格納された,フレームFR2の復号
画像データを参照して復号を行い、復号結果を画面エリ
アFM1aに格納する。これは、フレームFR1の画像データ
はフレームFR3を復号化するのにもはや必要としないた
め、画面エリアFM1aを上書きしてよいからである。さら
に、フレームFR4については、この画面エリアFM1aに格
納された,フレームFR3の復号画像データを参照して復
号を行い、復号結果を画面エリアFM1bに格納する。
【0012】以下、第1の画像系列に属するフレームFR
5ないしFR8についても同様に、2つの画面エリアFM1a,F
M1bを交互に使用して復号を行う。また、第2,第3の
画像系列に属するフレームについても、それぞれの復号
を同様に行う。即ち、第2の画像系列に属するフレーム
については、2つの画面エリアFM2a,FM2bを交互に使用
して、また、第3の画像系列に属するフレームについて
は、2つの画面エリアFM3a,FM3bを交互に使用して、そ
れぞれの復号を同様に行う。さらに、画面間予測符号化
等の符号化や画像の表示を行う場合にも、同様に、メモ
リ内の相互に隣接する2つの画面エリアを交互に使用し
て、符号化や画像表示を行う。
【0013】なお、IフレームやPフレームはPフレー
ムやBフレームを復号化するために参照されるが、Bフ
レームは他のBフレームやPフレームを復号化するため
に参照されることはないため、Bフレームがメモリに格
納されることはない。このため、仮にフレームFR2とフ
レームFR3の間にBフレームが存在したとすれば、その
Bフレームは画面エリアFM1bに格納されたフレームFR2
と、画面エリアFM1aに格納されたフレームFR3を参照し
て復号化を行う。
【0014】ここで、各画面エリアFM1a, FM1b, FM2a,
FM2b, FM3a, FM3bは各アドレス開始位置AD1a, AD1b, AD
2a, AD2b, AD3a, AD3bを起点として、図16中の矢印
“→”で示されるように、画像メモリの各エリア(バン
ク)内でその上位アドレスの側に向かって記憶される。
従って、各画面サイズSZ1a, SZ1b, SZ2a, SZ2b, SZ3a,S
Z3bが増加しても、分割されたメモリの各バンクの大き
さを超えない限り、他の画像系列の画像データによって
当該画像系列の符号化・復号化に必要な画像データが破
壊されることはない。このため、各画像系列の符号化・
復号化に必要なメモリエリアの大きさが固定されている
場合は、図16のメモリアドレスの分割例の構成で支障
は生じない。
【0015】図17は従来の画像符号化装置のブロック
図である。図において、動き検出・動き補償(MEMC)器U1
は画像信号Vinに対し、メモリ・ユニットFMから参照画
面FMoutを読み出し、これを参照して動き検出・動き補
償を行い、動きベクトルMVと動き補償画面Refを出力す
る。減算器U2は画像信号Vinと動き補償画面Refとの差分
値を計算し、離散コサイン変換(DCT)器U3に出力する。
離散コサイン変換 (DCT) 器U3はブロック単位でDCT変換
を行い、量子化 (Q)器U4はその変換結果を量子化し、可
変長符号化(VLC)器U5はその量子化値を可変長符号化し
て符号化ストリームVbinとする。
【0016】一方、量子化 (Q) 器U4の出力である量子
化値は逆量子化 (IQ) 器U6で逆量子化され、逆離散コサ
イン変換 (IDCT) 器U7でブロック単位の逆DCT変換が行
われた後、加算器U8で動き補償画面Refと加算され、メ
モリ・ユニットFMの記録画面FMinとなる。なお、Iフレ
ームの符号化では参照画面が不要であり、この場合、動
き補償画面Refは全ての画素値を“0”として扱う。
【0017】メモリ・ユニットFMには画像の系列番号Ob
jIDと各画面の大きさObjSZが入力される。画像の系列番
号ObjIDは画像の系列を特定するために使用され、各画
面の大きさObjSZは記録画面FMinを記録するために必要
なメモリエリアの大きさを指定するために使用される。
例えば、図16において、FM1aのObjID, ObjSZはObjID=
1, ObjSZ=SZ1aとして表され、FM2bのObjID, ObjSZはObj
ID=2, ObjSZ=SZ2bとして表される。
【0018】図18は従来の画像復号化装置のブロック
図である。同図において、可変長復号化 (VLD) 器U11は
符号化ストリームVbinを可変長復号化し、逆量子化 (I
Q) 器U6はこれを逆量子化し、逆離散コサイン変換 (IDC
T) 器U7はこの逆量子化結果に対し、ブロック単位の逆D
CT変換を行う。一方、メモリ・ユニットFMは、画像の系
列番号ObjIDに対応した参照画面FMoutを出力し、動き補
償 (MC) 器U12で動きベクトルMVに応じた動き補償を行
って動き補償画面Refを生成し、加算器U8はこれを逆離
散コサイン変換 (IDCT) 器U7の出力と加算して復号され
た画面信号Voutを得る。この画面信号Voutはメモリ・ユ
ニットFMにおいて、画像の系列ObjIDで指定されたメモ
リエリアに大きさObjSZの画像データからなる記録画面F
Minとして記録される。なお、Iフレームの復号化では参
照画面が不要であり、この場合、動き補償画面Refは全
ての画素を“0”として扱う。
【0019】図19は従来の画像表示装置のブロック図
である。同図において、オブジェクト選択器U20はユー
ザから指示された,表示すべき画像系列情報ObjSelに従
って、表示する画像系列の番号を逐次ObjIDとしてメモ
リ・ユニットFMに指令する。メモリ・ユニットFMがこの
指令に応じて出力する画像出力FMoutは合成器U23に入力
され、メモリ・ユニットFMから出力される他の画像系列
と合成され表示されるか、もしくはスイッチU21で選択
される既定の背景画面BGと合成表示が行われて、スイッ
チU24に出力される。表示する全ての画像系列をメモリ
・ユニットFMから読み出した時点で、オブジェクト選択
器U20は完了信号ObjEndで表示すべき画像系列の読み出
しが完了したことをスイッチU24に通知し、これによ
り、スイッチU24は表示のための同期信号Displayに合わ
せたタイミングで表示機器U25に合成画像を出力する。
【0020】一般的な構成では、図18の画像復号化装
置と図19の画像表示装置は一体化した装置として構成
されることが多く、この場合、図18の画像復号化装置
と図19の画像表示装置がメモリ・ユニットFMを共用す
ることで、これらを個別の装置として構成した場合の半
分のメモリで済ませることが多い。
【0021】図20は従来のメモリ・ユニットFMのブロ
ック図である。メモリ・ユニットFMに記録を行う場合、
バンク選択器M1は分割されたメモリバンクからの画像の
系列番号ObjIDに対応するメモリバンクを特定し、アド
レス生成器M2は画像の大きさObjSZで指定された大きさ
のメモリエリアに対応するアドレスを生成し、メモリM4
は前記アドレス空間に、画面信号FMinを記録する。
【0022】メモリ・ユニットFMから読み出しを行う場
合も同様に、バンク選択器M1で分割されたメモリバンク
から画像の系列番号ObjIDに対応するメモリエリアを特
定し、アドレス生成器M2で画像の大きさObjSZで指定さ
れた大きさのメモリエリアに対応するアドレスを生成
し、メモリM4の前記アドレス空間から画面信号FMoutを
読み出す。従って、復号化を行う際に、メモリ・ユニッ
トFMが有する,メモリバンク単位のアクセス機能を用い
て、上述のように互いに隣接する2つのメモリバンク内
のそれぞれの画面エリアを交互に使用して読み書きを行
うことにより、各オブジェクトに対する画像系列を復号
することが可能となる。
【0023】
【発明が解決しようとする課題】従来の画像系列に対応
したメモリ管理方法は以上のように構成されており、1
画像系列の符号化・復号化に必要とされる合計2画面分
のメモリに相当するバンクをメモリ内に確保するよう
に、その管理を行うことができる。しかしながら、図1
6の従来のメモリアドレスの管理方法では、時間的に分
割された画面信号が各メモリの最大値を超える場合、こ
れを記録できないという問題がある。即ち、MPEG1やMPE
G2では画像系列の途中で画面の大きさが変化することは
無いが、MPEG4では時刻によって画面の大きさが変化す
ることが許容されており、記録すべき画面信号の大きさ
が分割されたメモリバンクの大きさを超えた場合、符号
化・復号化・表示に必要な画面データが消失する可能性
がある。この問題を回避するには、分割した各メモリバ
ンクが、許容される画面サイズの最大値となるように十
分なメモリバンクを確保すれば良いが、そうすると膨大
な量のメモリ容量が必要となり、これに伴い、メモリが
組み込まれた機器の消費電力が増大するという問題があ
った。また、従来は時刻によって画面信号の大きさが変
わることを考慮していなかったために、復号化装置や表
示装置で復号化・表示に必要な画面データが消失した場
合の対策は全く検討されていなかった。
【0024】本発明は、かかる点に鑑みてなされたもの
で、メモリバンクの利用効率を高め、符号化・復号化・
表示に必要な画面データが消失する可能性を大幅に低減
できるメモリ管理方法、メモリ管理装置およびメモリ管
理プログラム記録媒体を提供することを目的とする。ま
た、復号化・表示に必要な画面データが消失した場合
に、画質劣化を少なくする画像復号化方法、画像復号化
装置、画像復号化プログラム記録媒体、画像表示方法、
画像表示装置、画像表示プログラム記録媒体や、演算量
を低減できる画像復号化方法、画像復号化装置、画像復
号化プログラム記録媒体、およびその復号化に対応する
符号化を行う画像符号化方法、画像符号化装置、画像符
号化プログラム記録媒体を実現することを目的とする。
【0025】
【課題を解決するための手段】この課題を解決するため
に、本願の請求項1の発明に係るメモリ管理方法は、第
1ないし第nの画像系列(nは2以上の整数)の画像デ
ータをメモリに同時に記録する,メモリ管理方法であっ
て、メモリ内の領域を、ADstart[i]番地からADend[i]番
地(i は1≦i≦n/2を満たす整数)までの番地を第i
のメモリアドレス空間としてそれぞれ割り当てること
により第1ないし第n/2のメモリアドレス空間に分割
し、第iの上記メモリアドレス空間のADstart[i] もしく
はADend[i] のいずれか一方の端から当該第iのメモリア
ドレス空間内の上位もしくは下位メモリアドレスのいず
れかに向けての領域を、第kの画像系列(k=i×2−
1)の画像データを記録するためのエリアとして使用す
るとともに、上記ADstart[i] もしくはADend[i] の他方
の端から当該第iのメモリアドレス空間内の下位もしく
は上位メモリアドレスのいずれかに向けての領域を、第
(k+1)の画像系列の画像データを記録するためのエ
リアとして使用する、ようにしたものである。
【0026】また、本願の請求項2の発明に係るメモリ
管理方法は、請求項1記載のメモリ管理方法において、
前記第kの画像系列の画像データと前記第(k+1)の
画像系列の画像データをともに前記第iのメモリアドレ
ス空間に記録することによって一方の画像データが他方
の画像データを上書きするか否かを監視し、メモリから
画像データを読み出す時に、当該読み出すべき画像系列
の画像データが上記上書きにより破壊されているか否か
を、外部に通知する、ようにしたものである。
【0027】また、本願の請求項3の発明に係るメモリ
管理方法は、請求項1記載のメモリ管理方法において、
前記第kの画像系列の画像データと前記第(k+1)の
画像系列の画像データをともに前記第iのメモリアドレ
ス空間に記録することによって一方の画像データが他方
の画像データを上書きするか否かを監視し、上記上書き
により画像データの破壊が生じ得る場合は、外部から入
力した,画像系列の重要度情報を参照し、重要度の低い
画像データを破壊する上書きを行い重要度の高い画像デ
ータを保護する、ようにしたものである。
【0028】また、本願の請求項4の発明に係る画像符
号化方法は、第1ないし第nの画像系列(nは2以上の
整数)の画像データを同時に符号化する画像符号化方法
であって、画面間予測符号化を行う際に、予測画像デー
タを、請求項1記載のメモリ管理方法により管理される
メモリに記録する、ようにしたものである。
【0029】また、本願の請求項5の発明に係る画像復
号化方法は、第1ないし第nの画像系列(nは2以上の
整数)の画像データを同時に復号化する画像復号化方法
であって、画面間予測復号化を行う際に、予測画像デー
タを、請求項1記載のメモリ管理方法により管理される
メモリに記録する、ようにしたものである。
【0030】また、本願の請求項6の発明に係る画像復
号化方法は、第1ないし第nの画像系列(nは2以上の
整数)の画像データを同時に復号化する画像復号化方法
であって、画面間予測復号化を行う際に、予測画像デー
タを、請求項2記載のメモリ管理方法により管理される
メモリに記録し、当該画像系列の復号化で必要な,メモ
リ内の画像データが破壊された場合は、上記メモリ内の
画像データを参照しないで復号化可能となるまで復号化
処理を中断する、ようにしたものである。
【0031】また、本願の請求項7の発明に係る画像復
号化方法は、第1ないし第nの画像系列(nは2以上の
整数)の画像データを同時に復号化する画像復号化方法
であって、画面間予測復号化を行う際に、請求項3記載
のメモリ管理方法により管理されるメモリに、予測画像
データを、重要な画像系列の重要度を高くして記録し、
重要な画像系列の復号化に必要な画像データを破壊され
にくくした、ものである。
【0032】また、本願の請求項8の発明に係る画像表
示方法は、第1ないし第nの画像系列(nは2以上の整
数)の画像データを同時に表示する画像表示方法であっ
て、請求項1記載のメモリ管理方法により管理されるメ
モリに、表示すべき画像データを記録する、ようにした
ものである。
【0033】また、本願の請求項9の発明に係る画像表
示方法は、第1ないし第nの画像系列(nは2以上の整
数)の画像データを同時に表示する画像表示方法であっ
て、当該画像系列の表示に必要な,メモリ内の画像デー
タが破壊された場合は、当該破壊された画像データに代
えて、当該画像系列の,破壊されていない最新時刻の画
像データを表示する、ようにしたものである。
【0034】また、本願の請求項10の発明に係るメモ
リ管理装置は、第1ないし第nの画像系列(nは2以上
の整数)の画像データをメモリに同時に記録する,メモ
リ管理装置であって、メモリ内の領域を、ADstart[i]番
地からADend[i]番地 (i は1≦i≦n/2を満たす整
数)までの番地を第i のメモリアドレス空間としてそれ
ぞれ割り当てることにより第1ないし第n/2のメモリ
アドレス空間に分割するメモリ領域分割手段と、第iの
上記メモリアドレス空間のADstart[i] もしくはADend
[i] のいずれか一方の端から当該第iのメモリアドレス
空間内の上位もしくは下位メモリアドレスのいずれかに
向けての領域を、第kの画像系列(k=i×2−1)の
画像データを記録するためのエリアとして使用するとと
もに、上記ADstart[i] もしくはADend[i] の他方の端か
ら当該第iのメモリアドレス空間内の下位もしくは上位
メモリアドレスのいずれかに向けての領域を、第(k+
1)の画像系列の画像データを記録するためのエリアと
して使用するためのアドレスを生成するアドレス生成手
段と、を備えるようにしたものである。
【0035】また、本願の請求項11の発明に係るメモ
リ管理プログラム記録媒体は、第1ないし第nの画像系
列(nは2以上の整数)の画像系列の画像データを同時
に記録する,メモリ管理方法を実行するメモリ管理プロ
グラムを記録したメモリ管理プログラム記録媒体であっ
て、メモリ内の領域を、ADstart[i]番地からADend[i]番
地 (i は1≦i≦n/2を満たす整数)までの番地を第
i のメモリアドレス空間としてそれぞれ割り当てること
により第1ないし第n/2のメモリアドレス空間に分割
し、第iの上記メモリアドレス空間のADstart[i] もしく
はADend[i] のいずれか一方の端から当該第i のメモリ
アドレス空間内の上位もしくは下位メモリアドレスのい
ずれかに向けての領域を、第kの画像系列(k=i×2
−1)の画像データを記録するためのエリアとして使用
するとともに、上記ADstart[i]もしくはADend[i] の他
方の端から当該第iのメモリアドレス空間内の下位もし
くは上位メモリアドレスのいずれかに向けての領域を、
第(k+1)の画像系列の画像データを記録するための
エリアとして使用するメモリ管理方法を実行するメモリ
管理プログラム、を記録してなるようにしたものであ
る。
【0036】また、本願の請求項12の発明に係るメモ
リ管理方法は、空き状態、またはi個の画像データ(i
=1ないし3の整数)が格納されたメモリ領域に新規入
力された画像データを格納する際、少なくとも、前記メ
モリ領域のアドレスの最下位側、または最上位側に画像
データを格納できる場合には、メモリ領域のアドレスの
最下位側、または最上位側に前記新規入力された画像デ
ータを格納し、前記メモリ領域のアドレスの最下位側、
及び最上位側に画像データを格納できない場合には、そ
の中間部に前記新規入力された画像データを格納するこ
とによりメモリの記憶管理を行うメモリ管理方法であっ
て、前記中間部に新規入力された画像データを格納する
際は、前記最上位側,最下位側に格納されている画像デ
ータのいずれかに接する領域に前記新規入力された画像
データを格納するか、あるいは前記メモリ領域のアドレ
ス中央位置に接する領域に前記新規入力された画像デー
タを格納するものである。
【0037】また、本願の請求項13の発明に係るメモ
リ管理方法は、請求項12に記載のメモリ管理方法にお
いて、メモリ領域内に格納されている画像データ、及び
新規入力された画像データがすべて矩形形状の画像デー
タである場合には、前記中間部に画像データを格納する
際、前記最上位側,最下位側に格納されている画像デー
タのいずれかに接する領域に前記新規入力された画像デ
ータを格納するように、既に格納された画像データのメ
モリ空間位置の再配置を行うものである。
【0038】また、本願の請求項14の発明に係るメモ
リ管理方法は、請求項13に記載のメモリ管理方法にお
いて、前記既に格納された画像データのメモリ空間位置
の再配置は、新規入力された画像データ用のメモリが不
足する場合にのみ行うものである。
【0039】また、本願の請求項15の発明に係るメモ
リ管理方法は、請求項12に記載のメモリ管理方法にお
いて、メモリ領域内に格納されている画像データ、及び
新規入力された画像データの内、少なくとも一つが任意
形状の画像データである場合には、前記中間部に画像デ
ータを格納する際、前記メモリ領域のアドレス中央位置
に接する領域に前記新規入力された画像データを格納す
るように、既に格納された画像データのメモリ空間位置
の再配置を行うものである。
【0040】また、本願の請求項16の発明に係るメモ
リ管理方法は、請求項15に記載のメモリ管理方法にお
いて、前記既に格納された画像データのメモリ空間位置
の再配置は、新規入力された画像データ用のメモリが不
足する場合にのみ行うものである。
【0041】また、本願の請求項17の発明に係るメモ
リ管理方法は、請求項12に記載のメモリ管理方法にお
いて、前記中間部に画像データを格納する際、前記最上
位側,最下位側に格納されている画像データのいずれか
に接する領域に新規入力された画像データを格納するメ
モリ管理時に、任意形状の画像データが新規に入力され
た場合には、前記中央部に画像データを格納する際、前
記メモリ領域のアドレス中央位置に接する領域に新規入
力された画像データを格納するよう、既に格納された画
像データのメモリ空間位置の再配置を行うものである。
【0042】また、本願の請求項18の発明に係るメモ
リ管理方法は、請求項17に記載のメモリ管理方法にお
いて、任意形状の画像データの入力に伴うメモリ空間位
置の再配置後は、新規入力された画像データ用のメモリ
が不足する場合にのみ、前記中央部に画像データを格納
する際、前記メモリ領域のアドレス中央位置に接する領
域に新規入力された画像データを格納するよう、既に格
納された画像データのメモリ空間位置の再配置を行うも
のである。
【0043】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。 (実施の形態1)実施の形態1は、メモリ管理方法にお
いて、2つの画像系列のデータをそれぞれ、相互に隣接
する2つのメモリバンク内の上位アドレス側同士及び下
位アドレス側同士に記録することで、メモリバンクの利
用効率を高めるようにしたものである。図1は、複数の
画像系列で構成される画像の例を示すものである。Obj
1, Obj2, Obj3, Obj4は画像系列である。図1に示すよ
うに、例えば4つの画像系列Obj1,Obj2, Obj3, Obj4を画
像系列単位で符号化し、画像表示装置で各画像系列を合
成表示して1つの画面として表示するものであるが、当
然、各画像系列の画面の大きさは時刻によって、その大
きさが大きくなったり小さくなったりする。そこで、MP
EG4では任意の時刻における全画像系列の画面の大きさ
の「和の上限」を予め決めておくことにより、画面間予
測符号化における参照画面に必要なメモリ容量を設定し
ている。
【0044】これは、画像表示は各画像系列を合成した
ものを表示するのであるから、物体が重なりあっている
分を考慮しても全画像系列の画面の大きさの和は時刻変
動が比較的少なく(全画像系列で必要な参照メモリ量の
総和は、一般に表示画面の約1.5倍程度である)、各画
像系列毎に画面の大きさの上限値を設定する(例えば各
画像系列毎に表示画面の大きさを上限とする)よりも必
要なメモリ容量を節約できるからである。
【0045】図2は本発明の実施の形態1におけるメモ
リ管理方法に基づきメモリアドレスを分割した例であ
る。同図は、第1の画像系列と第2の画像系列が同じメ
モリバンクに記録される状況を示している。図2におい
て、FM1a, FM1b, FM3a,FM4aは、それぞれ第1の画像系
列の第1の画面エリア、第1の画像系列の第2の画面エリ
ア、第3の画像系列の第1の画面エリア、第4の画像系
列の第1の画面エリアである。また、AD12a, AD12b, AD3
4a,AD34bは、それぞれ第1の画像系列の第1のアドレス
開始位置、第1の画像系列の第2のアドレス開始位置、
第3の画像系列の第1のアドレス開始位置、第3の画像
系列の第2のアドレス開始位置であり、AD12aから AD12
b−1までが第1のメモリバンクに、AD12bから AD34a−
1までが第1aのメモリバンクに、AD34aからAD34b−1
までが第2aのメモリバンクに、それぞれ相当する。
【0046】第1の画像系列は各開始位置AD12a, AD12b
から上位アドレスに向かって画面サイズSZ1a,SZ1bが確
保される。また、第3の画像系列は開始位置AD34aから
上位アドレスに向かって画面サイズSZ3aが確保される。
これに対し、第2の画像系列は、各開始位置AD12b−1,
AD34a−1から下位アドレスに向かって、画面サイズSZ
2a,SZ2bが確保される。また、第4の画像系列は、開始
位置AD34b−1から下位アドレスに向かって、画面サイ
ズSZ4aが確保される。
【0047】なお、これら第2の画像系列および第4の
画像系列は、実際には、画面サイズSZ2a,SZ2bおよびSZ4
aが既知であるため、予め各開始位置AD12b−1, AD34a
−1およびAD34b−1からこれら画面サイズSZ2a,SZ2bお
よびSZ4aに相当する値をそれぞれ減算したアドレスAD12
b−SZ2a, AD34a−SZ2bおよびAD34b−SZ4aを算出し、こ
れからそれぞれ上位アドレスに向かって画面サイズが確
保される。
【0048】ここで、各画像系列の画像データの格納の
仕方を、図15におけるフレームFR1, FR2, ..., FR8を
復号する場合を例にとって説明する。これらのフレーム
FR1, FR2, ..., FR8は、1つのオブジェクトに相当する
1つの画像系列(第1の画像系列とする)を構成するも
のとする。まず、第1の画像系列中の最初のIフレーム
であるフレームFR1を復号し、これを、画面エリアFM1a
に格納する。この画面エリアFM1aは第1aのメモリアド
レス空間のアドレス開始位置AD12a側、即ち下位アドレ
ス側に位置するものである。
【0049】次に、フレームFR2については、この画面
エリアFM1aに格納された,フレームFR1の復号画像デー
タを参照して復号を行い、復号結果を画面エリアFM1bに
格納する。この画面エリアFM1bは第1bのメモリアドレ
ス空間のアドレス開始位置AD12b側、即ち下位アドレス
側に位置するものである。そして、次に、フレームFR3
については、この第1bのメモリアドレス空間内の画面
エリアFM1bに格納された,フレームFR2の復号画像デー
タを参照して復号を行い、復号結果を第1aのメモリア
ドレス空間内の画面エリアFM1aに格納する。これは、フ
レームFR1の画像データはフレームFR3を復号化するのに
もはや必要としないため、画面エリアFM1aを上書きして
よいからである。さらに、フレームFR4については、こ
の画面エリアFM1aに格納された,フレームFR3の復号画
像データを参照して復号を行い、復号結果を画面エリア
FM1bに格納する。
【0050】以下、第1の画像系列に属するフレームFR
5ないしFR8についても同様に、互いに隣接する第1a,
第1bのメモリバンクの下位アドレス側に、それぞれ1
つずつ割り当てた2つの画面エリアFM1a,FM1bを交互に
使用して復号を行う。なお、IフレームやPフレームは
PフレームやBフレームを復号化するために参照される
が、Bフレームは他のBフレームやPフレームを復号化
するために参照されることはないため、Bフレームがメ
モリに格納されることはない。このため、仮にフレーム
FR2とフレームFR3の間にBフレームが存在したとすれ
ば、そのBフレームは画面エリアFM1bに格納されたフレ
ームFR2と、画面エリアFM1aに格納されたフレームFR3を
参照して復号化を行う。
【0051】また、第2,第3の画像系列に属するフレ
ームについても、それぞれの復号を同様に行う。即ち、
第2の画像系列に属するフレームについては、互いに隣
接する第1a,第1bのメモリバンクの上位アドレス側
に、それぞれ1つずつ割り当てた2つの画面エリアFM2
a,FM2bを交互に使用して、また、第3の画像系列に属す
るフレームについては、互いに隣接する第2a,第2b
のメモリバンクの下位アドレス側に、それぞれ1つずつ
割り当てた2つの画面エリアFM3a,FM3b(FM3bは図2に
おけるFM4aの右側に隣接するが図示していない)を交互
に使用して、それぞれの復号を行う。
【0052】さらに、画像間予測符号化等の符号化や画
像の表示を行う場合にも、同様に、メモリ内の相互に隣
接する2つの画面エリアを交互に使用して、符号化や画
像表示を行う。このメモリ管理方法の特徴は、 ・異なる画像系列の画面を同じメモリバンク内に記録す
ること ・同じメモリバンク内で、一方の画像系列の画面は下位
アドレス側に記録し、他方の画像系列の画面は上位アド
レス側に記録することの2点である。従って、上述の復
号化の例では、第1の画像系列をFM1aとFM1bに交互に記
録し、第2の画像系列をFM2aとFM2bに交互に記録するよ
うにしたが、上述の2点を満足すれば、これはメモリバ
ンク内の任意の画面エリアを使用することができ、例え
ば第1の画像系列をFM1aとFM2bに交互に記録し、第2の
画像系列をFM2a とFM1bに交互に記録するようにしても
よい。
【0053】既述したように、MPEG4では全画像系列の
画面の大きさの和の上限が決まっていることから、MPEG
4の符号化規則に準拠して符号化された,複数の画像系
列に属する画面の大きさの和の変動は、各画面単独の画
面の大きさの変動よりも少ない。図2の例では、第1の
画像系列と第2の画像系列の画面の大きさの和がメモリ
バンクの大きさを超えない限り、記録された画面が上書
きによって破損することは無い。従って、図3(a)のよ
うに、バンク内で画面エリアFM1aが大きなエリアを占め
たり、画面エリアFM2bが大きなエリアを占めたとして
も、他方の画像系列の画面の大きさが小さければ、記録
画面は破損しない。確保されたメモリ領域は、不要にな
った時点(符号化・復号化では予測符号化による参照が
完了した時点、画像表示では表示機器への出力が完了し
た時点)で開放され、次の画面を記録する領域として再
利用される。
【0054】しかしながら、メモリバンクが十分な大き
さが確保できていない場合は、画像系列全体の画面サイ
ズの和が上限値未満であっても、その中の2つの画像系
列の和が図3(b)のように大きくなることがある。図3
(b)の例では画面エリアFM1aとFM2aのメモリ領域の一部
が重複しているために、いずれか一方の画面データが破
損することは避けられない。この場合には、破損した画
面を検出し、復号化および表示の段階で、後述する適切
な画像修整を行うことにより画質劣化を少なくすること
が可能となる。
【0055】このように、本実施の形態1による,複数
の画像系列に対応したメモリ管理方法によれば、各メモ
リバンク内の下位アドレス側及び上位アドレス側に、そ
れぞれ相異なる系列の物体の画像データを記録するよう
にしたので、2つの物体のデータを記録する際に、一方
の物体のデータにより他方の物体のデータを破壊する頻
度を大幅に低減でき、メモリバンクの利用効率を高め、
機器に組み込まれた場合の消費電力を低減でき、復号化
・表示に必要な画面データが消失する可能性を大幅に低
減できるメモリ管理方法を得ることができる。なお、本
発明は特に、携帯端末等の消費電力等の制約上、少容量
のメモリしか搭載できない機器において有用である。
【0056】(実施の形態2)実施の形態2は実施の形
態1によるメモリ管理方法を実現するメモリ管理装置
(メモリ・ユニット)の構成を示すものである。図4は
本発明のメモリ・ユニットのブロック図である。同図に
おいて、図20の従来のメモリ・ユニットのブロック図
と同じ動作をする機器は同じ符号を付し、説明を省略す
る。図において、M10はメモリバンクを特定するととも
に、メモリバンクの最下位アドレスまたは最上位アドレ
スAdrを通知するバンク選択器であり、メモリ領域分割
手段に相当する。M12はバンク選択器M10より通知され
るメモリバンクの最上位アドレスまたは最下位アドレス
Adrと画面の大きさObjSZとの間で減算を行う減算器、M1
3はバンク選択器M10とアドレス生成器M14の間に設け
られ、バンク選択器M10の出力LHselに基づいて、メモ
リバンク出力であるアドレスAdrまたは減算器M12の出
力のいずれか一方を選択するスイッチである。M14はア
ドレス生成器であり、アドレス生成手段に相当する。ま
た、M15は画面データの重要度Priおよび系列番号ObjID
に基づいてアドレス管理を行うアドレス管理器であり、
これは、記録監視手段、破壊通知手段およびデータ保護
手段に相当する。M16はアドレス生成器M14とメモリM1
7の間に設けられ、アドレス管理器M15の出力NoObjに
基づいてオンあるいはオフ状態になるスイッチである。
M1はこれらバンク選択器M10,減算器M12,スイッチM1
3,アドレス生成器M14,アドレス管理器M15およびス
イッチM16からなるメモリ管理装置、M17はメモリ管理
装置M1により管理されるメモリ、FMはこれらメモリ管理
装置M1およびメモリM17からなるメモリ・ユニット(以
下、単にメモリと称す)である。
【0057】次に動作について説明する。最初に記録時
の動作を説明する。メモリ領域分割手段としてのバンク
選択器M10は分割されたメモリバンクから画像の系列番
号ObjIDに対応するメモリバンクを特定する。これは、
メモリM17のアドレス空間全体をADstart[i]からADend
[i] (i は1≦i≦nを満たす整数)までの番地に該当す
るメモリアドレス空間に分割することで行う。各メモリ
バンクには2つのObjID(即ち、2つの画像系列の画面)
を記録する。その際、バンク選択器M10は、メモリバン
クの下位アドレス側に記録すべき画面の場合はメモリバ
ンクの最下位アドレスをAdrとして通知し、メモリバン
クの上位アドレス側に記録される場合はメモリバンクの
最上位アドレスをAdrとして通知する。また、バンク選
択器M10は、メモリバンク内の上位アドレス側と下位ア
ドレス側のどちらの側に画面が記録されるかを選択信号
LHselで指示する。なお、本発明の実施の形態2による
メモリ管理装置は、参照画像格納用メモリと、復号化画
像格納用メモリとをそれぞれ分けて説明しているため、
メモリ領域分割手段としてのバンク選択機M10は、メモ
リM17のアドレス空間全体をADstart[i]からADend[i]
(i は1≦i≦nを満たす整数)までの番地に該当するn
個のメモリアドレス空間に分割するとしているが、参照
画像格納用メモリと、復号化画像格納用メモリの何れか
に着目したメモリの管理方法を考えた場合には、メモリ
管理装置が有するメモリ領域分割手段としてのバンク選
択機M10は、メモリM17のアドレス空間全体をADstart
[i]からADend[i] (i は1≦i≦n/2を満たす整数)
までの番地に該当するn/2個のメモリアドレス空間に
分割することとなる。
【0058】バンク選択器M10のメモリエリアの選択
は、同じ画像系列番号ObjIDで過去に使用され現在は開
放されたメモリエリアを選ぶように動作する。このた
め、画面の記録位置がメモリバンク内の下位アドレス側
の場合はスイッチM13でメモリバンクの最下位アドレス
がアドレス生成器M14に入力され、一方、画面の記録位
置がメモリバンク内の上位アドレス側の場合はメモリバ
ンク内の最上位アドレスから画面の大きさObjSZを減算
した値をスイッチM13で選択してアドレス生成器M14に入
力する。アドレス生成手段としてのアドレス生成器M14
はスイッチM13で選択したアドレス位置から大きさObjSZ
の範囲のメモリ位置を指定し、メモリM17に外部から入
力される画面データADstart[i]から上位メモリアドレス
に向けて第iの画像系列の画像を記録するためのエリア
として使用するとともに、ADend[i]から下位メモリアド
レスに向けて第(i+1)の画像系列の画像を記録する
ためのエリアとして使用する。
【0059】記録監視手段としてのアドレス管理器M15
は、第iの画像系列の画像と第(i+1)の画像系列の
画像を同じアドレス空間に記録することによって一方が
他方を破壊するか否かを監視する。これは、アドレス生
成器M14で出力されるアドレスを監視し、異なる画像系
列番号ObjIDの画面が同じアドレス位置に書き込まれる
か否かを検査することで実行する。異なる画像系列番号
ObjIDの画面を同じアドレス位置に書き込もうとした場
合は、書き込もうとする画面データの重要度Priと既に
書き込まれた画面データの重要度Priを判定する。そし
て、データ保護手段としてのアドレス管理器M15は、書
き込もうとする画面データの重要度Priが既に書き込ま
れた画面データの重要度Priより高ければ、スイッチM16
をON にしてメモリM17への書き込みを実行する。また、
書き込もうとする画面データの重要度Priが既に書き込
まれた画面データの重要度Priより低ければ、スイッチM
16をOFFにしてメモリM17への書き込みを中断する。
【0060】画面データの重要度Priはコンテンツの作
成者により予め与えられるもので、例えば背景等には低
い重要度が、画面内の物体の画像には高い重要度が与え
られる。これにより、重要度の高いデータはメモリM17
に書き込まれて保護される反面、重要度の低いデータは
メモリM17に書き込まれずに破壊されるため、完全な復
号化動作・表示動作は中断せざるを得なくなるが、破壊
されたデータは重要度が低いために、これを参照するこ
となく復号化動作・表示動作を行うことにより、例えば
画像の鮮明度が若干低下する程度の,実用上支障をきた
さない程度の画質劣化を生じるのみで復号化・表示が可
能となる。なお、異なる画像系列番号ObjIDの画面が同
じアドレス位置に書き込まれる場合に、重要度Priが同
じであった場合や重要度Priが外部から与えられない場
合の動作については、予めスイッチM16をOFFにするか、
ONにするかを一意に決定しておく。
【0061】次に、読み出し時の動作について説明す
る。アドレス管理器M15は記録時に監視したアドレス生
成器M14の出力から、画像系列番号ObjIDに対応するメモ
リアドレスの開始終了位置を位置信号StartEndでアドレ
ス生成器M14に指示する。アドレス生成器M14は位置信号
StartEndに従ってメモリM17にメモリアドレスを指示
し、メモリM17から所望の画面データをFMoutとして出力
する。なお、破壊通知手段としてのアドレス管理器M15
は、記録時に監視したアドレス生成器M14の出力から、
読み出すべき画像系列番号ObjID に相当する画面データ
が他の画像系列のデータで破壊されたか否かを記憶して
いる。従って、画像系列番号ObjIDで指示された画面デ
ータが破壊している場合は、NoObjで外部に破壊された
画像データである旨を通知する。これにより、アクセス
した画像系列の画像が破壊されているか否かをメモリか
ら画像データを読み出す際に通知することができる。
【0062】また、アドレス管理器M15が、同じ画像系
列番号ObjIDで破壊されていない最も新しい時刻の画面
データのアドレスを保持する機能を備えていれば、Star
tEndとして破壊されていない最も新しい時刻の画面デー
タのアドレスを指示し、且つスイッチM16をOnにするこ
とで、代替画面として好ましい,時間的に近い同じ画像
系列の画面をメモリM17から読み出すことができる。代
替画面を出力している旨もNoObjで通知が可能である。
【0063】以上のような構成により、実施の形態1の
メモリ管理方法をハードウエアとして実現することがで
き、2つの物体のデータを記録する際に、いずれか一方
の物体のデータにより他方の物体のデータを上書きして
これを破壊する頻度を大幅に低減でき、メモリバンクの
利用効率を高め、機器に組み込まれた場合の消費電力を
低減でき、符号化・復号化・表示に必要な画面データが
消失する可能性を大幅に低減できるとともに、2つの相
異なる画像系列の画像を同じメモリアドレス空間に記録
する際に、いずれか一方の画像系列の画像データが他方
を破壊するか否かを監視でき、破壊が生じた場合はその
旨を外部に通知できるとともに、破壊をする場合は重要
度の低いデータを破壊し重要度の高いデータはこれを保
護できるメモリ管理装置を得ることができる。
【0064】また、この図4のメモリ管理装置は、図1
7の画像符号化装置、図18の画像復号化装置、図19
の画像表示装置におけるメモリFMとそのまま置換するこ
とで、画像の符号化、復号化、表示を行うにあたって2
つの物体のデータをメモリに記録する際に、一方の物体
のデータにより他方の物体のデータを破壊する頻度を大
幅に低減でき、メモリバンクの利用効率を高め、従来の
メモリ・ユニットを使用するよりもメモリ量を節約でき
るとともに、機器に組み込まれた場合の消費電力を低減
でき、符号化・復号化・表示に必要な画面データが消失
する可能性を大幅に低減できるとともに、2つの相異な
る画像系列の画像を同じメモリアドレス空間に記録する
際に、一方が他方を破壊するか否かを監視でき、破壊が
生じた場合はその旨を外部に通知できるとともに、破壊
をする場合は重要度の低いデータを破壊し重要度の高い
データについてはこれを保護できる画像符号化装置、画
像復号化装置、画像表示装置を構成することができる。
なお、本発明は特に、携帯端末等の消費電力等の制約
上、少容量のメモリしか搭載できない機器において有用
である。
【0065】(実施の形態3)実施の形態3は、実施の
形態2によるメモリ管理装置のメモリへの記録をソフト
ウエアにより実現した場合の実行手順を示すものであ
る。図5は、本発明のメモリ・ユニットの記録手順をソ
フトウェアで実現する場合のフローチャートである。こ
の図5は、図2の如きメモリアドレスの分割例におい
て、画像系列1の画面Obj1と画像系列2の画面Obj2を同じ
メモリバンクに記録する際に、画面Obj1を記録する手順
を示している。まず、Obj1を記録するために必要なメモ
リの範囲FM1aを計算する(ステップW1)。次にFM1aのア
ドレスがObj2で使用されているメモリエリアと重複する
かどうかを検査する(ステップW2)。重複していれば、
Obj1とObj2の重要度Priを比較し(ステップW3)、Obj1
の重要度PriがObj2の重要度Priより低ければ何も書き込
まないで終了し、そうでなければ、Obj2が記録されてい
るFM2aのメモリを開放してObj1のメモリエリアとして確
保する(ステップW4)。最後にFM1aのメモリエリアに画
面データを記録し(ステップW5)、終了する。
【0066】以上の様にして、実施の形態2で説明した
メモリ・ユニットの記録手順をソフトウェアで実現で
き、2つの物体のデータを記録する際に、一方の物体の
データにより他方の物体のデータを破壊する頻度を大幅
に低減でき、メモリバンクの利用効率を高め、機器に組
み込まれた場合の消費電力を低減でき、符号化・復号化
・表示に必要な画面データが消失する可能性を大幅に低
減できるメモリ管理方法を得ることができる。
【0067】(実施の形態4)実施の形態4は、実施の
形態2によるメモリ管理装置の読み出し手順をソフトウ
エアにより実現した場合の実行手順を示すものである。
図6は、本発明のメモリ・ユニットの読み出し手順をソ
フトウェアで実現する場合のフローチャートである。こ
の図6は、図2のメモリアドレスの分割例において、画
像系列1の画面Obj1と画像系列2の画面Obj2が同じメモ
リバンクに記録されており、本来読み出すべき画面はFM
1aに記録されているものとする。
【0068】まず、最新のObj1が記録されているメモリ
エリアをFM1aもしくはFM1bから選択し、これを書込範囲
FM1とする(ステップR1)。次にFM1がFM1aであるかどう
かを判定する(ステップR2)。ここで、本来はFM1aが選
択されるべきであるが、FM1aが破壊されている場合は、
代わりにFM1bが選択されることになる。FM1がFM1aなら
ば、FM1aは破壊されていないので、NoObjを“0”とし
て、FM1aが正しく読み出せる旨を外部に通知し(ステッ
プR3)、そうでなければFM1がFM1bであるか否かを判定
し(ステップR4)、FM1がFM1bであれば、NoObjを“1”
として、FM1aが破壊されて替りにFM1bが出力されている
旨を外部に通知する(ステップR5)。一方、FM1がFM1a
でもFM1bでも無い場合は、当該画像系列が全て破壊され
ている旨を、NoObjを“2”として外部に通知する(ステ
ップR6)。最後に、FM1を読み出した画面FMoutとして出
力する(ステップR7)。FM1は破壊されていない最新の
画面であるから、NoObj=1であっても、本来の画面の代
替として表示に使用しても画質劣化が比較的少ない画面
が出力されることになる。なお、NoObjの値は一例にす
ぎないものであり、他の値を使用したり、あるいはそれ
と同じ意味を持つ複数の信号(例えば、FM1がFM1aと同
じか否かと、FM1がFMoutに出力されているか否かの判定
結果)を使用しても良い。
【0069】以上の様にして、実施の形態2で説明した
メモリ・ユニットの読み出し手順をソフトウェアで実現
でき、2つの物体のデータを記録する際に、一方の物体
のデータにより他方の物体のデータを破壊する頻度を大
幅に低減でき、メモリバンクの利用効率を高め、機器に
組み込まれた場合の消費電力を低減でき、符号化・復号
化・表示に必要な画面データが消失する可能性を大幅に
低減し得るメモリ管理方法,に対応する読み出し方法を
実現することが可能となり、読み出されたデータが破壊
されたものか否かの情報も併せて出力することができる
効果がある。また、この図6のメモリ管理方法(読み出
し手順)は、図5のメモリ管理方法(書き込み手順)と
組み合わせたうえで、図17の画像符号化装置、図18
の画像復号化装置、図19の画像表示装置におけるメモ
リFMにそのまま適用することで、従来のメモリ・ユニッ
トを使用するよりも節約したメモリ量で画像符号化、画
像復号化、画像表示化を行うことが可能な画像符号化方
法、画像復号化方法、画像表示方法を実現することがで
きる。
【0070】(実施の形態5)実施の形態5は実施の形
態2によるメモリ管理装置(メモリ・ユニット)の構成
の簡単化を図った例を示すものである。図7は本発明の
メモリ・ユニットのブロック図である。同図と図4のメ
モリ・ユニットのブロック図との違いは、メモリM17か
ら読み出したデータが破壊されていることを通知するNo
Obj、およびスイッチM16が本実施の形態では省略されて
いることである。メモリ・ユニットの内部のメモリM17
が十分大きく、メモリバンク内でメモリエリアが破壊さ
れないことが保証されている場合は、NoObjが常に0であ
るためこれを出力する必要は無い。そこで、この様な状
況ではNoObjを省略した本メモリ・ユニットでも十分で
ある。
【0071】以上のような構成により、実施の形態1の
メモリ管理方法をハードウエアとして実現することがで
き、2つの物体のデータを記録する際に、一方の物体の
データにより他方の物体のデータを破壊する頻度を大幅
に低減でき、メモリバンクの利用効率を高め、機器に組
み込まれた場合の消費電力を低減でき、符号化・復号化
・表示に必要な画面データが消失する可能性を大幅に低
減できるとともに、2つの相異なる画像系列の画像を同
じメモリアドレス空間に記録する際に、一方が他方を破
壊するか否かを監視でき、破壊が行われる場合は重要度
の低いデータを破壊し重要度の高いデータはこれを保護
できる,実施の形態2よりも構成簡単なメモリ管理装置
を得ることができる。
【0072】また、この図7のメモリ管理装置は、図1
7の画像符号化装置、図18の画像復号化装置、図19
の画像表示装置におけるメモリFMとそのまま置換するこ
とで、画像の符号化、復号化、画像の表示を行うにあた
って2つの物体のデータをメモリに記録する際に、一方
の物体のデータにより他方の物体のデータを破壊する頻
度を大幅に低減でき、メモリバンクの利用効率を高め、
従来のメモリ・ユニットを使用するよりもメモリ量を節
約できるとともに、機器に組み込まれた場合の消費電力
を低減でき、符号化・復号化・表示に必要な画面データ
が消失する可能性を大幅に低減できるとともに、2つの
相異なる画像系列の画像を同じメモリアドレス空間に記
録する際に、一方が他方を破壊するか否かを監視でき、
破壊が行なわれる場合は重要度の低いデータを破壊し重
要度の高いデータはこれを保護できる画像符号化装置、
復号化装置、画像表示装置を構成することができる。
【0073】(実施の形態6)実施の形態6は実施の形
態5によるメモリ管理装置(メモリ・ユニット)を使用
した画像復号化装置の構成を示すものである。図8は本
発明の画像復号化装置のブロック図である。同図におい
て、図18の画像復号化装置のブロック図と同じ構成の
機器は同じ番号を付し、説明を省略する。同図における
メモリ・ユニットFMは図7のメモリ・ユニットと同じも
のである。メモリ・ユニットFMにあらかじめ外部で設定
した,画像系列の重要度Priを入力し、これをメモリ・
ユニットFMへのデータの書き込みの際に参照する。即
ち、異なる画像系列番号ObjIDの画面をメモリの同じア
ドレス位置に書き込もうとした場合は、書き込もうとす
る画面データの重要度Priと既に書き込まれた画面デー
タの重要度Priを判定し、書き込もうとする画面データ
の重要度Priが既に書き込まれた画面データの重要度Pri
より高ければメモリへの書き込みを実行する。また、書
き込もうとする画面データの重要度Priが既に書き込ま
れた画面データの重要度Priより低ければメモリへの書
き込みを中断する。これにより、重要な画像系列が破壊
されることを防ぎ、重要な画像系列を正しく復号化する
ことが可能となる。この画像復号装置では、重要度Pri
が低い画像系列は破壊される可能性が高くなり、破壊さ
れた画像を復号することで画質劣化が生じうるが、重要
でない画像系列の多少の画質劣化は十分許容できる。
【0074】以上のような構成により、画像の復号化の
表示を行うにあたって2つの物体のデータをメモリに記
録する際に、一方の物体のデータにより他方の物体のデ
ータを破壊する頻度を大幅に低減でき、メモリバンクの
利用効率を高め、従来のメモリ・ユニットを使用するよ
りもメモリ量を節約できるとともに、機器に組み込まれ
た場合の消費電力を低減でき、復号化に必要な画面デー
タが消失する可能性を大幅に低減できるとともに、2つ
の相異なる画像系列の画像を同じメモリアドレス空間に
記録する際に、一方が他方を破壊するか否かを監視で
き、破壊をする場合は重要度の低いデータを破壊し重要
度の高いデータはこれを保護できる画像復号化装置を構
成することができる。なお、重要度Priが低い画像系列
が破壊された場合は、一旦その復号化を中止し、それ以
前に復号化された画像を出力し続け、次にIフレームが
現れた時点で復号を再開してもよい。また、本発明の実
施の形態6の画像復号化装置は重要度Priを利用できるメ
モリ・ユニットであれば、図8に示すもの以外を使用す
ることも可能である。
【0075】(実施の形態7)実施の形態7は実施の形
態2によるメモリ管理装置(メモリ・ユニット)の構成
の簡単化を図ったものを示すものである。図9は本発明
のメモリ・ユニットのブロック図である。同図と図4の
メモリ・ユニットのブロック図との違いは、外部からの
重要度Priの入力、が省略されていることである。画像
系列に予め重要度が付与されていない場合は、重要度の
情報を利用することができない。そこで、この様な状況
では重要度Priを省略したメモリ・ユニットでも十分で
ある。
【0076】この図9のメモリ・ユニットを利用した画
像復号化装置のブロック図を図10に示す。同図におい
て、図17の画像復号化装置のブロック図と同じ構成の
機器は同じ番号を付し、説明を省略する。同図における
メモリ・ユニットFMは図9のメモリ・ユニットを使用す
る。メモリ・ユニットFMから通知されるNoObjが、参照
すべき画面が破壊されていることを通知した場合は、ス
イッチU10をOffにして当該画面の復号化を中止する。即
ち、参照画像が破壊されていれば、参照画像に基づいて
必要な復号化を正しく行うことは不可能なため、スイッ
チU10をOffにすることで当該画面のVbinの入力を停止
し、VLD器U11、逆量子化器U6、IDCT器U7、加算器U8、MC
器U12の動作を停止させて計算量および消費電力の低減
を達成できる。
【0077】以上のような構成により、実施の形態1の
メモリ管理方法をハードウエアとして実現することがで
き、2つの物体のデータを記録する際に、一方の物体の
データにより他方の物体のデータを破壊する頻度を大幅
に低減でき、メモリバンクの利用効率を高め、機器に組
み込まれた場合の消費電力を低減でき、符号化・復号化
・表示に必要な画面データが消失する可能性を大幅に低
減できるとともに、2つの相異なる画像系列の画像を同
じメモリアドレス空間に記録する際に、一方が他方を破
壊するか否かを監視でき、破壊が生じた場合はその旨を
外部に通知できる,実施の形態2よりも構成簡単なメモ
リ管理装置を得ることができる。
【0078】また、この図9のメモリ管理装置は、図1
7の画像符号化装置、図18の画像復号化装置、図19
の画像表示装置におけるメモリFMとそのまま置換するこ
とで、画像の符号化、復号化、画像の表示を行うにあた
って2つの物体のデータをメモリに記録する際に、一方
の物体のデータにより他方の物体のデータを破壊する頻
度を大幅に低減でき、メモリバンクの利用効率を高め、
従来のメモリ・ユニットを使用するよりもメモリ量を節
約できるとともに、機器に組み込まれた場合の消費電力
を低減でき、符号化・復号化・表示に必要な画面データ
が消失する可能性を大幅に低減できるとともに、2つの
相異なる画像系列の画像を同じメモリアドレス空間に記
録する際に、一方が他方を破壊するか否かを監視でき、
破壊が生じた場合はその旨を外部に通知できる,より簡
単なメモリ管理装置を有した画像符号化装置、画像復号
化装置、画像表示装置を構成することができる。なお、
実施の形態7の画像復号化装置もNoObjを出力するメモリ
・ユニットであれば、図9に示すもの以外を使用するこ
とも可能である。
【0079】(実施の形態8)実施の形態8は実施の形
態7によるメモリ管理装置(メモリ・ユニット)を使用
した画像表示装置の構成を示すものである。図11は本
発明の画像表示装置のブロック図である。同図におい
て、図19の画像表示装置のブロック図と同じ構成の機
器は同じ番号を付している。FMは画像系列の表示で必
要なメモリ内の画像データが破壊されたか否かを通知可
能なメモリ手段としてのメモリ・ユニットである。U20
は当該画像系列の画像データが破壊されていない場合そ
のまま当該画像を表示するように指令し、当該画像系列
の画像データが破壊されている場合は当該画像系列の破
壊されていない最新時刻の画像データを代わりに表示す
るように指令するオブジェクト選択手段としてのオブジ
ェクト選択器である。U25は前記オブジェクト選択手段
で選択した画像データを表示する表示手段としての表示
機器である。
【0080】同図におけるメモリ・ユニットFMは図9の
メモリ・ユニットを使用する。メモリ・ユニットFMから
出力されるNoObjの値によってスイッチU22を切り換え
る。メモリエリアが破壊されておらず、NoObjの値がス
イッチU22をONにする場合、本画像表示装置は図19の
従来のものと同様に動作する。即ち、オブジェクト選択
器U20はユーザから指示された,表示すべき画像系列情
報ObjSelに従って、表示する画像系列の番号を逐次ObjI
Dとしてメモリ・ユニットFMに指令する。メモリ・ユニ
ットFMがこの指令に応じて出力する画像出力FMoutは合
成器U23に入力され、メモリ・ユニットFMから出力され
る他の画像系列と合成され表示されるか、もしくはスイ
ッチU21で選択される既定の背景画面BGと合成表示が行
われて、スイッチU24に出力される。表示する全ての画
像系列をメモリ・ユニットFMから読み出した時点で、オ
ブジェクト選択器U20は完了信号ObjEndで表示すべき画
像系列の読み出しが完了したことをスイッチU24に通知
し、これにより、スイッチU24は表示のための同期信号D
isplayに合わせたタイミングで表示機器U25に合成画像
を出力する。これに対し、NoObjが当該画面をFMoutとし
て出力できない場合、即ち、メモリエリアが破壊されて
おり、同じ画像系列の画面を表示できない場合は、合成
器U23で合成するとデタラメな画面を合成することにな
るためにNoObjの値がスイッチU22をOffにする。
【0081】一方、NoObjが何らかの画面をFMoutに出力
することを通知する場合、即ち、画面が破壊されていな
いか、同じ画像系列の他の画面(破壊されていない)を
読み出す場合は、上述のように、スイッチU22をONにし
て画像を合成することで、破壊されていない場合は正し
い合成画像を、同じ画像系列の他の画面を読み出す場合
は不自然さの少ない合成画像を、それぞれ得ることがで
きる。この場合、アドレス管理器が同じ画像系列番号で
破壊されていない最も新しい時刻の画面データのアドレ
スを保持する機能を有するものとすることにより、当該
画像系列の破壊されていない最新時刻の画像データを表
示でき、より不自然さの少ない合成画像を得ることがで
きる。
【0082】以上のような構成により、画像の表示を行
うにあたって2つの物体のデータをメモリに記録する際
に、一方の物体のデータにより他方の物体のデータを破
壊する頻度を大幅に低減でき、メモリバンクの利用効率
を高め、従来のメモリ・ユニットを使用するよりもメモ
リ量を節約できるとともに、機器に組み込まれた場合の
消費電力を低減でき、表示に必要な画面データが消失す
る可能性を大幅に低減できるとともに、2つの相異なる
画像系列の画像を同じメモリアドレス空間に記録する際
に、一方が他方を破壊するか否かを監視でき、破壊が生
じた場合はその旨を外部に通知できる,より簡単なメモ
リ管理装置を有した画像表示装置を構成することができ
る。なお、実施の形態8の画像表示装置もNoObjを出力す
るメモリ・ユニットであれば、図11に示すもの以外を
使用することも可能である。
【0083】(実施の形態9)実施の形態9は実施の形
態2によるメモリ管理装置(メモリ・ユニット)の構成
のさらなる簡単化を図ったものを示すものである。図1
2は本発明のメモリ・ユニットのブロック図である。同
図と図4のメモリ・ユニットのブロック図との違いは、
外部からの重要度Priの入力、が省略され、かつメモリM
17から読み出したデータが破壊されていることを通知す
るNoObj、およびスイッチM16が本実施の形態では省略さ
れていることである。
【0084】以上のような構成により、実施の形態1の
メモリ管理方法をハードウエアとして実現することがで
き、2つの物体のデータを記録する際に、一方の物体の
データにより他方の物体のデータを破壊する頻度を大幅
に低減でき、メモリバンクの利用効率を高め、機器に組
み込まれた場合の消費電力を低減でき、符号化・復号化
・表示に必要な画面データが消失する可能性を大幅に低
減できるとともに、実施の形態5,7よりもさらに構成
簡単なメモリ管理装置を得ることができる。
【0085】また、この図12のメモリ管理装置は、図
17の画像符号化装置、図18の画像復号化装置、図1
9の画像表示装置におけるメモリFMとそのまま置換する
ことで、画像の符号化、復号化、画像の表示を行うにあ
たって2つの物体のデータをメモリに記録する際に、一
方の物体のデータにより他方の物体のデータを破壊する
頻度を大幅に低減でき、メモリバンクの利用効率を高
め、従来のメモリ・ユニットを使用するよりもメモリ量
を節約できるとともに、機器に組み込まれた場合の消費
電力を低減でき、符号化・復号化・表示に必要な画面デ
ータが消失する可能性を大幅に低減できるとともに、さ
らに構成簡単なメモリ管理装置を有した画像符号化装
置、画像復号化装置、画像表示装置を構成することがで
きる。
【0086】(実施の形態10)実施の形態10は、実
施の形態6と実施の形態7の構成を併せ持つものであ
る。図13は本発明の実施の形態10による画像復号化
装置のブロック図である。同図において、図10の画像
復号化装置のブロック図と同じ構成の機器は同じ符号を
付し、説明を省略する。同図におけるメモリ・ユニット
FMは図4のメモリ・ユニットを使用する。従って、重要
度PriとNoObjの両方を備えるため、図8および図10の
各画像復号化装置の利点を合わせ持っている。なお、本
実施の形態10の画像復号化装置は、重要度PriとNoObj
を扱えるメモリ・ユニットであれば、図13に示すもの
以外を使用することも可能である。
【0087】(実施の形態11)以下に、本発明の実施
の形態11によるデータ管理装置について図21から図
25を用いて説明する。なお、前述した実施の形態1か
ら10では、復号化画像格納用メモリと参照画像格納用
メモリとを図2のFM1a、FM1b等に示すようにそれぞ
れ分けて説明していたが、復号化画像格納用メモリの利
用法と参照画像格納用メモリの利用法は、全く同様であ
るため、以後の説明では、復号化画像格納用メモリと参
照画像格納用メモリとを分けずに、単に画像格納用メモ
リの管理方法として説明することにする。MPEG1やMPEG
2では、画像系列の途中で画像データ(以下、オブジェ
クトと称する)の大きさが変化することは無いが、MPEG
4では、画像系列の途中でオブジェクトの大きさが変化
することが許容されている。そのため、本発明の実施の
形態11では、画像格納用メモリ内に格納するデータ
が、大きさが変化しないオブジェクトデータのみである
場合(以下、シンプル・プロファイルと称する。)と、
大きさが変化するオブジェクトデータを少なくとも一つ
含んでいる場合(以下、コア・プロファイルと称す
る。)とで画像格納用メモリのメモリ管理方法を変更し
て、メモリの管理を行うものについて説明する。
【0088】図21は、シンプル・プロファイル時のメ
モリ管理方法(以下、シンプル・プロファイル・モード
と称する。)の一例を示す図であり、図22は、コア・
プロファイル時のメモリ管理方法(以下、コア・プロフ
ァイル・モードと称する。)の一例を示す図である。な
お、本発明の実施の形態11では、画像を構成する画像
系列の数が最高で4つである場合についての説明を行な
う。図21、図22に示すように、画像を構成する画像
系列の数が最高で4つである場合は、メモリアドレス空
間の確保は、画像系列数に応じて、メモリ最下位位置、
メモリ最上位位置、メモリ中央位置(図21、図22に
おいて、上端がメモリアドレスの最下位位置に相当す
る。)の順番に確保するものとし、確保されたメモリ空
間に各画像系列のオブジェクトデータを格納する。即
ち、シンプル・プロファイル・モードにおけるメモリ空
間の確保は、図21に示すように、オブジェクト数が1
つの場合には、メモリ最下位位置(図21(a))に、
オブジェクト数が2つの場合には、メモリ最下位位置
と、最上位位置(図21(b))に、それぞれメモリ空
間を確保する。また、オブジェクト数が3つの場合に
は、メモリ最下位位置と、最上位位置、及びメモリ端位
置であるメモリ最下位位置に格納したオブジェクトデー
タと隣接した位置(図21(c))にメモリ空間を確保
し、オブジェクト数が4つの場合には、さらに、もう一
方のメモリ端位置であるメモリ最上位位置に格納したオ
ブジェクトデータと隣接した位置(図21(d))にメ
モリ空間を確保する。
【0089】このようなメモリ管理を行うことにより、
大きさの変わらないオブジェクトのみを扱う場合のメモ
リ領域の利用効率を高めることができ、復号化に必要な
メモリ不足により復号化不能となる可能性を大幅に低減
することができる。また、コア・ファイル・モードにお
けるメモリ空間の確保は、図22に示すように、オブジ
ェクト数が1つの場合には、メモリ最下位位置(図22
(a))に、オブジェクト数が2つの場合には、メモリ
最下位位置と、最上位位置(図22(b))に、それぞ
れメモリ空間を確保する。また、オブジェクト数が3つ
の場合には、メモリ最下位位置と、最上位位置、及び画
像メモリを2分割したメモリ中央位置からメモリ最下位
方向にメモリ空間を確保(図22(c))し、オブジェ
クト数が4つの場合には、画像メモリを2分割したメモ
リ中央位置からメモリ最下位方向、及びメモリ最上位方
向に、それぞれオブジェクトデータの一端がメモリ中央
位置において、隣接するするようにしてメモリ空間を確
保(図22(d))する。
【0090】このようなメモリ管理を行うことにより、
大きさが変化するオブジェクトが少なくとも一つでも含
まれている場合に、個々のオブジェクトの大きさが多少
変化してもメモリ領域を動的に確保することができ、復
号化に必要なメモリ不足により復号化不能となる可能性
を大幅に低減することができる。一般に、オブジェクト
の大きさが変化する場合には処理が複雑になることを考
慮して、コアプロファイルで各オブジェクトの復号化に
必要なメモリ量の総和はシンプルプロファイルで必要な
メモリ量の総和よりも小さめに設定することが多い。従
って、コアプロファイルの場合には、図21のように隙
間無くメモリを確保しなくても、図22のように2つの
オブジェクトでメモリ量の総和が一定となるようにする
ことで、実用上十分である。
【0091】なお、これらは、シンプル・プロファイル
・モード、及びコア・プロファイル・モードの理想的な
メモリ配置位置の例であり、可能な限りこの配置となる
ようにメモリ空間を確保する。また、オブジェクト消失
時点ではこの理想的な配置と異なる場合もあるが、新し
いオブジェクトのためにメモリを確保する際には、図2
1、図22に近いメモリ配置となる位置に新しいオブジ
ェクトのためのメモリを確保する。また、図21、図2
2において、Obj1、Obj2、Obj3、Obj4は、それぞれ
のオブジェクトIDを表わすものでなく、単にメモリ位
置を示すものである。即ち、オブジェクトIDとこのメ
モリ位置、Obj1、Obj2、Obj3、Obj4の番号が固定的
に対応するわけではない。また、図22において、矢印
は動的なメモリ拡張方向を示すものであり、概念的に
は、前記実施の形態1で説明したメモリ管理方法と同様
であるため、ここでは説明を省略する。
【0092】次に、本発明の実施の形態11によるメモ
リ管理方法のシンプル・プロファイル・モードからコア
・プロファイル・モードへの切替え処理について図23
を用いて説明する。図23は、本発明の実施の形態11
によるメモリ管理方法のシンプル・プロファイル・モー
ドからコア・プロファイル・モードへの切替え処理を説
明するためのフローチャートである。本発明の実施の形
態11によるメモリ管理方法は、まず、シンプル・プロ
ファイル・モードで動作するものとし、処理を行なう画
像系列にオブジェクトの大きさが変化する任意形状の画
像系列が含まれている場合には、オブジェクトの大きさ
が変化する任意形状の画像系列中に含まれた、大きさが
変化したオブジェクトである任意形状のオブジェクトを
新規に検出した時点で、シンプル・プロファイル・モー
ドからコア・プロファイル・モードへの切替え処理が行
われる。なお、処理を行なう画像系列にオブジェクトの
大きさが変化する画像系列が含まれていない場合には、
シンプル・プロファイル・モードからコア・プロファイ
ル・モードへの切替えは行われることがなく、そのまま
シンプル・プロファイル・モードによりメモリ領域の確
保を行う。図23において、任意形状のオブジェクトが
新規に入力されると、まず、図21に示すObj3位置に
データが格納されているか否かを判断(S101)し、
格納されている場合には、当該データをメモリ中央位置
に移動させる(図22(c)(d)参照)(S10
2)。
【0093】次に、図21に示すObj4位置にデータが
格納されているか否かを判断(S103)し、格納され
ている場合には、当該データをメモリ中央位置に移動さ
せる(図22(c)(d)参照)(S104)。これに
より、メモリアドレス空間の配置がコア、プロファイル
・モードの配置(図22参照)となるため、以後のオブ
ジェクトデータに対しては、コア・プロファイル・モー
ドによるメモリの確保が可能となる。一般に、ストリー
ムが予めシンプル・プロファイルであるかコア・プロフ
ァイルであるかを知ることは困難であり、またシンプル
・プロファイルの方がコア・プロファイルよりも各オブ
ジェクトの復号化に必要なメモリ量の総和が大きい。従
って、任意形状のオブジェクトが入力されるまでは、よ
り多くのメモリ量を必要とするシンプル・プロファイル
・モードで動作し、シンプル・プロファイルで必要なよ
り大きなメモリ量を確保する。また、任意形状のオブジ
ェクトが入力されることにより、シンプル・プロファイ
ル・モードからコア・プロファイル・モードへとメモリ
の利用方式を変更することにより、2つのオブジェクト
でメモリ量の和が上限の範囲内で自由に変更可能であ
り、メモリ位置の再配置を殆ど行うことなく復号化に十
分なメモリ領域を使用できる。
【0094】なお、このメモリの再配置を行う際には、
復号化処理が中断される為、この間に入力されたデータ
に対しては、十分な復号化処理能力が無ければ復号化処
理が中断する。そのため、その場合には、次のIフレー
ムデータが入力されるまで復号化処理を中断し、次のI
フレーム受信時からコア・プロファイル・モードにより
メモリアドレス空間の確保を再開してもよい。また、コ
ア・プロファイル・モードに切替え後は、シンプル・プ
ロファイル・モードに途中で切り替わらないものとし
た。これは、処理を行なう画像系列にオブジェクトの大
きさが変化する画像系列が含まれている場合には、その
後も任意形状のオブジェクトが入力される可能性が高
く、またコア・プロファイルではシンプル・プロファイ
ルほどのメモリ量を必要としないためである。更に、シ
ンプル・プロファイル・モードとコア・プロファイル・
モードを切替えると、復号化処理が中断される可能性が
高く、モード切替によって一時的に使用可能なメモリ量
が増加する利点よりも、復号化が一時的に中断する欠点
が大きい。なお、十分な復号化能力およびメモリ再配置
能力があれば、コア・プロファイル・モードからシンプ
ル・プロファイル・モードへの切替を行ってもよい
【0095】次に、本発明の実施の形態11によるメモ
リ格納方法の一つであるシンプル・プロファイル・モー
ドについて図21、及び図24から図28を用いて説明
する。なお、この本発明の実施の形態11のシンプル・
プロファイル・モードによるメモリ空間確保は、シンプ
ル・プロファイル時のメモリの利用効率を高めるととも
に、復号化処理の中断を伴うメモリの再配置処理を行な
う回数を低減するためのものであり、詳細については、
図24を用いて説明することにする。図24は、シンプ
ル・プロファイル・モードのメモリアドレス空間確保手
順の一例を説明するためのフローチャートであり、新規
に大きさが変化しない矩形形状のオブジェクトデータが
入力されることにより開始する。新規に矩形形状のオブ
ジェクトデータが入力されると、まず、Obj1位置があ
き領域で入力されたデータを格納できるかどうかを判定
し(S201)、Obj1位置があき領域で入力されたデ
ータを格納できる場合は、Obj1位置に新規入力された
データを格納する(S202)。
【0096】一方、Obj1位置があき領域でないか、或
は入力されたデータが格納できない場合は、Obj2位置
があき領域で入力されたデータを格納できるかどうかを
判定し(S203)、Obj2位置があき領域で入力され
たデータを格納できる場合は、Obj2位置に新規入力さ
れたデータを格納する(S204)。また、Obj2位置
があき領域でないか、或は入力されたデータが格納でき
ない場合は、Obj3位置があき領域で入力されたデータ
を格納できるかどうかを判定し(S205)、Obj3位
置があき領域で入力されたデータを格納できる場合は、
Obj3位置に新規入力されたデータを格納する(S20
6)。また、Obj3位置があき領域でないか、或は入力
されたデータが格納できない場合は、Obj4位置があき
領域で入力されたデータを格納できるかどうかを判定し
(S207)、Obj4位置があき領域で入力されたデー
タを格納できる場合は、Obj4位置に新規入力されたデ
ータを格納する(S208)。一方、Obj4位置があき
領域でないか、或は入力されたデータが格納できない場
合は、現在のメモリの配置では、Obj1、Obj2、Obj
3、Obj4の何れの位置にも新規に入力されたオブジェ
クトデータを格納することができないことになる。その
ため、メモリアドレス空間の再配置を行い、新規に入力
されたオブジェクトデータを格納するためのメモリアド
レス空間を確保する処理を行なう。
【0097】なお、予め確保するメモリ領域は、全ての
画像系列のオブジェクトデータを格納できるように確保
しているため、Obj1、Obj2、Obj3、Obj4の何れの位
置にも新規に入力されたデータを格納することができな
いということは、各Obj位置間のどこかに空き領域が存
在していることになる。したがって、メモリアドレス空
間の再配置は、当該空き領域を埋めるように行えばよ
い。即ち、まず、Obj1位置にデータが格納済みかどう
かを検査し(S209)、Obj1位置にデータが格納済
みでない場合は、図21に示すObj2、Obj3、Obj4位
置のデータの再配置を行った後、Obj1位置に新規入力
されたデータを格納する(S210)。なお、ステップ
S210のObj2、Obj3、Obj4位置のデータの再配置
の詳細については、後述、図25を用いて説明すること
にする。
【0098】一方、Obj1位置にデータが格納済みであ
る場合は、Obj2位置にデータが格納済みかどうかを検
査し(S211)、Obj2位置にデータが格納済みでな
い場合は、図21に示すObj3、Obj4位置のデータの再
配置を行った後、Obj2位置に新規入力されたデータを
格納する(S212)。なお、ステップS212のObj
3、Obj4位置のデータの再配置の詳細については、後
述、図26を用いて説明することにする。また、Obj2
位置にデータが格納済みである場合は、Obj3位置にデ
ータが格納済みかどうかを検査し(S213)、Obj3
位置にデータが格納済みである場合は、図21に示すOb
j3位置のデータの再配置を行った後、Obj4位置に新規
入力されたデータを格納する(S214)。なお、ステ
ップS214のObj3位置のデータの再配置の詳細につ
いては、後述、図27を用いて説明することにする。一
方、Obj3位置にデータが格納済みでない場合は、図2
1に示すObj4位置のデータの再配置を行った後、Obj3
位置に新規入力されたデータを格納する(S215)。
なお、ステップS215のObj4位置のデータの再配置
の詳細については、後述、図28を用いて説明すること
にする。
【0099】このように、まず新規オブジェクトデータ
用のメモリを確保することができるか否かを判断し、新
規オブジェクトデータ用のメモリを確保することができ
ない場合にはじめて、既存オブジェクトのメモリ空間位
置の再配置を行うことにより、復号化処理が中断される
可能性が高いメモリの再配置処理を少なくすることがで
き、メモリの利用効率を高めることができるとともに、
復号化に必要なメモリ不足により復号化不能となる可能
性を大幅に低減することができ、実用価値の高いメモリ
管理方法を実現できる。
【0100】次に、前述したステップS210によるシ
ンプル・プロファイル・モードのObj2、Obj3、Obj4
位置のデータの再配置処理について図25を用いて説明
する。図25は、シンプル・プロファイル・モードのOb
j2、Obj3、Obj4位置のデータの再配置を説明するた
めのフローチャートである。まず、Obj2位置が空き状
態であるか否かを検査し(S301)、次に、Obj4位
置が空き状態であるか否かを検査する(S302、S3
03)。この時、Obj2、Obj4位置が共に空き状態でな
い、即ち、Obj2、Obj4位置にともにデータが格納され
ている場合には、図21に示すObj4位置に格納された
データを、Obj2位置に格納されたデータに隣接する位
置に移動させる(S304)。また、Obj2位置が空き
状態であり、且つObj4位置があき状態でない場合に
は、Obj4位置に格納されているデータをObj2位置に移
動させる(S305)。次に、Obj3位置が空き状態で
あるか否かを検査し(S306、S307)、Obj3位
置が空き領域でない、即ち、Obj3位置にデータが格納
されている場合において、Obj2、及びObj4位置の何れ
かにデータが格納されている場合には、図21に示すOb
j3位置に格納されたデータを、Obj1位置に格納する新
規データに隣接する位置に移動させる(S308)。
【0101】一方、Obj3位置にデータが格納されてい
る場合において、Obj2、及びObj4位置の何れにもデー
タが格納されていない場合には、Obj3位置に格納され
ているデータをObj2位置に移動させる(S309)。
なお、デコーダで処理可能なメモリ量以上のデータが入
力された場合には、このステップS308において、Ob
j3位置に格納されたデータを、Obj1位置に格納する新
規データに隣接する位置に移動させると、Obj2位置、
或はObj4位置に格納されたデータと重複することとな
るので、このような場合には、Obj3位置に格納された
データの移動は行わない。
【0102】次に、Obj1位置に新規入力されたデータ
を格納できるか否かを検査し(S310)、Obj1位置
に新規入力されたデータを格納できる場合は、Obj1位
置に新規入力されたデータを格納する(S311)。一
方、Obj1位置に新規入力されたデータを格納できない
場合は、デコーダで処理可能なメモリ量以上のデータが
入力されたと判断して、復号不能処理を行なう(S31
2)。なお、この復号不能処理は、新規入力されたデー
タのオブジェクトに対して、次の、Iフレームデータが
入力されるまで復号処理を中断し、次のIフレーム受信
時から改めてメモリアドレス空間の確保を行う処理であ
る。
【0103】次に、前述したステップS212によるシ
ンプル・プロファイル・モードのObj3、Obj4位置のデ
ータの再配置処理について図26を用いて説明する。図
26は、シンプル・プロファイル・モードのObj3、Obj
4位置のデータの再配置を説明するためのフローチャー
トである。まず、Obj3位置が空き状態であるか否かを
検査し(S401)、Obj3位置が空き領域でない、即
ち、Obj3位置にデータが格納されている場合には、図
21に示すようにObj3位置に格納されたデータを、Obj
1位置に格納する新規データに隣接する位置に移動させ
る(S402)。次に、Obj4位置が空き状態であるか
否かを検査し(S403)、Obj4位置が空き領域でな
い、即ち、Obj4位置にデータが格納されている場合に
は、図21に示すようにObj4位置に格納されたデータ
を、Obj2位置に格納する新規データに隣接する位置に
移動させる(S404)。なお、デコーダで処理可能な
メモリ量以上のデータが入力された場合には、このステ
ップS404において、Obj4位置に格納されたデータ
を、Obj2位置に格納する新規データに隣接する位置に
移動させると、Obj1位置、或はObj3位置に格納された
データと重複することとなるので、このような場合に
は、Obj4位置に格納されたのデータ移動は行わない。
【0104】次に、Obj2位置に新規入力されたデータ
を格納できるか否かを検査し(S405)、Obj2位置
に新規入力されたデータを格納できる場合は、Obj2位
置に新規入力されたデータを格納する(S406)。一
方、Obj2位置に新規入力されたデータを格納できない
場合は、デコーダで処理可能なメモリ量以上のデータが
入力されたと判断して、復号不能処理を行なう(S40
7)。なお、この復号不能処理は、新規入力されたデー
タのオブジェクトに対して、次の、Iフレームデータが
入力されるまで復号処理を中断し、次のIフレーム受信
時から改めてメモリアドレス空間の確保を行う処理であ
る。
【0105】次に、前述したステップS214によるシ
ンプル・プロファイル・モードのObj3位置のデータの
再配置処理について図27を用いて説明する。図27
は、シンプル・プロファイル・モードのObj3位置のデ
ータの再配置を説明するためのフローチャートである。
なお、これは、Obj1、Obj2、及びObj3位置の全てに
データが格納されており、Obj4位置の空き領域に新規
入力されたデータを格納できなかった場合に発生する処
理である。まず、図21に示すObj3位置に格納された
データを、Obj1位置に格納されたデータに隣接する位
置に移動させる(S501)。次に、Obj4位置に新規
入力されたデータを格納できるか否かを検査し(S50
2)、Obj4位置に新規入力されたデータを格納できる
場合は、Obj4位置に新規入力されたデータを格納する
(S503)。一方、Obj4位置に新規入力されたデー
タを格納できない場合は、デコーダで処理可能なメモリ
量以上のデータが入力されたと判断して、復号不能処理
を行なう(S504)。なお、この復号不能処理は、新
規入力されたデータのオブジェクトに対して、次の、I
フレームデータが入力されるまで復号処理を中断し、次
のIフレーム受信時から改めてメモリアドレス空間の確
保を行う処理である。
【0106】次に、前述したステップS215によるシ
ンプル・プロファイル・モードのObj4位置のデータの
再配置処理について図28を用いて説明する。図28
は、シンプル・プロファイル・モードのObj4位置のデ
ータの再配置を説明するためのフローチャートである。
なお、これは、Obj1、Obj2位置にデータが格納されて
おり、Obj3、Obj4位置に新規入力されたデータを格納
できない場合に発生する処理である。まず、Obj4位置
が空き状態であるか否かを検査し(S601)、Obj4
位置にデータが格納されていない場合には、デコーダで
処理可能なメモリ量以上のデータが入力されたと判断し
てステップS605に行く。一方、Obj4位置が空き領
域でない、即ち、Obj4位置にデータが格納されている
場合には、図21に示すObj4位置に格納されたデータ
を、Obj2位置に格納されたデータに隣接する位置に移
動させる(S602)。
【0107】次に、Obj3位置に新規入力されたデータ
を格納できるか否かを検査し(S603)、Obj3位置
に新規入力されたデータを格納できる場合は、Obj3位
置に新規入力されたデータを格納する(S604)。一
方、Obj3位置に新規入力されたデータを格納できない
場合は、デコーダで処理可能なメモリ量以上のデータが
入力されたと判断してステップS605に行く。デコー
ダで処理可能なメモリ量以上のデータが入力された場合
には、復号不能処理を行う(S605)。なお、この復
号不能処理は、新規入力されたデータのオブジェクトに
対して、次の、Iフレームデータが入力されるまで復号
処理を中断し、次のIフレーム受信時から改めてメモリ
アドレス空間の確保を行う処理である。
【0108】次に、本発明の実施の形態11による格納
方法の一つであるコア・プロファイル・モードについて
図22、図29から図31を用いて説明する。なお、こ
の本発明の実施の形態11のコア・プロファイル・モー
ドによるメモリ空間確保は、コア・プロファイル・モー
ド時のメモリの利用効率を高めるとともに、復号化処理
が中断される可能性が高いメモリの再配置処理を行なう
回数を低減するためのものであり、詳細については、図
29を用いて説明することにする。図29は、コア・プ
ロファイル・モードのメモリアドレス空間確保手順の一
例を説明するためのフローチャートであり、コア・プロ
ファイル・モードへの切替えが行われた後に、新規オブ
ジェクトデータが入力されることにより開始する。コア
・プロファイル・モードに切替え後、新規オブジェクト
データが入力されると、まず、Obj1位置があき領域で
入力されたデータを格納できるかどうかを判定し(S7
01)、Obj1位置があき領域で入力されたデータを格
納できる場合は、Obj1位置に新規入力されたデータを
格納する(S702)。
【0109】一方、Obj1位置があき領域でないか、或
は入力されたデータが格納できない場合は、Obj2位置
があき領域で入力されたデータを格納できるかどうかを
判定し(S703)、Obj2位置があき領域で入力され
たデータを格納できる場合は、Obj2位置に新規入力さ
れたデータを格納する(S704)。また、Obj2位置
があき領域でないか、或は入力されたデータが格納でき
ない場合は、Obj3位置があき領域で入力されたデータ
を格納できるかどうかを判定し(S705)、Obj3位
置があき領域で入力されたデータを格納できる場合は、
Obj3位置に新規入力されたデータを格納する(S70
6)。また、Obj3位置があき領域でないか、或は入力
されたデータが格納できない場合は、Obj4位置があき
領域で入力されたデータを格納できるかどうかを判定し
(S707)、Obj4位置があき領域で入力されたデー
タを格納できる場合は、Obj4位置に新規入力されたデ
ータを格納する(S708)。一方、Obj4位置があき
領域でないか、或は入力されたデータが格納できない場
合は、現在のメモリの配置では、Obj1、Obj2、Obj
3、Obj4の何れの位置にも新規に入力されたオブジェ
クトデータを格納することができないことになる。その
ため、メモリアドレス空間の再配置を行い、新規に入力
されたオブジェクトデータを格納するためのメモリアド
レス空間を確保する処理を行なう。
【0110】なお、予め確保するメモリ領域は、画像を
構成する全ての画像系列のオブジェクトデータを格納で
きるように確保しているため、Obj1、Obj2、Obj3、O
bj4の何れの位置にも新規に入力されたデータを格納す
ることができないということは、メモリを使用している
オブジェクト数が1つであり、且つ当該メモリを使用し
ているオブジェクトが図22(d)のObj3位置、或はO
bj4位置に存在していることになる。したがって、メモ
リアドレス空間の再配置は、空き領域を広げるようにOb
j3またはObj4の位置のオブジェクトを図22(b)に示
すObj1位置、或はObj2位置に移動させればよい。これ
は、本発明のメモリ管理方法では、前述したように、予
め確保するメモリ領域が画像を構成する全ての画像系列
のオブジェクトデータを格納できるように確保している
ため、オブジェクト数が2つの場合には、当該2つのオ
ブジェクトの大きさの和が全メモリ容量を超えることが
ないという制約があり、また、コア・プロファイル・モ
ードでは、さらにオブジェクト数が3つ、或は4つの場
合に、図22(c)(d)を用いて説明したように、メ
モリを2分割して利用するため、1つのオブジェクトの
大きさが全メモリ容量の1/2を超えることができない
ことはもちろんのこと、2つのオブジェクトの大きさの
和が全メモリの1/2を超えることができないという制
約を前提としているからである。したがって、まず、Ob
j1位置、Obj2位置にデータが格納済みかどうかを検査
し(S701、S703)、Obj1位置、Obj2位置の何
れにもデータが格納済みでない場合は、図22に示すOb
j3、Obj4位置のデータの再配置を行った後、Obj1位
置に新規入力されたデータを格納する(S711)。な
お、ステップS711の詳細については、後述、図30
を用いて説明することにする。
【0111】また、既に、Obj1位置、或はObj2位置の
何れかにデータが格納済みで、新規入力されたデータが
格納できないということは、新規に入力されたデータ
は、前述した制約に反する不正常なデータであるため、
メモリ内に新規に入力されたデータを格納することがで
きず、復号不能処理を行なう(S712)必要がある。
なお、この復号不能処理は、新規入力されたデータのオ
ブジェクトに対して、次の、Iフレームデータが入力さ
れるまで復号処理を中断し、次のIフレーム受信時から
改めてメモリアドレス空間の確保を行う処理である。こ
のように、まず新規オブジェクトデータ用のメモリを確
保することができるか否かを判断し、新規オブジェクト
データ用のメモリを確保することができない場合にはじ
めて、既存オブジェクトのメモリ空間位置の再配置を行
うことにより、復号化処理が中断される可能性が高いメ
モリの再配置処理を少なくすることができ、メモリの利
用効率を高めることができるとともに、復号化に必要な
メモリ不足により復号化不能となる可能性を大幅に低減
することができ、実用価値の高いメモリ管理方法を実現
できる。
【0112】次に、前述したステップS711によるコ
ア・プロファイル・モードのObj3、Obj4位置のデータ
の再配置処理について図30を用いて説明する。図30
は、コア・プロファイル・モードのObj3、Obj4位置の
データの再配置を説明するためのフローチャートであ
る。まず、Obj4位置が空き状態であるか否かを検査し
(S801)、Obj4位置が空き領域でない、即ち、Obj
4位置にデータが格納されている場合には、図22に示
すObj4位置に格納されたデータを、Obj2位置に移動さ
せる(S802)。一方、Obj4位置が空き状態である
場合は、Obj3位置が空き状態であるか否かを検査し
(S803)、Obj3位置が空き領域でない、即ち、Obj
3位置にデータが格納されている場合には、図22に示
すObj3位置に格納されたデータを、Obj2位置に移動さ
せ(S804)、ステップS805に行く。また、Obj
3、Obj4位置が共に空き領域である場合には、デコー
ダで処理可能なメモリ量以上のデータが入力されたと判
断して、ステップS807に行く。
【0113】ステップS805では、Obj1位置に新規
入力されたデータを格納できるか否かを検査し、Obj1
位置に新規入力されたデータを格納できる場合は、Obj
1位置に新規入力されたデータを格納する(S80
6)。一方、Obj1位置に新規入力されたデータを格納
できない場合は、デコーダで処理可能なメモリ量以上の
データが入力されたと判断してステップS807に行
く。デコーダで処理可能なメモリ量以上のデータが入力
された場合には、復号不能処理を行なう(S807)。
なお、この復号不能処理は、新規入力されたデータのオ
ブジェクトに対して、次の、Iフレームデータが入力さ
れるまで復号処理を中断し、次のIフレーム受信時から
改めてメモリアドレス空間の確保を行う処理である。
【0114】次に、コア・プロファイル・モードにおい
て、オブジェクトのデータのサイズの変更に伴うメモリ
の再配置処理について図22、図31、及び図32を用
いて説明する。コア・プロファイル・モードにおいて、
例えば、オブジェクト数が3個の図31(a)に示すメ
モリ配置が取られていた場合であって、Obj1位置のオ
ブジェクトデータが消失した場合には、そのまま、Obj
2位置、及びObj3位置から図31(b)中の矢印の方
向にメモリ領域を確保することになる。しかし、コア・
プロファイル・モードでは、メモリ内に格納するオブジ
ェクト数が2個以下に減った場合には、画像格納用メモ
リを2分割して利用する必要がなくなり、1つオブジェ
クトの大きさ、或は2つのオブジェクトの大きさの和
が、全メモリ容量を超えなければ足りるため、各オブジ
ェクトあたりの最大マクロブロック数の許容値がメモリ
内に格納するオブジェクト数が2個以下に減った時点か
ら増加する。そのため、メモリ内に格納されているオブ
ジェクトの入力データの大きさが画像格納用メモリの1
/2以上となった場合には、前述した図31(b)に示
すメモリ配置では、必要なメモリ容量が確保できない状
態になることとなる。即ち、オブジェクト数が3個以上
から、2個以下に減り、且つオブジェクトの入力データ
のサイズが大きくなることにより、現存のメモリ配置で
は必要なメモリ容量が確保できない状態が生じた場合に
は、必要なメモリ容量を確保するために、図31(c)
に示すようなメモリ配置となるようメモリの再配置が行
われる。なお、以下に、図32を用いて説明するメモリ
の再配置は、前述した新規オブジェクト発生時のみに必
要なメモリの再配置と異なり、新規オブジェクト発生時
以外にも必要な、唯一のメモリの再配置である。
【0115】図32は、コア・プロファイル・モードの
メモリ管理方法におけるオブジェクトのデータが入力さ
れる毎に行われる動作を説明するためのフローチャート
であり、各オブジェクトデータの許容値が変更された時
におけるメモリの再配置処理を含んでいる。まず、オブ
ジェクトのデータが入力されると、必要なメモリ領域を
確保できるか否かを判断(S901)し、必要なメモリ
領域を確保できる場合には、ステップS914に行く。
一方、必要なメモリ領域を確保できない場合には、オブ
ジェクト数が2つ以下であるか否かを検査し(S90
2)、オブジェクト数が2つ以下でない場合には、復号
化処理を行なうことができない不正なデータが入力され
たと判断し、ステップS915に行く。一方、オブジェ
クト数が2つ以下の場合には、Obj1位置にデータが格
納されているか否かを検査する(S903)。この時、
Obj1位置にデータが格納されていない場合には、さら
に、Obj3位置にデータが格納されているか否かを検査
(S904)し、Obj3位置にデータが格納されている
場合には、Obj3位置に格納されたデータを、Obj1位置
に移動させる(S905)。一方、Obj3位置にデータ
が格納されていない場合には、さらに、Obj4位置にデ
ータが格納されているか否かを検査(S906)し、Ob
j4位置にデータが格納されている場合には、Obj4位置
に格納されたデータを、Obj1位置に移動させる(S9
07)。
【0116】次に、Obj2位置にデータが格納されてい
るか否かを検査する(S908)。この時、Obj2位置
にデータが格納されていない場合には、さらに、Obj3
位置にデータが格納されているか否かを検査(S90
9)し、Obj3位置にデータが格納されている場合に
は、Obj3位置に格納されたデータを、Obj2位置に移動
させる(S910)。一方、Obj3位置にデータが格納
されていない場合には、さらに、Obj4位置にデータが
格納されているか否かを検査(S911)し、Obj4位
置にデータが格納されている場合には、Obj4位置に格
納されたデータを、Obj2位置に移動させる(S91
2)。次に、必要なメモリ領域を確保できるか否かを判
断(S913)し、必要なメモリ領域を確保できる場合
には、ステップS914に行く。一方、必要なメモリ領
域を確保できない場合は、復号化処理が不可能な不正な
データが入力されたと判断してステップS915に行
く。必要なメモリ領域を確保できる場合には、当該メモ
リ領域にオブジェクトデータを格納する(S914)。
一方、必要なメモリ領域を確保できない場合は、復号化
処理処理が不可能な不正なデータが入力されたと判断し
て、復号不能処理を行なう(S915)。
【0117】なお、この復号不能処理は、新規入力され
たデータのオブジェクトに対して、次の、Iフレームデ
ータが入力されるまで復号処理を中断し、次のIフレー
ム受信時から改めてメモリアドレス空間の確保を行う処
理である。このように、オブジェクトのデータを格納す
るためのメモリを確保することができるか否かを判断
し、メモリを確保することができない場合にはじめて、
既存オブジェクトのメモリ空間位置の再配置を行うこと
により、復号化処理が中断される可能性が高いメモリの
再配置処理を少なくすることができ、メモリの利用効率
を高めることができるとともに、復号化に必要なメモリ
不足により復号化不能となる可能性を大幅に低減するこ
とができ、実用価値の高いメモリ管理方法を実現でき
る。なお、本発明の実施の形態11では、復号不能処理
は、新規入力されたデータのオブジェクトを次のIフレ
ームデータから復号するものとして説明したが、これに
限定されず、当該オブジェクトのその後に入力された全
てのデータを全く復号化しないようにするものであって
も良い。
【0118】(実施の形態12)実施の形態12は、上
記各実施の形態1ないし11で示したメモリ管理方法、
画像符号化方法、画像復号化方法および画像表示方法を
実現するためのプログラムを、フロッピー(登録商標)
ディスク等の記録媒体に記録するようにすることによ
り、上記各実施の形態で示した処理を、独立したコンピ
ュータシステムにおいて簡単に実施することを可能にし
たものである。
【0119】図14は、上記実施の形態1ないし実施の
形態11のメモリ管理方法、画像符号化方法、画像復号
化方法および画像表示方法をこれらに対応するメモリ管
理プログラム、画像符号化プログラム、画像復号化プロ
グラムおよび画像表示プログラムを格納したフロッピー
ディスクを用いて、コンピュータシステムにより実施す
る場合の説明図である。図14 (b) は、フロッピーデ
ィスクの正面からみた外観、断面構造、及びフロッピー
ディスクを示し、図14 (a) は、記録媒体本体である
フロッピーディスクの物理フォーマットの例を示してい
る。フロッピーディスクFDはケースF内に内蔵され、
該ディスクの表面には、外周から内周に向かって同心円
状に複数のトラックTrが形成され、各トラックは角度
方向に16のセクタSeに分割されている。従って、上
記プログラムを格納したフロッピーディスクでは、上記
フロッピーディスクFD上に割り当てられた領域に、上
記メモリ管理プログラム、画像符号化プログラム、画像
復号化プログラムおよび画像表示プログラムの少なくと
も1つが記録されている。また、図14 (c) は、フロ
ッピーディスクFDに上記プログラムの記録再生を行う
ための構成を示す。上記プログラムをフロッピーディス
クFDに記録する場合は、コンピュータ・システムCs
から上記プログラムとしてのメモリ管理方法、画像符号
化方法、画像復号化方法および画像表示方法をフロッピ
ーディスクドライブを介して書き込む。また、フロッピ
ーディスク内のプログラムにより上記符号化あるいは復
号化装置をコンピュータシステム中に構築する場合は、
フロッピーディスクドライブによりプログラムをフロッ
ピーディスクから読み出し、コンピュータシステムに転
送する。
【0120】これにより、上記メモリ管理プログラム、
画像符号化プログラム、画像復号化プログラムおよび画
像表示プログラムの少なくとも1つを独立したコンピュ
ータシステムにより実行せしめるプログラム記録媒体を
得ることが可能となる。なお、上記説明では、記録媒体
としてフロッピーディスクを用いて説明を行ったが、H
DDやムーバブルディスク等のさらに大容量の磁気記録
媒体や、CD−ROM,CD−R,CD−RW,PD,
DVD,MO等の光ディスクを用いても同様に実施する
ことができる。また、記録媒体はこれらに限るものでは
なく、各種のICカード(メモリカード)等、プログラ
ムを記録できるものであれば同様に実施することができ
る。
【0121】
【発明の効果】以上のように、本願の請求項1の発明に
係るメモリ管理方法によれば、第1ないし第nの画像系
列(nは2以上の整数)の画像データをメモリに同時に
記録する,メモリ管理方法であって、メモリ内の領域
を、ADstart[i]番地からADend[i]番地 (i は1≦i≦n
/2を満たす整数)までの番地を第i のメモリアドレス
空間としてそれぞれ割り当てることにより第1ないし第
n/2のメモリアドレス空間に分割し、第iの上記メモ
リアドレス空間のADstart[i] もしくはADend[i] のいず
れか一方の端から当該第iのメモリアドレス空間の上位
もしくは下位メモリアドレスのいずれかに向けての領域
を、第kの画像系列(k=i×2−1)の画像データを
記録するためのエリアとして使用するとともに、上記AD
start[i] もしくはADend[i] の他方の端から当該第iの
メモリアドレス空間の下位もしくは上位メモリアドレス
のいずれかに向けての領域を、第(k+1)の画像系列
の画像データを記録するためのエリアとして使用する、
ようにしたので、メモリエリアの利用効率を高め、符号
化・復号化・表示に必要な画面データが消失する可能性
を大幅に低減することができる、実用的価値が高いメモ
リ管理方法を実現できる効果がある。
【0122】また、本願の請求項2の発明に係るメモリ
管理方法によれば、請求項1記載のメモリ管理方法にお
いて、前記第kの画像系列の画像データと前記第(k+
1)の画像系列の画像データをともに前記第iのメモリ
アドレス空間に記録することによって一方の画像データ
が他方の画像データを上書きするか否かを監視し、メモ
リから画像データを読み出す時に、当該読み出すべき画
像系列の画像データが上記上書きにより破壊されている
か否かを、外部に通知する、ようにしたので、メモリエ
リアの利用効率を高め、符号化・復号化・表示に必要な
画面データが消失する可能性を大幅に低減することがで
きるとともに、アクセスした画像系列の画像が破壊され
ているか否かを外部に通知できる、実用的価値が高いメ
モリ管理方法を実現できる効果がある。
【0123】本願の請求項3の発明に係るメモリ管理方
法によれば、請求項1記載のメモリ管理方法において、
前記第kの画像系列の画像データと前記第(k+1)の
画像系列の画像データをともに前記第iのメモリアドレ
ス空間に記録することによって一方の画像データが他方
の画像データを上書きするか否かを監視し、上記上書き
により画像データの破壊が生じ得る場合は、外部から入
力した,画像系列の重要度情報を参照し、重要度の低い
画像データを破壊する上書きを行い重要度の高い画像デ
ータを保護する、ようにしたので、メモリエリアの利用
効率を高め、符号化・復号化・表示に必要な画面データ
が消失する可能性を大幅に低減することができ、画面デ
ータが消失した場合でも、画質劣化を少なくすることが
できる、実用的価値が高いメモリ管理方法を実現できる
効果がある。
【0124】また、本願の請求項4の発明に係る画像符
号化方法によれば、第1ないし第nの画像系列(nは2
以上の整数)の画像データを同時に符号化する画像符号
化方法であって、画面間予測符号化を行う際に、予測画
像データを、請求項1記載のメモリ管理方法により管理
されるメモリに記録する、ようにしたので、メモリエリ
アの利用効率を高め、符号化に必要な画面データが消失
する可能性を大幅に低減することができる、実用的価値
が高い画像符号化方法を実現できる効果がある。
【0125】また、本願の請求項5の発明に係る画像復
号化方法によれば、第1ないし第nの画像系列(nは2
以上の整数)の画像データを同時に復号化する画像復号
化方法であって、画面間予測復号化を行う際に、予測画
像データを、請求項1記載のメモリ管理方法により管理
されるメモリに記録する、ようにしたので、メモリエリ
アの利用効率を高め、復号化に必要な画面データが消失
する可能性を大幅に低減することができる、実用的価値
が高い画像復号化方法を実現できる効果がある。
【0126】また、本願の請求項6の発明に係る画像復
号化方法によれば、第1ないし第nの画像系列(nは2
以上の整数)の画像データを同時に復号化する画像復号
化方法であって、画面間予測復号化を行う際に、予測画
像データを、請求項2記載のメモリ管理方法により管理
されるメモリに記録し、当該画像系列の復号化で必要
な,メモリ内の画像データが破壊された場合は、上記メ
モリ内の画像データを参照しないで復号化可能となるま
で復号化処理を中断する、ようにしたので、メモリエリ
アの利用効率を高め、復号化に必要な画面データが消失
する可能性を大幅に低減することができ、復号化に必要
な画面データが消失した場合に、画質劣化を少なくする
ことができる、実用的価値が高い画像復号化方法を実現
できる効果がある。
【0127】また、本願の請求項7の発明に係る画像復
号化方法によれば、第1ないし第nの画像系列(nは2
以上の整数)の画像データを同時に復号化する画像復号
化方法であって、画面間予測復号化を行う際に、請求項
3記載のメモリ管理方法により管理されるメモリに、予
測画像データを、重要な画像系列の重要度を高くして記
録し、重要な画像系列の復号化に必要な画像データを破
壊されにくくした、ので、メモリエリアの利用効率を高
め、復号化に必要な画面データが消失する可能性を大幅
に低減することができ、復号化に必要な画面データが消
失した場合でも、画質劣化を少なくすることができる、
実用的価値が高い画像復号化方法を実現できる効果があ
る。
【0128】また、本願の請求項8の発明に係る画像表
示方法によれば、第1ないし第nの画像系列(nは2以
上の整数)の画像データを同時に表示する画像表示方法
であって、請求項1記載のメモリ管理方法により管理さ
れるメモリに、表示すべき画像データを記録する、よう
にしたので、メモリエリアの利用効率を高め、表示に必
要な画面データが消失する可能性を大幅に低減すること
ができる、実用的価値が高い画像表示方法が得られる効
果がある。
【0129】また、本願の請求項9の発明に係る画像表
示方法によれば、第1ないし第nの画像系列(nは2以
上の整数)の画像データを同時に表示する画像表示方法
であって、当該画像系列の表示に必要な,メモリ内の画
像データが破壊された場合は、当該破壊された画像デー
タに代えて、当該画像系列の,破壊されていない最新時
刻の画像データを表示する、ようにしたので、メモリエ
リアの利用効率を高め、表示に必要な画面データが消失
する可能性を大幅に低減することができ、表示に必要な
画面データが消失した場合に、画質劣化を少なくするこ
とができる、実用的価値が高い画像表示方法を実現でき
る効果がある。
【0130】また、本願の請求項10の発明に係るメモ
リ管理装置によれば、第1ないし第nの画像系列(nは
2以上の整数)の画像データをメモリに同時に記録す
る,メモリ管理装置であって、メモリ内の領域を、ADst
art[i]番地からADend[i]番地(i は1≦i≦n/2を満
たす整数)までの番地を第i のメモリアドレス空間とし
てそれぞれ割り当てることにより第1ないし第n/2の
メモリアドレス空間に分割するメモリ領域分割手段と、
第iの上記メモリアドレス空間のADstart[i] もしくはAD
end[i] のいずれか一方の端から当該第iのメモリアドレ
ス空間内の上位もしくは下位メモリアドレスのいずれか
に向けての領域を、第kの画像系列(k=i×2−1)
の画像データを記録するためのエリアとして使用すると
ともに、上記ADstart[i] もしくはADend[i] の他方の端
から当該第iのメモリアドレス空間内の下位もしくは上
位メモリアドレスのいずれかに向けての領域を、第(k
+1)の画像系列の画像データを記録するためのエリア
として使用するためのアドレスを生成するアドレス生成
手段と、を備えるようにしたので、メモリエリアの利用
効率を高め、符号化・復号化・表示に必要な画面データ
が消失する可能性を大幅に低減することができる、実用
的価値が高いメモリ管理装置を実現できる効果がある。
【0131】また、本願の請求項11の発明に係るメモ
リ管理プログラム記録媒体によれば、第1ないし第nの
画像系列(nは2以上の整数)の画像系列の画像データ
を同時に記録する,メモリ管理方法を実行するメモリ管
理プログラムを記録したメモリ管理プログラム記録媒体
であって、メモリ内の領域を、ADstart[i]番地からADen
d[i]番地 (i は1≦i≦n/2を満たす整数)までの番
地を第i のメモリアドレス空間としてそれぞれ割り当て
ることにより第1ないし第n/2のメモリアドレス空間
に分割し、第iの上記メモリアドレス空間のADstart[i]
もしくはADend[i] のいずれか一方の端から当該第i の
メモリアドレス空間内の上位もしくは下位メモリアドレ
スのいずれかに向けての領域を、第kの画像系列(k=
i×2−1)の画像データを記録するためのエリアとし
て使用するとともに、上記ADstart[i] もしくはADend
[i] の他方の端から当該第i のメモリアドレス空間内の
下位もしくは上位メモリアドレスのいずれかに向けての
領域を、第(k+1)の画像系列の画像データを記録す
るためのエリアとして使用するメモリ管理方法を実行す
るメモリ管理プログラム、を記録してなるようにしたの
で、メモリエリアの利用効率を高め、符号化・復号化・
表示に必要な画面データが消失する可能性を大幅に低減
することができる、実用的価値が高いメモリ管理方法を
コンピュータに実行せしめることが可能なプログラムを
記録したプログラム記録媒体を提供できる効果がある。
【0132】また、本願の請求項12の発明に係るメモ
リ管理装置によれば、空き状態、またはi個の画像デー
タ(i=1ないし3の整数)が格納されたメモリ領域に
新規入力された画像データを格納する際、少なくとも、
前記メモリ領域のアドレスの最下位側、または最上位側
に画像データを格納できる場合には、メモリ領域のアド
レスの最下位側、または最上位側に前記新規入力された
画像データを格納し、前記メモリ領域のアドレスの最下
位側、及び最上位側に画像データを格納できない場合に
は、その中間部に前記新規入力された画像データを格納
することによりメモリの記憶管理を行うメモリ管理方法
であって、前記中間部に新規入力された画像データを格
納する際は、前記最上位側,最下位側に格納されている
画像データのいずれかに接する領域に前記新規入力され
た画像データを格納するか、あるいは前記メモリ領域の
アドレス中央位置に接する領域に前記新規入力された画
像データを格納するようにしたので、メモリの利用効率
を高めることができ、復号化に必要なメモリ不足により
復号化不能となる可能性を大幅に低減することができ
る。
【0133】また、本願の請求項13の発明に係るメモ
リ管理装置によれば、請求項12に記載のメモリ管理方
法において、メモリ領域内に格納されている画像デー
タ、及び新規入力された画像データがすべて矩形形状の
画像データである場合には、前記中間部に画像データを
格納する際、前記最上位側,最下位側に格納されている
画像データのいずれかに接する領域に前記新規入力され
た画像データを格納するように、既に格納された画像デ
ータのメモリ空間位置の再配置を行うこととしたので、
より大きなメモリ量を確保することができるため、メモ
リ領域の利用効率を高めることができ、復号化に必要な
メモリ不足により復号化不能となる可能性を大幅に低減
することができる。
【0134】また、本願の請求項14の発明に係るメモ
リ管理装置によれば、請求項13に記載のメモリ管理方
法において、前記既に格納された画像データのメモリ空
間位置の再配置は、新規入力された画像データ用のメモ
リが不足する場合にのみ行うこととしたので、復号化処
理が中断される可能性が高いメモリの再配置処理の実行
回数を少なくすることができ、メモリの利用効率を高め
ることができるとともに、復号化に必要なメモリ不足に
より復号化不能となる可能性を大幅に低減することがで
き、実用価値の高いメモリ管理方法を実現できる。
【0135】また、本願の請求項15の発明に係るメモ
リ管理装置によれば、請求項12に記載のメモリ管理方
法において、メモリ領域内に格納されている画像デー
タ、及び新規入力された画像データの内、少なくとも一
つが任意形状の画像データである場合には、前記中間部
に画像データを格納する際、前記メモリ領域のアドレス
中央位置に接する領域に前記新規入力された画像データ
を格納するように、既に格納された画像データのメモリ
空間位置の再配置を行うこととしたので、個々の画像デ
ータの大きさが多少変化してもメモリ領域を動的に確保
することができるため、復号化に必要なメモリ不足によ
り復号化不能となる可能性を大幅に低減することができ
る。
【0136】また、本願の請求項16の発明に係るメモ
リ管理装置によれば、請求項15に記載のメモリ管理方
法において、前記既に格納された画像データのメモリ空
間位置の再配置は、新規入力された画像データ用のメモ
リが不足する場合にのみ行うこととしたので、復号化処
理が中断される可能性が高いメモリの再配置処理の実行
回数を少なくすることができ、メモリの利用効率を高め
ることができるとともに、復号化に必要なメモリ不足に
より復号化不能となる可能性を大幅に低減することがで
き、実用価値の高いメモリ管理方法を実現できる。
【0137】また、本願の請求項17の発明に係るメモ
リ管理装置によれば、請求項12に記載のメモリ管理方
法において、前記中間部に画像データを格納する際、前
記最上位側,最下位側に格納されている画像データのい
ずれかに接する領域に新規入力された画像データを格納
するメモリ管理時に、任意形状の画像データが新規に入
力された場合には、前記中央部に画像データを格納する
際、前記メモリ領域のアドレス中央位置に接する領域に
新規入力された画像データを格納するよう、既に格納さ
れた画像データのメモリ空間位置の再配置を行うことと
したので、任意形状の画像データが入力されるまでは、
より大きなメモリ量を確保することができ、また、任意
形状の画像データが入力された後は、2つのオブジェク
トでメモリ量の和が上限の範囲内で自由に変更可能であ
り、メモリ位置の再配置を殆ど行うことなく復号化に十
分なメモリ領域を使用することができる。
【0138】また、本願の請求項18の発明に係るメモ
リ管理装置によれば、請求項17に記載のメモリ管理方
法において、任意形状の画像データの入力に伴うメモリ
空間位置の再配置後は、新規入力された画像データ用の
メモリが不足する場合にのみ、前記中央部に画像データ
を格納する際、前記メモリ領域のアドレス中央位置に接
する領域に新規入力された画像データを格納するよう、
既に格納された画像データのメモリ空間位置の再配置を
行うこととしたので、復号化処理が中断される可能性が
高いメモリの再配置処理の実行回数を少なくすることが
でき、メモリの利用効率を高めることができるととも
に、復号化に必要なメモリ不足により復号化不能となる
可能性を大幅に低減することができ、実用価値の高いメ
モリ管理方法を実現できる。
【図面の簡単な説明】
【図1】複数の画像系列で構成される画像の例を示す図
【図2】本発明の実施の形態1によるメモリ管理方法に
よりメモリアドレスを分割した例を示す図
【図3】本発明の実施の形態1によるメモリ管理方法に
よりメモリアドレスを分割した例を示す図
【図4】本発明の実施の形態2によるメモリ・ユニット
のブロック図
【図5】本発明の実施の形態3によるメモリ・ユニット
の記録手順をソフトウェアで実現する場合のフローチャ
ートを示す図
【図6】本発明の実施の形態4によるメモリ・ユニット
の読み出し手順をソフトウェアで実現する場合のフロー
チャートを示す図
【図7】本発明の実施の形態5によるメモリ・ユニット
のブロック図
【図8】本発明の実施の形態6による画像復号化装置の
ブロック図
【図9】本発明の実施の形態7によるメモリ・ユニット
のブロック図
【図10】本発明の実施の形態7による画像復号化装置
のブロック図
【図11】本発明の実施の形態8による画像表示装置の
ブロック図
【図12】本発明の実施の形態9によるメモリ・ユニッ
トのブロック図
【図13】本発明の実施の形態10による画像復号化装
置のブロック図
【図14】本発明の実施の形態12による,上記各実施
の形態のメモリ管理方法、画像符号化方法、画像復号化
方法および画像表示方法ををコンピュータシステムによ
り実現するためのプログラムを格納するための記録媒体
についての説明図
【図15】代表的なMPEG符号化の例を示す図
【図16】従来のメモリアドレスの分割例を示す図
【図17】従来および本発明の実施の形態2,5,7,
9による画像符号化装置のブロック図
【図18】従来および本発明の実施の形態2,5,7,
9による画像復号化装置のブロック図
【図19】従来および本発明の実施の形態2,5,7,
9による画像表示装置のブロック図
【図20】従来のメモリ・ユニットのブロック図
【図21】本発明の実施の形態11によるシンプル・プ
ロファイル時のメモリ管理方法の一例を示す図
【図22】本発明の実施の形態11によるコア・プロフ
ァイル時のメモリ管理方法の一例を示す図
【図23】本発明の実施の形態11によるメモリ管理方
法のシンプル・プロファイル・モードからコア・プロフ
ァイル・モードへの切替え処理を説明するためのフロー
チャートを示す図
【図24】本発明の実施の形態11によるシンプル・プ
ロファイル・モードのメモリアドレス空間確保手順の一
例を説明するためのフローチャートを示す図
【図25】本発明の実施の形態11によるシンプル・プ
ロファイル・モードのObj2、Obj3、Obj4位置のデー
タの再配置を説明するためのフローチャートを示す図
【図26】本発明の実施の形態11によるシンプル・プ
ロファイル・モードのObj3、Obj4位置のデータの再配
置を説明するためのフローチャートを示す図
【図27】本発明の実施の形態11によるシンプル・プ
ロファイル・モードのObj3位置のデータの再配置を説
明するためのフローチャートを示す図
【図28】本発明の実施の形態11によるシンプル・プ
ロファイル・モードのObj4位置のデータの再配置を説
明するためのフローチャートを示す図
【図29】本発明の実施の形態11によるコア・プロフ
ァイル・モードのメモリアドレス空間確保手順の一例を
説明するためのフローチャートを示す図
【図30】本発明の実施の形態11によるコア・プロフ
ァイル・モードのObj3、Obj4位置のデータの再配置を
説明するためのフローチャートを示す図
【図31】本発明の実施の形態11によるコア・プロフ
ァイル時のメモリ配置の一例を示す図
【図32】本発明の実施の形態11によるコア・プロフ
ァイル・モードのメモリ管理方法において、各オブジェ
クトデータの許容値が変更された時におけるメモリの再
配置について説明するためのフローチャートを示す図
【符号の説明】
M10 バンク選択器 M12 減算器 M14 アドレス生成器 M15 アドレス管理器 M17 メモリ FM メモリ・ユニット U20 オブジェクト選択器 U25 表示機器 Cs コンピュータ・システム FD フロッピディスク FDD フロッピディスクドライブ
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/907 G09G 5/00 555G 7/32 H04N 7/137 Z

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 第1ないし第nの画像系列(nは2以上
    の整数)の画像データをメモリに同時に記録する,メモ
    リ管理方法であって、 メモリ内の領域を、ADstart[i]番地からADend[i]番地
    (i は1≦i≦n/2を満たす整数)までの番地を第i
    のメモリアドレス空間としてそれぞれ割り当てることに
    より第1ないし第n/2のメモリアドレス空間に分割
    し、 第iの上記メモリアドレス空間のADstart[i] もしくはAD
    end[i] のいずれか一方の端から当該第iのメモリアドレ
    ス空間内の上位もしくは下位メモリアドレスのいずれか
    に向けての領域を、第kの画像系列(k=i×2−1)
    の画像データを記録するためのエリアとして使用すると
    ともに、 上記ADstart[i] もしくはADend[i] の他方の端から当該
    第iのメモリアドレス空間内の下位もしくは上位メモリ
    アドレスのいずれかに向けての領域を、第(k+1)の
    画像系列の画像データを記録するためのエリアとして使
    用する、ことを特徴とするメモリ管理方法。
  2. 【請求項2】 請求項1記載のメモリ管理方法におい
    て、 前記第kの画像系列の画像データと前記第(k+1)の
    画像系列の画像データをともに前記第iのメモリアドレ
    ス空間に記録することによって一方の画像データが他方
    の画像データを上書きするか否かを監視し、 メモリから画像データを読み出す時に、当該読み出すべ
    き画像系列の画像データが上記上書きにより破壊されて
    いるか否かを、外部に通知する、 ことを特徴とするメモリ管理方法。
  3. 【請求項3】 請求項1記載のメモリ管理方法におい
    て、 前記第kの画像系列の画像データと前記第(k+1)の
    画像系列の画像データをともに前記第iのメモリアドレ
    ス空間に記録することによって一方の画像データが他方
    の画像データを上書きするか否かを監視し、 上記上書きにより画像データの破壊が生じ得る場合は、
    外部から入力した,画像系列の重要度情報を参照し、重
    要度の低い画像データを破壊する上書きを行い重要度の
    高い画像データを保護する、 ことを特徴とするメモリ管理方法。
  4. 【請求項4】 第1ないし第nの画像系列(nは2以上
    の整数)の画像データを同時に符号化する画像符号化方
    法であって、 画面間予測符号化を行う際に、予測画像データを、請求
    項1記載のメモリ管理方法により管理されるメモリに記
    録する、 ことを特徴とする画像符号化方法。
  5. 【請求項5】 第1ないし第nの画像系列(nは2以上
    の整数)の画像データを同時に復号化する画像復号化方
    法であって、 画面間予測復号化を行う際に、予測画像データを、請求
    項1記載のメモリ管理方法により管理されるメモリに記
    録する、 ことを特徴とする画像復号化方法。
  6. 【請求項6】 第1ないし第nの画像系列(nは2以上
    の整数)の画像データを同時に復号化する画像復号化方
    法であって、 画面間予測復号化を行う際に、予測画像データを、請求
    項2記載のメモリ管理方法により管理されるメモリに記
    録し、 当該画像系列の復号化で必要な,メモリ内の画像データ
    が破壊された場合は、上記メモリ内の画像データを参照
    しないで復号化可能となるまで復号化処理を中断する、 ことを特徴とする画像復号化方法。
  7. 【請求項7】 第1ないし第nの画像系列(nは2以上
    の整数)の画像データを同時に復号化する画像復号化方
    法であって、 画面間予測復号化を行う際に、 請求項3記載のメモリ管理方法により管理されるメモリ
    に、予測画像データを、重要な画像系列の重要度を高く
    して記録し、 重要な画像系列の復号化に必要な画像データを破壊され
    にくくした、 ことを特徴とする画像復号化方法。
  8. 【請求項8】 第1ないし第nの画像系列(nは2以上
    の整数)の画像データを同時に表示する画像表示方法で
    あって、 請求項1記載のメモリ管理方法により管理されるメモリ
    に、表示すべき画像データを記録する、 ことを特徴とする画像表示方法。
  9. 【請求項9】 第1ないし第nの画像系列(nは2以上
    の整数)の画像データを同時に表示する画像表示方法で
    あって、 当該画像系列の表示に必要な,メモリ内の画像データが
    破壊された場合は、当該破壊された画像データに代え
    て、当該画像系列の,破壊されていない最新時刻の画像
    データを表示する、 ことを特徴とする画像表示方法。
  10. 【請求項10】 第1ないし第nの画像系列(nは2以
    上の整数)の画像データをメモリに同時に記録する,メ
    モリ管理装置であって、 メモリ内の領域を、ADstart[i]番地からADend[i]番地
    (i は1≦i≦n/2を満たす整数)までの番地を第i
    のメモリアドレス空間としてそれぞれ割り当てることに
    より第1ないし第n/2のメモリアドレス空間に分割す
    るメモリ領域分割手段と、 第iの上記メモリアドレス空間のADstart[i] もしくはAD
    end[i] のいずれか一方の端から当該第iのメモリアドレ
    ス空間内の上位もしくは下位メモリアドレスのいずれか
    に向けての領域を、第kの画像系列(k=i×2−1)
    の画像系列の画像データを記録するためのエリアとして
    使用するとともに、 上記ADstart[i] もしくはADend[i] の他方の端から当該
    第iのメモリアドレス空間内の下位もしくは上位メモリ
    アドレスのいずれかに向けての領域を、第(k+1)の
    画像系列の画像データを記録するためのエリアとして使
    用するためのアドレスを生成するアドレス生成手段と、 を備えたことを特徴とするメモリ管理装置。
  11. 【請求項11】 第1ないし第nの画像系列(nは2以
    上の整数)の画像系列の画像データを同時に記録する,
    メモリ管理方法を実行するメモリ管理プログラムを記録
    したメモリ管理プログラム記録媒体あって、 メモリ内の領域を、ADstart[i]番地からADend[i]番地
    (i は1≦i≦n/2を満たす整数)までの番地を第i
    のメモリアドレス空間としてそれぞれ割り当てることに
    より第1ないし第n/2のメモリアドレス空間に分割
    し、 第iの上記メモリアドレス空間のADstart[i] もしくはAD
    end[i] のいずれか一方の端から当該第iのメモリアドレ
    ス空間内の上位もしくは下位メモリアドレスのいずれか
    に向けての領域を、第kの画像系列(k=i×2−1)
    の画像データを記録するためのエリアとして使用すると
    ともに、 上記ADstart[i] もしくはADend[i] の他方の端から当該
    第iのメモリアドレス空間内の下位もしくは上位メモリ
    アドレスのいずれかに向けての領域を、第(k+1)の
    画像系列の画像データを記録するためのエリアとして使
    用するメモリ管理方法を実行するメモリ管理プログラ
    ム、 を記録してなることを特徴とするメモリ管理プログラム
    記録媒体。
  12. 【請求項12】 空き状態、またはi個の画像データ
    (i=1ないし3の整数)が格納されたメモリ領域に新
    規入力された画像データを格納する際、 少なくとも、前記メモリ領域のアドレスの最下位側、ま
    たは最上位側に画像データを格納できる場合には、メモ
    リ領域のアドレスの最下位側、または最上位側に前記新
    規入力された画像データを格納し、 前記メモリ領域のアドレスの最下位側、及び最上位側に
    画像データを格納できない場合には、その中間部に前記
    新規入力された画像データを格納することによりメモリ
    の記憶管理を行うメモリ管理方法であって、 前記中間部に新規入力された画像データを格納する際
    は、 前記最上位側,最下位側に格納されている画像データの
    いずれかに接する領域に前記新規入力された画像データ
    を格納するか、 あるいは前記メモリ領域のアドレス中央位置に接する領
    域に前記新規入力された画像データを格納する、 ことを特徴とするメモリ管理方法。
  13. 【請求項13】 請求項12に記載のメモリ管理方法に
    おいて、 メモリ領域内に格納されている画像データ、及び新規入
    力された画像データがすべて矩形形状の画像データであ
    る場合には、 前記中間部に画像データを格納する際、前記最上位側,
    最下位側に格納されている画像データのいずれかに接す
    る領域に前記新規入力された画像データを格納するよう
    に、既に格納された画像データのメモリ空間位置の再配
    置を行う、 ことを特徴とするメモリ管理方法。
  14. 【請求項14】 請求項13に記載のメモリ管理方法に
    おいて、 前記既に格納された画像データのメモリ空間位置の再配
    置は、新規入力された画像データ用のメモリが不足する
    場合にのみ行う、 ことを特徴とするメモリ管理方法。
  15. 【請求項15】 請求項12に記載のメモリ管理方法に
    おいて、 メモリ領域内に格納されている画像データ、及び新規入
    力された画像データの内、少なくとも一つが任意形状の
    画像データである場合には、 前記中間部に画像データを格納する際、前記メモリ領域
    のアドレス中央位置に接する領域に前記新規入力された
    画像データを格納するように、既に格納された画像デー
    タのメモリ空間位置の再配置を行う、 ことを特徴とするメモリ管理方法。
  16. 【請求項16】 請求項15に記載のメモリ管理方法に
    おいて、 前記既に格納された画像データのメモリ空間位置の再配
    置は、新規入力された画像データ用のメモリが不足する
    場合にのみ行う、 ことを特徴とするメモリ管理方法。
  17. 【請求項17】 請求項12に記載のメモリ管理方法に
    おいて、 前記中間部に画像データを格納する際、前記最上位側,
    最下位側に格納されている画像データのいずれかに接す
    る領域に新規入力された画像データを格納するメモリ管
    理時に、 任意形状の画像データが新規に入力された場合には、前
    記中央部に画像データを格納する際、前記メモリ領域の
    アドレス中央位置に接する領域に新規入力された画像デ
    ータを格納するよう、既に格納された画像データのメモ
    リ空間位置の再配置を行う、 ことを特徴とするメモリ管理方法。
  18. 【請求項18】 請求項17に記載のメモリ管理方法に
    おいて、 任意形状の画像データの入力に伴うメモリ空間位置の再
    配置後は、新規入力された画像データ用のメモリが不足
    する場合にのみ、前記中央部に画像データを格納する
    際、前記メモリ領域のアドレス中央位置に接する領域に
    新規入力された画像データを格納するよう、既に格納さ
    れた画像データのメモリ空間位置の再配置を行う、 ことを特徴とするメモリ管理方法。
JP2000344223A 1999-11-11 2000-11-10 メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体 Pending JP2001223987A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000344223A JP2001223987A (ja) 1999-11-11 2000-11-10 メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP32165999 1999-11-11
JP11-321659 1999-11-11
JP2000344223A JP2001223987A (ja) 1999-11-11 2000-11-10 メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体

Publications (1)

Publication Number Publication Date
JP2001223987A true JP2001223987A (ja) 2001-08-17

Family

ID=26570552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000344223A Pending JP2001223987A (ja) 1999-11-11 2000-11-10 メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体

Country Status (1)

Country Link
JP (1) JP2001223987A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006509442A (ja) * 2002-12-09 2006-03-16 エルジー エレクトロニクス インコーポレーテッド 対話形記録媒体の付加データプレゼンテーション方法
US7715694B2 (en) 2000-06-24 2010-05-11 Lg Electronics Inc. Apparatus and method of reproducing audio/video data and additional data associated with the audio/video data
WO2014006959A1 (ja) * 2012-07-02 2014-01-09 株式会社エヌ・ティ・ティ・ドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP2014014143A (ja) * 2002-07-11 2014-01-23 Panasonic Corp 画像符号化復号化方法および画像符号化復号化装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676028B2 (en) 2000-06-24 2014-03-18 Lg Electronics Inc. Method for reproducing data recorded on an interactive recording medium in conjunction with associated auxiliary data
US7715694B2 (en) 2000-06-24 2010-05-11 Lg Electronics Inc. Apparatus and method of reproducing audio/video data and additional data associated with the audio/video data
US7778523B2 (en) 2000-06-24 2010-08-17 Lg Electronics Inc. Method for reproducing data recorded on an interactive recording medium in conjunction with associated auxiliary data
US8699854B2 (en) 2000-06-24 2014-04-15 Lg Electronics Inc. Method for reproducing data recorded on an interactive recording medium in conjunction with associated auxiliary data
US9390512B2 (en) 2002-07-11 2016-07-12 Panasonic Intellectual Property Corporation Of America Picture encoding method and picture decoding method
US9088782B2 (en) 2002-07-11 2015-07-21 Panasonic Intellectual Property Corporation Of America Picture encoding method and picture decoding method
JP2014014143A (ja) * 2002-07-11 2014-01-23 Panasonic Corp 画像符号化復号化方法および画像符号化復号化装置
JP2014014142A (ja) * 2002-07-11 2014-01-23 Panasonic Corp 画像符号化復号化方法および画像符号化復号化装置
JP2014014144A (ja) * 2002-07-11 2014-01-23 Panasonic Corp 画像符号化復号化方法および画像符号化復号化装置
US9412177B2 (en) 2002-07-11 2016-08-09 Panasonic Intellectual Property Corporation Of America Picture encoding method and picture decoding method
US9094666B2 (en) 2002-07-11 2015-07-28 Panasonic Intellectual Property Corporation Of America Picture encoding method and picture decoding method
US9088781B2 (en) 2002-07-11 2015-07-21 Panasonic Intellectual Proeprty Corporation Of America Picture encoding method and picture decoding method
US9088783B2 (en) 2002-07-11 2015-07-21 Panasonic Intellectual Property Corporation Of America Picture encoding method and picture decoding method
US7995900B2 (en) 2002-12-09 2011-08-09 Lg Electronics Inc. Method of presenting auxiliary data for an interactive recording medium
JP2006509442A (ja) * 2002-12-09 2006-03-16 エルジー エレクトロニクス インコーポレーテッド 対話形記録媒体の付加データプレゼンテーション方法
US8295679B2 (en) 2002-12-09 2012-10-23 Lg Electronics Inc. Method of presenting auxiliary data for an interactive recording medium
WO2014006959A1 (ja) * 2012-07-02 2014-01-09 株式会社エヌ・ティ・ティ・ドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9942562B2 (en) 2012-07-02 2018-04-10 Ntt Docomo, Inc. Video predictive encoding device, video predictive encoding method, video predictive encoding program, video predictive decoding device, video predictive decoding method, and video predictive decoding program
US10116956B2 (en) 2012-07-02 2018-10-30 Ntt Docomo, Inc. Video predictive encoding device, video predictive encoding method, video predictive encoding program, video predictive decoding device, video predictive decoding method, and video predictive decoding program
US10560711B2 (en) 2012-07-02 2020-02-11 Ntt Docomo, Inc. VIDEO PREDICTIVE ENCODING DEVICE, VIDEO PREDICTIVE ENCODING Method, video predictive encoding program, video predictive decoding device, video predictive decoding method, and video predictive decoding program

Similar Documents

Publication Publication Date Title
JP4769717B2 (ja) 画像復号化方法
US6370276B2 (en) Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
US5809245A (en) Multimedia computer system
KR101240089B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
US6836273B1 (en) Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
US6215822B1 (en) Motion compensated digital video decoding and buffer memory addressing therefor
US6028612A (en) Picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
GB2336267A (en) Image processor controlling B-picture memory
KR0185932B1 (ko) 고속재생을 위한 비디오데이타 복호방법 및 그 장치
JPH11252559A (ja) 透過度符号化装置および透過度復号化装置、ならびにその方法、並びに画像データ構造、並びにデータ記録媒体
JP2007184791A (ja) 動画像符号化データ再生装置
JP2000333184A (ja) 動きベクトル検出方法,動きベクトル検出装置,及びデータ記録媒体
JP2001223987A (ja) メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体
JP3871348B2 (ja) 画像信号復号化装置及び画像信号復号化方法
US6529249B2 (en) Video processor using shared memory space
JP2003244641A (ja) 画像再生装置、及び画像再生方法
WO1998042139A1 (en) Video decoder with reduced size display buffer
JP2007060678A (ja) 映像情報記録方法、および映像情報記録媒体
JP3527454B2 (ja) 画像復号化方法および画像復号化装置並びに画像復号化プログラムを記録した記録媒体
JPH08205147A (ja) 画像復号化方法及び画像復号化装置
JP2005160021A (ja) 信号処理方法および信号処理装置
JP2003274411A (ja) 画像符号化方法および画像復号方法
JPH08130715A (ja) 画像再生装置
JPH0636521A (ja) ディスクならびに動画像復号化方法および装置
KR100256648B1 (ko) 영상 부호화 시스템의 압축 정보 포맷