Nothing Special   »   [go: up one dir, main page]

JP2000348018A - データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法 - Google Patents

データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法

Info

Publication number
JP2000348018A
JP2000348018A JP11159761A JP15976199A JP2000348018A JP 2000348018 A JP2000348018 A JP 2000348018A JP 11159761 A JP11159761 A JP 11159761A JP 15976199 A JP15976199 A JP 15976199A JP 2000348018 A JP2000348018 A JP 2000348018A
Authority
JP
Japan
Prior art keywords
input data
data
processing
pixel
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11159761A
Other languages
English (en)
Other versions
JP4131355B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Yoshinori Watanabe
義教 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP15976199A priority Critical patent/JP4131355B2/ja
Publication of JP2000348018A publication Critical patent/JP2000348018A/ja
Application granted granted Critical
Publication of JP4131355B2 publication Critical patent/JP4131355B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 ノイズを、より効果的に除去する。 【解決手段】 足し込み画素決定部2において、注目画
素との差分が、±εの範囲内の画素(類似画素という)
が抽出され、類似画素の連続性(例えば、その類似画素
の前後の画素も類似画素であるかどうか)が判定され
る。さらに、足し込み画素決定部2では、類似画素のう
ち、連続性のあるもののみが抽出され、足し込み処理部
5において、その連続性のある類似画素どうしが足し込
まれる。そして、その足し込み結果が、注目画素のノイ
ズ除去結果として出力される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法、媒体、並びにノイズ除去装置およ
びノイズ除去方法に関し、特に、例えば、データに含ま
れるノイズの効果的な除去を、容易に行うことができる
ようにするデータ処理装置およびデータ処理方法、媒
体、並びにノイズ除去装置およびノイズ除去方法に関す
る。
【0002】
【従来の技術】例えば、伝送や再生等された画像データ
や音声データなどのデータには、一般に、時間的に変動
するノイズが含まれているが、データに含まれるノイズ
を除去する方法としては、従来より、入力データ全体の
平均(以下、適宜、全平均という)や、入力データの局
所的な平均である移動平均を求めるもの、さらには、注
目しているデータを、その近傍にあるデータのメディア
ン(中央値)に置き換えるものなどが知られている。ま
た、画像については、例えば、ある1のフレームを参照
フレームとして、他の1のフレームの動きベクトルを求
め、その動きベクトルによって、他の1フレームの動き
補償を行い、その動き補償後のフレームと、参照フレー
ムとの加重平均を求めることにより、ノイズを除去する
方法が知られている。
【0003】
【発明が解決しようとする課題】しかしながら、全平均
を計算する方法は、データに含まれるノイズの度合い、
即ち、データのS/N(Signal/Noise)が一定である場
合は有効であるが、データのS/Nが変動する場合に
は、S/Nの悪いデータが、S/Nの良いデータに影響
し、効果的にノイズを除去することが困難となることが
ある。
【0004】また、移動平均を計算する方法では、入力
されたデータから時間的に近い位置にあるデータの平均
が求められるため、その処理結果は、データのS/Nの
変動の影響を受ける。即ち、データのS/Nの良い部分
については、処理結果のS/Nも良くなるが、S/Nの
悪い部分については、処理結果のS/Nも悪くなる。さ
らに、全平均や移動平均を計算する方法によれば、デー
タが平滑化されるから、画像に適用すると、データが急
激に変化する部分、即ち、急峻なエッジ等が失われるこ
とになる。
【0005】また、メディアンに置き換える方法では、
データの時間的な順序が無視されるため、元の波形の特
徴が大きく損なわれることがある。
【0006】さらに、動きベクトルを用いる方法では、
動きベクトルの検出を誤ると、処理後の画像の画質が大
きく劣化する。
【0007】本発明は、このような状況に鑑みてなされ
たものであり、データに含まれるノイズを、容易かつ効
果的に除去することができるようにするものである。
【0008】
【課題を解決するための手段】本発明のデータ処理装置
は、入力データから、注目している注目入力データと値
が近い類似入力データを抽出する抽出手段と、類似入力
データの連続性を判定する判定手段と、判定手段による
判定結果に基づいて、類似入力データの中から、処理に
用いるものを決定する決定手段と、決定手段において決
定された入力データを用いて処理を行い、注目入力デー
タに対する出力データを求める処理手段とを含むことを
特徴とする。
【0009】処理手段には、注目入力データに対して、
決定手段において決定された入力データを足し込むこと
により、出力データを求めさせることができる。
【0010】判定手段には、類似入力データに隣接する
入力データが、注目入力データと値が近いときに、その
類似入力データに連続性があると判定させることができ
る。また、判定手段には、類似入力データの微分値に基
づいて、その類似入力データの連続性を判定させること
ができる。
【0011】入力データが複数の方向に並んでいる場合
においては、判定手段には、複数の方向のうちの2以上
の方向それぞれについて、類似入力データの連続性を判
定させることができる。
【0012】入力データは、画像データとすることがで
きる。
【0013】抽出手段には、注目入力データと空間的ま
たは時間的に近い位置にある入力データのうち、注目入
力データと値が近いものを抽出させることができる。
【0014】本発明のデータ処理方法は、入力データか
ら、注目している注目入力データと値が近い類似入力デ
ータを抽出する抽出ステップと、類似入力データの連続
性を判定する判定ステップと、判定ステップによる判定
結果に基づいて、類似入力データの中から、処理に用い
るものを決定する決定ステップと、決定ステップにおい
て決定された入力データを用いて処理を行い、注目入力
データに対する出力データを求める処理ステップとを含
むことを特徴とする。
【0015】本発明の媒体がコンピュータに実行させる
プログラムは、入力データから、注目している注目入力
データと値が近い類似入力データを抽出する抽出ステッ
プと、類似入力データの連続性を判定する判定ステップ
と、判定ステップによる判定結果に基づいて、類似入力
データの中から、処理に用いるものを決定する決定ステ
ップと、決定ステップにおいて決定された入力データを
用いて処理を行い、注目入力データに対する出力データ
を求める処理ステップとを含むことを特徴とする。
【0016】本発明のノイズ除去装置は、入力データか
ら、注目している注目入力データと値が近い類似入力デ
ータを抽出する抽出手段と、類似入力データの連続性を
判定する判定手段と、判定手段による判定結果に基づい
て、類似入力データの中から、処理に用いるものを決定
する決定手段と、決定手段において決定された入力デー
タを用いて処理を行い、注目入力データに対する出力デ
ータを求める処理手段とを含むことを特徴とする。
【0017】処理手段には、注目入力データに対して、
決定手段において決定された入力データを足し込むこと
により、出力データを求めさせることができる。
【0018】判定手段には、類似入力データに隣接する
入力データが、注目入力データと値が近いときに、その
類似入力データに連続性があると判定させることができ
る。また、判定手段には、類似入力データの微分値に基
づいて、その類似入力データの連続性を判定させること
ができる。
【0019】入力データが複数の方向に並んでいる場合
においては、判定手段には、複数の方向のうちの2以上
の方向それぞれについて、類似入力データの連続性を判
定させることができる。
【0020】入力データは、画像データとすることがで
きる。
【0021】抽出手段には、注目入力データと空間的ま
たは時間的に近い位置にある入力データのうち、注目入
力データと値が近いものを抽出させることができる。
【0022】本発明のノイズ除去方法は、入力データか
ら、注目している注目入力データと値が近い類似入力デ
ータを抽出する抽出ステップと、類似入力データの連続
性を判定する判定ステップと、判定ステップによる判定
結果に基づいて、類似入力データの中から、処理に用い
るものを決定する決定ステップと、決定ステップにおい
て決定された入力データを用いて処理を行い、注目入力
データに対する出力データを求める処理ステップとを含
むことを特徴とする。
【0023】本発明のデータ処理装置およびデータ処理
方法、媒体、並びにノイズ除去装置およびノイズ除去方
法においては、入力データから、注目している注目入力
データと値が近い類似入力データが抽出され、その類似
入力データの連続性が判定される。そして、その判定結
果に基づいて、類似入力データの中から、処理に用いる
ものが決定され、その決定された入力データを用いて処
理が行われることにより、注目入力データに対する出力
データが求められる。
【0024】
【発明の実施の形態】以下に、本発明の実施の形態につ
いて説明するが、その前の前段階の準備として、本発明
によるノイズ除去の原理について説明する。
【0025】例えば、いま、図1に示すように、時系列
の入力データがあった場合において、ある時刻nの入力
データに注目したとき、その注目入力データと値が近い
入力データ、即ち、注目入力データとの差分の絶対値が
ε(>0)の範囲にある入力データを抽出し、その抽出
したデータおよび注目入力データを対象として、重み付
け加算を行うことで、注目入力データからノイズを除去
(低減)したデータを得ることができる。
【0026】このような重み付け加算により、ノイズの
除去を行うことができるのは、次のような原理による。
なお、ここでは、説明を簡単にするため、重み付け加算
として、最も単純な相加平均(いわゆる平均値)を考え
る。
【0027】例えば、いま、入力データが画像であると
して、その画素の画素値の観測値と真値との間の誤差、
即ち、ノイズが正規分布となると仮定すると(このよう
な仮定をしても、基本的に問題はない)、画素値の観測
値(真値が同一の画素に、正規分布するノイズを重畳
し、その画素値を観測して得られる観測値)も、図2に
示すように、正規分布になる。
【0028】いま、ある注目画素の画素値の観測値が、
Cであったとすると、そのような観測値Cとの等分の絶
対値がεとなる画素は、図2においてDで示す斜線部分
に分布する。そして、観測値Cに近い画素の相加平均
を、C’とすると、その相加平均値C’は、図2の正規
分布のうちの、Dで示す斜線部分の面積を2等分するよ
うな値となる。従って、画素値の観測値が正規分布であ
れば、観測値Cに近い画素値の相加平均値C’は、図2
に示すように、真値に近づくから、観測値Cに近い画素
の相加平均をとることにより、ノイズが低減されること
になる。
【0029】また、図3は、ある画像を構成する各画素
の画素値の観測値と真値との間の誤差の分布を示してい
る。注目画素と画素値の近い画素の相加平均を計算し、
その結果得られる平均値を、注目画素の画素値とするこ
とで、この分布は、図4に示すようになる。
【0030】即ち、相加平均を演算することで、誤差E
を有していた画素の誤差の分布は、図4においてFで示
すようになる。この場合、誤差が、元の誤差Eよりも増
加する画素も多少は存在するが、ほとんどの画素の誤差
は、元の誤差Eよりも減少する。その結果、誤差の分布
は、図4に実線で示すように、元の分布(図3)(図4
において点線で示す)に比較して、急峻なもの(従っ
て、誤差の小さい画素が増加したもの)となる。
【0031】なお、以上のようなノイズ除去(低減)の
原理から明らかなように、重み付け加算によってノイズ
を低減した画像を対象に、再び、重み付け加算を計算す
ることによって、さらなるノイズの低減を図ることがで
きる。
【0032】次に、上述の原理に基づき、第nフレーム
のある位置にある画素Pnを注目画素として、この注目
画素Pnに含まれるノイズを、注目画素Pnと空間的に同
一の位置にある他のフレームの画素を用いた加算(以
下、適宜、足し込みともいう)によって除去することを
考える。
【0033】この場合、注目画素Pnと空間的に同一の
位置にある画素の画素値(の観測値)の時間方向の並び
が、例えば、図5に示すようなものであったとすると、
まず最初に、注目画素Pnの画素値を中心とした±εの
範囲(以下、適宜、ゲートという)が想定され、画素値
が、そのゲート内にある画素が、足し込みの対象とする
画素(以下、適宜、足し込み画素という)として抽出さ
れる。従って、図5においては、画素Pn-12乃至
n-9,Pn-7,Pn-4,Pn-2乃至Pn+8が、足し込み画
素として抽出され(画素Pn-8,Pn-6,Pn-5,P
n-3は、ゲートの外にあるので、足し込み画素値して抽
出されない)、それらの足し込み結果が、注目画素P n
のノイズ除去結果とされる。
【0034】ここで、上述のような足し込みによるノイ
ズ除去を行う場合には、図1乃至図4で説明したことか
ら、注目画素Pnの真値と同一の真値を、画素値として
有する画素のみを対象として足し込みを行うのが理想的
である。
【0035】しかしながら、そのような画素を、正確に
見つけ出すのは困難であり、そのため、ここでは、ゲー
ト内にある画素を、注目画素Pnの真値と同一の真値を
有する画素であるとみなして、足し込みの対象として
る。
【0036】ところで、ゲート内にある画素であって
も、真値に大きなノイズがのることによって、ゲート内
に位置するようになっているものがあり、そのような画
素は、真値が、注目画素Pnの真値と大きく異なってい
ると予想されるから、足し込みの対象とすべきでない。
即ち、より効果的にノイズ除去を行うためには、ゲート
内にある画素のうち、ノイズのより少ないもののみを、
足し込みの対象とすべきである。
【0037】そこで、ノイズの少ない画素の検出が問題
となるが、確率的には(経験上)、画素値の連続性があ
る画素(ここでは、例えば、画素値が連続的にゲート内
にある画素)は、ノイズが少ない。従って、ゲート内に
ある画素のうち、連続性のないものは足し込みの対象か
ら除外し、連続性のある画素のみを、足し込みの対象と
することで、より効果的にノイズの除去を行うことがで
きることになる。
【0038】一方、画素の連続性の判断は、その画素値
だけを観察しただけでは困難であり、その画素付近の領
域全体を観察して行う必要がある。
【0039】即ち、例えば、図5において、足し込み画
素として抽出される画素Pn-12乃至Pn-9,Pn-7,P
n-4,Pn-2乃至Pn+8のうち、例えば、画素Pn-7は、そ
の画素値だけを観察する限りは、ゲート内にあるが、そ
の画素Pn-7付近の領域(図5では、画素Pn-7付近の時
間方向の領域)を観察した場合には、その領域には、足
し込み画素とされる画素もあれば、足し込み画素とされ
ない画素もある。具体的には、画素Pn-7付近の領域で
は、画素Pn-7はゲート内にあるが、その両隣(ここで
は、前後のフレーム)の画素Pn-8およびPn-6はゲート
内にない。
【0040】この場合、ゲート内にある画素Pn-7は、
連続性があるとはいえない。同様の観点から、ゲート内
にある画素Pn-4も連続性があるとはいえない。従っ
て、図5では、ゲート内にある画素Pn-12乃至Pn-9
n-7,Pn-4,Pn-2乃至Pn+8のうち、連続性のない画
素Pn-7およびPn-4を除いた画素、即ち、連続性のある
画素Pn-12乃至Pn-9,Pn-2乃至Pn+8を足し込むこと
により、注目画素Pnについて、より効果的なノイズ除
去結果を得ることができることになる。
【0041】図6は、以上のようにして、画像からノイ
ズを除去するノイズ除去装置の一実施の形態の構成例を
示している。
【0042】ノイズ除去の対象となる画像データは、足
し込み範囲決定部1に供給されるようになっており、足
し込み範囲決定部1は、注目画素について、そのノイズ
除去のための足し込みを行う場合に、その足し込みの対
象とする画素を選択する範囲(足し込み範囲)を決定す
るようになっている。
【0043】即ち、足し込み範囲決定部1は、例えば、
時間軸方向に注目した場合に、注目画素を中心とする、
所定のフレーム数の範囲を、足し込み範囲と決定するよ
うになっている。さらに、足し込み範囲決定部1は、そ
こに供給される画像データから、足し込み範囲内にある
画素を抽出し、足し込み画素決定部2に供給するように
もなっている。
【0044】足し込み画素決定部2は、足し込み範囲決
定部1から供給される足し込み範囲内にある画素の中か
ら、足し込みの対象である足し込み画素とするものを決
定するようになっている。即ち、足し込み画素決定部2
は、画素値比較部3とやりとりすることで、足し込み範
囲内にある画素の中から、足し込み画素の候補とするも
の(足し込み画素候補)を抽出する。さらに、足し込み
画素決定部2は、連続性判定部4とやりとりすること
で、足し込み画素候補の中から、最終的に足し込み画素
とするものを抽出し、足し込み処理部5に出力する。
【0045】画素値比較部3は、足し込み画素決定部2
の制御に基づいて、足し込み画素決定部2から供給され
る足し込み範囲内にある画素の画素値を比較し、その比
較結果を、足し込み画素決定部2に供給するようになっ
ている。即ち、足し込み画素決定部2は、足し込み範囲
内にある画素を、画素値比較部3に供給するようになっ
ており、画素値比較部3は、足し込み範囲内にある画素
のうちの注目画素と、その足し込み範囲内にある画素そ
れぞれとの画素値を比較し、その比較結果を、足し込み
画素決定部2に供給するようになっている。ここで、足
し込み画素決定部2は、上述したような画素値比較部3
からの比較結果に基づいて、足し込み範囲内にある画素
の中から、ゲート内にあるものを検出し、それを、足し
込み画素候補とするようになっている。
【0046】連続性判定部4は、足し込み画素決定部2
の制御に基づいて、足し込み画素決定部2から供給され
る足し込み画素候補の連続性を判定し、その判定結果
を、足し込み画素決定部2に供給するようになってい
る。即ち、足し込み画素決定部2は、足し込み画素候補
を、連続性判定部4に供給するようになっており、連続
性判定部4は、例えば、足し込み画素決定部2からの足
し込み画素候補を、順次、注目候補として、その注目候
補の両隣の画素が、足し込み画素候補となっているかど
うかを判定する。そして、連続性判定部4は、注目候補
の両隣の画素のうちの少なくとも一方が、足し込み画素
候補となっている場合には、その注目候補には連続性が
あると判定し、また、注目候補の両隣の画素のうちの両
方が、足し込み画素候補となっていない場合には、その
注目候補には連続性がないと判定し、その判定結果を、
足し込み画素決定部2に供給するようになっている。こ
こで、足し込み画素決定部2は、上述したような連続性
判定部4からの連続性の判定結果に基づいて、足し込み
画素候補の中から、最終的に足し込み画素とするものを
決定するようになっている。
【0047】足し込み処理部5は、足し込み画素決定部
2からの足し込み画素を足し込み、即ち、例えば、相加
平均値等の重み付け加算値を演算し、その演算結果を、
注目画素のノイズ除去結果として出力するようになって
いる。
【0048】次に、図7のフローチャートを参照して、
図6のノイズ除去装置によるノイズ除去処理について説
明する。
【0049】足し込み範囲決定部1は、まず最初に、ス
テップS1において、足し込み範囲を決定し、ステップ
S2に進み、そこに供給される画素の中から、足し込み
範囲内にある画素を抽出する。即ち、ここでは、例え
ば、時間方向のみを考えるとすると、ステップS1で
は、注目画素のフレームを基準として、所定フレーム数
だけ前のフレーム(時間的に先行するフレーム)から、
所定フレーム数だけ後のフレーム(時間的に後行するフ
レーム)までの範囲が、足し込み範囲として決定され
る。さらに、ステップS2では、注目画素と空間的に同
一位置にある画素のうち、足し込み範囲内にあるものが
抽出される。この足し込み範囲内にある画素は、足し込
み範囲決定部1から足し込み画素決定部2に供給され
る。
【0050】足し込み画素決定部2は、足し込み範囲決
定部1から足し込み範囲内にある画素を受信すると、ス
テップS3において、その画素の中から、足し込み画素
候補を抽出する。
【0051】即ち、足し込み画素決定部2は、足し込み
範囲内にある画素を、画素値比較部3に供給し、画素値
比較部3に、足し込み範囲内にある画素のうちの注目画
素と、その足し込み範囲内にある画素それぞれ(従っ
て、注目画素自身も含まれる)との画素値を比較させ
る。足し込み画素決定部2は、注目画素と、足し込み範
囲内にある画素それぞれとの比較結果を受信すると、足
し込み範囲内にある画素の中から、注目画素との差分の
絶対値がε以下のもの、即ち、画素値が、注目画素につ
いてのゲート内にある画素のみを、足し込み画素候補と
して抽出する。
【0052】その後、足し込み画素決定部2は、ステッ
プS4において、足し込み画素候補を、連続性判定部4
に供給し、その連続性を判定させる。即ち、連続性判定
部4は、足し込み画素候補を、順次、注目候補として、
その注目候補の両隣の画素が、足し込み画素候補となっ
ているかどうかを判定し、注目候補の両隣の画素のうち
の少なくとも一方が、足し込み画素候補となっている場
合には、その注目候補には連続性があると判定し、ま
た、注目候補の両隣の画素のいずれも、足し込み画素候
補となっていない場合には、その注目候補には連続性が
ないと判定する。そして、連続性判定部4は、各足し込
み画素候補についての連続性の判定結果を、足し込み画
素決定部2に供給する。
【0053】足し込み画素決定部2では、ステップS5
において、連続性判定部4からの連続性の判定結果に基
づいて、足し込み画素候補の中から、最終的に足し込み
画素とするものが決定される。即ち、足し込み画素決定
部2は、足し込み画素候補のうち、連続性があるものの
みを、足し込み画素として決定する。この足し込み画素
は、足し込み処理部5に供給される。
【0054】足し込み処理部5では、ステップS6にお
いて、足し込み画素決定部2からの足し込み画素の、例
えば、相加平均値が演算され、その相加平均値が、注目
画素についてのノイズ除去結果として出力される。
【0055】そして、ステップ7に進み、次に処理すべ
き画素があるかどうかが判定され、あると判定された場
合、その画素が、新たに注目画素とされる。さらに、ス
テップS2に戻り、以下、上述の場合と同様の処理が繰
り返される。
【0056】一方、ステップS7において、次に処理す
べき画素がないと判定された場合、ノイズ除去処理を終
了する。
【0057】以上のように、ゲート内にある画素の中
の、連続性のあるもののみを抽出し、そのような画素の
みを対象に、足し込みを行うようにしたので、より効果
的にノイズの除去を行うことができる。また、連続性の
あるもののみを抽出することによって、確率的に、注目
画素の真値とほぼ一致する真値を有する画素のみを対象
に足し込みが行われるので、足し込みによる画素値の平
滑化、即ち、例えば、エッジがぼやけること等を防止
(低減)することができる。
【0058】なお、上述の場合には、注目候補の両隣の
画素のうちの少なくとも一方が、足し込み画素候補とな
っている場合には、その注目候補には連続性があると判
定し、また、注目候補の両隣の画素の両方が、足し込み
画素候補となっていない場合には、その注目候補には連
続性がないと判定するようにしたが、注目候補の連続性
は、その他、例えば、次のように判定することも可能で
ある。
【0059】即ち、注目候補の微分値(例えば、注目候
補と、そのクレーム前の、同一位置にある画素との差分
値)を演算し、その微分値が、前の画素の微分値の符号
と一致する場合(従って、画素値が、連続して増加また
は減少している場合)に、連続性があると判定し、一致
しない場合に、連続性がないと判定するようにすること
が可能である。なお、この場合、例えば、図5において
は、ゲート内にある画素Pn-12乃至Pn-9,Pn-7,P
n-4,Pn-2乃至Pn+8のうち、画素Pn-7およびP n-4
他、画素Pn-2も連続性がないと判定されることにな
る。
【0060】また、上述の場合においては、ゲート内に
ある画素(足し込み画素候補)を抽出し、その後、その
画素の連続性に基づいて、足し込み画素とする画素を抽
出するようにしたが、足し込み画素とする画素は、ここ
では、ゲート内にあり、かつ連続性があれば良いから、
連続性のある画素を先に抽出し、その後に、その連続性
のある画素の中から、ゲート内にあるものを、足し込み
画素として抽出しても良い。
【0061】次に、注目画素Pnと空間的に同一の位置
にある画素の画素値の時間方向の並びが、例えば、図8
に示すような場合を考えると、図8においては、注目画
素P nについてのゲート内に、他の画素が存在しないた
め、図7で説明したノイズ除去処理では、対処すること
が困難である。
【0062】ここで、注目画素Pnについてのゲート内
に、他の画素が存在しないことが生じる場合としては、
次の2つのケースがある。
【0063】即ち、第1のケースは、例えば、画像に比
較的高速で動いている物体が存在する場合で、この場合
は、画素を、他の方向から観測することで、ゲート内
に、他の画素を観察することができる。具体的には、画
像(動画像)については、時間方向だけでなく、空間方
向にも、画素が並んでいる。そして、画像に比較的高速
で動いている物体が存在する場合には、物体が表示され
ているフレームと表示されていないフレームとで、物体
が表示される画素の画素値は大きく変化するが、物体が
表示されているフレームでは、物体が表示されている部
分の画素の、画素値はそれほど大きく変化しない。従っ
て、この場合、時間方向ではなく、空間方向(例えば、
垂直方向や水平方向、斜め方向)に並ぶ画素を観察する
ことによって、注目画素Pnについてのゲート内に、他
の画素を観察することができる。その結果、第1のケー
スでは、そのように、ゲート内に他の画素を観察するこ
とができる方向に注目すれば、図7で説明した場合と同
様にして、ノイズ除去を行うことができる。
【0064】一方、第2のケースは、注目画素Pnに大
きなノイズがのっている場合で、この場合には、どのよ
うな方向に注目しても、ゲート内に、他の画素を観察す
ることはできない。従って、第2のケースには、図7で
説明したノイズ除去処理では対処することができないた
め、ここでは、例えば、注目画素Pnの時間的、空間的
に周辺にある、注目画素Pnを除く画素の相加平均値
を、注目画素Pnのノイズ除去結果とすることで、第2
のケースに対処することとする。
【0065】そこで、図9のフローチャートを参照し
て、上述のようにして、第1および第2のケースに対処
可能なノイズ除去処理について説明する。
【0066】この場合、足し込み範囲決定部1は、ステ
ップS11において、画素が並んでいる方向のうちのあ
る方向に注目し、その注目方向について、足し込み範囲
を決定する。即ち、足し込み範囲決定部1は、例えば、
時間方向に注目した場合には、図7のステップS1にお
ける場合と同様に、注目画素のフレームを基準として、
所定フレーム数だけ前のフレームから、所定フレーム数
だけ後のフレームまでの範囲を、足し込み範囲として決
定する。また、足し込み範囲決定部1は、例えば、空間
方向に注目した場合には、注目画素のフレーム内の、注
目画素から所定の画素数の範囲を、足し込み範囲として
決定する。
【0067】足し込み範囲決定部1は、注目方向につい
て足し込み範囲を決定すると、ステップS12に進み、
その注目方向に並ぶ(配置された)画素のうち、足し込
み範囲内にある画素を抽出し、足し込み画素決定部2に
供給する。
【0068】足し込み画素決定部2では、ステップS1
3において、足し込み画素決定処理が行われる。即ち、
足し込み画素決定部2は、ステップS13において、足
し込み範囲決定部1からの画素を対象に、図7のステッ
プS3乃至S5における場合と同様の処理を行うこと
で、足し込み画素を決定する。
【0069】そして、ステップS14に進み、足し込み
範囲決定部1において、画素が並んでいる方向で、ま
だ、注目方向としていない方向があるかどうかが判定さ
れる。ステップS14において、まだ、注目方向として
いない方向があると判定された場合、その方向を新たに
注目方向として、ステップS11に戻り、以下、同様の
処理が繰り返される。
【0070】また、ステップS14において、まだ、注
目方向としていない方向がないと判定された場合、即
ち、例えば、画像については、時間方向および空間方向
を、注目方向として処理を行った場合、ステップS15
に進み、足し込み画素決定部2において、注目画素につ
いて、足し込み画素として決定された画素が所定数(1
以上の整数)以上あるかどうかが判定される。
【0071】ステップS15において、注目画素につい
て、足し込み画素として決定された画素が所定数以上あ
ると判定された場合、足し込み画素決定部2は、その足
し込み画素を、足し込み処理部5に供給し、ステップS
16に進む。ステップS16では、足し込み処理部5に
おいて、図7のステップS6における場合と同様に、足
し込み画素決定部2からの足し込み画素の、例えば、相
加平均値が演算され、その相加平均値が、注目画素につ
いてのノイズ除去結果として出力される。
【0072】一方、ステップS15において、注目画素
について、足し込み画素として決定された画素が所定数
以上ないと判定された場合、即ち、時間方向と、空間方
向のそれぞれに注目した結果得られた足し込み画素の合
計が、所定数以上とならず、従って、注目画素が、非常
に大きなノイズがのっているものであると推定される場
合、足し込み画素決定部2は、足し込み範囲決定部1か
ら供給された画素のうち、注目画素の空間的、時間的に
周辺にあるもののみ(注目画素自身を除く)を、足し込
み処理部5に供給し、ステップS17に進む。ステップ
S17では、足し込み処理部5において、足し込み画素
決定部2からの画素の相加平均値が演算され、その相加
平均値が、注目画素についてのノイズ除去結果として出
力される。
【0073】以上のように、複数の方向それぞれについ
て注目して、足し込み画素を決定することで、ある方向
だけに注目した場合に、ゲート内に他の画素が存在しな
いような画素に関しても、より効果的にノイズ除去を行
うことが可能となる。
【0074】なお、上述の場合には、時間方向と空間方
向に注目するようにしたが、その他、例えば、時間方向
および空間方向に対して、斜めの方向に注目するように
することも可能である。
【0075】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
専用のハードウェアとしてのノイズ除去装置に組み込ま
れているコンピュータ、または各種のプログラムをイン
ストールすることで各種の処理を行う汎用のコンピュー
タ等にインストールされる。
【0076】そこで、図10を参照して、上述した一連
の処理を実行するプログラムをコンピュータにインスト
ールし、コンピュータによって実行可能な状態とするた
めに用いられる媒体について説明する。
【0077】プログラムは、図10(A)に示すよう
に、コンピュータ101に内蔵されている記録媒体とし
てのハードディスク102に予めインストールした状態
でユーザに提供することができる。
【0078】あるいはまた、プログラムは、図10
(B)に示すように、フロッピーディスク111、CD-R
OM(Compact Disc Read Only Memory)112,MO(Magnet
o optical)ディスク113,DVD(Digital Versatile Di
sc)114、磁気ディスク115、半導体メモリ116
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウエアとして提供することができる。
【0079】さらに、プログラムは、図10(C)に示
すように、ダウンロードサイト121から、ディジタル
衛星放送用の人工衛星122を介して、コンピュータ1
23に無線で転送したり、LAN(Local Area Network)、
インターネットといったネットワーク131を介して、
コンピュータ123に有線で転送し、コンピュータ12
3において、内蔵するハードディスクなどに格納させる
ようにすることができる。
【0080】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。
【0081】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、必ずしもフロ
ーチャートとして記載された順序に沿って時系列に処理
する必要はなく、並列的あるいは個別に実行される処理
(例えば、並列処理あるいはオブジェクトによる処理)
も含むものである。
【0082】なお、本実施の形態では、足し込み処理部
5において、足し込み画素を対象とした足し込みとし
て、その相加平均値、即ち、同一の重み付けを行った加
算値を演算することとしたが、足し込み画素を対象とし
た足し込みは、画素ごとに異なる重みを用いて行うこと
が可能である。即ち、足し込み画素を対象とした足し込
みは、例えば、注目画素から、時間的、空間的に近い画
素ほど、大きな重みを付けて行うことが可能である。
【0083】また、本実施の形態では、画像を処理の対
象としたが、本発明は、その他、例えば、音声等を処理
の対象とすることも可能である。
【0084】さらに、本実施の形態では、本発明につい
て、ノイズの除去という観点から説明を行ったが、本発
明によれば、入力データの波形整形(波形等化)などを
行うことも可能である。
【0085】
【発明の効果】以上の如く、本発明のデータ処理装置お
よびデータ処理方法、媒体、並びにノイズ除去装置およ
びノイズ除去方法によれば、入力データから、注目して
いる注目入力データと値が近い類似入力データが抽出さ
れ、その類似入力データの連続性が判定される。そし
て、その判定結果に基づいて、類似入力データの中か
ら、処理に用いるものが決定され、その決定された入力
データを用いて処理が行われることにより、注目入力デ
ータに対する出力データが求められる。従って、例え
ば、入力データに含まれるノイズを効果的に除去するこ
とが可能となる。
【図面の簡単な説明】
【図1】注目画素Pnについてのゲートを示す図であ
る。
【図2】注目画素と画素値の近い画素の足し込みによっ
てノイズが除去される原理を説明するための図である。
【図3】観測値と真値との間の誤差の分布を示す図であ
る。
【図4】観測値と真値との間の誤差の分布を示す図であ
る。
【図5】画素の連続性を考慮したノイズ除去を説明する
ための図である。
【図6】本発明を適用したノイズ除去装置の一実施の形
態の構成例を示すブロック図である。
【図7】図6のノイズ除去装置によるノイズ除去処理を
説明するためのフローチャートである。
【図8】図7のノイズ除去処理では、対処が困難な場合
を説明するための図である。
【図9】図8における場合であっても対処が可能なノイ
ズ除去処理を説明するためのフローチャートである。
【図10】本発明を適用した媒体を説明するための図で
ある。
【符号の説明】
1 足し込み範囲決定部, 2 足し込み画素決定部,
3 画素値比較部,4 連続性判定部, 5 足し込
み処理部, 101 コンピュータ, 102 ハード
ディスク, 103 半導体メモリ, 111 フロッ
ピーディスク, 112 CD-ROM, 113 MOディス
ク, 114 DVD, 115 磁気ディスク, 11
6 半導体メモリ, 121 ダウンロードサイト,
122衛星, 123 コンピュータ, 131 ネッ
トワーク
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B056 BB51 FF02 GG03 HH03 5B057 CA08 CA16 CB08 CB16 CE02 CH09 5C021 PA53 PA58 PA76 RA07 RA16 RB03 YA01

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 入力データを処理し、その処理結果とし
    ての出力データを出力するデータ処理装置であって、 前記入力データから、注目している注目入力データと値
    が近い類似入力データを抽出する抽出手段と、 前記類似入力データの連続性を判定する判定手段と、 前記判定手段による判定結果に基づいて、前記類似入力
    データの中から、処理に用いるものを決定する決定手段
    と、 前記決定手段において決定された前記入力データを用い
    て処理を行い、前記注目入力データに対する出力データ
    を求める処理手段とを含むことを特徴とするデータ処理
    装置。
  2. 【請求項2】 前記処理手段は、前記注目入力データに
    対して、前記決定手段において決定された前記入力デー
    タを足し込むことにより、前記出力データを求めること
    を特徴とする請求項1に記載のデータ処理装置。
  3. 【請求項3】 前記判定手段は、前記類似入力データに
    隣接する前記入力データが、前記注目入力データと値が
    近いとき、その類似入力データに連続性があると判定す
    ることを特徴とする請求項1に記載のデータ処理装置。
  4. 【請求項4】 前記判定手段は、前記類似入力データの
    微分値に基づいて、その類似入力データの連続性を判定
    することを特徴とする請求項1に記載のデータ処理装
    置。
  5. 【請求項5】 前記入力データが複数の方向に並んでい
    る場合において、 前記判定手段は、前記複数の方向のうちの2以上の方向
    それぞれについて、前記類似入力データの連続性を判定
    することを特徴とする請求項1に記載のデータ処理装
    置。
  6. 【請求項6】 前記入力データは、画像データであるこ
    とを特徴とする請求項1に記載のデータ処理装置。
  7. 【請求項7】 前記抽出手段は、前記注目入力データと
    空間的または時間的に近い位置にある入力データのう
    ち、前記注目入力データと値が近いものを抽出すること
    を特徴とする請求項1に記載のデータ処理装置。
  8. 【請求項8】 入力データを処理し、その処理結果とし
    ての出力データを出力するデータ処理方法であって、 前記入力データから、注目している注目入力データと値
    が近い類似入力データを抽出する抽出ステップと、 前記類似入力データの連続性を判定する判定ステップ
    と、 前記判定ステップによる判定結果に基づいて、前記類似
    入力データの中から、処理に用いるものを決定する決定
    ステップと、 前記決定ステップにおいて決定された前記入力データを
    用いて処理を行い、前記注目入力データに対する出力デ
    ータを求める処理ステップとを含むことを特徴とするデ
    ータ処理方法。
  9. 【請求項9】 入力データを処理し、その処理結果とし
    ての出力データを出力するデータ処理を行うためのプロ
    グラムを、コンピュータに実行させる媒体であって、 前記入力データから、注目している注目入力データと値
    が近い類似入力データを抽出する抽出ステップと、 前記類似入力データの連続性を判定する判定ステップ
    と、 前記判定ステップによる判定結果に基づいて、前記類似
    入力データの中から、処理に用いるものを決定する決定
    ステップと、 前記決定ステップにおいて決定された前記入力データを
    用いて処理を行い、前記注目入力データに対する出力デ
    ータを求める処理ステップとを含むことを特徴とするプ
    ログラムを、前記コンピュータに実行させる媒体。
  10. 【請求項10】 入力データを処理し、そこに含まれる
    ノイズを除去した出力データを出力するノイズ除去装置
    であって、 前記入力データから、注目している注目入力データと値
    が近い類似入力データを抽出する抽出手段と、 前記類似入力データの連続性を判定する判定手段と、 前記判定手段による判定結果に基づいて、前記類似入力
    データの中から、処理に用いるものを決定する決定手段
    と、 前記決定手段において決定された前記入力データを用い
    て処理を行い、前記注目入力データに対する出力データ
    を求める処理手段とを含むことを特徴とするノイズ除去
    装置。
  11. 【請求項11】 前記処理手段は、前記注目入力データ
    に対して、前記決定手段において決定された前記入力デ
    ータを足し込むことにより、前記出力データを求めるこ
    とを特徴とする請求項10に記載のノイズ除去装置。
  12. 【請求項12】 前記判定手段は、前記類似入力データ
    に隣接する前記入力データが、前記注目入力データと値
    が近いとき、その類似入力データに連続性があると判定
    することを特徴とする請求項10に記載のノイズ除去装
    置。
  13. 【請求項13】 前記判定手段は、前記類似入力データ
    の微分値に基づいて、その類似入力データの連続性を判
    定することを特徴とする請求項10に記載のノイズ除去
    装置。
  14. 【請求項14】 前記入力データが複数の方向に並んで
    いる場合において、 前記判定手段は、前記複数の方向のうちの2以上の方向
    それぞれについて、前記類似入力データの連続性を判定
    することを特徴とする請求項10に記載のノイズ除去装
    置。
  15. 【請求項15】 前記入力データは、画像データである
    ことを特徴とする請求項10に記載のノイズ除去装置。
  16. 【請求項16】 前記抽出手段は、前記注目入力データ
    と空間的または時間的に近い位置にある入力データのう
    ち、前記注目入力データと値が近いものを抽出すること
    を特徴とする請求項10に記載のノイズ除去装置。
  17. 【請求項17】 入力データを処理し、そこに含まれる
    ノイズを除去した出力データを出力するノイズ除去方法
    であって、 前記入力データから、注目している注目入力データと値
    が近い類似入力データを抽出する抽出ステップと、 前記類似入力データの連続性を判定する判定ステップ
    と、 前記判定ステップによる判定結果に基づいて、前記類似
    入力データの中から、処理に用いるものを決定する決定
    ステップと、 前記決定ステップにおいて決定された前記入力データを
    用いて処理を行い、前記注目入力データに対する出力デ
    ータを求める処理ステップとを含むことを特徴とするノ
    イズ除去方法。
JP15976199A 1999-06-07 1999-06-07 データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法 Expired - Fee Related JP4131355B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15976199A JP4131355B2 (ja) 1999-06-07 1999-06-07 データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15976199A JP4131355B2 (ja) 1999-06-07 1999-06-07 データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法

Publications (2)

Publication Number Publication Date
JP2000348018A true JP2000348018A (ja) 2000-12-15
JP4131355B2 JP4131355B2 (ja) 2008-08-13

Family

ID=15700700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15976199A Expired - Fee Related JP4131355B2 (ja) 1999-06-07 1999-06-07 データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法

Country Status (1)

Country Link
JP (1) JP4131355B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007077730A1 (ja) * 2005-12-28 2007-07-12 Olympus Corporation 撮像システム、画像処理プログラム
WO2008056565A1 (fr) * 2006-11-10 2008-05-15 Olympus Corporation Système d'analyse d'image et programme de traitement d'image
JP2009194436A (ja) * 2008-02-12 2009-08-27 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及び画像処理プログラム
WO2011004427A1 (ja) * 2009-07-07 2011-01-13 株式会社 東芝 画像処理装置
JP2015506010A (ja) * 2011-11-23 2015-02-26 ロッサト、ルカ 過渡情報の信号解析及び生成

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310566B2 (en) 2005-12-28 2012-11-13 Olympus Corporation Image pickup system and image processing method with an edge extraction section
WO2007077730A1 (ja) * 2005-12-28 2007-07-12 Olympus Corporation 撮像システム、画像処理プログラム
JP4979595B2 (ja) * 2005-12-28 2012-07-18 オリンパス株式会社 撮像システム、画像処理方法、画像処理プログラム
JPWO2007077730A1 (ja) * 2005-12-28 2009-06-11 オリンパス株式会社 撮像システム、画像処理方法、画像処理プログラム
JP4653059B2 (ja) * 2006-11-10 2011-03-16 オリンパス株式会社 撮像システム、画像処理プログラム
WO2008056565A1 (fr) * 2006-11-10 2008-05-15 Olympus Corporation Système d'analyse d'image et programme de traitement d'image
JP2008124764A (ja) * 2006-11-10 2008-05-29 Olympus Corp 撮像システム、画像処理プログラム
JP4722147B2 (ja) * 2008-02-12 2011-07-13 日本電信電話株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP2009194436A (ja) * 2008-02-12 2009-08-27 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及び画像処理プログラム
WO2011004427A1 (ja) * 2009-07-07 2011-01-13 株式会社 東芝 画像処理装置
JP5490117B2 (ja) * 2009-07-07 2014-05-14 株式会社東芝 画像処理装置
US8929675B2 (en) 2009-07-07 2015-01-06 Kabushiki Kaisha Toshiba Image processing device for video noise reduction
JP2015506010A (ja) * 2011-11-23 2015-02-26 ロッサト、ルカ 過渡情報の信号解析及び生成
US10321161B2 (en) 2011-11-23 2019-06-11 V-Nova International Limited Signal analysis and generation of transient information

Also Published As

Publication number Publication date
JP4131355B2 (ja) 2008-08-13

Similar Documents

Publication Publication Date Title
US6678330B1 (en) Image processing apparatus, image processing method, data-processing apparatus, data processing method, and storage medium
EP1361542B1 (en) Image processing device
JP4596220B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4596203B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
EP1379080B1 (en) Image processing apparatus and method, and image pickup apparatus
US20040022448A1 (en) Image processor
JP4224882B2 (ja) データ処理装置およびデータ処理方法
JP4596214B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4496595B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP2000348018A (ja) データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法
US20090323814A1 (en) Tracking point detection apparatus and method, program, and recording medium
US20130084024A1 (en) Image processing apparatus, image processing method, program, and recording medium
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JPWO2010007777A1 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP4596215B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR20070094740A (ko) 학습 장치와 학습 방법 및 학습 프로그램
KR102584521B1 (ko) 움직임 검출을 수행하는 방법 및 움직임 검출을 수행하는 영상처리장치
JP2001084368A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP4596209B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2000348183A (ja) 画像処理装置および方法、並びに媒体
JP2002135623A (ja) ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体
JP4135045B2 (ja) データ処理装置およびデータ処理方法、並びに媒体
JP2009266169A (ja) 情報処理装置及び方法、並びにプログラム
JP2019097004A (ja) 画像生成装置、画像生成方法及び画像生成プログラム
JP4596225B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080502

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080515

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees