JP4703733B2

JP4703733B2 - 映像・音声再生装置

Info

Publication number: JP4703733B2
Application number: JP2009005527A
Authority: JP
Inventors: 靖之潮
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-01-14
Filing date: 2009-01-14
Publication date: 2011-06-15
Anticipated expiration: 2029-01-14
Also published as: US8249432B2; JP2010166206A; US20100178039A1

Description

本発明は，映像・音声再生装置および映像・音声再生方法に関する。

映像・音声はデジタル化されＭＰＥＧ等で符号化されて記録媒体に記録され，復号化されて再生される。ここで，映像・音声を通常より高速で再生する技術が公開されている（例えば，特許文献１参照）。例えば，数フレーム毎の１フレームのピクチャの再生後に，所定数のフレームのピクチャを順次に通常再生することで，ある程度連続性のある駒飛ばし再生が可能となる。

特開２００４−１４０７２３号公報

しかしながら，特許文献１記載の技術には，映像・音声をバランス良く高速生成する技術は示されていない。
上記に鑑み，本発明は映像・音声をバランス良く高速生成する映像・音声再生装置および映像・音声再生方法を提供することを目的とする。

本発明の一態様に係る映像・音声再生装置は，フレーム内符号化された第１の画像データと，フレーム間予測符号化された第２の画像データと，フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生装置であって，再生速度を入力する入力部と，前記入力された再生速度に対応して，前記映像・音声データから第１の画像データおよび音声データをそれぞれ抽出する第１，第２の間隔と，抽出された第１の画像を再生する回数または時間と，を決定する決定部と，前記映像・音声データから第１の画像データを前記決定された第１の間隔で抽出する第１の抽出部と，前記映像・音声データから音声データを前記決定された第２の間隔で抽出する第２の抽出部と，前記抽出された第１の画像データを前記決定された回数または時間再生する映像再生部と，前記抽出された音声データを再生する音声再生部と，を具備する。

本発明の一態様に係る映像・音声再生方法は，フレーム内符号化された第１の画像データと，フレーム間予測符号化された第２の画像データと，フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生方法であって，再生速度を入力するステップと，前記入力された再生速度に対応して，前記映像・音声データから第１の画像データおよび音声データをそれぞれ抽出する第１，第２の間隔と，抽出された第１の画像を再生する回数または時間と，を決定するステップと，前記映像・音声データから第１の画像データを前記決定された第１の間隔で抽出するステップと，前記映像・音声データから音声データを前記決定された第２の間隔で抽出するステップと，前記抽出された第１の画像データを前記決定された回数または時間再生するステップと，前記抽出された音声データを再生するステップと，を具備する。

本発明によれば，本発明は映像・音声をバランス良く高速生成する映像・音声再生装置および映像・音声再生方法を提供できる。

本発明の第１実施形態に係る映像・音声記録再生装置１０を表すブロック図である。抽出・再生条件テーブルＴの一例を表す模式図である。映像・音声記録再生装置１０の動作手順の一例を表すフロー図である。

以下，図面を参照して，本発明の実施の形態を詳細に説明する。
図１は本発明の一実施形態に係る映像・音声記録再生装置１０を表すブロック図である。映像・音声記録再生装置１０は，映像および音声の記録再生が可能であり，映像および音声の再生速度を適宜に調節できる。

映像・音声記録再生装置１０は，映像入力部１１１ａ，音声入力部１１１ｂ，符号化部１１２，媒体制御部１１３，記録媒体１１４，映像・音声分離部１２１，映像抽出部１２２ａ，音声抽出部１２２ｂ，映像復号部１２３ａ，音声復号部１２３ｂ，映像出力部１２４ａ，音声出力部１２４ｂ，主制御部１３１，記憶部１３２，操作入力部１３３を有する。

映像入力部１１１ａは，映像を入力する装置，例えば，テレビカメラである。映像入力部１１１ａから符号化部１１２に映像信号が出力される。
音声入力部１１１ｂは，音声を入力する装置，例えば，マイクロフォンである。音声入力部１１１ｂから符号化部１１２に音声信号が出力される。

符号化部１１２は，映像入力部１１１ａ，音声入力部１１１ｂから出力される映像信号，音声信号を符号化して，ＰＳ（プログラム・ストリーム）を生成する。

ＰＳは，それぞれＭＰＥＧ−２の規格により符号化された映像信号（映像ＥＳ（エレメンタリ・ストリーム））および音声信号（音声ＥＳ（エレメンタリ・ストリーム））がパケット化されて結合されたものである。ＰＳは，「フレーム内符号化された第１の画像データと，フレーム間予測符号化された第２の画像データと，フレームに対応する音声データとを有する映像・音声データ」に対応する。

映像ＥＳは，複数（例えば，１５）のフレーム（画像）を単位とするＧＯＰ（Group of Picture）から構成される。ＧＯＰには，Iピクチャ（Intra Picture），Pピクチャ（Predictive Picture），Ｂピクチャ（Bidirectionally Predictive Picture）を含めることができる。例えば，ＧＯＰが１５フレームから構成されるとき，「ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ」を１のＧＯＰとすることができる。なお，ここでは「ＩＢＢ」等は「Ｉピクチャ，Ｂピクチャ，Ｂピクチャ」の順次の組み合わせを意味する。

Ｉピクチャは，フレーム内符号化された第１の画像データに対応する。即ち，Ｉピクチャは，そのフレーム（画像）内で画像を圧縮・符号化している。この圧縮・符号化には，8×8ピクセルを単位としたＤＣＴ（離散コサイン変換）を利用できる。

ＰピクチャおよびＢピクチャは，フレーム間予測符号化された第２の画像データに対応する。Ｐピクチャは，フレーム内での圧縮・符号化の他に、フレーム間（時間軸）順方向で画像を予測符号化している。Ｂピクチャは，フレーム内での圧縮・符号化の他に、フレーム間（時間軸）順方向および逆方向（双方向）で画像を予測符号化している。

媒体制御部１１３は，記録媒体１１４への情報の記録および再生を制御する。媒体制御部１１３は，符号化部１１２から出力されるＰＳを記録媒体１１４に書き込む。媒体制御部１１３は，再生速度に対応する速度でＰＳを記録媒体１１４から読み出す。即ち，ｎ倍速の場合，標準のｎ倍以上の速度でＰＳを記録媒体１１４から読み出す。

記録媒体１１４は，情報の記録，再生が可能な媒体，例えば，磁気テープ，光ディスク（ＤＶＤ（Digital Versatile Disk）等），メモリ−カード（ＳＤカード等）である。

映像・音声分離部１２１は，媒体制御部１１３によって記録媒体１１４から読み出されたＰＳを映像ＥＳ，音声ＥＳに分離する。

映像抽出部１２２ａは，映像ＥＳから再生速度に対応した画像フレームを抽出する。映像抽出部１２２ａは，映像・音声データから第１の間隔で第１の画像データを抽出する第１の抽出部に対応する。

音声抽出部１２２ｂは，音声ＥＳから再生速度に対応した音声フレームを抽出する。音声抽出部１２２ｂは，映像・音声データから第２の間隔で音声データを抽出する第２の抽出部に対応する。

映像復号部１２３ａは，抽出された第１の画像データを決定された回数または時間再生する映像再生部として機能する。映像復号部１２３ａは，映像抽出部１２２ａによって抽出された画像フレームを復号し，映像信号として出力する。

音声復号部１２３ｂは，抽出された音声データを再生する音声再生部として機能する。音声復号部１２３ｂは，音声抽出部１２２ｂによって抽出された音声フレームを復号し，音声信号として出力する。

映像出力部１２４ａは，映像復号部１２３ａによって復号された映像信号により映像を出力する表示装置，例えば，液晶表示装置，プラズマ表示装置，ＣＲＴである。
音声出力部１２４ｂは，音声復号部１２３ｂによって復号された音声信号により音声を出力する装置，例えば，スピーカ，ヘッドフォンである。

主制御部１３１は，映像・音声記録再生装置１０全体を制御する制御装置である。主制御部１３１は，再生速度に対応して，映像・音声データから第１の画像データおよび音声データをそれぞれ抽出する第１，第２の間隔と，抽出された第１の画像を再生する回数と，を決定する決定部として機能する。なお，この決定に後述の抽出・再生条件テーブルＴを利用できる。

記憶部１３２は，データを記憶するメモリ，ハードディスクであり，抽出・再生条件テーブルＴを記憶する。図２は，抽出・再生条件テーブルＴの一例を表す模式図である。抽出・再生条件テーブルＴは，再生速度と，フレームの抽出間隔・再生回数の関係を表す。ここでは，１のＧＯＰが１５フレームから構成されるとする（Ｌ（Long）ＧＯＰ）。

（１）映像フレームの抽出・再生
ｎ倍速のとき（ｎ＞１，高速再生時），映像フレームにおいて，１／（ｎ・ｍ）のＩピクチャが抽出され，ｍ回再生される。ここでは，ＬＧＯＰ（１５フレーム）から１のＩピクチャが抽出され，３倍速，５倍速，１５倍速のときそれぞれ，５回，３回，１回再生される。Ｉピクチャのみを抽出し，繰り返し再生することで，簡便，確実な高速での再生処理が可能となり，かつ映像の視認が容易となる。

（２）音声フレームの抽出・再生
音声フレームの抽出の仕方は映像フレームの抽出の仕方と異なる。映像に比べて，音声は復号が容易であるので，再生する映像フレーム以外のフレームを用いて，繰り返し再生を行わずに，簡便，確実な高速での再生処理が可能であり，かつ音声の聞き取りが容易となる。

ｎ倍速のとき（ｎ＞１，高速再生時），音声フレームにおいて，１／ｎのフレームが抽出，再生される。例えば，３倍速，５倍速，１５倍速のときそれぞれ，３フレーム，５フレーム，１５フレーム毎に１の音声フレームが抽出される（抽出条件１：１／３，１／５，１／１５）。利用するフレームを映像フレームよりも多くすることで，再生する音声に含まれる情報量を多くすることができる。また，繰り返しの再生を行わないことで，再生される音声への違和感を低減できる。

あるいは，３倍速，５倍速のときそれぞれ，２１フレームから７フレーム，および２０フレームから４フレームを抽出する（抽出条件２：７／２１，４／２０）。このとき，連続するフレームを抽出することで，より認識容易な音声を再生できる。

ここで，音声フレームでの抽出条件１，２を固定とすることができる。また，操作入力部１３３からの入力により，抽出条件１，２を切替可能としても良い。

なお，一倍速（標準速度）のとき，映像，音声の双方において，全てのフレームが抽出，再生される。

操作入力部１３３は，ユーザによる情報（例えば，再生速度）の入力を可能とする入力装置，例えば，キーボードである。

（映像・音声記録再生装置１０の動作）
以下，映像・音声記録再生装置１０の動作手順を説明する。
図３は，映像・音声記録再生装置１０の動作手順の一例を表すフロー図である。

（１）再生速度の設定（ステップＳ１１）
再生速度が設定される。例えば，操作入力部１３３によって，ｎ倍の再生速度（ｎ＝１，３，５，１５倍）が選択，入力される。

（２）データの抽出間隔・再生回数の決定（ステップＳ１２）
再生速度に基づき，データの抽出間隔・再生回数が決定される。抽出・再生条件テーブルＴに基づき，主制御部１３１がデータの抽出間隔・再生回数を決定する。

（３）映像・音声データの抽出（ステップＳ１３）
決定された抽出間隔・再生回数に基づき，映像・音声データが抽出される。映像抽出部１２２ａ，音声抽出部１２２ｂはそれぞれ，映像ＥＳおよび音声ＥＳから再生速度に対応した画像フレームおよび音声フレームを抽出する。

なお，この映像ＥＳ，音声ＥＳは，記録媒体１１４からｎ倍の再生速度に対応して読み出されたＰＳから映像・音声分離部１２１によって分離されることで生成される。

（４）映像・音声データの再生（ステップＳ１４）
映像・音声データが再生される。映像復号部１２３ａおよび音声復号部１２３ｂはそれぞれ，抽出された画像フレームおよび音声フレームを復号し，映像信号および音声信号として出力する。このとき，映像復号部１２３ａは映像フレームを決定された回数連続して復号する。一方，音声復号部１２３ｂは音声フレームを１回ずつ復号する。この結果，本来のフレーム数の１／ｎの映像フレームおよび音声フレームが再生され，ｎ倍速での再生がなされる。

（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張，変更可能であり，拡張，変更した実施形態も本発明の技術的範囲に含まれる。
上記実施形態では，映像復号部１２３ａにおいて，同一のフレームを複数回再生している。これに換えて，映像抽出部１２２ａが同一のフレームを複数回出力しても良い。このようにすると，映像復号部１２３ａが再生する回数を認識する必要が無くなる。また，映像復号部１２３ａが同一のフレームを複数回再生することに換えて，１フレームを再生する時間を遅くしても良い。このようにすると，映像復号部１２３ａでの処理が容易となる。いずれにしろ，結果として，映像復号部１２３ａが複数回あるいは複数倍の時間だけ，同一のフレームを再生すれば足りる。

上記実施形態では，音声ＥＳ，即ち，符号化（圧縮）された音声信号を用いている。これに対して，非圧縮の音声信号を用いることも可能である。例えば，所定のフレーム数（一例として，５フレーム）において，音声信号が映像信号と同期していれば，音声信号の圧縮の有無に依らず，本発明を適用することが可能である。一例として，映像信号が映像ＥＳで，音声信号が非圧縮の信号の組み合わせを利用できる。

１０…映像・音声記録再生装置，１１１ａ…映像入力部，１１１ｂ…音声入力部，１１２…符号化部，１１３…媒体制御部，１１４…記録媒体，１２１…映像・音声分離部，１２２ａ…映像抽出部，１２２ｂ…音声抽出部，１２３ａ…映像復号部，１２３ｂ…音声復号部，１２４ａ…映像出力部，１２４ｂ…音声出力部，１３１…主制御部，１３２…記憶部，１３３…操作入力部

Claims

フレーム内符号化された第１の画像データたるＭＰＥＧのＩピクチャと，フレーム間予測符号化された第２の画像データたるＭＰＥＧのＰピクチャまたはＢピクチャと，フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生装置であって，
ｎ倍速の再生速度を入力する入力部と，
前記入力された再生速度に対応して，前記映像・音声データから第１の画像データおよび音声データをそれぞれ抽出する第１，第２の間隔と，抽出された第１の画像を再生する回数または時間と，を決定する決定部と，
前記映像・音声データから第１の画像データを前記決定された第１の間隔で抽出する第１の抽出部と，
前記映像・音声データから音声データを前記決定された第２の間隔で抽出する第２の抽出部と，
前記抽出された第１の画像データを前記決定された回数または時間再生する映像再生部と，
前記抽出された音声データを再生する音声再生部と，を具備し，
前記決定部が，前記映像・音声データからＬＧＯＰ（フレーム数ｎ１）当たり１のＩピクチャを抽出して，それぞれ（ｎ１／ｎ）回，再生し，前記映像・音声データからフレーム数ｎ１当たり１で，かつ連続する複数の音声データを抽出して，それぞれ１回，再生することを決定する，
ことを特徴とする映像・音声再生装置。
前記決定部が，抽出したＩピクチャを（ｎ１／ｎ）倍の時間再生することを決定する，
ことを特徴とする請求項１記載の映像・音声再生装置。
前記決定部が，
１５フレームのＬＧＯＰに対して，前記第１の間隔を１／１５とし，かつ前記音声データの再生回数を１とし，
３倍速，５倍速，１５倍速それぞれの再生速度に対応して，前記第１の画像データの再生回数を５，３，および１とし，前記第２の間隔を７／２１または１／３，４／２０または１／５，および１／１５とすることを決定する，
ことを特徴とする請求項１または２に記載の映像・音声再生装置。