JP5245919B2 - 情報処理装置およびプログラム - Google Patents
情報処理装置およびプログラム Download PDFInfo
- Publication number
- JP5245919B2 JP5245919B2 JP2009051024A JP2009051024A JP5245919B2 JP 5245919 B2 JP5245919 B2 JP 5245919B2 JP 2009051024 A JP2009051024 A JP 2009051024A JP 2009051024 A JP2009051024 A JP 2009051024A JP 5245919 B2 JP5245919 B2 JP 5245919B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- audio
- video
- event
- audio frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Studio Devices (AREA)
Description
映像の撮影時に記録された音声からイベント音を検出する検出部と、
前記映像の撮影速度より遅い再生速度の映像再生時刻系列上で前記イベント音に応じた映像が再生されるイベント再生時刻を求める算出部と、
前記映像再生時刻系列上での前記イベント音の再生開始時刻を決定する決定部とを含む。
図1は、情報処理装置のハードウェア構成例を示す図である。情報処理装置1は、プロセッサ101、主記憶装置102、入力装置103、出力装置104、外部記憶装置105、媒体駆動装置106、およびネットワークインタフェース107を備える。それらはバス109により互いに接続されている。
ディスク等である。駆動装置106は、例えば、CDドライブ、DVDドライブ、フロッピー(登録商標)ディスクドライブ等である。
図2は、情報処理装置1のプロセッサ101がプログラムを実行することによって実現される機能の説明図である。情報処理装置1は、プロセッサ101がプログラムを実行することによって、検出部11、算出部12、及び決定部13を実現することができる。すなわち、情報処理装置1は、プログラムの実行によって、検出部11、算出部12及び決定部13を備えた装置として機能する。
る。検出部11は、音声フレーム群に基づく音声が再生される場合に、イベントに対応するイベント音を含む音声フレームが再生される第1の時刻を検出する。第1の時刻は、音声フレーム群、すなわち音声ファイルの再生開始位置の時刻を基点としたときの時刻である。検出部11は、第1の時刻を決定部13に出力する。イベント音を含む音声フレームは、例えば、音声フレーム群中の最大音量レベルを有する音声フレームである。
の比率を乗じて求めることができる。
第2実施形態の情報処理装置は、高速なフレームレートで映像フレーム群を生成し、表示装置が有する表示レートで映像フレーム群をスロー再生する場合に、イベントを有する映像フレームとイベントを有する音声フレームとを同時刻に再生可能となる情報を生成する。
像再生時刻付加部22と、イベント検出部23と、イベント発生時刻生成部24と、音声再生時刻生成部25と、音声再生時刻付加部26とを備える。情報処理装置2のハードウェア構成は、情報処理装置1と同様である。
量レベルを主記憶装置102(図1)にバッファする。イベント検出部23は、バッファした音声フレーム群の先頭フレームから終了フレームまでの音量レベルについて下記の式2及び式3を満たすか否かを判定する。音量レベルの最大閾値をThAMax、音量レベルの最小閾値をThAMinとする。
ON」と最大音量レベルを有する音声フレームの情報とが入力されると、バッファからその音声フレームの入力された時刻を読み出して、映像補正時刻TEoutとして出力する。映像補正時刻TEoutは、最大音量レベルを有する音声フレームが入力される基準時刻を音声基準時刻TEinとすると、映像補正時刻TEoutはその時の補正時刻なので、以下の式(5)で表わされる。
フレームとイベントを有する音声フレームとを同時刻に再生することができる。したがって、情報処理装置2は、映像取込速度Mで取り込まれた映像フレーム群を、映像再生速度Nで再生する場合に、イベントを有する映像フレームとイベントを有する音声フレームとを同時刻に再生可能となる情報を提供することができる。
第2実施形態では、映像フレーム及び音声フレームに再生時刻を示すタイムスタンプを付加した。これに代えて、情報処理装置2が、出力装置としてディスプレイなどの表示装置を備える場合には、タイムスタンプを付加せずに、映像フレーム群の再生開始時刻にから音声フレーム群の再生開始時刻TAstartを求める。表示装置は、映像フレーム群の再生(若しくは表示)を開始してから、再生開始時刻TAstartになったら、音声フレーム群の再生を開始すればよい。
第2実施形態では、音声フレーム群が1秒間におけるサンプリング数nで生成され、1秒間にn個の速度で再生される、すなわち、音声の取込速度と再生速度が等しい場合について説明した。音声フレーム群は、映像取込速度Mと映像再生速度Nとの比率に応じて、1秒間にn個の速度よりも低速の音声再生速度でスロー再生することもできる。
速再生になってしまうため、スロー再生度を制御する係数αに下限値が設けられる。また、音声フレーム群は、映像フレーム群と同じ倍速(N/M倍)でスロー再生する必要はな
いので、スロー再生度を制御する係数αは1より小さい値でよい。すなわち、N/M<α<1である。
第2実施形態では、イベント検出を音声フレーム群の先頭フレームから終了フレームまでの時間、すなわち、全音声フレーム群に対して実行した。例えば、音声フレーム群の先頭フレームの入力される時刻を0、終了フレームの入力される時刻をTとすると、第2実施形態では、時刻0から時刻Tまでの範囲で、イベントの検出を行った。時刻0から時刻Tまでの範囲を[0、T]と表記する。
(区間の開始条件)
ThAMax<Lv(n−1)
且つ
Lv(n)<ThAMin
尚、ThAMaxは音量レベルの最大閾値であり、ThAMinは音量レベルの最小閾値である。Lv(n)は、音声フレーム(n)の音量レベルである。変形例3では、イベント音の立ち下がりを区間の開始とする。
、以下の条件を用いる。
(イベント検出の可能性の判定条件)
Lv(n−1)<ThAMin
且つ
ThAMax<Lv(n)
上記判定条件は、音声フレーム(n)が、イベント音の立ち上がりを検出する。
(区間の終了条件)
Lv(n−1)<ThAMin
且つ
ThAMin<Lv(n)<ThAMax
音声フレーム(n)の音量レベルと音声フレーム(n−1)の音量レベルとが、上記区間の終了条件を満たす場合(OP138:Yes)、イベント発生部23は、OP137の処理を行う。すなわち、区間Aの終点フレームが決定される。
レームまでの間に、イベントがP1,P2,P3と複数含まれる場合を示す。図6及び図7に示す処理が実行されることによって、イベントP1による音量レベルの立ち下がり時点から、イベントP3による音量レベルの立ち下がり時点までを切り出すことができる。また、時間範囲の中間時点あたりにイベントP2が含まれるように切り出すことができる。さらに、図6及び図7に示される処理において、区間フラグを複数用い、それぞれの初期値を異なる値に設定することによって、例えば、イベントP1を含む区間1、イベントP2を含む区間2、及びイベント3を含む区間3というように、重なりあう区間を切り出すことができる。このように、1つの音声フレーム群中の複数のイベントが含まれる場合でも、各イベントを含む区間を切り出すことができ、各イベントを検出することができる。
11 検出部
12 算出部
13 決定部
21 時間制御部
21a 基準時刻生成部
21b 補正時刻生成部
22 映像再生時刻付加部
23 イベント検出部
24 イベント発生時刻生成部
25 音声再生時刻生成部
26 音声再生時刻付加部
101 プロセッサ
102 主記憶装置
103 入力装置
104 出力装置
105 外部記憶装置
106 媒体駆動装置
107 ネットワークインタフェース
109 バス
110 可搬記録媒体
Claims (5)
- 映像の撮影時に記録された音声からイベント音を検出し、該音声の音声フレーム群の再生開始位置の時刻を基点として、前記イベント音を含む音声フレームが再生される時刻を検出する検出部と、
前記映像の撮影速度より遅い再生速度の映像再生時刻系列上での前記イベント音の再生開始時刻を、前記イベント音を含む音声フレームが再生される時刻と、前記撮影速度と前記再生速度との比率と、を用いて、決定する決定部と
を含む情報処理装置。 - 映像の撮影時に記録された音声からイベント音を検出し、該音声の音声フレーム群の再生開始位置の時刻を基点として、前記イベント音を含む音声フレームが再生される第1の時刻を検出する検出部と、
映像フレーム群が前記映像の撮影速度より遅い再生速度で再生される場合の映像再生時刻系列において前記イベント音に対応するイベントを含む映像フレームが再生される第2の時刻を取得する取得部と、
前記第2の時刻から前記第1の時刻を減算した時刻を、前記映像フレーム群の再生開始時刻を基点としたときの前記イベント音を含む音声フレームを含む音声フレーム群の再生開始時刻として決定する決定部と、
を備える情報処理装置。 - 前記映像フレーム群のそれぞれの映像フレームに、前記再生速度で再生される時刻を付加する映像時刻付加部と、
前記音声フレーム群の前記再生開始時刻を前記音声フレーム群の再生時刻のオフセットとして、再生される時刻を前記音声フレーム群のそれぞれの音声フレームに付加することで、前記第2の時刻を前記イベント音を含む音声フレームに付加する音声時刻付加部と、をさらに備える請求項2に記載の情報処理装置。 - 前記検出部は、前記音声フレーム群の1つの音声フレームの信号特性と前記音声フレームの1つ前の音声フレームの前記信号特性との関係に基づき、前記音声フレーム群の連続する複数の音声フレームを抜き出し、前記連続する複数の音声フレームの中に前記イベン
ト音を含む音声フレームが存在するか否かを検出し、前記イベント音を含む音声フレームが存在する場合に該音声フレームが再生される時刻を前記第1の時刻として検出する
請求項2又は3に記載の情報処理装置。 - 情報処理装置に、所定の撮影速度で撮影された映像フレーム群が前記撮影速度より遅い再生速度で再生される場合の再生時刻系列上で、前記映像フレーム群に含まれるイベントに対応するイベント音を前記イベントの再生に適合させて再生するための情報を生成する処理を実行させるプログラムであって、前記処理は、
前記イベント音を含む音声フレームが再生される第1の時刻を検出するステップと、
前記映像フレーム群が前記再生速度で再生される場合に、前記イベントを含む映像フレームが再生される第2の時刻を取得するステップと、
前記第2の時刻から前記第1の時刻を減算した時刻を、前記映像フレーム群の再生開始時刻を基点としたときの前記イベント音を含む音声フレームを含む音声フレーム群の再生開始時刻として決定するステップと、
を含むプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009051024A JP5245919B2 (ja) | 2009-03-04 | 2009-03-04 | 情報処理装置およびプログラム |
US12/716,805 US20100226624A1 (en) | 2009-03-04 | 2010-03-03 | Information processing apparatus, playback device, recording medium, and information generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009051024A JP5245919B2 (ja) | 2009-03-04 | 2009-03-04 | 情報処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010206641A JP2010206641A (ja) | 2010-09-16 |
JP5245919B2 true JP5245919B2 (ja) | 2013-07-24 |
Family
ID=42678325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009051024A Expired - Fee Related JP5245919B2 (ja) | 2009-03-04 | 2009-03-04 | 情報処理装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100226624A1 (ja) |
JP (1) | JP5245919B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5146503B2 (ja) * | 2010-09-06 | 2013-02-20 | カシオ計算機株式会社 | 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム |
JP5054175B2 (ja) * | 2010-09-08 | 2012-10-24 | キヤノン株式会社 | 撮像装置およびその制御方法、撮影制御装置、撮影制御方法 |
CN104284239A (zh) * | 2013-07-11 | 2015-01-14 | 中兴通讯股份有限公司 | 一种视频播放方法、装置、视频播放客户端和多媒体服务器 |
WO2016129303A1 (ja) * | 2015-02-10 | 2016-08-18 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
WO2016139971A1 (ja) * | 2015-03-03 | 2016-09-09 | ソニー株式会社 | 信号処理装置、信号処理システム、信号処理方法、および、プログラム |
JP6943949B2 (ja) * | 2016-08-19 | 2021-10-06 | スノー コーポレーション | コンピュータプログラム、動画処理方法及び記録媒体 |
JP6882057B2 (ja) | 2017-05-11 | 2021-06-02 | キヤノン株式会社 | 信号処理装置、信号処理方法、およびプログラム |
CN110858909B (zh) * | 2018-08-23 | 2021-11-26 | 武汉斗鱼网络科技有限公司 | 一种播放视频时弹幕的显示方法、装置及电子设备 |
CN109348281B (zh) * | 2018-11-08 | 2020-02-21 | 北京微播视界科技有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN109669918B (zh) * | 2018-12-13 | 2023-04-28 | 成都心吉康科技有限公司 | 数据展示方法、装置及可穿戴健康设备 |
CN114554110B (zh) * | 2022-01-25 | 2023-12-29 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备和存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4496995A (en) * | 1982-03-29 | 1985-01-29 | Eastman Kodak Company | Down converting a high frame rate signal to a standard TV frame rate signal by skipping preselected video information |
US20030093790A1 (en) * | 2000-03-28 | 2003-05-15 | Logan James D. | Audio and video program recording, editing and playback systems using metadata |
JP3063838B2 (ja) * | 1997-10-02 | 2000-07-12 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置および方法 |
US6680753B2 (en) * | 2001-03-07 | 2004-01-20 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for skipping and repeating audio frames |
US7461002B2 (en) * | 2001-04-13 | 2008-12-02 | Dolby Laboratories Licensing Corporation | Method for time aligning audio signals using characterizations based on auditory events |
JP2003092761A (ja) * | 2001-09-18 | 2003-03-28 | Toshiba Corp | 動画再生装置、動画再生方法及び音声再生装置 |
WO2003085969A1 (fr) * | 2002-04-04 | 2003-10-16 | Sony Corporation | Systeme d'enregistrement d'image captee, dispositif d'enregistrement de signal et procede d'enregistrement de signal |
US20060140098A1 (en) * | 2004-12-29 | 2006-06-29 | Champion Mark A | Recording audio broadcast program |
CN1954604A (zh) * | 2005-02-03 | 2007-04-25 | 松下电器产业株式会社 | 记录/再现装置和记录/再现方法、存储记录/再现程序的记录介质以及用于记录/再现装置的集成电路 |
KR100650407B1 (ko) * | 2005-11-15 | 2006-11-29 | 삼성전자주식회사 | 멀티 모달 기반의 고속 비디오 요약 생성 방법 및 그 장치 |
JP2007318426A (ja) * | 2006-05-25 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 映像解析装置および映像解析方法 |
US8363161B2 (en) * | 2006-05-26 | 2013-01-29 | Broadcom Corporation | Systems, methods, and apparatus for synchronization of audio and video signals |
JP4743084B2 (ja) * | 2006-11-07 | 2011-08-10 | カシオ計算機株式会社 | 記録装置及び記録プログラム |
JP4679647B2 (ja) * | 2009-02-27 | 2011-04-27 | 株式会社東芝 | 映像音声再生装置および映像音声再生方法 |
-
2009
- 2009-03-04 JP JP2009051024A patent/JP5245919B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-03 US US12/716,805 patent/US20100226624A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20100226624A1 (en) | 2010-09-09 |
JP2010206641A (ja) | 2010-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5245919B2 (ja) | 情報処理装置およびプログラム | |
US20070074253A1 (en) | Content-preference-score determining method, content playback apparatus, and content playback method | |
JP5370170B2 (ja) | 要約映像生成装置および要約映像生成方法 | |
CN104063157B (zh) | 通知控制装置、通知控制方法以及记录介质 | |
JP2011217197A (ja) | 電子機器、再生制御システム、再生制御方法及びプログラム | |
JP5635859B2 (ja) | 編集装置、制御方法及びプログラム | |
US20070071406A1 (en) | Video recording and reproducing apparatus and video reproducing apparatus | |
JP6882057B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
WO2016098415A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP4435130B2 (ja) | 映像再生装置、再生装置 | |
JP2010509830A (ja) | ビデオデータストリームの要約を生成するための方法及び装置 | |
WO2023040520A1 (zh) | 视频配乐方法、装置、计算机设备和存储介质 | |
KR20140081695A (ko) | 동작 분석 장치 | |
JP2006148932A (ja) | スポーツ動映像の要約方法及び装置 | |
US20100310229A1 (en) | Video processing apparatus and vide processing method | |
JP4289326B2 (ja) | 情報処理装置および方法、撮影装置、並びにプログラム | |
TWI408950B (zh) | 分析運動視訊之系統、方法及具有程式之電腦可讀取記錄媒體 | |
JP3879122B2 (ja) | ディスク装置、ディスク記録方法、ディスク再生方法、記録媒体、並びにプログラム | |
JP2011055386A (ja) | 音響信号処理装置及び電子機器 | |
WO2007013407A1 (ja) | ダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いる集積回路 | |
JP2011523291A (ja) | オーディオ/ビジュアルデータストリームのサマリを生成するための方法及び装置 | |
JP4310745B2 (ja) | 番組要約装置および番組要約処理プログラム | |
JP2011139306A (ja) | 撮像装置及び再生装置 | |
WO2021100516A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2007035121A (ja) | 再生制御装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130325 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |