JP2023162711A

JP2023162711A - 撮像装置

Info

Publication number: JP2023162711A
Application number: JP2022073273A
Authority: JP
Inventors: 幹雄加藤; Mikio Kato; 潔関口; Kiyoshi Sekiguchi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2023-11-09

Abstract

【課題】画像の撮影時の周囲の音声、音量および撮影画像に基づいて、画像の投影時のＢＧＭを自動選択する。【解決手段】撮像手段と、音声取得手段と、前記撮像された静止画と前記音声取得手段により取得された音声とを対応付けて記録媒体に記録する記録手段と、前記記録手段により記録された静止画から複数の推奨画像を選択し、映像を生成する映像生成手段と、前記推奨画像に対応した前記音声または前記推奨画像に基づき、前記推奨画像のＢＧＭを選択するＢＧＭ選択手段と、前記ＢＧＭ選択手段により選択されたＢＧＭから、前記映像生成手段により生成された前記映像のＢＧＭを決定するＢＧＭ決定手段と、前記映像生成手段により生成された前記映像を投影する投影手段と、前記ＢＧＭ決定手段により決定されたＢＧＭを、前記投影手段により投影された前記映像のＢＧＭとして出力するＢＧＭ出力手段とを有する。【選択図】図１

Description

本発明は、撮像装置に関する。

近年、投影装置付きカメラなど、撮影して画像をすぐに投影、表示する事が可能な機器が登場している。また、おすすめ画像を自動で選択するような機能のある機器もあり、撮影画像からＢＧＭ（Ｂａｃｋｇｒｏｕｎｄｍｕｓｉｃ）といった音楽付きムービー等を作成する機器もある。

特許文献１では、動画像のダイジェストムービーの再生時、動画像に記録される音声は再生せず、ユーザーがＢＧＭを選択して再生する方法が開示されている。

特許第５４１１８７４号広報

しかしながら、前記の特許文献に開示された従来技術では、ユーザーがＢＧＭを選択して再生するため、ＢＧＭ選択に手間がかかる。また、撮影した画像を表示、投影する際、流れるＢＧＭが必ずしも画像に適したＢＧＭではなく、ユーザーにとって好適ではない場合がある。

そこで、本発明は、撮影した複数の画像に適したＢＧＭを選択して流す事により、ユーザーに好適な鑑賞機会を提供することを目的とする。

撮像手段と、音声取得手段と、前記撮像された静止画と前記音声取得手段により取得された音声とを対応付けて記録媒体に記録する記録手段と、前記記録手段により記録された静止画から複数の推奨画像を選択し、映像を生成する映像生成手段と、前記推奨画像に対応した前記音声、または前記推奨画像の情報に基づいて、前記推奨画像に適したＢＧＭを選択するＢＧＭ選択手段と、前記ＢＧＭ選択手段により選択されたＢＧＭの中から、前記映像生成手段により生成された前記映像に適したＢＧＭを決定するＢＧＭ決定手段と、前記映像生成手段により生成された前記映像を投影する投影手段と、前記ＢＧＭ決定手段により決定されたＢＧＭを、前記投影手段により投影された前記映像のＢＧＭとして出力するＢＧＭ出力手段とを有する。

本発明によれば、撮影した複数の画像に適したＢＧＭを選択して流す事により、ユーザーに好適な鑑賞機会を提供することができる。

撮像装置の構成を説明するブロック図である。撮像装置の動作を示すフローチャートである。撮像装置の構成を説明するブロック図である。撮像装置の動作を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、第１の実施形態における撮像装置の構成を説明するブロック図である。

撮像装置１００は、撮像部１０１、音声取得部１０２、記録部１０３、映像生成部１０４、ＢＧＭ選択部１０５、投影部１０６、ＢＧＭ決定部１０７、ＢＧＭ出力部１０８を有する。撮像部１０１は、画像を撮影するもので、ＣＭＯＳセンサーやＣＣＤセンサーなどの撮像素子を用いて行うことができる。音声取得部１０２はマイクを有し、画像の撮影時に周囲の音声を取得する。記録部１０３は、取得された画像および音声を記録媒体に記録する。記録媒体は、メモリーカードやハードディスクなどが挙げられる。また、無線や有線といった通信部を用いて外部の記録媒体を用いても良いが、ここでは特に限定しない。

映像生成部１０４は、撮影した画像から複数の推奨画像を選択し、映像を自動生成する。ＢＧＭ選択部１０５は、推奨画像に対応する音声、または推奨画像の情報に基づいて、推奨画像のＢＧＭを選択する。ＢＧＭ決定部１０７は、選択したＢＧＭの中から映像のＢＧＭを決定する。ＢＧＭ出力部１０８は、ＢＧＭを出力する。投影部１０６は、生成した映像を投影する。

本実施形態では、撮像部１０１により静止画を撮影して記録する。撮像部１０１で撮影した静止画と音声取得部１０２で取得した音声は、記録部１０３に送られ記録される。音声取得部１０２は、静止画の撮影時のレリーズ期間中、またはレリーズ後の所定時間、またはレリーズ前後の所定時間のいずれかの期間にて音声を取得する。

音声を取得する期間が長ければ音声を多く取得できるが情報量が増えることとなり多くの記録容量を要する。例えば、音声が１～２秒ほどあれば、単語レベルでの音声を聞き取ることが十分可能である。また、音声は、撮像装置１００の周囲の人の声や音楽などである。

記録部１０３により、このようにして撮影した複数の静止画像と、それに対応する音声が記録される。映像生成部１０４には、記録部１０３により記録された静止画像から複数の静止画像、及び、これらの静止画像に対応づけて記録された音声が、記録媒体から読み出されて送られる。記録部１０３から送られる静止画像は、映像生成部１０４が選択する。

例えば、家族（以降では、父、母、子の３人家族を例とする）の画像が複数あったとき、家族皆が笑顔の画像を推奨画像として一定数選択する。画像の選択方法については、様々な手法で特徴量を抽出して判断される。画像選択にあたっては、あらかじめ数千～数万枚の画像データを機械学習用データベースに蓄積し、さらにこれらの画像データを用いて、機械学習により対象物候補を選択可能とする選択器を生成しておく。

特徴量の計算、選択器生成にはＨＯＧ特徴量、ＳＶＭ識別器などさまざまな手法が提案されているが、ここでは特に限定しない。選択する推奨画像の枚数は、ユーザーが任意に設定することができる。例えば１０枚である。また、自動生成する映像の長さによって設定しても良い。自動生成する映像は、複数の推奨画像を連続して表示するスライドショーとして生成する。例えば、自動生成する映像を１分とし、画像１枚当たりの表示時間を５秒とすると、合計１２枚の画像を推奨画像として選択することとなる。これらはユーザーが任意に設定しても良い。

ここでは、映像生成部１０４が記録部１０３から送られる画像を選択するとして説明したが、特にこれに限定されない。記録部１０３が選択しても良いし、ユーザーが任意に選択しても良い。

ＢＧＭ選択部１０５には、映像生成部１０４から推奨画像と、それに対応づけて記録された音声が送られる。ＢＧＭ選択部１０５では、音声に含まれる音楽、または声から、曲を推定し、推定の結果からＢＧＭを選択する。例えば、音声にテーマパークのテーマ音楽が記録されているとき、テーマパークのテーマ音楽がＢＧＭとして選定される。音声として子の声で、テーマパークのキャラクターの名前が記録されているとき、そのキャラクターのテーマ音楽がＢＧＭとして選定される。キャラクター個別のテーマ音楽が無い場合、テーマパークのテーマ音楽をＢＧＭとしても良い。

音楽からのＢＧＭ選択にあたっては、画像選択と同様の手法を用いることで可能となるが、ここでは特に限定しない。声からのＢＧＭ選定についても同様である。また、画像に対応づけられた音声からではなく、画像に含まれる被写体、または文字列から、適した曲を推定し、推定の結果からＢＧＭを選択しても良い。例えば、画像にテーマパークのキャラクターが画像に含まれているとき、そのキャラクター情報からＢＧＭを選定しても良い。テーマパークの名称が画像に文字列として含まれているとき、そのテーマパークの名称からＢＧＭを選定しても良い。

また、推奨画像のシーンを識別し、シーン識別結果に適したＢＧＭを選択しても良い。例えば、子の運動会の画像の場合、運動会に適した音楽をＢＧＭとして選択しても良い。また、推奨画像に撮影されている特定の個人、年齢、シーンに適した曲を予め対応付け、ＢＧＭを選択しても良い。

この時、特定の個人が子であれば、子の好みの曲、特定の個人が父であれば、若い時の流行曲等を予め対応付けておく。年齢であれば、年齢に応じた流行曲等を予め対応付けておく。シーンであれば、例えば運動会やお祭りといったシーンに応じた曲を予め対応付けておく。これにより、ＢＧＭの選択を容易にすることができる。

また、ＢＧＭ選択部１０５は、ネットワーク上のサーバ、または内蔵記憶装置からＢＧＭを引用するようにしている。ＢＧＭ決定部１０７は、ＢＧＭ選択部１０５で選択されたＢＧＭの数に基づいて、映像のＢＧＭを決定する。または、ＢＧＭ決定部１０７は、最も選択数が多いＢＧＭが複数だった場合、最も選択数が多いＢＧＭの中からランダムでＢＧＭを決定する。

例えば、推奨画像１０枚に対して、ＢＧＭ選択部１０５で選択されたＢＧＭが、ＢＧＭ１が４曲、ＢＧＭ２が３曲、ＢＧＭ３が３曲であった場合、ＢＧＭ１がＢＧＭとして選択される。また、例えばＢＧＭ１が４曲、ＢＧＭ２が４曲、ＢＧＭ３が２曲であった場合、ＢＧＭ１とＢＧＭ２が同数であるため、ランダムでＢＧＭ１またはＢＧＭ２がＢＧＭとして選択される。

投影部１０６は、プロジェクターなどの光学的な機能を用いて投影を行う。これにより映像生成部１０４で生成した映像を即座に投影して鑑賞することができる。ＢＧＭ出力部１０８は、スピーカーによりＢＧＭ決定部１０７で決定したＢＧＭを出力する。投影部１０６で投影する映像と共に、ＢＧＭが出力される。このように、撮影した静止画像を映像として投影する際に、撮影した画像に適したＢＧＭを選択する。そして、選択したＢＧＭを、投影される映像のＢＧＭとして出力することにより、ユーザーに好適な鑑賞機会を提供することができる。

図２は、撮像装置１００の動作を示すフローチャートである。ステップＳ１０１で、撮像部１０１により静止画の撮影を行う。ステップＳ１０２で、音声取得部１０２により周囲の声や音楽などの音声を取得する。ステップＳ１０３で、撮影した静止画像と取得した音声を対応付けて記録する。ステップＳ１０４で、映像の自動生成を行うか否かをユーザーが選択する。ユーザーが映像の自動生成を行わないことを選択した場合、画像撮影Ｓ１０１に戻る。ユーザーが映像の自動生成を行うことを選択した場合、ステップＳ１０５に進む。

ステップＳ１０５で、推奨画像を所定の枚数（ここではｎ枚を例とし、初期値を１とする）選定し、映像生成を実行する。ステップＳ１０６で、推奨画像のｎ枚目に対応した音声の判定を行う。ステップＳ１０７で、推奨画像のｎ枚目に対応した音声から特定のＢＧＭを推定する。ステップＳ１０８で、特定のＢＧＭが推定できるかを判定する。ＢＧＭが推定できる場合、ステップＳ１０９に進み、特定したＢＧＭをｎ番目の推奨画像に適したＢＧＭとする。

ＢＧＭが推定できない場合、ステップＳ１１３に進む。ステップＳ１１３では、推奨画像に写る被写体または文字列から特定のＢＧＭの推定を行う。ステップＳ１１４で、推奨画像に写る被写体または文字列から特定のＢＧＭを推定できるかを判定する。ＢＧＭが推定できる場合、ステップＳ１１５に進み、特定したＢＧＭをｎ番目の推奨画像のＢＧＭとする。ＢＧＭが推定できない場合、ステップＳ１１６に進む。

ステップＳ１１６では、推奨画像のシーン識別を行う。ステップＳ１１６で、識別したシーンに適したＢＧＭをｎ番目の推奨画像のＢＧＭとする。ステップＳ１１０で、推奨画像を所定の枚数すべてに適したＢＧＭが選択されたかを判定する。ｎ枚の推奨画像すべてに適したＢＧＭが選択された場合、ステップＳ１１１に進む。

推奨画像すべてに適したＢＧＭが選択されていない場合、ステップＳ１１８に進む、次の推奨画像に適したＢＧＭの選定に進む。具体的には、ｎに１を加算し、ステップＳ１０６に戻り、再度ステップＳ１０６以降の実行に進む。ステップＳ１１１で、選択したＢＧＭの数をカウントし、最も多く選択されたＢＧＭを映像に適したＢＧＭとして決定する。最も多く選択されたＢＧＭが複数あった場合は、ランダムでＢＧＭを決定する。ステップＳ１１２で、映像に適したＢＧＭを映像と共に投影する。

以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、実施形態に限定されるものではない。

次に、第２の実施形態について図面を参照して説明する。なお、第１の実施形態と同一の構成、動作及び処理については図中に同一の符号を付し、その説明は省略する。

図３は、第２の実施形態における撮像装置１００の構成を説明するブロック図である。ＢＧＭ選択部２０１では、選択したＢＧＭに重み付け情報を付与する。ＢＧＭ選択部２０１において、音声からＢＧＭ選択をする場合、音量に応じて選択したＢＧＭの重み付け情報を付与する。例えば、通常時、重み付け無しの時を１として、重み付け情報として１．５などである。

また、ＢＧＭ選択部２０１において、静止画からＢＧＭ選択する場合、被写体もしくは文字列が写る領域に応じて選択したＢＧＭの重み付け情報を付与する。例えば、０．８である。ＢＧＭ選択部２０１では、推奨画像に適したＢＧＭと共に、そのＢＧＭに対して重み付け情報を付与してＢＧＭ決定部２０２に情報を送付する。

ＢＧＭ決定部２０２では、ＢＧＭの重み付け情報を基に映像に適したＢＧＭを決定する。例えば、ＢＧＭ選択部２０１からの推奨画像が５枚と選択したＢＧＭが３曲あったとする。推奨画像１にはＢＧＭ１が選択され、重み付け情報が０．８であった。推奨画像２にはＢＧＭ２が選択され、重み付け情報が１．５であった。推奨画像３にはＢＧＭ１が選択され、重み付け情報が０．７であった。推奨画像４にはＢＧＭ２が選択され、重み付け情報が１．２であった。推奨画像５にはＢＧＭ３が選択され、重み付け情報が１．５であった。

この時、推奨画像に選択されたＢＧＭが、ＢＧＭ１とＢＧＭ２とが２曲ずつで同数である。しかし、重み付け情報により、ＢＧＭ１は重み付け情報の加算値が１．５である。一方、ＢＧＭ２は重み付け情報の加算値が２．７である。このような場合には、ＢＧＭの重み付け情報の大きいＢＧＭ２を選択することになる。重み付け情報の数値については、大きいほど推奨画像に適したＢＧＭであるとすることもでき、また、逆でも良い。また、推定するＢＧＭの機械学習用データベースとの適合量に応じて重み付け情報を付与することもできる。

このように、撮影した画像を映像として投影する際に、撮影した画像に適したＢＧＭを選択して流す事により、ユーザーに好適な鑑賞機会を提供することができる。図４は、実施例２における撮像システムの動作を示すフローチャートである。

ステップＳ２０１で、推奨画像に対応した音声から推定したＢＧＭに重み付け情報を付与する。ステップＳ２０２で、推奨画像に写る被写体または文字列から推定したＢＧＭに重み付け情報を付与する。ステップＳ２０３で、推奨画像のシーンに適したＢＧＭに重み付け情報を付与する。

ステップＳ２０４で、選択したＢＧＭの数をカウントし、最も多く選択されたＢＧＭを映像に適したＢＧＭとして決定する。最も多く選択されたＢＧＭが複数あった場合は、重み付け情報を元にＢＧＭを決定する。

１００撮像装置

Claims

撮像手段と、
音声取得手段と、
前記撮像された静止画と前記音声取得手段により取得された音声とを対応付けて記録媒体に記録する記録手段と、
前記記録手段により記録された静止画から複数の推奨画像を選択し、映像を生成する映像生成手段と、
前記推奨画像に対応した前記音声または前記推奨画像に基づき、前記推奨画像のＢＧＭを選択するＢＧＭ選択手段と、
前記ＢＧＭ選択手段により選択されたＢＧＭから、前記映像生成手段により生成された前記映像のＢＧＭを決定するＢＧＭ決定手段と、
前記映像生成手段により生成された前記映像を投影する投影手段と、
前記ＢＧＭ決定手段により決定されたＢＧＭを、前記投影手段により投影された前記映像のＢＧＭとして出力するＢＧＭ出力手段とを有する撮像装置。
前記音声取得手段は、前記撮像手段による前記静止画像のレリーズ期間中、またはレリーズ後の所定時間、またはレリーズ前後の所定時間のいずれかの期間にて音声を取得することを特徴とする請求項１記載の撮像装置。
前記ＢＧＭ選択手段は、前記記録手段により記録された前記音声に含まれる音楽、または声から、適した曲を推定し、推定の結果から前記ＢＧＭを選択することを特徴とする請求項１または２に記載の撮像装置。
前記ＢＧＭ選択手段は、前記推奨画像に含まれる被写体、または文字列から、曲を推定し、推定の結果から前記ＢＧＭを選択することを特徴とする請求項１または２に記載の撮像装置。
前記ＢＧＭ選択手段は、推奨画像のシーンを識別し、前記シーンの識別の結果からＢＧＭを選択することを特徴とする請求項１または２に記載の撮像装置。
前記ＢＧＭ選択手段は、ネットワーク上のサーバ、または内蔵記憶装置からＢＧＭを選択することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記ＢＧＭ選択手段は、特定の個人、年齢、シーンに適した曲を予め対応付け、ＢＧＭを選択することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
前記映像生成手段は、ユーザーが任意に、または自動で生成する前記映像の長さによって、選択する前記推奨画像の枚数を決めることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
前記ＢＧＭ決定手段は、前記ＢＧＭ選択手段で選択された前記ＢＧＭの数に基づいて、前記ＢＧＭを決定することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
前記ＢＧＭ選択手段は、前記選択したＢＧＭに重み付け情報を付与し、
前記ＢＧＭ決定手段は、前記ＢＧＭの重み付け情報に基づいて、前記ＢＧＭを決定することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。