Nothing Special   »   [go: up one dir, main page]

JP2019109813A - 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム Download PDF

Info

Publication number
JP2019109813A
JP2019109813A JP2017243611A JP2017243611A JP2019109813A JP 2019109813 A JP2019109813 A JP 2019109813A JP 2017243611 A JP2017243611 A JP 2017243611A JP 2017243611 A JP2017243611 A JP 2017243611A JP 2019109813 A JP2019109813 A JP 2019109813A
Authority
JP
Japan
Prior art keywords
image data
still image
operation display
extraction
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017243611A
Other languages
English (en)
Inventor
田中 邦彦
Kunihiko Tanaka
邦彦 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2017243611A priority Critical patent/JP2019109813A/ja
Priority to CN201811383449.5A priority patent/CN110012187A/zh
Priority to US16/228,686 priority patent/US20190189163A1/en
Publication of JP2019109813A publication Critical patent/JP2019109813A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】動画像データからの静止画像データの抽出において静止画像データの抽出対象となる抽出区間の特定を容易化する。【解決手段】画像処理装置は、動画像データから複数の静止画像データを生成する静止画像データ生成部と、操作表示部と、操作表示部を制御して、動画像データから静止画像データの抽出対象となる抽出区間を設定するための区間設定バーを表示する操作表示画面を操作表示部に表示させる操作表示画面制御部と、静止画像データの評価値を計算し、操作表示画面で設定された抽出区間において、評価値を使用して複数の静止画像データから静止画像データを抽出する静止画像データ抽出部とを備える。【選択図】図1

Description

本発明は、動画像データから静止画像データを抽出する画像処理技術に関する。
近年、ビデオカメラやスマートフォンの性能向上や画質向上に伴い、動画像データから抽出可能な静止画像データを生成することが行われるようになってきた。このような状況を踏まえて、動画像データからユーザーが望む静止画像データの抽出を支援する技術も提案されている。たとえば特許文献1は、動画データのフレーム画像に含まれる特徴量の変化特性から動画データの撮影状況の変化が把握されて、この変化を示すフレーム画像を選択して表示する技術を提案している。一方、たとえば特許文献2は、一の印刷用紙に印刷された複数の静止画データのサムネイル画像の一覧表示に選択マークを付し、その選択マークが付された印刷用紙をスキャナに読み取らせるだけで、所望の静止画像が他の印刷用紙に自動的に印刷する技術を提案している。
特開2007−82240号公報 特開2008−236454号公報
しかし、動画像データから静止画像データを抽出する処理においては、動画全体ではなく一部区間からのみ抽出したい場合がある。たとえば運動会のようなイベントを撮影した動画には、各競技や各シーンを構成する複数の動画像の抽出区間の中から特定の区間から自分の子供が写っている静止画のみ抽出を望む場合がある。
本発明は、このような状況に鑑みてなされたものであり、動画像データからの静止画像データの抽出において静止画像データの抽出対象となる抽出区間の設定を容易化する技術を提供することを目的とする。
本発明の画像処理装置は、動画像データから複数の静止画像データを生成する静止画像データ生成部と、操作表示部と、前記操作表示部を制御して、前記動画像データから静止画像データの抽出対象となる抽出区間を設定するための区間設定バーを表示する操作表示画面を前記操作表示部に表示させる操作表示画面制御部と、前記静止画像データの評価値を計算し、前記操作表示画面で設定された前記抽出区間において、前記評価値を使用して前記複数の静止画像データから前記静止画像データを抽出する静止画像データ抽出部とを備える。
本発明の画像形成装置は、前記画像処理装置と、画像形成媒体に画像を形成する画像形成部とを備える。
本発明の画像処理方法は、動画像データから複数の静止画像データを生成する静止画像データ生成工程と、操作表示部を制御して、前記動画像データから静止画像データの抽出対象となる抽出区間を設定するための区間設定バーを表示する操作表示画面を前記操作表示部に表示させる操作表示画面制御工程と、前記静止画像データの評価値を計算し、前記操作表示画面で設定された前記抽出区間において、前記評価値を使用して前記複数の静止画像データから前記静止画像データを抽出する静止画像データ抽出工程とを備える。
本発明の画像処理プログラムは、動画像データから複数の静止画像データを生成する静止画像データ生成部、操作表示部を制御して、前記動画像データから静止画像データの抽出対象となる抽出区間を設定するための区間設定バーを表示する操作表示画面を前記操作表示部に表示させる操作表示画面制御部、及び前記静止画像データの評価値を計算し、前記操作表示画面で設定された前記抽出区間において、前記評価値を使用して前記複数の静止画像データから前記静止画像データを抽出する静止画像データ抽出部として画像処理装置を機能させる。
本発明によれば、動画像データからの静止画像データの抽出において静止画像データの抽出対象となる抽出区間の設定を容易化することができる。
本発明の一実施形態に係る画像形成装置100の機能構成を示すブロックダイアグラムである。 一実施形態に係る静止画像取得処理の内容を示すフローチャートである。 一実施形態に係る動画像の選択から解析開始までの操作表示画面を示す説明図である。 一実施形態に係る動画像の解析開始から解析完了までの操作表示画面を示す説明図である。 一実施形態に係る特徴量の時系列カーブFCを示すグラフである。 一実施形態に係る抽出区間調整処理における操作表示画面を示す説明図である。 一実施形態に係る静止画像選択処理における操作表示画面を示す説明図である。 一実施形態に係る抽出区間移動/追加処理における操作表示画面を示す説明図である。
以下、本発明を実施するための形態(以下、「実施形態」という)を、図面を参照して説明する。
図1は、本発明の一実施形態に係る画像形成装置100の機能構成を示すブロックダイアグラムである。画像形成装置100は、制御部110と、画像形成部120と、操作表示部130と、記憶部140と、通信インターフェース部150(通信I/F部とも呼ばれる。)とを備えている。操作表示部130は、タッチパネルとして機能し、様々なメニューを入力画面として表示する。
画像形成装置100は、通信インターフェース部150を介して近距離無線通信でスマートフォン200と接続される。これにより、画像形成装置100は、スマートフォン200で撮像して生成された動画像データを受信することができる。
近距離無線通信は、本実施形態では、BLUETOOTH(登録商標)のCLASS2を使用している。BLUETOOTH(登録商標)のCLASS2は、出力2.5mWの通信であり、画像形成装置100とスマートフォン200との距離が10m以内程度での通信が可能な近距離無線通信である。
制御部110は、RAMやROM等の主記憶手段、及びMPU(Micro Processing Unit)やCPU(Central Processing Unit)等の制御手段を備えている。また、制御部110は、各種I/O、USB(Universal Serial Bus)、バス、その他ハードウェア等のインターフェースに関連するコントローラー機能を備えている。制御部110は、画像形成装置100の全体を制御する。
制御部110は、フレーム画像生成部111と、特徴量演算部112と、フレーム画像抽出部113と、フレームメモリ114とを備えている。画像形成部120は、印刷媒体上に画像を形成する。フレーム画像抽出部113は、静止画像データ抽出部とも呼ばれる。印刷媒体は、画像形成媒体とも呼ばれる。
記憶部140は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、それぞれ制御部110が実行する処理の制御プログラムやデータを記憶する。記憶部140は、さらに、フレーム画像データを格納するための静止画像格納領域141と、人物の顔検出のための顔画像データ(登録顔画像データとも呼ばれる。)が登録されている人物登録データ格納領域142とを有している。人物登録データ格納領域142には、一般的な顔の検出に応じてフレーム画像データを抽出するための閾値を表すデータも格納されている。
図2は、一実施形態に係る静止画像取得処理の内容を示すフローチャートである。図3は、一実施形態に係る動画像の選択から解析開始までの操作表示画面を示す説明図である。ステップS100では、ユーザーは、操作表示部130を使用して動画像データ選択処理を実行する。動画像データ選択処理では、ユーザーは、複数の動画像データから一の動画像データを選択する。操作表示部130は、操作表示画面制御部として機能する制御部110によって制御される。
この例では、操作表示部130(図3(a))は、操作表示画面131を表示している。操作表示画面131は、動画像選択用フィールド131a、抽出枚数設定フィールド131bと、サムネイル画像表示ウィンドウ131cと、OKボタン131dとを備えている。ユーザーは、動画像選択用フィールド131aを使用し、サムネイル画像表示ウィンドウ131cに表示されるサムネイル画像を見ながら動画像データを選択することができる。
この例では、動画像選択用フィールド131aは、xxxx.mp4のファイル名の動画像データが選択されていることを示している。サムネイル画像表示ウィンドウ131cは、xxxx.mp4のファイル名の動画像データのサムネイル画像を示している。ユーザーは、OKボタン131dをタッチすることによって、この動画像データを選択することができる。
ステップS200では、制御部110は、動画像データの選択に応じて評価値計算処理(解析処理とも呼ばれる。)を開始する。操作表示部130は、動画像データの選択に応じて操作表示画面131(図3(a))から操作表示画面132(図3(b))に画面を遷移させる。操作表示画面132は、サムネイル画像表示ウィンドウ131cの代わりに、「解析開始」のテキストと、プログレスバー132aとを表示させる一方、OKボタン131dをキャンセルボタン132bに変更する点で操作表示画面131と相違する。プログレスバー132aの終端には、動画像データの再生終了時刻(15分23秒)が表示されている。キャンセルボタン132bは、解析処理を中止させるためのボタンである。
動画像データの解析は、フレーム画像データ生成処理と、フレーム画像データの特徴量算出処理とを含んでいる。フレーム画像データ生成処理は、動画像データから複数のフレーム画像データを生成する処理であり、制御部110のフレーム画像生成部111によって実行される。フレーム画像生成部111は、静止画像データ生成部として機能する。特徴量算出処理は、制御部110の特徴量演算部112によって実行される。
フレーム画像生成部111は、さらに、再現されたフレーム画像データからサムネイル画像データを生成する。フレーム画像生成部111は、各フレーム画像データにサムネイル画像データと、フレーム画像データの抽出時刻を表す時刻データとを紐付けて制御部110のフレームメモリ114に格納する。
特徴量は、ユーザーが望む静止画像であることを定量的に表すように設定されている。したがって、特徴量の極大値は、撮影者が被写体を撮影する際に意図通りの画像が撮影された瞬間のフレーム画像であることを表すように意図されている。この例では、特徴量は、評価値として使用される。
この例では、意図通りの画像とは、たとえば人物登録データ格納領域142に登録されている登録顔画像データに基づいて特定の人物の顔が正面から大きく撮影できたような場合、あるいは笑顔度が高い人物の顔が撮影された画像を意味する。笑顔度は、たとえば周知の3Dモデルフィッティングの手法を使用し、目や口の形状、さらに目や口の周辺の画像を使用する統計的識別手法により算出することができる。
プログレスバー132aは、動画像データの再生時間(この例では15分23秒)と、解析処理の進捗状態を示すステータスバー132cを有している。ステータスバー132cは、解析処理の進捗に伴って長くなるように構成されている。
図4は、一実施形態に係る動画像の解析開始から解析完了までの操作表示画面を示す説明図である。図4(a)は、動画像データの解析中の操作表示画面133を示している。操作表示画面133では、プログレスバー132aの両端に始端アイコン133aと、終端アイコン133bとが付されている。
ステップS300では、制御部110は、両端サムネイル表示処理を実行する。両端サムネイル表示処理では、制御部110は、動画像データの始端サムネイル画像Ssと終端サムネイル画像Seとを表示する。
始端サムネイル画像Ssは、始端アイコン133aに付されている。始端サムネイル画像Ssは、動画像データの最初のキーフレーム(Iフレームとも呼ばれる。)から生成される。終端サムネイル画像Seは、終端アイコン133bに付されている。終端サムネイル画像Seは、動画像データの最後のキーフレームから生成される。
キーフレームとは、フレーム間予測を用いずに符号化されるフレームである。キーフレームは、フレーム間予測を用いずに符号化されるフレームなので、動画像データの解析完了前に単体で復号化が可能である。サムネイル画像は、復号化されたキーフレームの画像サイズを小さくすることによって生成することができる。
ステップS400では、制御部110は、シークバー表示処理を実行する。シークバー表示処理では、制御部110は、操作表示部130にプログレスバー132aに替えてシークバー134aを有する操作表示画面134を表示する。シークバー134aは、ステータスバー132cの代わりに抽出枚数に相当する3つの静止画像の時刻アイコンC1〜C3を有している点でプログレスバー132aと相違する。シークバー134aは、区間設定バーとも呼ばれる。
ステップS500では、ユーザーは、抽出枚数設定フィールド131bのスピンボタンを操作(設定入力)して初期設定の3枚から枚数を変更することができる。抽出枚数の設定は、動画像データの解析前、解析中及び解析後のいつでも可能である。この例では、ユーザーは、抽出枚数を初期設定から変更しなかったものとする。
ステップS600では、フレーム画像抽出部113は、高評価サムネイル表示処理を実行する。高評価サムネイル表示処理では、フレーム画像抽出部113は、特徴量の大きな、すなわち高評価の3つの静止画像のサムネイル画像S1〜S3をそれぞれの静止画像が抽出された時刻に対応する3つの静止画像の時刻アイコンC1〜C3に付している。
図5は、一実施形態に係る特徴量の時系列カーブFCを示すグラフである。横軸は、動画像データの再生時刻を示している。縦軸は、静止画像の評価を表す特徴量を示している。この例では、3つの静止画像のサムネイル画像S1〜S3は、特徴量の極大値(計6個)のうちの1番目乃至3番目(Ls1〜Ls3)の静止画像を示している。サムネイル画像S1〜S3は、それぞれ時刻t1〜t3の静止画像データのサムネイル画像である。
フレーム画像抽出部113は、フレームメモリ114に格納されているフレーム画像データのうちに特徴量の極大値を有する各フレーム画像データに対して、極大値フラグを設定し、その他の各フレーム画像データに対して、非極大値フラグを設定する。これにより、各フレーム画像データは、極大値フラグ(又は非極大値フラグ)と、サムネイル画像データと、時刻データとに紐付けられてフレームメモリ114に格納されていることになる。
なお、本実施例では、特徴量の極大値を使用して静止画像データを自動的に抽出しているが、必ずしも特徴量の極大値を使用する必要はない。静止画像データの抽出は、静止画像の評価を定量化する評価値を使用するものであればよい。
ステップS700では、ユーザーは、サムネイル画像S1〜S3に基づいて静止画像データとして出力を望むフレーム画像データが存在するか否かを判断する。出力を望むフレーム画像データが存在する場合には、処理がステップS800に進められる。出力を望むフレーム画像データが存在しない場合には、処理がステップS750に進められる。
図6は、一実施形態に係る抽出区間調整処理における操作表示画面を示す説明図である。この例では、出力を望むフレーム画像データが存在しなかったものとする。抽出区間調整処理とは、動画像データから静止画像データを抽出する対象となる時間的な区間を意味している。ユーザーは、サムネイル画像S2が表している一連のアクティビティにおける他の静止画像を探しているものとする。
ステップS750では、ユーザーは、操作表示画面135において始端アイコン133aと、終端アイコン133bとを操作(スライド)してサムネイル画像S2の時刻に近づける(図6(a)参照)。フレーム画像抽出部113は、始端アイコン133aの位置に基づいて、抽出区間の始端時刻を決定し、終端アイコン133bの位置に基づいて、抽出区間の終端時刻を決定する。本操作の操作入力は、第1の操作入力とも呼ばれる。
始端アイコン133aの移動中には、始端アイコン133aが存在する時刻に最も近いキーフレームのサムネイル画像St1が次々と表示される。終端アイコン133bの移動中には、終端アイコン133bが存在する時刻に最も近いキーフレームのサムネイル画像St2が次々と表示される。これにより、始端アイコン133a及び終端アイコン133bは、抽出区間の始端と終端の静止画像を実時間で確認しつつスライドさせることができる。
これにより、フレーム画像抽出部113は、2つの静止画像のサムネイル画像S1,S3が抽出区間から外れるので、新たに特徴量の極大値を抽出枚数(3枚)に達するまで探索する。フレーム画像抽出部113は、フレームメモリ114に格納されている時刻データと極大値フラグとを使用して、瞬時に抽出してサムネイル画像S4,S5を表示することができる。これにより、フレーム画像抽出部113は、ユーザーにストレスを与えることなく、抽出区間の変更に応じて円滑にフレーム画像データを更新してサムネイル画像を表示することができる。
操作表示画面136(図6(b))は、始端アイコン133aと終端アイコン133bとの間において、すなわちサムネイル画像S2の近傍の時刻において、2つの新たなサムネイル画像S4,S5を表示している。2つのサムネイル画像S4,S5は、始端アイコン133aと終端アイコン133bとの間において、特徴量の極大値(計6個)のうちの4番目と5番目(Ls4,Ls5)の静止画像を示している(図5参照)。2つのサムネイル画像S4,S5は、それぞれ時刻t4、t5の静止画像データのサムネイル画像である。
図7は、一実施形態に係る静止画像選択処理における操作表示画面を示す説明図である。この例では、ユーザーは、サムネイル画像S5で表されている時刻t5の静止画像データの出力を望んでいるものとする。
ステップS800では、ユーザーは、静止画像データ出力処理を実行する。静止画像データ出力処理では、ユーザーは、サムネイル画像S5をタッチして選択することができる。操作表示画面137(図7(a))は、タッチに応じてサムネイル画像S5にチェックマークが付加されたサムネイル画像を表示している。
操作表示画面138(図7(b))は、サムネイル画像S5によって表されるフレーム画像データが出力され、サムネイル画像S5が消去されるとともに、抽出枚数設定フィールド131bにおいて抽出枚数が1枚減らされて2枚となっている。出力されたフレーム画像データは、静止画像格納領域141に格納される。
図8は、一実施形態に係る抽出区間移動/追加処理における操作表示画面を示す説明図である。操作表示画面139(図8(a))は、始端アイコン133aと終端アイコン133bとの間のシークバー134aをタッチしてドラグすることによって、始端アイコン133aと終端アイコン133bとの間の間隔を維持しつつ抽出区間をシフト(移動)させる様子を示している。本操作の操作入力は、第2の操作入力とも呼ばれる。
この例では、サムネイル画像S2の静止画像が抽出区間から外れ、新たにサムネイル画像S6の静止画像が抽出されている。サムネイル画像S6は、始端アイコン133aと終端アイコン133bとの間において、特徴量の極大値(計8個)のうちの6番目(Ls6)の静止画像を示している(図5)。サムネイル画像S6は、時刻t6の静止画像データのサムネイル画像である。
操作表示画面139(図8(a))には、抽出区間追加処理を実行するための追加アイコン139aが表示されている。ユーザーは、追加アイコン139aをタッチすることによって、新たに抽出枚数設定フィールド139cと、シークバー139eと、始端アイコン133c及び終端アイコン133dと、追加アイコン139bとが追加されている操作表示画面139m(図8(b))を表示させることができる。このように、抽出区間は、複数設定されていてもよい。本操作の操作入力は、第3の操作入力とも呼ばれる。
さらに、抽出枚数に加えて、静止画像に写っている人数を設定可能としてもよい。この場合には、設定された人数の人物が映っている静止画像データのみが(あるいは優先的に)抽出されることになる。
ステップS900では、フレーム画像抽出部113は、抽出枚数(必要枚数)の静止画像データを全て出力したか否かを判断する。抽出枚数の静止画像データを全て出力した場合、すなわち抽出枚数がゼロになった場合には、ユーザーに対して処理を終了する旨のポップアップメニュー(図示せず)を表示して処理を終了させる。ポップアップメニューには、OKアイコン(図示略)に加えて抽出枚数の設定画面(図示略)を表示することが好ましい。
フレーム画像抽出部113は、抽出枚数の静止画像データを未だ全て出力していない場合、すなわち抽出枚数がゼロになっていない場合には、処理をステップS500に戻す。これにより、ユーザーは、改めて静止画像データの抽出作業を再開することができる。
このように、一実施形態に係る静止画像取得処理は、動画像データからの静止画像データの抽出において静止画像データの抽出対象となる抽出区間の設定を容易化するユーザーインターフェースを提供することができる。
E.変形例:
本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。
上記実施形態では、画像形成装置に本発明が適用されているが、たとえばスマートフォンやパーソナルコンピュータといった画像処理装置として機能する装置に適用することもできる。
100 画像形成装置
110 制御部
111 フレーム画像生成部
112 特徴量演算部
113 フレーム画像抽出部
114 フレームメモリ
120 画像形成部
130 操作表示部
140 記憶部
150 通信インターフェース部
200 スマートフォン

Claims (8)

  1. 動画像データから複数の静止画像データを生成する静止画像データ生成部と、
    操作表示部と、
    前記操作表示部を制御して、前記動画像データから静止画像データの抽出対象となる抽出区間を設定するための区間設定バーを表示する操作表示画面を前記操作表示部に表示させる操作表示画面制御部と、
    前記静止画像データの評価値を計算し、前記操作表示画面で設定された前記抽出区間において、前記評価値を使用して前記複数の静止画像データから前記静止画像データを抽出する静止画像データ抽出部と、
    を備える画像処理装置。
  2. 請求項1記載の画像処理装置であって、
    前記操作表示画面制御部は、前記静止画像データの抽出枚数を設定するための設定入力を受け付け、
    前記静止画像データ抽出部は、前記抽出区間において、前記設定入力に基づいて設定された枚数の前記静止画像データを抽出する画像処理装置。
  3. 請求項1又は2に記載の画像処理装置であって、
    前記操作表示画面制御部は、前記抽出区間の始端を設定するための始端アイコンと、前記抽出区間の終端を設定するための終端アイコンとを表示し、前記始端アイコンと前記終端アイコンとに対する第1の操作入力を受け付け、
    前記静止画像データ抽出部は、前記第1の操作入力に基づいて設定された前記抽出区間への変更に応じて前記静止画像データを更新する画像処理装置。
  4. 請求項1乃至3のいずれか1項に記載の画像処理装置であって、
    前記操作表示画面制御部は、前記抽出区間の始端を設定するための始端アイコンと、前記抽出区間の終端を設定するための終端アイコンとを表示し、前記始端アイコンと前記終端アイコンとの間において前記区間設定バーに対する第2の操作入力を受け付け、前記第2の操作入力に応じて前記始端アイコンと前記終端アイコンとの間の間隔を維持しつつ前記始端アイコン及び前記終端アイコンを移動させ、
    前記静止画像データ抽出部は、前記第2の操作入力に基づいて設定された前記抽出区間への変更に応じて前記静止画像データを更新する画像処理装置。
  5. 請求項1乃至4のいずれか1項に記載の画像処理装置であって、
    前記操作表示画面制御部は、前記抽出区間を追加するための追加アイコンを表示し、前記追加アイコンに対する第3の操作入力を受け付け、
    前記静止画像データ抽出部は、前記第3の操作入力に基づいて前記抽出区間を新たに追加する画像処理装置。
  6. 画像形成装置であって、
    請求項1乃至5のいずれか1項に記載の画像処理装置と、
    画像形成媒体に画像を形成する画像形成部と、
    を備える画像形成装置。
  7. 動画像データから複数の静止画像データを生成する静止画像データ生成工程と、
    操作表示部を制御して、前記動画像データから静止画像データの抽出対象となる抽出区間を設定するための区間設定バーを表示する操作表示画面を前記操作表示部に表示させる操作表示画面制御工程と、
    前記静止画像データの評価値を計算し、前記操作表示画面で設定された前記抽出区間において、前記評価値を使用して前記複数の静止画像データから前記静止画像データを抽出する静止画像データ抽出工程と、
    を備える画像処理方法。
  8. 動画像データから複数の静止画像データを生成する静止画像データ生成部、
    操作表示部を制御して、前記動画像データから静止画像データの抽出対象となる抽出区間を設定するための区間設定バーを表示する操作表示画面を前記操作表示部に表示させる操作表示画面制御部、及び
    前記静止画像データの評価値を計算し、前記操作表示画面で設定された前記抽出区間において、前記評価値を使用して前記複数の静止画像データから前記静止画像データを抽出する静止画像データ抽出部として画像処理装置を機能させる画像処理プログラム。
JP2017243611A 2017-12-20 2017-12-20 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム Pending JP2019109813A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017243611A JP2019109813A (ja) 2017-12-20 2017-12-20 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム
CN201811383449.5A CN110012187A (zh) 2017-12-20 2018-11-20 图像处理装置和方法、图像形成装置、记录介质
US16/228,686 US20190189163A1 (en) 2017-12-20 2018-12-20 Image Processing Apparatus, Image Processing Method, Image Forming Apparatus, and Recording Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017243611A JP2019109813A (ja) 2017-12-20 2017-12-20 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2019109813A true JP2019109813A (ja) 2019-07-04

Family

ID=66816251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017243611A Pending JP2019109813A (ja) 2017-12-20 2017-12-20 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20190189163A1 (ja)
JP (1) JP2019109813A (ja)
CN (1) CN110012187A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157556B2 (en) 2019-12-20 2021-10-26 Sling Media Pvt Ltd Method and apparatus for thumbnail generation for a video device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061012A (ja) * 2001-08-10 2003-02-28 Sharp Corp 映像再生装置
JP2005159781A (ja) * 2003-11-27 2005-06-16 Seiko Epson Corp 画像選択処理装置、画像選択方法およびそのプログラム、記録媒体
JP2010259099A (ja) * 2010-07-16 2010-11-11 Casio Computer Co Ltd 撮像装置
JP2011066483A (ja) * 2009-09-15 2011-03-31 Ricoh Co Ltd 動画サムネイル作成装置、方法及びプログラム
JP2011130397A (ja) * 2009-12-21 2011-06-30 Canon It Solutions Inc 動画編集装置、動画編集方法、およびそのプログラム
JP2012049774A (ja) * 2010-08-26 2012-03-08 Oki Electric Ind Co Ltd 映像監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7345783B2 (en) * 2001-10-31 2008-03-18 Canon Kabushiki Kaisha Image processing method and apparatus for generating sequential still images by extracting still images from moving image data, and printing apparatus
JP3809411B2 (ja) * 2002-09-27 2006-08-16 キヤノン株式会社 画像処理方法及び装置並びに印刷装置
JP5463739B2 (ja) * 2009-06-03 2014-04-09 ソニー株式会社 撮像装置、画像処理方法及びプログラム
KR101527038B1 (ko) * 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
JP5888614B2 (ja) * 2013-03-21 2016-03-22 カシオ計算機株式会社 撮像装置、映像コンテンツ生成方法、及び、プログラム
CN105164999B (zh) * 2013-04-17 2018-08-10 松下知识产权经营株式会社 图像处理方法及图像处理装置
JP6355454B2 (ja) * 2014-06-27 2018-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6074395B2 (ja) * 2014-09-12 2017-02-01 富士フイルム株式会社 コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体
KR101769071B1 (ko) * 2016-05-10 2017-08-18 네이버 주식회사 비디오 태그 제작 및 활용을 위한 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061012A (ja) * 2001-08-10 2003-02-28 Sharp Corp 映像再生装置
JP2005159781A (ja) * 2003-11-27 2005-06-16 Seiko Epson Corp 画像選択処理装置、画像選択方法およびそのプログラム、記録媒体
JP2011066483A (ja) * 2009-09-15 2011-03-31 Ricoh Co Ltd 動画サムネイル作成装置、方法及びプログラム
JP2011130397A (ja) * 2009-12-21 2011-06-30 Canon It Solutions Inc 動画編集装置、動画編集方法、およびそのプログラム
JP2010259099A (ja) * 2010-07-16 2010-11-11 Casio Computer Co Ltd 撮像装置
JP2012049774A (ja) * 2010-08-26 2012-03-08 Oki Electric Ind Co Ltd 映像監視装置

Also Published As

Publication number Publication date
CN110012187A (zh) 2019-07-12
US20190189163A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
EP2750372B1 (en) Photographing device for producing composite image and method using the same
JP5034661B2 (ja) 画像管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
US10832460B2 (en) Method and apparatus for generating image by using multi-sticker
JP5389724B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6176991B2 (ja) 情報処理装置およびその制御方法およびプログラム
EP2712176B1 (en) Method and apparatus for photography
JP6697043B2 (ja) キー入力に基づいたアニメーション画像生成方法及び前記方法を行うユーザ端末
JP2006314010A (ja) 画像処理装置及び画像処理方法
JP6570840B2 (ja) 電子機器および方法
WO2019069606A1 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019109813A (ja) 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム
JP6053365B2 (ja) サーバシステム、画像処理システム、プログラム及び画像処理方法
WO2017219442A1 (zh) 一种图像预览方法和装置
JP2010225082A (ja) 画像データ管理システムおよび画像データ管理方法
JP2007134763A (ja) 画像処理装置
WO2019215797A1 (ja) 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム
JP4588627B2 (ja) 画像処理装置および画像処理プログラム
JP5050926B2 (ja) 画像出力方法、画像出力装置および画像出力プログラム
JP2021077131A (ja) 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム
US8214755B2 (en) Information processing apparatus and information processing method
JP2009205468A (ja) 画像出力方法、画像出力装置および画像出力プログラム
JP6456121B2 (ja) 撮像装置および撮像方法
JP5613301B2 (ja) 画像処理装置、画像処理方法並びに画像処理システム
US11240384B2 (en) Information processing apparatus, method for information processing, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211001