Nothing Special   »   [go: up one dir, main page]

CN102200989A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN102200989A
CN102200989A CN2011100639276A CN201110063927A CN102200989A CN 102200989 A CN102200989 A CN 102200989A CN 2011100639276 A CN2011100639276 A CN 2011100639276A CN 201110063927 A CN201110063927 A CN 201110063927A CN 102200989 A CN102200989 A CN 102200989A
Authority
CN
China
Prior art keywords
thumbnail
image
frame
page
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100639276A
Other languages
English (en)
Inventor
尾花通雅
冈本裕成
太田正志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102200989A publication Critical patent/CN102200989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/326—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00291—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with receiver circuitry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供了信息处理设备、信息处理方法和程序。该信息处理设备包括：选择部件，从包括在时间方面连续的帧的运动图像中选择缩略图目标的帧作为缩略图帧；划分部件，以页面为单位划分所选的缩略图帧，每个页面包括在时间方面连续的缩略图帧；再现速度输入部件，接收运动图像的再现速度的指定；再现处理部件，以指定的再现速度再现运动图像；和缩略图显示处理部件，显示包括最近的缩略图图像的、以页面为单位的缩略图图像，其中最接近所再现的运动图像的时刻的缩略图帧的缩略图图像作为最近的缩略图图像，并以可区分的形式显示至少包括最近的缩略图图像且在时间顺序上连续的缩略图图像。

Description

信息处理设备、信息处理方法和程序
技术领域
本发明涉及能够显示运动图像内容的缩略图图像以使得能够由用户进行场景搜索的信息处理设备、信息处理方法和程序。
背景技术
在比如个人计算机和电视设备之类的具有视频记录功能的信息处理设备中，以缩略图显示所记录的视频内容的帧的一部分，从而帮助用户执行所记录的视频内容的场景搜索。在该情况下，为了用户可以以可视形式快速地检索目标场景，已知显示以视频内容的恒定时间间隔(例如，几十秒、几十分钟)以时间顺序形成为缩略图的帧列表的方法。另外，还已知检测假定为加亮区的帧(比如示出(重要)被摄体的面度的帧和场景的切换位置的帧)，并产生那些帧的缩略图图像的方法(例如，参见，日本专利申请特开No.2006-086612([0121]到[0124]段)；在下文中，称为专利文件1)。
进一步，专利文件1描述了通过用户在作为时间顺序的缩略图图像的的胶片卷(film roll)上选择任意缩略图，从运动图像的该位置激活再现处理。这里，假定胶片卷由作为时间顺序的多个缩略图图像的行构成，其包括与运动图像的时刻(time of day)对应的缩略图图像，且随着正在再现的运动图像的时刻而前进。
发明内容
但是，由于在专利文件1中作为时间顺序的缩略图图像的胶片卷随着正在再现的运动图像的时刻前进，因此出现了在运动图像的再现期间对于用户的缩略图图像的可见性的问题。特别地，假定以5倍速度或10倍速度的运动图像的高速再现的情况，由于胶片卷的重复的高速抽取(draw)自然增大了处理负荷，且存在每个缩略图图像的可见性由于胶片卷的高速前进而显著降低的担心。
考虑到如上所述的情况，需要提供能够使用缩略图图像很好地执行场景搜索的信息处理设备、信息处理方法和程序。
根据本发明的实施例，提供了包括选择部件、划分部件、再现速度输入部件、再现处理部件和缩略图显示处理部件的信息处理设备。选择部件从包括在时间方面连续的多个帧的运动图像中选择缩略图目标的多个帧作为缩略图帧。划分部件以页面为单位划分所选的缩略图帧，每个页面包括在时间方面连续的多个缩略图帧。再现速度输入部件接收运动图像的再现速度的指定。再现处理部件以指定的再现速度再现运动图像。缩略图显示处理部件以矩阵布置显示包括最近的缩略图图像的、以页面为单位的多个缩略图图像，其中与位置最接近所再现的运动图像的时刻的缩略图帧对应的缩略图图像被设置为最近的缩略图图像，且缩略图显示处理部件以可与正在显示的不同缩略图图像区分的形式，显示至少包括最近的缩略图图像且以时间顺序连续的一个或多个缩略图图像，作为运动图像同步的缩略图图像。
在本发明的实施例中，缩略图显示处理部件以矩阵布置显示包括最近的缩略图图像的、以页面为单位的多个缩略图图像，其中最近的缩略图图像与位置最接近所再现的运动图像的时刻的缩略图帧对应，且缩略图显示处理部件以可与正在显示的不同缩略图图像区分的形式，显示至少包括最近的缩略图图像且在时间顺序上连续的一个或多个缩略图图像，作为运动图像同步的缩略图图像。因此，执行场景搜索的用户可以立即识别出一个或多个运动图像同步的缩略图图像，同时以矩阵固定缩略图图像之间的布置关系。因此，可以执行很好的场景搜索同时参考运动图像和缩略图图像。
当由用户选择以矩阵布置显示的多个缩略图图像之一时，再现处理部件可以使得正在再现的运动图像的时刻跳到与所选的缩略图图像对应的缩略图帧的时刻。
因此，例如，用户可以检查在感兴趣的缩略图图像的时刻来自运动图像的场景的细节，从而可以高效地执行场景搜索。
根据本发明实施例的信息处理设备可以进一步包括重要程度计算部件，其被配置为计算每个缩略图帧的重要程度，且缩略图显示处理部件可以在缩略图图像的显示形式上反映计算出的每个缩略图帧的重要程度。
因此，执行场景搜索的用户可以立即识别出缩略图图像中具有较高重要程度的缩略图图像，从而可以高效地执行场景搜索。
缩略图显示处理部件可以根据由再现速度输入部件接收到的运动图像的再现速度，改变给予了可与运动图像同步的缩略图图像区分的显示形式的缩略图图像的数目。
例如，在运动图像的再现速度慢的情况下，也同时减小运动图像同步的缩略图图像的数目，从而可以在运动图像的再现速度和一个屏幕上缩略图图像的显示计数两者上反映场景搜索中用户期望的精度。
缩略图显示处理部件可以在以矩阵的行为单位的布置和以矩阵的列为单位的布置中的至少一个中，优先地稀疏具有缩略图帧的较小的重要程度之和的布置。
因此，可以在再现速度的改变之前和之后避免矩阵中缩略图图像之间位置关系的大的变动，这允许用户在运动图像的再现速度不同的情况下容易地发现相同的缩略图图像，从而可以改进可操作性。
再现处理部件可以基于由再现速度输入部件接收到的运动图像的再现速度来控制运动图像的再现速度，以使得以恒定速度切换给予了可与运动图像同步的缩略图图像区分的显示形式的缩略图图像。
因此，无论每单位时间的缩略图帧的数目如何，可以以恒定速度切换给予了可与运动图像同步的缩略图图像区分的显示形式的缩略图图像，从而可以以关于缩略图图像的平均权重执行场景搜索。
根据本发明的另一实施例，提供了信息处理方法，包括：由选择部件从包括在时间方面连续的多个帧的运动图像中选择缩略图目标的多个帧作为缩略图帧；由划分部件以页面为单位划分所选的缩略图帧，每个页面包括在时间方面连续的多个缩略图帧；由再现速度输入部件接收运动图像的再现速度的指定；由再现处理部件以指定的再现速度再现运动图像；和由缩略图显示处理部件以矩阵布置显示包括最近的缩略图图像的、以页面为单位的多个缩略图图像，其中与位置最接近所再现的运动图像的时刻的缩略图帧对应的缩略图图像被设置为最近的缩略图图像，并以可与正在显示的不同缩略图图像相区分的形式，显示至少包括最近的缩略图图像且在时间顺序上连续的一个或多个缩略图图像作为运动图像同步的缩略图图像。
根据本发明的另一实施例，提供了使得计算机用作以下部件的程序：选择部件，被配置为从包括在时间方面连续的多个帧的运动图像中选择缩略图目标的多个帧作为缩略图帧；划分部件，被配置为以页面为单位划分所选的缩略图帧，每个页面包括在时间方面连续的多个缩略图帧；再现速度输入部件，被配置为接收运动图像的再现速度的指定；再现处理部件，被配置为以指定的再现速度再现运动图像；和缩略图显示处理部件，被配置为以矩阵布置显示包括最近的缩略图图像的、以页面为单位的多个缩略图图像，其中与位置最接近所再现的运动图像的时刻的缩略图帧对应的缩略图图像被设置为最近的缩略图图像，并以可与正在显示的不同缩略图图像相区分的形式，显示至少包括最近的缩略图图像且在时间顺序上连续的一个或多个缩略图图像作为运动图像同步的缩略图图像。
根据本发明的实施例，可以使用极好地使用缩略图图像执行场景搜索。
考虑如附图所示的本发明的具体实施方式的详细描述，本发明的这些和其它目的、特征和优点将更加明显。
附图说明
图1是示出根据本发明第一实施例的信息处理设备的结构的框图；
图2是关于图1所示的信息处理设备的运动图像内容的特征帧的检测的流程图；
图3是关于图1所示的信息处理设备的缩略图显示处理的流程图；
图4是图1所示的信息处理设备的缩略图显示处理的时序图；
图5是示出图1所示的信息处理设备的特征帧的重要程度的第一计算示例的图；
图6是示出图1所示的信息处理设备的特征帧的重要程度的第二计算示例的图；
图7是示出图1所示的信息处理设备的特征帧的重要程度的第三计算示例的图；
图8是示出由图1所示的信息处理设备以页面为单位布置缩略图图像的方法的图；
图9是示出图1所示的信息处理设备的缩略图显示计数确定部件的缩略图显示计数的计算过程的流程图；
图10是图9的计算缩略图显示计数的方法的说明性图；
图11是由图1所示的信息处理设备的显示缩略图选择部件选择显示缩略图页面的方法的第一说明性图；
图12是由图11所示的显示缩略图选择部件选择显示缩略图页面的方法的第二说明性图；
图13是示出图1所示的信息处理设备中在系统状态、来自用户的操作信息和缩略图图像的显示形式之间的关系的图；
图14是示出图1所示的信息处理设备中在正常再现时的场景搜索屏幕的示例的图；
图15是示出在图1所示的信息处理设备中，在正常再现从运动图像的时刻的切换开始已经经过预定时间段的时间点的场景搜索屏幕而没有由用户关于缩略图图像进行的任何操作的示例的图；
图16是示出图1所示的信息处理设备中在运动图像的高速再现时的场景搜索屏幕的示例的图；
图17是用于说明在运动图像的高速再现时弹出显示的运动速度未变得恒定的情况的图；
图18是用于说明在图1所示的信息处理设备中，控制运动图像的再现速度从而使得弹出显示的运动速度恒定的方法的图；
图19是关于图1所示的信息处理设备中，作为弹出显示目标的多个缩略图帧与多个页面交叉的情况的处理的说明性图；
图20是关于图1所示的信息处理设备中，判断为弹出显示目标的多个缩略图帧与多个行交叉的情况的处理的说明性图；
图21是示出在图1所示的信息处理设备中，在缩略图图像的显示形式上反映特征帧的重要程度的场景搜索屏幕的示例的图；
图22是示出修改示例1中在系统状态、来自用户的操作信息和缩略图图像的弹出显示计数之间的关系的图；
图23是示出在修改示例1中在运动图像的5倍速度再现时的场景搜索屏幕的图；
图24是示出在修改示例1中在运动图像的10倍速度再现时的场景搜索屏幕的图；
图25是示出在修改示例1中在运动图像的15倍速度再现时的场景搜索屏幕的图；
图26是示出在修改示例1中在运动图像的30倍速度再现时的场景搜索屏幕的图；
图27是示出修改示例2的信息处理设备的缩略图稀疏处理的示例的图；和
图28是从显示缩略图选择部件的显示缩略图页面的选择到图27所示的信息处理设备的缩略图稀疏处理的流程图。
具体实施方式
在下文中，将参考附图描述本发明的实施例。
<第一实施例>
[信息处理设备的结构]
图1是示出根据本发明第一实施例的信息处理设备的结构的框图。
该实施例的信息处理设备是能够经由传输介质接收其中至少多路复用了视频信号和音频信号的运动图像内容，存储该运动图像内容并再现视频和音频的设备。更具体地说，其中多路复用了视频信号和音频信号的运动图像内容指的是，例如，经由比如IP(因特网协议)线路之类的传输介质传送的比如数字地面广播和数字卫星广播之类的广播波、MPEG(运动图像专家组)-2传输流等。
如图1所示，该实施例的信息处理设备100包括视频/音频信号记录部件11、再现处理部件12、显示处理部件13、特征帧提取部件14、特征帧信息记录部件15、图像/声音特征判断部件16、缩略图帧确定部件17、缩略图显示计数确定部件18、显示缩略图选择部件19、静止图像创建部件20、静止图像记录部件21、缩略图显示处理部件22、I/F部件23和系统控制器24。
视频/音频信号记录部件11是其中记录信息处理设备100中获取的运动图像内容的视频信号和音频信号的记录区。
再现处理部件12是执行用于解码和再现视频/音频信号记录部件11中记录的视频信号和音频信号的处理的部件。
显示处理部件13是产生由再现处理部件12再现的视频和由在之后描述的缩略图显示处理部件22创建的缩略图图像的显示数据，并将显示数据作为运动图像输出到具有物理屏幕的显示装置的部件。具有物理屏幕的显示装置可以是连接到信息处理设备100的外部显示设备，或可以是并入信息处理设备100中的显示设备。
特征帧提取部件14从所获取的视频信号中检测视频中特性场景(比如渐变间隔的切割点和中间点)的帧作为特征帧，并获取作为特征帧的运动图像内容中帧的时间位置的时刻信息作为“特征帧信息”。
特征帧信息记录部件15是其中记录特征帧提取部件14中获取的特征帧信息的记录区。
图像/声音特征判断部件16(重要程度计算部件)是计算重要程度的部件，其中，基于与在特征帧信息记录部件15中记录的特征帧信息对应的每个特征帧的视频信号和音频信号量化特征的强度。
缩略图帧确定部件17(选择部件)基于每个特征帧的重要程度将缩略图目标的一个或多个帧确定为“缩略图帧”，并将作为运动图像内容中缩略图帧的时间位置的、被设置为“缩略图帧信息”的时刻信息输出到缩略图显示计数确定部件18。
缩略图显示计数确定部件18(划分部件)基于从缩略图帧确定部件17提供的缩略图帧信息等，将一个屏幕中显示的缩略图的数目确定为对于每个页面的“缩略图显示计数”，从而以页面为单位划分全部缩略图帧，页面由以时间顺序连续的多个缩略图帧的组构成。然后，缩略图显示计数确定部件18将每个页面中的缩略图显示计数和每个页面的缩略图帧信息提供给显示缩略图选择部件19。
显示缩略图选择部件19(缩略图显示处理部件)是将位置最接近正在再现的运动图像的时刻的缩略图帧设置为“最近的缩略图帧”，并选择包括最近的缩略图帧的以页面为单位的缩略图帧作为缩略图图像的显示目标。
静止图像创建部件20是使用在视频/音频信号记录部件11中记录的视频信号，创建与由缩略图帧确定部件17确定的缩略图帧对应的静止图像的部件。
静止图像记录部件21是其中记录由静止图像创建部件20创建的每个缩略图帧的静止图像的记录区。
缩略图显示处理部件22(缩略图显示处理部件)使用在静止图像记录部件21中记录的对应静止图像，创建包括由显示缩略图选择部件19选择的最近的缩略图帧的、以页面为单位的缩略图帧的缩略图图像。进一步，例如，通过以时间顺序以矩阵布置缩略图图像的形式来彼此连接以页面为单位的缩略图图像，缩略图显示处理部件22将结果提供给显示处理部件13。
I/F部件23(再现速度输入部件)是从用户接收各种操作信息的输入，比如缩略图显示的开/关之间的切换、运动图像的再现速度(搜索速度)、用于指定运动图像的再现位置的缩略图帧的选择，并将输入提供给系统控制器24的接口。特别地，按键输入设备、鼠标、触摸板传感器、遥控器等可以用作接口。
例如，系统控制器24基于由用户经由I/F部件23输入的各种类型的操作信息来执行关于缩略图显示的控制等。
更具体地说，信息处理设备100的上述部件由CPU(中央处理单元)、包括主存储器的典型的计算机硬件和操作计算机硬件的程序来实现。更具体地说，视频/音频信号记录部件11、特征帧信息记录部件15和静止图像记录部件21是比如主存储器、HDD(硬盘驱动器)、SDD(固态驱动器)和ODD(光盘驱动器)之类的存储设备。
应当注意，信息处理设备100除图1所示的结构之外，还包括广播信号处理部件。广播信号处理部件包括广播接收部件和信号处理部件。广播接收部件经由传输介质接收数字广播信号，且信号处理部件将接收到的数字广播信号分解成运动图像内容的视频信号和音频信号。更具体地说，如上所述的广播接收部件是选择频道并从广播站通过广播媒介(比如地面波和卫星波)经由天线接收数字广播信号的调谐器，或经由IP(因特网协议)线路接收IP多址通信信号的IP网络连接部件。
在该实施例的信息处理设备100中，以时间顺序布置和显示与特征帧当中具有特别高的重要程度的帧对应的缩略图图像，从而使得用户能够执行运动图像内容的场景搜索，且具体地说可以通过选择缩略图图像来指定用户想要确认的场景的时刻。当由用户选择缩略图图像时，运动图像的再现时间跳到与正讨论的缩略图图像对应的缩略图帧的时刻，且从该时刻开始连续地再现运动图像。该实施例的信息处理设备100意在以更好的方式使用缩略图图像来执行这种场景搜索，且特别地，已经做出该实施例的信息处理设备100以关注在以高速再现运动图像以执行场景搜索时的缩略图图像的显示系统。
[信息处理设备100的操作的概述]
接下来，参考图2到图4，将描述该实施例的信息处理设备100的缩略图显示处理的操作的概述。图2是关于该实施例的信息处理设备100的运动图像内容的特征帧的检测的流程图。图3是关于该实施例的信息处理设备100的缩略图显示处理的流程图。图4是缩略图显示处理的示例的时序图。在图4中，t表示运动图像内容的时间轴。
首先，在图2的流程图中，信息处理设备100在广播信号处理部件(没有示出)中接收运动图像内容并将所接收到的运动图像内容分解为视频信号和音频信号(步骤S101)。这样获得的运动图像内容的视频信号和音频信号记录在视频/音频信号记录部件11中，同时将视频信号提供给特征帧提取部件14。
特征帧提取部件14从视频信号检测比如渐变间隔的切割点和中间点(在淡入点和淡出点之间的中间点)之类的特征帧(步骤S102)。特征帧提取部件14与运动图像内容的指定信息相关联地，在特征帧信息记录部件15中记录所检测的特征帧的时刻信息(其是运动图像内容中的时间位置)作为特征帧信息(步骤S103)。在特征帧信息记录部件15中，记录多条运动图像内容的多条特征帧信息。图4示出检测到特征帧f1到f14的情况。以这种方式，特征帧位于运动图像内容的时间轴t上无规律的时间位置(时刻)。应当注意，特征帧信息记录部件15不仅可以记录一个运动图像内容的特征帧信息，而且可以记录多条运动图像内容的特征帧信息。
在下文中，用户可以从在特征帧信息记录部件15中记录其特征帧信息的运动图像内容中，指定意在由用户执行其场景搜索的运动图像内容，并给出指令以执行场景搜索。
接下来，在图3的流程图中，假定用户经由I/F部件23向系统控制器24输入指示场景搜索的激活的操作信息，其包括场景搜索目标的运动图像内容的指定信息和再现速度信息(搜索速度信息)(步骤S201)。应当注意，可以由用户从正常再现(正常速度＝1倍速度)到比如n倍速度之类的高速再现中，自由地选择再现速度(搜索速度)，例如，每1倍速度。
在接收指示场景搜索的激活的操作信息的情况下，系统控制器24将包括运动图像内容的指定信息的激活命令输出到图像/声音特征判断部件16。当接收激活命令时，图像/声音特征判断部件16基于运动图像内容的指定信息从特征帧信息记录部件15中读取对应的运动图像内容的特征帧信息。图像/声音特征判断部件16基于各条特征帧信息从视频/音频信号记录部件11中读取对应时刻的特征帧的视频信号和音频信号，并计算每个特征帧的重要程度(步骤S202)。例如，在图4中，将重要程度1到8给予特征帧f1到f14。值1是重要程度的最小值，且值8是重要程度的最大值。将在之后描述计算特征帧的重要程度的特定方法。图像/声音特征判断部件16将每个特征帧的计算出的重要程度提供给缩略图帧确定部件17。
缩略图帧确定部件17基于从图像/声音特征判断部件16提供的特征帧的重要程度确定缩略图帧，并将指示缩略图帧的时间位置的信息作为缩略图帧信息输出到显示缩略图选择部件19，并向缩略图显示计数确定部件18通知缩略图帧的总数(步骤S203)。例如，在图4中，具有等于或大于5的重要程度的特征帧被确定为缩略图帧。结果，特征帧f2、f3、f5、f6、f7、f8、f11、f13和f14被确定为缩略图帧。将在之后描述确定缩略图帧的更特别的方法。
接下来，缩略图显示计数确定部件18基于从缩略图帧确定部件17提供的缩略图帧的总数等，将在一个屏幕上显示的缩略图的数目确定为“缩略图显示计数”，从而以页面为单位划分全部缩略图帧，该页面由以时间顺序连续的多个缩略图帧的组构成(步骤S204)。然后，缩略图显示计数确定部件18将缩略图显示计数提供给显示缩略图选择部件19。例如，在图4中，从缩略图帧总计数N、内容时间长度T等获得缩略图显示计数M。应当注意将在之后描述确定缩略图显示计数的特定方法。
在确定缩略图显示计数之后，系统控制器24指示再现处理部件12再现运动图像用于运动图像内容的场景搜索。在接收该指令的情况下，再现处理部件12从视频/音频信号记录部件11读取运动图像内容的视频信号以进行解码，并从运动图像的开头开始再现运动图像(步骤S205)。
另一方面，显示缩略图选择部件19基于来自缩略图显示计数确定部件18的缩略图显示计数，将从缩略图帧确定部件17提供的缩略图帧信息划分为以页面为单位的缩略图帧信息。当开始再现运动图像时，显示缩略图选择部件19将位置最接近正在再现的运动图像的时间的缩略图帧判断为“最近的缩略图帧”，并将包括最近的缩略图帧的以页面为单位的缩略图帧信息提供给缩略图显示处理部件22(步骤S206)。例如，在图4中，位置最接近运动图像的时刻T1的特征帧f5被判断为最近的缩略图帧，且属于包括最近的缩略图帧f5的页面1的M条缩略图帧f2、f3和f5的缩略图帧信息被提供给缩略图显示处理部件22。应当注意，在图4的示例中，页面单元中的缩略图帧的数目被设置为3，但是实际上以矩阵布置缩略图图像，且缩略图显示计数的值M是R×C的值，其中矩阵中列的数目是R且矩阵中行的数目是C。
然后，缩略图显示处理部件22从显示缩略图选择部件19接收页面单元中的缩略图帧信息，然后基于每条缩略图帧信息从静止图像记录部件21中读取对应时刻的特征帧的静止图像。然后，缩略图显示处理部件22从读取的静止图像创建缩略图图像并将缩略图图像提供给显示处理部件13(步骤S207)。将在之后描述创建缩略图图像的特定方法。
显示处理部件13创建从缩略图显示处理部件22提供的以页面为单位的缩略图图像的显示数据，并将显示数据输出到物理显示装置。因此，在屏幕上显示与正在再现的运动图像的时刻对应的以页面为单位的缩略图图像(步骤S208)。
然后，系统控制器24检查是否存在来自用户的终止场景搜索的指令(步骤S209)。在没有来自用户的终止场景搜索的指令的情况下(在步骤S209中的否)，然后系统控制器24检查是否存在改变作为场景搜索目标的运动图像内容的指令(步骤S210)。在没有改变作为场景搜索目标的运动图像内容的指令的情况下(在步骤S210中的否)，系统控制器24向显示缩略图选择部件19通知正在再现的运动图像的时刻。
当获取运动图像的时刻时，显示缩略图选择部件19判断该时刻是否落在当前正在显示的以页面为单位的缩略图图像(缩略图帧)的时刻范围内(步骤S211)。如果运动图像的时刻落在当前正在显示的以页面为单位的缩略图图像的时刻范围内(在步骤S211中的是)，则显示缩略图选择部件19判断不需要更新缩略图图像的显示，并继续缩略图图像的当前显示状态。然后，显示缩略图选择部件19再次返回到步骤S209以判断是否存在来自用户的终止场景搜索的指令。
另一方面，在正在再现的运动图像的时刻没有落在当前正在显示的以页面为单位的缩略图图像的时刻范围内的情况下(在步骤S211中的否)，显示缩略图选择部件19再次返回到步骤S206以将包括最近的缩略图帧的、以页面为单位的缩略图帧信息提供到缩略图显示处理部件22。结果，在步骤S208，在屏幕上显示与正在再现的运动图像的时刻对应的新的以页面为单位的缩略图图像，并更新缩略图帧的显示。
进一步，在步骤S210，在系统控制器24判断产生了改变场景搜索目标的运动图像内容的指令的情况下(在步骤S210中的是)，系统控制器24返回到步骤S201并从用户接收输入，该输入是指示场景搜索的激活的操作信息，包括作为新的场景搜索的运动图像内容的指定信息和再现速度信息(搜索速度信息)。在下文中的操作与如上所述的相同。
然后，当在步骤S209经由I/F部件23从用户接收终止场景搜索的指令时(在步骤S209中的是)，系统控制器24终止运动图像的再现和缩略图图像的显示。
接下来，将详细描述图像/声音特征判断、缩略图帧确定、缩略图显示计数确定、显示缩略图页面的选择和缩略图显示处理。
[图像/声音特征判断1]
可以从特征帧的运动图像(视频和音频)的细节获得特征帧的重要程度。具有高重要程度的特征帧的示例包括以下帧。
-包括人的面部的特征帧
-包括比如自动反射式幻灯机(telop)之类的字符信息的特征帧
-紧接在章节的开始之后的特征帧
-通过音频的峰值的中间的特征帧
-具有高吸引力(明显的颜色)的特征帧
-包括很多具有细节的区域的特征帧
例如，可以对于各个特征帧的特征预设重要程度，并将一个特征帧上包括的全部特征的重要程度之和设置为特征帧的重要程度的计算结果。但是，CM中的特征帧或那些紧接在淡出之后的特征帧不是重要程度的计算目标。
图5是示出特征帧的重要程度的计算示例的图。这里，以“低”、“中”和“高”三级获得重要程度。例如，特征帧f3包括一个面部，因此其重要程度被设置为“中”。特征帧f5包括两个面部，因此其重要程度被设置为“高”。以这种方式，面部的数目可以反映在重要程度上。进一步，特征帧f6仅包括一个面部但是该面部以高比例占据特征帧，所以其重要程度被设置为“高”。特征帧f7包括telop，因此其重要程度被设置为“中”。特征帧f8包括telop和一个面部因此其重要程度被设置为“高”。特征帧f11包括一个面部且是通过音频的峰值的中间，因此其重要程度被设置为“高”。
[图像/声音特征判断2]
图像/声音特征判断部件16可以从特征帧和过去特征帧之间的相关性获得特征帧的重要程度。例如，构思以下规则。
-规则1：将表示不像过去特征帧的新的面部的特征帧的重要程度设置为“高”。
-规则2：在作为其中在过去特征帧中已经出现的面部再次出现且在特征帧之间的时间差等于或大于阈值的特征帧的情况下，将重要程度设置为“高”。
-规则3：在作为其中在过去特征帧中已经出现的面部再次出现且特征帧的背景彼此不同的特征帧的情况下，将重要程度设置为“中”。
-规则4：在作为其中在过去特征帧中已经出现的面部再次出现且特征帧的背景相同的特征帧的情况下，将重要程度设置为“低”。
图6是示出基于上述规则的特征帧的重要程度的计算示例的图。这里，特征帧f21具有基于规则1被设置为“高”的重要程度。特征帧f17具有基于规则4被设置为“低”的重要程度。特征帧f20具有基于规则3被设置为“中”的重要程度。然后，特征帧f31具有基于规则2被设置为“高”的重要程度。
[图像/声音特征判断3]
图像/声音特征判断部件16可以以在预定时间间隔上连续的特征帧为单位获得特征帧的重要程度。例如，构思以下规则。
-规则1：将一特征帧的重要程度设置为“高”，该特征帧包括其中一个人连续出现或在预定时间间隔上以高频出现的连续特征帧中可以最清楚地识别出其整个面部或身体的人。
-规则2：将一特征帧的重要程度设置为“低”，该特征帧排除具有在规则1中的连续特征帧中被设置为“高”的重要程度的特征帧。
图7是示出基于上述规则的特征帧的重要程度的计算示例的图。这里，假定一个人在特征帧f42到特征帧f59之间的间隔中连续出现或以高频出现，该时间间隔超过预设时间间隔，且特征帧f48是其中可以最清楚地识别出人的整个面部的帧。在该情况下，特征帧f48具有基于规则1被设置为“高”的重要程度，且除特征帧f48外的、时间间隔中的特征帧f42到f59具有基于规则2被设置为“低”的重要程度。
[缩略图帧的确定]
特别地，缩略图帧确定部件17将具有等于或大于用以确定缩略图帧而预设的阈值的重要程度的特征帧确定为缩略图帧。替代地，缩略图帧确定部件17可以将具有较高重要程度的预定数目的特征帧确定为缩略图帧。
[缩略图显示计数的确定]
缩略图显示计数确定部件18基于从缩略图帧确定部件17提供的缩略图帧的总数等，将在一个屏幕中显示的缩略图图像的数目确定为“缩略图显示计数”，从而以页面为单位划分全部缩略图帧，页面由以时间顺序连续的多个缩略图帧的组构成。
图8是示出布置以页面为单位的缩略图图像的方法的图。如图8所示，在屏幕D上以矩阵布置缩略图图像31。矩阵中时间的方向被设置为，例如，(0，0)→(1，0)→(2，0)→...→(R，0)→(0，1)→(1，1)→...→(R，C)，其中矩阵的左上端为(0，0)且矩阵的右下端为(R，C)。因此，在一个屏幕上显示的缩略图图像的数目(缩略图显示计数)是R×C。
接下来，将描述由缩略图显示计数确定部件18计算缩略图显示计数的方法的示例。
图9是示出缩略图显示计数确定部件18的缩略图显示计数的计算过程的流程图。图10是计算图9的缩略图显示计数的方法的说明性图。这里，行计数R和列计数C分别具有预先确定的初始值，且也预先确定与内容时间长度对应的页面计数P。
缩略图显示计数确定部件18首先输入运动图像内容的时间长度(步骤S201)。例如，运动图像内容的时间长度的信息包括在比如SI(服务信息)和EIT(事件信息表)之类的节目信息中，通过在MPEG-2传输流中的视频信号中多路复用该节目信息来分发节目信息。信息处理设备100将在MPEG-2传输流中多路复用的接收到的数据信号分解并解码，从而获得运动图像内容的时间长度的信息。
接下来，缩略图显示计数确定部件18与行计数R和列计数C的初始值一起设置页面计数P的初始值(步骤S302)。这里，行计数R和列计数C的初始值是预设值。例如，也与内容时间长度相关地预先确定页面计数P的初始值。因此，可以从在步骤S301获取的内容时间长度获得页面计数P的初始值。
然后，缩略图显示计数确定部件18获取由缩略图帧确定部件17确定的缩略图帧的总计数Fi(步骤S303)。然后，缩略图显示计数确定部件18判断缩略图帧的行计数R、列计数C、页面计数P和总计数Fi是否满足以下条件(步骤S304)。
Fi＜＝P×R×C  ...(1)
在不满足条件的情况下(步骤S304中的否)，缩略图显示计数确定部件18将如图10所示的行计数R的值递增(步骤S305)，并再次判断是否满足条件(步骤S306)。在还不满足条件的情况下，缩略图显示计数确定部件18将列计数C的值递增(步骤S307)，并再次判断是否满足条件(步骤S308)。在还不满足条件的情况下，缩略图显示计数确定部件18返回到步骤S305并此后重复在步骤S305到S308的处理直到满足条件为止。
当满足条件时，缩略图显示计数确定部件18通过以下表达式(2)重新计算页面计数P(步骤S309)。
P＝Fi/(R×C)(其中P是整数的舍入。) ...(2)
计算出的值P以(当前在屏幕上显示的页面编号)/(总页面计数)的形式用作在屏幕上显示的页面信息的总页面计数(例如，图16中的附图标记33)。
以这样的方式，确定缩略图显示计数(R×C)。
顺便提及，在一个缩略图图像的显示尺寸固定的情况下，当缩略图显示计数(R×C)增加时，存在页面单元中的全部缩略图图像过多而不能在屏幕上显示的可能性。在这方面，可以使得缩略图图像的显示尺寸根据缩略图显示计数(R×C)可变，从而将整个缩略图显示区域设置为基本上恒定的。替代地，还可以预先确定缩略图显示计数(R×C)的上限值，并在缩略图显示计数(R×C)超过预先确定的上限值的情况下增加页面计数P。
[显示缩略图页面的选择]
显示缩略图选择部件19选择如图4所示的显示正在再现的运动图像的时刻T1处于包括正在显示的缩略图图像的页面1的时刻范围中的页面(在下文中，称为“显示缩略图页面”)。因此，例如，如图11所示，即使当正在再现的运动图像的时刻从Ta前进到Tb时，运动图像的该两个时刻Ta和Tb也处于相同页面2的时刻范围中，从而不改变显示缩略图页面。然后，例如，如图12所示，当正在再现的运动图像的时刻从Tb前进到Tc时，由于时刻Tc处于页面3的时刻范围内，因此显示缩略图页面从页面2改变为页面3。如上所述，由于通过以页面为单位切换来显示缩略图图像，因此用户可以通过将显示缩略图页面中的各个缩略图图像与在他/她的存储器中各个缩略图图像的显示位置相关联来执行场景搜索，因此可以改进场景搜索的效率。
进一步，显示缩略图选择部件19可以根据由用户经由I/F部件23输入的页面前进指令或页面返回指令逐个地前进或返回显示缩略图页面。特别地，在对显示缩略图页面进行显示的屏幕上提供用于接收页面前进指令的页面前进按钮和用于接收页面返回指令的页面返回按钮。通过这些按钮的操作，逐个地来回切换显示缩略图页面。随着该切换，更新在当前屏幕上显示的页面编号(图16的附图标记33)，且正在再现的运动图像跳到属于切换之后的显示缩略图页面的时刻，例如，切换之后的显示缩略图页面的开头缩略图图像的时刻。因此，用户可以自由地来回切换显示缩略图页面并以高速执行场景搜索。
[缩略图显示处理]
缩略图显示处理部件22对于属于由显示缩略图选择部件19选择的显示缩略图页面的每个缩略图帧，基于在静止图像记录部件21中记录的与其对应的静止图像创建缩略图图像，并根据由显示缩略图选择部件19提供的行/列计数的信息产生其中以矩阵布置缩略图图像的显示图像。进一步，缩略图显示处理部件22可以在缩略图图像的显示形式上反映特征帧的重要程度等，或基于系统状态和来自用户的操作信息单独地改变缩略图图像的显示形式。因此，执行场景搜索的用户可以立即识别出缩略图图像中具有较高重要程度的缩略图图像，从而高效地执行场景搜索。
从静止图像创建缩略图图像的处理的示例如下。
-缩略图显示处理部件22通过简单地减小静止图像的尺寸来产生缩略图图像。
-缩略图显示处理部件22仅从静止图像切出中心部分，减小其尺寸，并将产生的图像设置为缩略图图像。在该情况下，缩略图显示处理部件22从静止图像切出中心部分为以1∶1(长度∶宽度)比率的正方形或为4∶3(长度∶宽度)比率的矩形，或以与缩略图显示计数对应的最优比率，并将产生的图像设置为缩略图图像。
-缩略图显示处理部件22产生通过从静止图像切出比如人的面部部分和比如telop的字符信息之类的重要部分为矩形并减小其尺寸而获得的图像，作为缩略图图像。
在缩略图图像的显示形式上反映特征帧的重要程度的处理的示例如下。图21是示出在缩略图图像的显示形式上反映特征帧的重要程度的场景搜索屏幕的示例的图。
-缩略图显示处理部件22关于具有较低重要程度的图像限制表示图像的颜色信息。例如，将具有较高重要程度的缩略图图像设置为彩色图像且将具有较低重要程度的缩略图图像设置为黑白图像。
-缩略图显示处理部件22向具有较低重要程度的图像应用大量模糊处理。例如，将具有较高重要程度的缩略图图像设置为清楚的图像且将具有较低重要程度的缩略图图像模糊。
[缩略图图像的显示形式]
接下来，将描述基于系统状态和来自用户的操作信息改变缩略图图像的显示形式的处理的示例。
作为关于缩略图图像的显示形式的系统状态，例如，存在正常再现状态和高速再现状态(高速搜索)。在正常再现时，以1倍速度再现的运动图像显示页面单元中的缩略图图像。在高速再现(高速搜索)时，以高速再现的运动图像显示页面单元中的缩略图图像。由来自用户的操作信息更新这些系统状态。例如，来自用户的操作信息包括用于在以页面为单位的缩略图图像当中选择一个缩略图图像的操作信息和用于指示运动图像的再现速度的操作信息。运动图像的再现速度包括用于正常再现的1倍速度和用于快进或快退再现的N倍速度。
缩略图显示处理部件22可以基于来自用户的操作信息和系统状态，如下改变缩略图图像的显示形式。
图13是示出系统状态、来自用户的操作信息和缩略图图像的显示形式之间的关系的图。
例如，当在正常再现时由用户使用操作装置(比如十字线光标按键、鼠标和触摸传感器面板)进行的操作选择在任意时刻的缩略图图像时，将关于缩略图图像的选择的操作信息经由系统控制器24通知给缩略图显示处理部件22。缩略图显示处理部件22基于该操作信息将与所选时刻对应的缩略图图像的显示形式从显示形式A改变为显示形式B。应当注意，当不显示缩略图图像时，仅可以执行运动图像中的场景搜索。
图14是示出正常再现时的场景搜索屏幕的示例的图。如图14所示，在正常再现时的场景搜索屏幕上，一起显示以矩阵布置的多个缩略图图像31和作为运动图像显示区域的运动图像窗口32。应当注意在图14中，缩略图图像看起来仅在矩阵的左上端和右下端存在，但是实际上在矩阵的所有位置中显示缩略图图像。当由用户从以矩阵布置的多个缩略图图像31选择任意缩略图图像时，缩略图图像的显示形式从显示形式A改变为显示形式B。例如，在图14中，缩略图图像31a的显示形式通过由用户选择而改变为显示形式B。这里，以显示形式A的缩略图图像是每个通过从静止图像切出中心部分为正方形或矩形并减小其尺寸等而获得的图像。例如，以显示形式B的缩略图图像是通过将外部框添加到作为静止图像的尺寸减小的图像的图像而获得的，且是以所谓的“弹出”显示形式。在显示形式A和B之间尺寸的关系是B＞A。
系统控制器24向缩略图显示处理部件22通知关于如上所述的缩略图图像的选择的操作信息，同时向再现处理部件12通知所选的缩略图图像的时刻信息。再现处理部件12将在运动图像窗口32上显示的运动图像的时刻切换为由系统控制器24通知的时刻，并保持运动图像的正常再现。以这样的方式，在正常再现时，通过选择任意缩略图图像的用户操作，运动图像可以跳到缩略图图像的时刻。
图15是示出在正常再现时从运动图像的时刻的切换开始已经经过预定时间段(大约几秒)而没有由用户关于缩略图图像进行的任意操作的时刻点的场景搜索屏幕的示例的图。在切换运动图像的时刻之后，在没有从用户输入关于场景搜索的操作信息的状态的情况下，以正常再现的速度按照原样地连续再现运动图像。然后，系统控制器24向缩略图显示处理部件22通知当从由用户指示的运动图像的时刻切换开始已经经过预定时间段时运动图像的当前时刻。缩略图显示处理部件22判断位置最接近由系统控制器24通知的运动图像的时刻的缩略图图像。在所判断的缩略图图像是已经以弹出方式显示的缩略图图像之外的图像的情况下，例如，如图15所示，缩略图显示处理部件22将位置最接近运动图像的时刻的缩略图图像31b的显示形式从显示形式A改变为显示形式B，并同时将已经以弹出方式显示的缩略图图像的显示形式从显示形式B改变为显示形式A。以这样的方式，在以页面为单位显示的多个缩略图图像中，可以以弹出方式显示位置最接近运动图像的时刻的缩略图图像。
如上所述，以弹出方式显示的缩略图图像被设置为“运动图像同步的缩略图图像”，其同步运动图像的时刻，且以可与正在显示的其他缩略图图像区分的形式显示。因此，执行场景搜索的用户可以一眼就掌握同步运动图像的缩略图图像，并在参考运动图像和缩略图图像两者的同时搜索目标场景。另外，当用户发现感兴趣的缩略图图像时，用户可以通过选择缩略图图像以将运动图像跳到缩略图图像的时刻来高效地执行场景搜索，并从运动图像确认场景的细节，等等。
图16是示出在运动图像的高速再现时场景搜索屏幕的示例的图。在运动图像的高速再现时，以显示形式C显示包括位置最接近运动图像的时刻的缩略图图像的、对应于一行的缩略图图像31c。例如，通过在行的每一缩略图帧中从静止图像切出中心部分为正方形或矩形、减小其尺寸、将其彼此连接然后将外部框添加到这些连接的图像而获得对应于一行的缩略图图像31c。应当注意，在运动图像的高速再现时，对于除了与以弹出方式显示的对应于一行的缩略图图像31c之外的缩略图图像31的显示形式也采用显示形式A。在显示形式A和C之间尺寸的关系是C＞A。
[弹出显示的运动速度的控制]
顺便提及，在时间方面相邻的缩略图帧的时刻之间的差是不同的。因此，通常，在运动图像的正常再现或高速再现时缩略图图像的弹出显示的运动速度未变得恒定。
图17是用于说明在运动图像的高速再现时弹出显示的运动速度未变得恒定的情况的图。这里，在时间轴上示出缩略图帧a到j的时间位置。存在在时间方面相邻的两个缩略图帧的时间位置之间的各种距离(时间间隔)，但是可以假定在a与b、b与c和c与d之间的距离都被设置为2(秒)，在d与e、e与f和f与g之间的距离都被设置为6(秒)，且在g与h、h与i和i与j之间的距离都被设置为4(秒)的情况。假定对应于一行的缩略图图像的数目被设置为3，则第一行包括三个缩略图图像a、b和c，第二行包括三个缩略图图像d、e和f，且第三行包括三个缩略图图像g、h和i。由用户指定的再现速度被设置为3倍速度。
以弹出方式显示的行随着时间经过，以第一行、第二行和第三行的次序移动。在运动图像的再现速度在这时是3倍速度的情况下，进行计算以使得第一行的弹出显示时间t1是2秒(＝(2+2+2)/3))，第二行的弹出显示时间t2是6秒(＝(6+6+6)/3))，且第三行的弹出显示时间t3是4秒(＝(4+4+4)/3))。
换句话说，弹出显示时间取决于每单位时间缩略图帧的数目而不同。在多数情况下，希望通过平均权重关于缩略图图像执行用户的场景搜索，且存在每个缩略图图像的弹出显示时间的不同长度导致用户感觉不舒服的担心。在这方面，为了使得弹出显示的运动速度恒定，构思在再现处理部件12中控制运动图像的再现速度的方法。接下来，将描述该方法。
图18是用于说明控制运动图像的再现速度从而使得弹出显示的运动速度恒定的方法的图。这里，时间轴上缩略图帧a到j的时间位置、在时间方面相邻的两个缩略图帧的时间位置之间的距离(时间间隔)以及由用户设置的再现速度与图17的条件相同。但是，在该方法中，预先设置每行的弹出显示时间。弹出显示时间的设置值可以由用户改变。这里，弹出显示时间被设置为4(秒)。
如下进行计算：
从缩略图帧a的时间位置到紧接在缩略图帧d的时间位置之前的时间的运动图像的再现速度v1是1.5倍速度(＝(2+2+2)/4)；
从缩略图帧d的时间位置到紧接在缩略图帧g的时间位置之前的时间的运动图像的再现速度v2是4.5倍速度(＝和(6+6+6)/4)；和
从缩略图帧g的时间位置到紧接在缩略图帧j的时间位置之前的时间的运动图像的再现速度v3是3.0倍速度(＝(4+4+4)/4)。
以这样的方式，无论每单位时间缩略图帧的数目如何，可以使得弹出显示的运动速度恒定。
应当注意这里，尽管当以弹出方式显示对应于一行的缩略图图像时使得弹出显示的运动速度恒定，但是可以控制再现速度从而在以弹出方式逐个显示缩略图图像的情况下使得弹出显示的运动速度恒定。进一步，这里已经描述了快进再现的情况，但是这也适用于快退再现的情况。
<修改示例1>
在如上所述的实施例中，在运动图像的正常再现时，以弹出方式显示与位置最接近正在再现的运动图像的时刻的缩略图帧对应的缩略图图像，且在运动图像的比如快进或快退再现之类的高速再现时，以弹出方式显示包括位置最接近正在再现的运动图像的时刻的缩略图帧的、对应于一行的缩略图图像。但是，根据该方法，随着显示缩略图页面中的对应于一行的缩略图帧的数目变大，用户变得更难以理解在某个时刻正在高速再现的运动图像与以弹出方式显示的行中的哪个缩略图帧同步。
在这方面，在修改示例1中，根据运动图像的再现速度同时改变以弹出方式显示的缩略图图像的数目。例如，在运动图像的再现速度慢的情况下，也同时减少以弹出方式显示的缩略图图像的数目。因此，对于用户更容易识别出与正在以高速再现的运动图像同步的缩略图图像。
图22是示出在修改示例1中，在系统状态、来自用户的操作信息和缩略图图像的弹出显示计数之间的关系的图。运动图像的正常再现的细节与第一实施例中的相同。在高速再现时，基于由用户指定的再现速度改变弹出显示计数。
例如，在2倍速度再现时，如在正常再现的情况下那样，以弹出方式显示与位置最接近运动图像的时刻的一个缩略图帧对应的缩略图图像。在5倍速度再现时，如图23所示，以弹出方式显示由位置最接近运动图像的时刻的缩略图图像和下一时刻的缩略图图像构成的图像31d。在10倍速度再现时，如图24所示，以弹出方式显示由位置最接近运动图像的时刻的缩略图图像和紧接在前述缩略图图像之前和之后的两个缩略图图像构成的图像31e。在15倍速度再现时，如图25所示，以弹出方式显示图像31f，图像31f由位置最接近运动图像的时刻的缩略图图像、紧接在前述缩略图图像之前的缩略图图像、和紧接在前述缩略图图像之后的两个连续的缩略图图像构成。进一步，在30倍速度再现时，如图26所示，以弹出方式显示包括位置最接近运动图像的时刻的缩略图图像的、对应于一行的缩略图图像31c。
当然，在速度值和弹出显示计数之间的关系不限于上述示例。另外，在高速再现时，可以以弹出方式显示与多个行对应的缩略图图像。
接下来，描述了在多个页面之上存在作为弹出显示目标的多个缩略图帧的情况。在该情况下，缩略图显示处理部件22仅将属于具有较多作为弹出显示目标的缩略图帧的页面的、作为弹出显示目标的缩略图帧设置为有效的。例如，如图19所示，在判断弹出显示计数并设置为3且在页面的开头(或结尾)存在位置最接近运动图像的时刻的缩略图帧的情况下，缩略图显示处理部件22仅将属于页面N的作为弹出显示目标的缩略图帧35-2和35-3设置为有效的，并产生其缩略图图像31g。这也适用于弹出计数是5或更大的奇数的情况。在多个页面中作为弹出显示目标的缩略图帧的数目是偶数的情况下，也可以仅将属于前后页面中的预定一个的缩略图帧设置为有效的。
应当注意，在根据再现速度控制弹出显示计数的情况下，判断为弹出显示目标的多个缩略图帧在某些情况下可以与多个行交叉。在这种情况下，如图20所示，缩略图显示处理部件22以弹出方式显示与全部缩略图帧对应的缩略图图像31h，同时保持缩略图帧与多个行交叉的状态。
<修改示例2>
[具有缩略图稀疏处理的显示缩略图页面的选择]
显示缩略图选择部件19可以在运动图像的高速再现(比如快进再现或快退再现)期间，选择包括位置最接近正在再现的运动图像的时刻的最近的缩略图帧的页面作为显示缩略图页面，并根据再现速度信息(搜索速度信息)在所选的显示缩略图页面中关于某些缩略图帧执行稀疏以减小缩略图显示计数。更具体地说，随着再现速度变高，显示缩略图选择部件19提高稀疏比率并减小缩略图显示计数。
图27是示出缩略图稀疏处理的示例的图。
这里，假定缩略图显示计数为8×8＝64。在正常再现时，显示缩略图选择部件19将全部64个缩略图帧的信息输出到缩略图显示处理部件22而不执行稀疏。结果，在屏幕上以8×8的矩阵布置64个缩略图图像。当包括再现速度信息(搜索速度信息)的快进再现或快退再现的指令由用户输入到系统控制器24时，将指令从系统控制器24给予再现处理部件12。再现处理部件12以指定速度执行运动图像的快进再现或快退再现。进一步，系统控制器24还将再现速度信息(搜索速度信息)发送到显示缩略图选择部件19。显示缩略图选择部件19基于输入的再现速度信息执行如下的缩略图帧的稀疏处理。
显示缩略图选择部件19对于分配给8×8矩阵的各个缩略图帧，计算以行为单位和以列为单位的特征帧的重要程度之和。由图像/声音特征判断部件16获得特征帧的重要程度。显示缩略图选择部件19以行为单位判断具有最低的重要程度之和的q行，并同时以列为单位判断具有最低的重要程度之和的q列。这里，q是根据再现速度(搜索速度)预先确定的值，且与再现速度(搜索速度)成正比地变大。在图27的示例中，q被设置为2。显示缩略图选择部件19从8×8的矩阵中稀疏上述判断的q行和q列，并将与作为稀疏的结果剩余的6×6的矩阵对应的缩略图帧的信息提供给缩略图显示处理部件22。
图28是从显示缩略图选择部件19的显示缩略图页面的选择到缩略图稀疏处理的流程图。
显示缩略图选择部件19获取由缩略图显示计数确定部件18确定的缩略图显示计数M、行计数R、列计数C的信息(步骤S401)。随后，显示缩略图选择部件19获取每个缩略图帧的信息(时刻信息)(步骤S402)，并基于以上所述各条信息和由缩略图显示计数确定部件18确定的页面计数P的信息划分各页面中的各个缩略图帧(步骤S403)。
接下来，显示缩略图选择部件19从系统控制器24获取正在再现的运动图像的时刻的信息(步骤S404)，并确定显示缩略图页面以使得正在再现的运动图像的时刻处于缩略图页面的时刻范围内(步骤S405)。
接下来，显示缩略图选择部件19获取由用户指定的运动图像的再现速度信息(搜索速度信息)(步骤S406)。在其再现速度是正常再现速度(1倍速度)的情况下(在步骤S407中的否)，显示缩略图选择部件19将属于所确定的显示缩略图页面的缩略图帧的信息和行计数及列计数的信息输出到缩略图显示处理部件22(步骤S411)。然后，显示缩略图选择部件19还监控正在再现的运动图像的时刻，并重复显示缩略图页面的确定和属于所确定的显示缩略图页面的缩略图帧的信息和行计算及列计数的信息到缩略图显示处理部件22的输出。
另外，在由用户指定的运动图像的再现速度高(快进/快退再现)的情况下(在步骤S407中的是)，显示缩略图选择部件19执行如下的缩略图的稀疏处理。首先，显示缩略图选择部件19基于由用户指定的运动图像的再现速度，根据预定规则确定缩略图的稀疏计数(值q)(步骤S408)。随后，显示缩略图选择部件19对于属于显示缩略图页面的各个缩略图帧，计算以行为单位和以列为单位的特征帧的重要程度之和，特征帧的重要程度由图像/声音特征判断部件16获得(步骤S409)。
接下来，显示缩略图选择部件19将以行为单位的、具有最低的重要程度之和的q行，和以列为单位的、具有最低的重要程度之和的q列分别判断为稀疏目标的行和列(步骤S410)。然后，显示缩略图选择部件19将作为显示目标的缩略图帧的信息、通过从初始行计数减去值q获得行计数的信息和通过从初始列计数减去值q获得列计数的信息输出到缩略图显示处理部件22，在所述作为显示目标的缩略图帧中，从属于在步骤S405确定的显示缩略图页面的缩略图帧消除与作为稀疏目标的行和列对应的缩略图帧(步骤S411)。
如上所述，通过根据运动图像的再现速度执行的缩略图帧的稀疏，用户期望的场景搜索的精度可以反映在运动图像的再现速度和一个屏幕上缩略图图像的显示计数两者上。另外，通过以行为单位和以列为单位的缩略图帧的稀疏，在再现速度改变之前和之后避免了矩阵中缩略图图像之间位置关系的大的变动。因此，这允许用户在运动图像的再现速度(搜索速度)不同的情况下容易地发现相同的缩略图图像，从而可以改进可操作性。
另外，本发明不限于上述实施例和修改示例，且可以在不脱离本发明的要旨的情况下进行多种修改。
本申请包括与于2010年3月24日在日本专利局提交的日本优先权专利申请JP 2010-068263中公开的主题相关的主题，将其全部内容通过引用完全包括于此。
本领域技术人员应该理解根据设计要求及其它因素，可发生各种修改、组合、部分组合和替代，只要它们在所附权利要求及其等效物的范围之内。

Claims (9)

1.一种信息处理设备，包括：
选择部件，被配置为从包括在时间方面连续的多个帧的运动图像中选择缩略图目标的多个帧作为缩略图帧；
划分部件，被配置为以页面为单位划分所选的缩略图帧，每个页面包括在时间方面连续的多个缩略图帧；
再现速度输入部件，被配置为接收运动图像的再现速度的指定；
再现处理部件，被配置为以指定的再现速度再现运动图像；和
缩略图显示处理部件，被配置为以矩阵排列显示包括最近的缩略图图像的、以页面为单位的多个缩略图图像，其中与位置最接近所再现的运动图像的时刻的缩略图帧对应的缩略图图像被设置为最近的缩略图图像，并以可与正在显示的不同缩略图图像区分的形式，显示至少包括最近的缩略图图像并在时间顺序上连续的一个或多个缩略图图像作为运动图像同步的缩略图图像。
2.如权利要求1所述的信息处理设备，其中
当由用户选择以矩阵排列显示的多个缩略图图像之一时，所述再现处理部件使得正在再现的运动图像的时刻跳到与所选的缩略图图像对应的缩略图帧的时刻。
3.如权利要求2所述的信息处理设备，进一步包括重要程度计算部件，被配置为计算每个缩略图帧的重要程度，其中
所述缩略图显示处理部件将计算出的每个缩略图帧的重要程度反映在所述缩略图图像的显示形式上。
4.如权利要求3所述的信息处理设备，其中
所述再现处理部件基于由所述再现速度输入部件接收的运动图像的再现速度来控制运动图像的再现速度，从而以恒定速度切换给予了可区分为运动图像同步的缩略图图像的显示形式的缩略图图像。
5.如权利要求1所述的信息处理设备，其中
所述缩略图显示处理部件根据由所述再现速度输入部件接收的运动图像的再现速度，改变给予了可区分为运动图像同步的缩略图图像的显示形式的缩略图图像的数目。
6.如权利要求1所述的信息处理设备，其中
所述缩略图显示处理部件根据由所述再现速度输入部件接收的运动图像的再现速度，稀疏以页面为单位划分的缩略图帧。
7.如权利要求6所述的信息处理设备，其中
所述缩略图显示处理部件在以矩阵的行为单位的排列和以矩阵的列为单位的排列中的至少一个中，优先地稀疏具有缩略图帧的较小的重要程度之和的排列。
8.一种信息处理方法，包括：
由选择部件从包括在时间方面连续的多个帧的运动图像中选择缩略图目标的多个帧作为缩略图帧；
由划分部件以页面为单位划分所选的缩略图帧，每个页面包括在时间方面连续的多个缩略图帧；
由再现速度输入部件接收运动图像的再现速度的指定；
由再现处理部件以指定的再现速度再现运动图像；和
由缩略图显示处理部件以矩阵排列显示包括最近的缩略图图像的、以页面为单位的多个缩略图图像，其中与位置最接近所再现的运动图像的时刻的缩略图帧对应的缩略图图像被设置为最近的缩略图图像，并以可与正在显示的不同缩略图图像区分的形式，显示至少包括最近的缩略图图像并在时间顺序上连续的一个或多个缩略图图像作为运动图像同步的缩略图图像。
9.一种使得计算机用作以下部件的程序：
选择部件，被配置为从包括在时间方面连续的多个帧的运动图像中选择缩略图目标的多个帧作为缩略图帧；
划分部件，被配置为以页面为单位划分所选的缩略图帧，每个页面包括在时间方面连续的多个缩略图帧；
再现速度输入部件，被配置为接收运动图像的再现速度的指定；
再现处理部件，被配置为以指定的再现速度再现运动图像；和
缩略图显示处理部件，被配置为以矩阵排列显示包括最近的缩略图图像的、以页面为单位的多个缩略图图像，其中与位置最接近所再现的运动图像的时刻的缩略图帧对应的缩略图图像被设置为最近的缩略图图像，并以可与正在显示的不同缩略图图像区分的形式，显示至少包括最近的缩略图图像并在时间顺序上连续的一个或多个缩略图图像作为运动图像同步的缩略图图像。
CN2011100639276A 2010-03-24 2011-03-17 信息处理设备、信息处理方法和程序 Pending CN102200989A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP068263/10 2010-03-24
JP2010068263A JP2011205217A (ja) 2010-03-24 2010-03-24 情報処理装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
CN102200989A true CN102200989A (zh) 2011-09-28

Family

ID=44661671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100639276A Pending CN102200989A (zh) 2010-03-24 2011-03-17 信息处理设备、信息处理方法和程序

Country Status (3)

Country Link
US (1) US20120057845A1 (zh)
JP (1) JP2011205217A (zh)
CN (1) CN102200989A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455544A (zh) * 2012-05-31 2013-12-18 三星电子株式会社 创建视频的缩略图像的方法以及显示该图像的电子装置
CN104917666A (zh) * 2014-03-13 2015-09-16 腾讯科技（深圳）有限公司 一种制作个性化动态表情的方法和装置
CN107908428A (zh) * 2017-11-24 2018-04-13 中国航空工业集团公司西安航空计算技术研究所 一种帧、页同步的gpu图形指令缓冲同步方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2477800A (en) * 2010-02-16 2011-08-17 Nds Ltd Video trick mode playback
US9372841B2 (en) * 2012-02-27 2016-06-21 Bert A. Silich 4-dimensional geometric reading
KR20150032097A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 영상표시방법
EP2940989B1 (en) * 2014-05-02 2022-01-05 Samsung Electronics Co., Ltd. Method and apparatus for generating composite image in electronic device
KR101650153B1 (ko) * 2015-03-19 2016-08-23 네이버 주식회사 만화 데이터 편집 방법 및 만화 데이터 편집 장치
KR101739830B1 (ko) 2015-06-30 2017-05-25 (주)피엑스디 영상 정보 표시 장치 및 그 동작 방법
JP6718389B2 (ja) * 2017-01-20 2020-07-08 株式会社ミクシィ 情報処理装置，情報処理装置の制御方法及び制御プログラム
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
KR20200101048A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
US11551123B2 (en) * 2019-06-11 2023-01-10 International Business Machines Corporation Automatic visualization and explanation of feature learning output from a relational database for predictive modelling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547848A (zh) * 2002-06-11 2004-11-17 ������������ʽ���� 图像检测设备、图像检测方法和图像检测程序
CN1620695A (zh) * 2001-12-25 2005-05-25 松下电器产业株式会社 用于回放内容的装置、方法与计算机可读程序
US20090070669A1 (en) * 2007-09-07 2009-03-12 Canon Kabushiki Kaisha Image management apparatus and control method therefor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738778B2 (en) * 2003-06-30 2010-06-15 Ipg Electronics 503 Limited System and method for generating a multimedia summary of multimedia streams
WO2006025209A1 (ja) * 2004-08-30 2006-03-09 Pioneer Corporation 画像表示制御装置及び画像表示方法
JP4834639B2 (ja) * 2007-09-28 2011-12-14 株式会社東芝 電子機器および画像表示制御方法
KR101327782B1 (ko) * 2009-04-30 2013-11-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 ３차원 및 필드 시퀀셜 컬러 합성 제어를 갖는 높은 동적 범위 디스플레이

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620695A (zh) * 2001-12-25 2005-05-25 松下电器产业株式会社 用于回放内容的装置、方法与计算机可读程序
CN1547848A (zh) * 2002-06-11 2004-11-17 ������������ʽ���� 图像检测设备、图像检测方法和图像检测程序
US20090070669A1 (en) * 2007-09-07 2009-03-12 Canon Kabushiki Kaisha Image management apparatus and control method therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455544A (zh) * 2012-05-31 2013-12-18 三星电子株式会社 创建视频的缩略图像的方法以及显示该图像的电子装置
CN104917666A (zh) * 2014-03-13 2015-09-16 腾讯科技（深圳）有限公司 一种制作个性化动态表情的方法和装置
CN107908428A (zh) * 2017-11-24 2018-04-13 中国航空工业集团公司西安航空计算技术研究所 一种帧、页同步的gpu图形指令缓冲同步方法

Also Published As

Publication number Publication date
US20120057845A1 (en) 2012-03-08
JP2011205217A (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
CN102200989A (zh) 信息处理设备、信息处理方法和程序
CN101601286B (zh) 实现快速视频文件理解的视频片段的并行呈现
US6222532B1 (en) Method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
KR101073528B1 (ko) 키 프레임 기초된 재생 위치 선택 방법 및 시스템
US7979879B2 (en) Video contents display system, video contents display method, and program for the same
US8166420B2 (en) Electronic apparatus and image display control method of the electronic apparatus
CN100423572C (zh) 影像再生装置及方法
US8799781B2 (en) Information processing apparatus reproducing moving image and displaying thumbnails, and information processing method thereof
CN100588227C (zh) 数据处理设备、数据处理方法和程序
US8705932B2 (en) Method and system for displaying a timeline
EP2166752A2 (en) Display processing apparatus, display processing method, and computer program product
US8201105B2 (en) Electronic apparatus and image display control method of the electronic apparatus
US20120155829A1 (en) Electronic apparatus and face image display method
CN102880381B (zh) 上下文感知用户界面系统
WO2013018325A1 (en) Information processing apparatus, information processing method, and computer program product
EP1729212A2 (en) Information processing apparatus, Information processing method, and program for enabling computer to execute same method
US8955014B2 (en) Method and apparatus for browsing broadcast programs using dynamic user interface
KR20030017997A (ko) 이미지 시퀀스 내의 위치를 선택하기 위한 방법 및 시스템
KR20060045955A (ko) 정보 처리 장치 및 방법, 및 프로그램
KR20060107909A (ko) 콘텐츠 정보 표시 장치 및 방법
CN101998087A (zh) 显示设备和显示方法
WO1998034182A2 (en) A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
CN104777986A (zh) 一种导航处理方法及移动终端
EP1703505B1 (en) Video data reproduction apparatus
WO2007037237A1 (ja) 情報表示装置および情報表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110928