CN101480048A - 基于视频操作历史的重要度信息赋予装置及方法 - Google Patents

Abstract

本发明的目的在于，通过从作为用户的视频操作历史的预览日志中检测‘搜索想看的视频段’操作群，除去在其中包含的‘在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’，对于判定为‘将搜索出的视频段仔细地视听的重放’的重放段赋予重要度信息。因此，本发明提供基于视频操作历史的重要度信息赋予装置及方法，重要度信息赋予装置包括了关注视频搜索操作群单元，关注视频搜索操作群单元具有：最小搜索操作群检测单元，从作为用户的视频操作历史的预览日志中检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群；以及搜索操作群确定单元，将检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定在最小搜索操作群之前的操作和之后的操作，从而确定关注视频搜索操作群。

Description

基于视频操作历史的重要度信息赋予装置及方法

技术领域

本发明涉及以视频操作(video operation)的历史为基础而对重要的区域赋予重要度信息的重要度信息赋予装置及方法。

背景技术

在目前的节目制作的编辑步骤中，通过用户的视频视听动作，即，使用了快进、倒回、重放(reproduction)的视频操作，进行在所拍摄的视频中确认是否有在节目中使用的剪辑段(cut part)的预览，在视频中有多个剪辑段的情况下，重复进行用于‘搜索想看的视频段’、‘观看搜索出的视频段’的视频操作。将从用于‘搜索想看的视频段’、‘观看搜索出的视频段’的开始操作至看完视频的停止操作为止的一连串的视频视听动作称为一次预览。

此外，编辑步骤大致分为粗编辑步骤和源编辑步骤，在粗编辑步骤中进行确认作为节目中的使用的部分的剪辑段的预览，在源编辑步骤中搜索在粗编辑步骤中已确认的剪辑段，进行将看过的剪辑段连结合并等的编辑。这样，通过两阶段地进行编辑步骤，从完成了拍摄的视频中只先进行粗编辑，在结束了所有的拍摄后进行源编辑步骤，从而使节目制作高效率。此外，在粗编辑步骤中，在备忘录中获得所搜索出的‘剪辑段’的In点(进入点)、Out点(结束点)等，使源编辑步骤中的视频中的‘剪辑段’的视频点的掌握高效率。但是，为了在源编辑步骤中观察备忘录而使‘剪辑段’露出头，需要与粗编辑步骤同样地进行使用了快进、倒回的视频操作。

下述专利文献1公开了以下技术：存储用户在视听视频时进行的使用了快进、倒回、重放的视频操作的历史(以下，记载为预览日志)，对于基于预览日志判断为重要的段赋予重要度信息。例如，在下述专利文献1中，对于进行了重放操作的段，作为可以推测为‘用户慢慢并仔细地观看了视频的段’，从而对于预览日志中所包含的所有重放段赋予较高的重要度信息。此外，通过将重复进行了重放操作的段、或倒回而进行了再次的重放操作的段等作为可以推测为‘用户特别关注的段’，赋予更高的重要度信息，从而根据操作特征而使重要度信息具有幅度。这样，通过对基于预览日志判断为重要的重放段赋予重要度信息来进行管理，实现视频中所包含的重要的剪辑段的检索或编辑的高效率。

专利文献1：特开2000-331008号公报

发明内容

发明要解决的课题

用户的视频视听动作(以下，记载为预览)由‘搜索想看的视频段’、‘观看搜索出的视频段’这样的两类目的的视频操作而构成。因此，在预览(preview)之中进行的重放中有‘在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’和‘仔细地视听搜索出的视频段的重放’的哪一个的意思。对于这两种重放，节目制作者按在节目中使用的视频这样的观点来考虑重要度信息时，由于‘在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’不能称为节目制作者关注的重放段，所以当然不能说重要。但是，在上述专利文献1对于预览日志所包含的所有重放段，由于考虑为‘仔细地视听搜索出的视频段的重放’，所以对于原来不重要的‘在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’也会被赋予较高的重要度信息(参照图29)。此外，在有重复进行了这样的重放操作的段、或进行了再次倒回的操作的段的情况下，考虑到是‘用户特别关注的段’，因而被赋予更高的重要度信息。其结果，存在对于不重要的重放段被赋予不需要的较高的重要信息，视频中所包含的重要的剪辑段的检索效率或编辑效率变差的问题。

本发明着眼于这样的问题，其目的在于，提供基于视频操作历史的重要度信息赋予装置及方法，通过从作为用户的视频操作历史的预览日志中检测‘搜索想看的视频段’的操作群(operation group)(即，以下，记载为关注视频搜索操作群)，除去在其中包含的‘在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’，对于判定为‘仔细地视听搜索出的视频段的重放’的重放段(以下，记载为用户关注段)赋予重要度信息。

用于解决课题的方案

一般地，用户搜索自己想看的视频段(以下，称为用户关注段)的开始点时，为了极快地访问(access)该视频段而进行快进，在重要部分，一边进行向一方向的连续操作一边继续搜索用户关注段，以为了确认自己正在观看的部分是什么样的视频内容而进行重放的方式。在向一方向的连续操作上有两种，一个是以快进操作为主体，进行快进或重放、或组合了快进和重放的连续操作，另一个是以倒回操作为主体，进行倒回或组合了倒回和进行倒回的段中所包含的重放的连续操作。

此外，一般地，用户进行快进直至搜索到关注段为止，并在找到该关注段而进行重放时，发生已经错过了想重放的视频点。此外，快进通常在倍速以上进行，所以有时大幅度地错过想重放的视频点。这种情况下，用户进行与至此为止进行的连续操作相反方向的连续操作，恢复该错过。即，进行以倒回操作为主体的连续操作。此外，即使进行以倒回操作为主体的连续操作，由于也发生上述那样的错过，所以在这样的情况下，进行其相反方向的连续操作，即，进行以快进操作为主体的连续操作。于是，用户在搜索用户关注段时，通过交替进行相互相反方向的连续操作，逐渐地靠近用户关注段的开始点。

此外，在搜索用户关注段时，作为相互相反方向的连续操作的以快进操作为主体的连续操作和以倒回操作为主体的连续操作之间的视频上的时间性关系具有：在一方的连续操作的开始时间和结束时间之间包含紧接其后的另一方的连续操作的结束时间的关系，或者一方的连续操作的开始时间被包含在紧靠其前的另一方的连续操作的开始时间和结束时间之间的关系。这是因为用户有意识地进行视频操作以不产生相同的错过，此外，在进行了紧靠其前的连续操作时进行视频视听，并理解了视频的流动，所以在比以前靠近用户关注段的部分进行重放。因此，关注视频搜索操作群，交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作，并且相互相反方向的连续操作间的视频上的时间性关系为包含关系。

而且，在关注视频搜索操作群中，一定存在将快进、倒回、重放组合而构成的关注视频搜索操作群的最小单位的最小搜索操作群。最小搜索操作群是，关注视频搜索操作群被交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作而构成，根据上述以快进操作为主体的连续操作和以倒回操作为主体的连续操作之间的时间关系，一定产生在以快进操作为主体的连续操作和以倒回操作为主体的连续操作的转换部分。此外，与以快进操作为主体的连续操作和以倒回操作为主体的连续操作之间的时间关系同样，最小搜索操作群相互相反方向的操作间的视频上的时间性关系为包含关系。此外，该最小搜索操作群可以分类为表示规定的操作特征的各种模式A、B、C。

本发明利用这些特征进行关注视频搜索操作群的检测。因此，本发明的基于视频操作历史的重要度信息赋予装置的特征在于，包括关注视频搜索操作群检测单元，该关注视频搜索操作群检测单元包括：最小搜索操作群检测单元，从作为用户的视频操作历史的预览日志中检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群；以及搜索操作群确定单元，将所述检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定在所述最小搜索操作群之前的操作和所述最小搜索操作群之后的操作，从而确定关注视频搜索操作群。可以通过所述关注视频搜索操作群检测单元检测关注视频搜索操作群，由此，可从预览日志中所包含的所有的重放段中除去关注视频搜索操作群所包含的重放段，从而检测用户关注段，并对检测出的用户关注段赋予重要度信息。

此外，本发明的基于视频操作历史的重要度信息赋予方法的特征在于，包括：从作为用户的视频操作历史的预览日志中基于具有规定的操作特征的各种模式检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群的步骤；以检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定所述最小搜索操作群之前的操作及所述最小搜索操作群之后的操作，从而确定关注视频搜索操作群的步骤；从预览日志中所包含的所有重放段中除去关注视频搜索操作群所包含的重放段，从而检测用户关注段的步骤；以及对于检测出的用户关注段赋予重要度信息的步骤。

发明的效果

从上述可知，根据本发明的重要度信息赋予装置及方法，可以从作为用户的视频操作历史的预览日志中检测关注视频搜索操作群，由此，可以除去在其中包含的‘搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’，对用户本来在节目编辑中利用的视频段、即用户关注段赋予重要度信息，所以用户可以仅将用户需要的视频段作为检测对象，可以提高检索效率和编辑效率。

本发明的上述目的及优点，参照附图进行说明。通过以下的实施例，会更清楚。

附图说明

图1是表示本发明一实施方式中使用的基于视频操作历史的重要度赋予装置100的内部结构的方框图。

图2是表示预览日志生成单元102输出的预览日志的数据结构的图。

图3是以图像方式表示预览日志生成单元102输出的预览日志的图。

图4的(a)是表示关注视频搜索操作群检测单元103的内部结构的方框图，图4的(b)是表示在关注视频搜索操作群检测单元103的内部进行的处理的流程的流程图。

图5是以图像方式表示最小搜索操作群检测单元401检测的最小搜索操作群的图。

图6是以图像方式表示进行关注视频搜索操作群的确定过程的图。

图7是以图像方式表示进行了确定的关注视频搜索操作群的图。

图8是以图像方式表示关注视频搜索操作群检测单元103输出的关注视频搜索操作群的图。

图9是表示在最小搜索操作群检测单元401的内部进行的处理的流程的流程图。

图10是表示基于模式(pattern)A检测最小搜索操作群的处理的流程的流程图。

图11是表示基于模式B检测最小搜索操作群的处理的流程的流程图。

图12是表示基于模式C检测最小搜索操作群的处理的流程的流程图。

图13是表示最小搜索操作群检测单元401输出的预览日志的数据结构的图。

图14是表示在模式C确定单元403的内部进行处理的流程的流程图。

图15是表示模式C和B的最小搜索操作群重叠的情况下进行了结合的预览日志的数据结构的图。

图16是表示模式C的后方确定处理的流程的处理流程图。

图17是表示以快进操作为主体的连续操作的图。

图18是表示以倒回操作为主体的连续操作的图。

图19是表示由模式C确定单元403生成的预览日志的数据结构的图。

图20是表示在模式A或B确定单元404的内部进行的处理的流程的流程图。

图21是表示模式A和B的最小搜索操作群重叠的情况下进行了结合的预览日志的数据结构的图。

图22是表示模式A或B的前方确定处理的流程的流程图。

图23是表示模式A或B的后方确定处理的流程的流程图。

图24是表示由模式A或B的前方确定处理生成的预览日志的数据结构的图。

图25是表示由模式A或B的后方确定处理生成的预览日志的数据结构的图。

图26是表示关注视频搜索操作群检测单元103输出的预览日志的数据结构的图。

图27是表示用户关注段检测单元104输出的预览日志的数据结构的图。

图28的(a)是表示重要度信息赋予单元105输出的预览日志的数据结构的图，图28的(b)是表示由重要度信息赋予单元105管理的重要度信息表的图。

图29是表示对于预览日志中所包含的所有重放段赋予重要度信息的状况的图(专利文献1)。

标号说明

101 视频操作单元

102 预览日志生成单元

103 关注视频搜索操作群检测单元

104 用户关注段检测单元

105 重要度信息赋予单元

106 视频及重要度信息存储单元

107 视频检索单元(GUI)

401 最小搜索操作群检测单元

402 搜索操作群确定单元

403 模式C确定单元

404 模式A或B确定单元

具体实施方式

以 下，说明用于实施本发明的优选方式。图1是以方框图方式表示本实施方式中使用的基于视频操作历史的重要度信息赋予装置的内部结构的图。如图1所示，重要度信息赋予装置100包括：视频操作单元101，根据用户进行的快进、倒回、重放等的视频操作请求进行视频操作；预览日志生成单元102，基于视频操作单元101进行过的视频操作而生成视频操作历史(以下，记载为预览日志)；关注视频搜索操作群检测单元103，从预览日志生成单元102生成的预览日志中检测用户进行过操作的视频操作群(以下，记载为关注视频搜索操作群)，直至达到关注的视频段为止；用户关注段检测单元104，从预览日志中所包含的所有重放段中，除去在关注视频搜索操作群检测单元103检测出的关注视频搜索操作群中所包含的重放段，从而检测用户关注段；重要度信息赋予单元105，对于用户关注段检测单元104检测出的用户关注段赋予重要度信息；视频及重要度信息存储单元106，将重要度信息赋予单元105所赋予的重要度信息和视频一起存储；以及视频检索单元(GUI)107，根据用户的视频检索请求，对视频及重要度信息存储单元106中所存储的视频及重要度信息进行视频检索。

接着，用图2说明预览日志的数据结构。如图2所示，预览日志的数据结构为管理对每一操作赋予的‘操作号’、表示重放、快进、倒回等操作的内容的‘操作类别’、以序号表示各个操作的类别的‘操作类别号’、表示操作为正向还是反向的‘操作方向’、以视频上的点表示操作开始位置的‘In点’、以及以视频上的点表示操作结束位置的‘Out点’的结构。即，预览日志在重复进行所谓‘搜索想看的视频段’、‘观看搜索出的视频段’的两种目的的视频操作中，对每个操作生成由操作类别、操作类别号、操作方向、操作开始位置(In点)及操作结束位置(Out点)组成的一数据，并连续地生成该数据，直至所有的视频操作结束为止。图3表示所生成的预览日志的数据结构。

接着，用图4说明关注视频搜索操作群检测单元103进行的、从预览日志中检测关注视频搜索操作群的处理。图4的(a)以方框图形式表示关注视频搜索操作群检测单元103的内部结构，图4的(b)以流程图形式表示在关注视频搜索操作群检测单元103的内部进行的处理的流程。如图4的(a)所示，关注视频搜索操作群检测单元103包括：最小搜索操作群检测单元401，基于具有规定的操作特征的各种模式A、B、C从预览日志来判定检测在关注视频搜索操作群内一定存在的最小单位的最小搜索操作群；以及搜索操作群确定单元402，以检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定最小搜索操作群之前的操作及最小搜索操作群之后的操作，从而确定关注视频搜索操作群。

最小搜索操作群检测单元401基于具有规定的操作特征的各种模式A、B、C来判定检测在关注视频搜索操作群内一定存在的最小搜索操作群。模式A的操作特征是，在快进操作或快进及重放操作的紧接其后有倒回操作，并且，在从快进操作或快进及重放操作的开始时间至结束时间之间包含倒回操作的结束点(Out点)，模式B的操作特征是，在倒回操作的紧接其后有快进操作或重放及快进操作，并且，在倒回操作的开始时间至结束时间之间包含快进操作或重放及快进操作的结束点(Out点)，模式C的操作特征是，在重放操作的紧接其后有倒回操作，并且在从重放操作的开始时间至结束时间之间包含倒回操作的结束点(Out点)。即，最小搜索操作群检测单元401基于各种模式A、B、C的操作特征来判定‘相互相反方向的操作间的视频上的时间性关系为包含关系的操作’，从而作为最小搜索操作群进行检测，并用作用于检测关注视频搜索操作群的基点。再有，最小搜索操作群检测单元401中的处理相当于图4的(b)所示的步骤401。此外，图5中表示以虚线形式表示了最小搜索操作群。如图5所示，最小搜索操作群呈现较小的倒三角形的形状，这表示相互相反方向的操作间的视频上的时间性关系为包含关系。

此外，搜索操作群确定单元402包括：模式C确定单元403，将最小搜索操作群检测单元401检测出的模式C的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定最小搜索操作群之后的操作，从而确定关注视频搜索操作群；以及模式A或B确定单元404，将最小搜索操作群检测单元401检测出的模式A或B的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定最小搜索操作群之前的操作及最小搜索操作群之后的操作，从而确定关注视频搜索操作群。即，搜索操作群确定单元402将最小搜索操作群检测单元401检测出的最小搜索操作群作为基点，对于其之前的操作及之后的操作，使用预览日志所示的操作类别及该操作的开始时间、结束时间，判定是否有作为关注视频搜索操作群的特征的‘交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作，并且在一方的连续操作的开始时间和结束时间之间包含紧接其后的另一方的连续操作的结束时间的关系，或者一方的连续操作的开始时间包含在紧靠其前的另一方的连续操作的开始时间和结束时间之间的关系，即相互相反方向的连续操作间的视频上的时间性关系为包含关系’，并根据该判定，确定关注视频搜索操作群。在搜索操作群确定单元402中，以模式C、模式A或B的顺序来确定关注视频搜索操作群。再有，模式C确定单元403中的处理相当于图4的(b)所示的步骤402，模式A或B确定单元404中的处理相当于步骤403。此外，图6表示以图像(image)形式表示了进行关注视频搜索操作群的确定的状况。如图6所示，关注视频搜索操作群从视频的末端附近的基点起依次确定最小搜索操作群之前的操作及最小搜索操作群之后的操作。此外，图7及图8表示以图像形式表示了关注视频搜索操作群。如图7及图8所示，关注视频搜索操作群呈现比最小搜索操作群(参照图5)大的倒三角形的形状，这表示通过搜索操作群确定单元402，确定从最小搜索操作群检测单元401检测出的最小搜索操作群到关注视频搜索操作群的‘搜索想看的视频段’操作，相互相反方向的连续操作间的视频上的时间性关系为包含关系。

接着，用图9说明在最小搜索操作群检测单元401中进行的基于具有规定的操作特征的各种模式来判定检测最小搜索操作群的处理的流程。若开始最小搜索操作群的检测处理(开始(START))，则首先搜索操作号‘n＝1’(步骤901)，获得它的操作类别(步骤902)，并进行判定(步骤903)。根据判定出的操作类别，进行模式判定处理(步骤904)。即，在操作类别为快进的情况下，进行图10所示的模式A的判定处理，在倒回的情况下进行图11所示的模式B的判定处理，在重放的情况下进行图12所示的模式C的判定处理。由此，对于操作号‘n＝1’判定模式，接着对于是否有操作号‘n+1’进行判定。在有的情况下，对于操作号n，作为‘n＝n+1’返回到步骤902，进行与上述同样的处理。另一方面，在没有的情况下，结束处理(END)。图13表示最小搜索操作群检测单元401生成的预览日志的数据结构。

用图10说明在步骤903中判定出的操作类别为快进的情况下进行的模式A的判定处理。模式A的判定处理基于模式A的操作特征进行，进行判定在快进操作或快进及重放操作的紧接其后有倒回操作，并且在从快进操作或快进及重放操作的开始时间至结束时间之间是否包含了倒回操作的结束点的处理。

在操作号‘n’为快进的情况下(START)，获得操作号‘n+1’的操作类别，并进行判定(步骤1001)。在操作号‘n+1’的操作类别为倒回的情况下(步骤1002)，判定操作号‘n+1’的Out点是否位于操作号‘n’的In点～Out点内(步骤1003)，在位于其内的情况下，将操作号‘n’和‘n+1’判定为模式A而结束处理(步骤1004，END)。另一方面，在操作号‘n+1’的Out点没有在操作号‘n’的In点～Out点内的情况下，不判定为模式A而结束处理(步骤1003，END)。此外，在操作号‘n+1’的操作类别不是倒回而是重放的情况下(步骤1005)，获得操作号‘n+2’的操作类别并进行判定(步骤1006)，另一方面，在操作号‘n+1’的操作类别既不为倒回也不是重放的情况下，不判定为模式A而结束处理(步骤1005，END)。而且，在步骤1006中判定出的操作号‘n+2’的操作类别为倒回的情况下(步骤1007)，判定操作号‘n+2’的Out点是否位于操作号‘n’的In点～Out点内(步骤1008)，在位于其内的情况下，将操作号‘n’、‘n+1’和‘n+2’判定为模式A并结束处理(步骤1009，END)。另一方面，在操作号‘n+2’的Out点没有在操作号‘n’的In点～Out点内的情况下，不判定为模式A而结束处理(步骤1008，END)。此外，在判定出的操作号‘n+2’的操作类别不是倒回的情况下也不判定为模式A而结束处理(步骤1007，END)。通过上述步骤进行模式A的判定处理。例如，在图13中操作号7及8的操作被判定为模式A。

接着，用图11说明在步骤903中判定出的操作类别为倒回的情况下进行的模式B的判定处理。模式B的判定处理基于模式B的操作特征进行，在倒回操作的紧接其后有快进操作或重放及快进操作，并且进行判定在从倒回操作的开始时间至结束时间之间是否包含了快进操作或重放及快进操作的结束点的处理。

在操作号‘n’为倒回的情况下(START)，获得操作号‘n+1’的操作类别，并进行判定(步骤1101)。在操作号‘n+1’的操作类别为快进的情况下(步骤1102)，判定操作号‘n+1’的Out点是否位于操作号‘n’的In点～Out点内(步骤1103)，在位于其内的情况下，将操作号‘n’和‘n+1’判定为模式B而结束处理(步骤1104，END)。另一方面，在操作号‘n+1’的Out点没有在操作号‘n’的In点～Out点内的情况下，不判定为模式B而结束处理(步骤1103，END)。此外，在操作号‘n+1’的操作类别不是快进而是重放的情况下(步骤1105)，获得操作号‘n+2’的操作类别并进行判定(步骤1106)，另一方面，在操作号‘n+1’的操作类别既不是快进也不是重放的情况下，不判定为模式B而结束处理(步骤1105，END)。而且，在步骤1106中判定出的操作号‘n+2’的操作类别为快进的情况下(步骤1107)，判定操作号‘n+2’的Out点是否位于操作号‘n’的In点～Out点内(步骤1108)，在位于其内的情况下，将操作号‘n’和‘n+1’以及‘n+2’判定为模式B并结束处理(步骤1109，END)。另一方面，在操作号‘n+2’的Out点没有在操作号‘n’的In点～Out点内的情况下，不判定为模式B而结束处理(步骤1108，END)。此外，在判定出的操作号‘n+2’的操作类别不是快进的情况下也不判定为模式B而结束处理(步骤1107，END)。通过上述步骤进行模式B的判定处理。例如，在图13中操作号5、6、7、12、13的操作被判定为模式B。

接着，用图12说明在步骤903中判定出的操作类别为重放的情况下进行的模式C的判定处理。模式C的判定处理基于模式C的操作特征进行，在重放操作的紧接其后有倒回操作，并且进行判定在从重放操作的开始时间至结束时间之间是否包含了倒回操作的结束点的处理。

在操作号‘n’为重放的情况下(START)，获得操作号‘n+1’的操作类别，并进行判定(步骤1201)。在操作号‘n+1’的操作类别为倒回的情况下(步骤1202)，判定操作号‘n+1’的Out点是否位于操作号‘n’的In点～Out点内(步骤1203)，在位于其内的情况下，将操作号‘n’和‘n+1’判定为模式C而结束处理(步骤1204，END)。另一方面，在操作号‘n+1’的Out点没有在操作号‘n’的In点～Out点内的情况下，不判定为模式C而结束处理(步骤1203，END)。此外，在操作号‘n+1’的操作类别不是倒回的情况下也不判定为模式C而结束处理(步骤1202，END)。通过上述步骤进行模式C的判定处理。例如，在图13中操作号11、12的操作被判定为模式C。

接着，说明在搜索操作群确定单元402中进行的、以对各种模式的每个模式检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定最小搜索操作群之前的操作及最小搜索操作群之后的操作，从而确定关注视频搜索操作群的处理的流程。在重放操作的紧接其后有倒回操作，并且在从重放操作的开始时间至结束时间之间包含了倒回操作的结束点(Out点)的模式C有可能被包含在模式A或B中，所以被在前面确定。即，在本实施方式中，确定关注视频搜索操作群的处理在进行了模式C的确定之后，进行模式A或B的确定。

下面用图14说明在模式C确定单元403中进行的处理的流程。在最小搜索操作群检测单元401中结束了最小搜索操作群的检测后，若开始模式C的确定处理(START)，则首先判定是否有与模式C的最小搜索操作群重叠的模式A或B的最小搜索操作群(步骤1401)，在有重叠的情况下，将重叠的模式A或B与模式C进行结合(步骤1402)，在没有重叠的情况下进至步骤1403。图15中表示步骤1402中生成的预览日志的数据结构。由于操作号12是模式C和模式B重叠(参照图13)，所以判定为其是相同的关注视频搜索操作群，将模式B与模式C进行结合，并置换标志(flag)而作为模式C的操作群(参照图15)。再有，由于标志的置换只要是能够识别是相同的关注视频搜索操作群的标志就可以，所以置换为哪个标志都可以。

然后，从预览日志的最后方依次获得模式C的操作群(步骤1403)，进行模式C的后方确定的处理(步骤1404)。模式C的后方确定，对于模式C的操作群之后的操作，基于关注视频搜索操作群的特征，判定在所获得的模式C的操作群内包含的某一方的连续操作的开始和结束时间之间，包含紧接其后的另一方的连续操作的结束时间的连续操作是否处于模式C的操作群之后的操作，从而作为模式C的关注视频搜索操作群进行确定后方的处理。即，对于模式C的操作群之后的操作，判定‘交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作，并且相互相反方向的连续操作间的视频上的时间性关系是否满足了为包含关系的条件’，在为包含关系的情况下，使模式C的操作群膨胀，重复进行处理，直至检测不出满足上述条件的操作为止，从而确定模式C的关注视频搜索操作群的后方。另一方面，在没有包含关系的情况下，确定模式C的关注视频搜索操作群的后方而不使模式C的操作群膨胀。

然后，在步骤1404中进行了模式C的后方确定的处理后，判定是否有其他的模式C的操作群(步骤1405)，在有其他的模式C的操作群的情况下返回到步骤1404，进行与上述相同的处理。另一方面，在没有其他的模式C的操作群的情况下结束处理(END)。图19表示模式C确定单元403生成的预览日志的数据结构。在本实施方式中，模式C的操作群不膨胀，确定了模式C的关注视频搜索操作群的后方。

下面用图16说明在步骤1404中进行的模式C的后方确定的处理。首先，若开始模式C的后方确定的处理(START)，则从最末尾向前方(n-1方向)搜索与获得的模式C的操作群的最末尾的操作号n的操作方向相反方向的连续操作，获得其第1个操作群的操作号(步骤1601)，并从In点、Out点获得操作群的操作范围(步骤1602)。这里，连续操作表示向一方向的连续操作，一个连续操作如图17所示，是将快进或交替组合了快进和重放的快进操作作为主体的连续操作，另一个连续操作如图18所示，是将倒回或组合了倒回和倒回的段中包含的重放的倒回操作作为主体的连续操作。在本实施方式中，获得操作号12，获得其In点‘00:01:15’、Out点‘00:01:00’。从操作号n向后方(n+1方向)搜索Out点包含在连续获得的操作范围中的、与操作号n同方向的连续操作(步骤1603)，判定是否有操作群(步骤1604)。在有操作群的情况下，将操作号n+1～操作群的最后的操作号N判定为模式C(步骤1605)，在没有操作群的情况下结束模式C的后方确定的处理(END)。在本实施方式中，判定为没有操作群，并结束。再有，在步骤1605中将操作号n+1～最后的操作号N判定为模式C后，将上述为止的n复位(reset)，将操作号N置换为n。

接着，在步骤1605中将操作号n判定为模式C后，判定操作号n+1和n是否为相反方向(步骤1606)。在为相反方向的情况下，从n向前方(n-1方向)搜索与操作号n同方向的操作，获得其第1个操作群的操作号(步骤1607)，并从In点、Out点获得操作群的操作范围(步骤1608)。然后从操作号n向后方(n+1方向)搜索Out点包含在所获得的操作范围中的、与操作号n相反方向的连续操作(步骤1609)，然后进行与上述同样的处理。另一方面，在步骤1606中，在操作号n+1和n不是相反方向的情况下，判定操作号n的操作类别是否为重放(步骤1610)，在是重放的情况下，已判定为模式C的操作号n没有作为模式C而删除标志(步骤1611)，并结束模式C的后方确定的处理(END)。另一方面，在不是重放的情况下，直接结束模式C的后方确定的处理(END)。通过上述步骤进行模式C的后方确定的处理。

下面，用图20说明在模式A或B确定单元404中进行的处理的流程。在结束了模式C的确定后，若开始模式A或B的确定处理(START)，则首先判定是否有与模式A或B的最小搜索操作群重叠的模式A或B的最小搜索操作群(步骤2001)，在有操作群的情况下，将重叠的模式A或B与其他的模式A或B进行结合(步骤2002)，另一方面，在没有操作群的情况下进至步骤2003。图21中表示在步骤2002中生成的预览日志的数据结构。操作号7是模式B和模式A重叠的操作号(参照图19)，所以判定是相同的关注视频搜索操作群，将模式A和模式B进行结合，并置换标志而作为模式A或B的操作群(参照图21)。再有，由于标志的置换只要是能够识别是相同的关注视频搜索操作群的标志就可以，所以置换为哪个标志都可以。

然后，从预览日志的最后方依次获得模式A或B的操作群(步骤2003)，进行模式A或B的前方确定的处理(步骤2004)。模式A或B的前方确定，基于关注视频搜索操作群的特征，对于模式A或B的操作群之前的操作，判定在所获得的模式A或B的操作群内包含的某一方的连续操作的开始时间被包含在紧靠其前的另一方的连续操作的开始时间和结束时间之间是否有连续操作，从而作为模式A或B的关注视频搜索操作群进行确定前方的处理。即，对于模式A或B的操作群之前的操作，判定‘交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作，并且相互相反方向的连续操作间的视频上的时间性关系是否满足了为包含关系的条件’，在为包含关系的操作的情况下，使模式A或B的操作群膨胀，重复进行处理，直至不被检测出满足上述条件的操作为止，从而确定模式A或B的关注视频搜索操作群的前方。另一方面，在没有包含关系的操作的情况下，确定模式A或B的关注视频搜索操作群的前方而不使模式A或B的操作群膨胀。

图24中表示进行了模式A或B的前方确定的处理的预览日志的数据结构。在本实施方式中，利用操作号1～4使模式A或B的操作群膨胀，确定模式A或B的关注视频搜索操作群的前方。

在步骤2004中进行了模式A或B的前方确定的处理后，进而进行模式A或B的后方确定的处理(步骤2005)。模式A或B的后方确定，对于模式A或B的操作群之后的操作，基于关注视频搜索操作群的特征，判定在紧接该操作群后的另一方的连续操作的结束时间被包含在获得的模式A或B的操作群内所包含的某一方的连续操作的开始时间和结束时间之间的连续操作是否处于模式A或B的操作群之后的操作，从而作为模式A或B的关注视频搜索操作群进行确定后方的处理。即，对于模式A或B的操作群之后的操作，判定‘交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作，并且相互相反方向的连续操作间的视频上的时间性关系是否满足了为包含关系的条件’，在为包含关系的操作的情况下，使模式A或B的操作群膨胀，重复进行处理，直至不被检测出满足上述条件的操作为止，从而确定模式A或B的关注视频搜索操作群的后方。另一方面，在没有包含关系的操作的情况下，确定模式A或B的关注视频搜索操作群的后方而不使模式A或B的操作群膨胀。

图25表示进行了模式A或B的后方确定的处理的预览日志的数据结构。在本实施方式中，不使模式A或B的操作群膨胀，确定模式A或B的关注视频搜索操作群的后方。在进行了步骤2004中模式A或B的前方确定及步骤2005中模式A或B的后方确定的处理后，判定是否有其他的模式A或B的操作群(步骤2006)，在有其他的模式A或B的操作群的情况下返回到步骤2004，进行与上述同样的处理。另一方面，在没有其他的模式A或B的操作群的情况下结束处理(END)。

下面用图22说明在步骤2004中进行的模式A或B的前方确定的处理。首先，若开始模式A或B的前方确定的处理(START)，则从In点、Out点获得已获得的模式A或B的操作群的开头的操作号m的操作范围(步骤2201)。在本实施方式中，获得操作号5，并获得它的In点‘00:00:35’、Out点‘00:00:12’。接着从操作号m向前方(m-1方向)搜索包含已获得的操作范围的Out点的、与操作号m相反方向的连续操作(步骤2202)。然后，判定是否有连续操作，同时判定操作群的开头的操作号的操作类别是否为重放(步骤2203)。在本实施方式中，判定为有操作号1～4组成的连续操作，并判定为操作号1的操作类别不是重放(快进)。

在有操作群，且开头的操作类别不是重放的情况下，将操作号m-1～开头的操作群的最后的操作号M判定为模式A或B(步骤2204)，在没有操作群的情况下或开头的操作类别是重放的情况下，结束模式A或B的前方确定的处理(END)。在本实施方式中，将操作号1～4判定为模式A或B。再有，在步骤2204中将最后的操作号M判定为模式A或B后，将上述为止的m复位，并将操作号M置换为m。

接着，在步骤2204中将操作号m判定为模式A或B后，判定操作号m-1和m是否为相反方向(步骤2205)。在有操作号m-1，并为相反方向的情况下，从操作号m向前方(m-1方向)搜索与操作号m同方向的连续操作，获得它的操作群(步骤2206)，并从In点、Out点获得操作群的操作范围(步骤2207)。另一方面，在没有操作号m-1的情况下或即使有操作号m-1也不是相反方向的情况下，结束模式A或B的前方确定的处理(END)。在本实施方式中，由于没有操作号m-1，所以结束处理。

从操作号m向前方(m-1方向)搜索包含已获得的操作范围的Out点的、与操作号m相反方向的连续操作，获得它的操作群(步骤2208)，判定是否有操作群，同时判定是否为重放(步骤2203)。然后，进行与上述同样的处理。通过上述步骤进行模式A或B的前方确定的处理。

接着，用图23说明在步骤2005中进行的模式A或B的后方确定的处理。首先，若开始模式A或B的后方确定的处理(START)，则从最末尾向前方(1-1方向)搜索与已获得的模式A或B的操作群的最末尾的操作号n的操作方向相反方向的连续操作，获得其第1操作群的操作号(步骤2301)，从In点、Out点获得操作群的操作范围(步骤2302)。在本实施方式中，获得操作号6、7，并获得它的In点‘00:00:12’、Out点‘00:00:25’。接着，从操作号1向后方(1+1方向)搜索Out点包含在已获得的操作范围中的、与操作号1同方向的连续操作(步骤2303)，判定是否有操作群(步骤2304)。在有操作群的情况下，将操作号1+1～操作群的最后的操作号L判定为模式A或B(步骤2305)，在没有操作群的情况下，结束模式A或B的后方确定的处理(END)。在本实施方式中，判定为没有操作群，并结束。再有，在步骤2305中将操作号1+1～最后的操作号L判定为模式A或B后，将上述为止的1复位，并将操作号L置换为1。

接着，在步骤2305中将操作号n判定为模式A或B后，判定操作号1+1和1是否为相反方向(步骤2306)。在为相反方向的情况下，从1向前方(1-1)搜索与操作号1同方向的操作，获得其第1个操作群的操作号(步骤2307)，从In点、Out点获得操作群的操作范围(步骤2308)。从操作号1向后方(1+1方向)搜索Out点包含在获得的操作范围中的、与操作号1相反方向的连续操作(步骤2309)。然后，进行与上述同样的处理。另一方面，在步骤2306中，操作号1+1和1不是相反方向的情况下，判定操作号1的操作类别是否为重放(步骤2310)，在是重放的情况下，已判定为模式A或B的操作号1不作为模式A或B而删除标志(步骤2311)，结束(END)模式A或B的后方确定的处理。另一方面，在不是重放的情况下，直接结束模式A或B的后方确定的处理(END)。通过上述步骤进行模式A或B的后方确定的处理。

关注视频搜索操作群检测单元103将基于关注视频搜索操作群的特征进行判定而确定出的关注视频搜索操作群以能够识别的方式输出。图26表示关注视频搜索操作群检测单元103输出的数据结构。如图26所示，对于检测出的关注视频搜索操作群，将‘关注视频搜索操作群标志’设为‘1’，将除此之外的操作号设为‘0’。由此，识别用户进行的关注视频搜索操作群，直至到达要关注的视频段为止。再有，在本实施方式中，模式C的开头的操作类别为重放，开头的重放后的操作被考虑为搜索该重放内部的操作群，所以模式C的开头的标志设为‘0’而没有被设为‘1’。该预览日志被输入到用户关注段检测单元104，在用户关注段检测单元104，从所输入的预览日志中包含的所有重放段中，除去关注视频搜索操作群中包含的重放段，从而检测已判定为‘仔细地视听已检测出的视频段的重放’的用户关注段。图27表示用户关注段检测单元104输出的数据结构。用户关注段检测单元104检测关注视频搜索操作群标志为‘0’，并且操作类别为重放的操作号。此外，用户关注段检测单元104判定是否为搜索关注视频搜索操作群的紧接其后的重放，对于在检测出关注视频搜索操作群的紧接其后进行重放的操作号，将‘搜索出的紧接其后的标志’设为‘1’，将除此以外的操作号设为‘0’。该判定在进行重放的操作号的前一个搜索操作标志为‘1’的情况下，将判定为进行检测出关注视频搜索操作群的紧接其后的重放，对于该操作号，将检测出的紧接其后的标志设为‘1’。用户关注段检测单元104将表示用户关注段的预览日志(参照图27)输出到重要度信息赋予单元105。

在重要度信息赋予单元105，使用将‘搜索出的紧接其后的标志’及‘重要度信息’相关联管理的重要度信息表(参照图28的(b))，基于从用户关注段检测单元104输入的表示了用户关注段的预览日志中所示的‘搜索出的紧接其后的标志’，对于各个操作号赋予对应的重要度信息，并将其以能够识别的方式输出。图28的(a)表示从重要度信息赋予单元105输出的数据结构。如图28的(a)所示，在从用户关注段检测单元104输出的预览日志(参照图27)中有‘搜索出的紧接其后的标志’为‘1’的操作号的情况下，由于与其对应的重要度信息表(参照图28的(b))中所示的重要度信息为‘10’，所以对该操作号赋予重要度信息‘10’。此外，在有‘搜索出的紧接其后的标志’为‘0’的操作号的情况下，由于与其对应的重要度信息表中所示的重要度信息为‘5’，所以对该操作号赋予重要度信息‘5’。由此，根据‘搜索出的紧接其后的标志’，可以只对真正重要的段赋予规定的重要度信息。重要度信息赋予单元105将表示了重要度信息的预览日志(图28的(a))输出到视频及重要度信息存储单元106。

然后，在视频及重要度信息存储单元106，获得从重要度信息赋予单元105输入的表示了重要度信息的预览日志(参照图28的(a))，将其和视频一起存储。由此，可以通过视频检索单元(GUI)107，从视频及重要度信息存储单元106中所存储的视频中，根据使用了重要度信息的用户的视频检索请求来仅检索用户需要的视频段。

以上，从本实施方式也很明显，根据本发明的重要度信息赋予装置及方法，可以从作为用户的视频操作历史的预览日志检测‘搜索想看的视频段’的操作群，即检测用户进行的视频操作群(关注视频搜索操作群)，直至达到要关注的视频段为止，由此，可以除去在其中包含的‘在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’，能够对于用户本来用于节目编辑的视频段、即对于判定并检测为‘仔细地视听搜索出的视频段的重放’的重放段(用户关注段)赋予重要度信息，所以用户可以仅将用户需要的视频段作为检索对象，可以提高检索效率和编辑效率。

工业利用性

本发明的基于视频操作历史的重要度信息赋予装置及方法当然可在节目制作中利用，也可以用于家庭用的HDD录像机的自动编辑功能和自动DVD生成功能。例如，用户使用拍摄后的视频，通过从作为用户的视频操作历史的预览日志中检测关注视频搜索操作群，对用户关注段赋予重要度信息，仅将用户需要的视频段保存在HDD录像机或DVD中即可。此外，同样地，还可以用于家庭用HDD录像机的自动CM剪辑功能。例如，用户使用录像后的节目，通过从作为用户的视频操作历史的预览日志中检测关注视频搜索操作群，除去CM剪辑段，对于作为用户关注段的节目段赋予重要度信息，仅保存用户需要的节目段即可。于是，不仅可作为节目制作来利用，还可以个人方式地利用。

此外，本发明的重要度信息赋予装置的结构不仅可形成为一体的结构，也可以形成为分离的结构。在本发明的实施方式中，说明了形成为一体的结构，但也可以将从预览日志中检测关注视频搜索操作群为止的结构和检测关注视频搜索操作群后赋予重要度信息为止的结构分离。通过形成为将重要度信息赋予装置分离的结构，例如，在节目制作上利用的情况下，可以在进行粗编辑步骤的端和进行源编辑步骤的端之间进行利用，在个人方式地利用的情况下，可以在发送台端和接收台端之间进行利用。

而且，本发明的重要度信息赋予装置还可以使用与预览日志合在一起的分段元数据(segment meta-data)等，由此，对检测出的用户关注段的开始点和结束点进行校正，可以使用户需要的视频段的开始点和结束点完全一致。

基于附图所示的优选实施例说明了本发明，但本领域技术人员应该明白，可将本发明容易地进行变更及改变，这样的变更部分也包含在本发明的范围内。

Claims (10)

1.一种基于视频操作历史的重要度信息赋予装置，其特征在于，包括关注视频搜索操作群检测单元，该关注视频搜索操作群检测单元包括：最小搜索操作群检测单元，从作为用户的视频操作历史的预览日志中检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群；以及搜索操作群确定单元，将所述检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定在所述最小搜索操作群之前的操作和所述最小搜索操作群之后的操作，从而确定关注视频搜索操作群。

2.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，由所述最小搜索操作群检测单元检测的所述最小搜索操作群基于具有规定的操作特征的各种模式进行检测，而表示所述规定的操作特征的各种模式的一个模式，在快进操作或快进及重放操作之后立即有倒回操作，并且在从快进操作或快进及重放操作的开始时间至结束时间之间包含倒回操作的结束点。

3.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，由所述最小搜索操作群检测单元检测的所述最小搜索操作群基于具有规定的操作特征的各种模式进行检测，而表示所述规定的操作特征的各种模式的一个模式，在倒回操作之后立即有快进操作或重放及快进操作，并且在从倒回操作的开始时间至结束时间之间包含快进操作或重放及快进操作的结束点。

4.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，由所述最小搜索操作群检测单元检测的所述最小搜索操作群基于具有规定的操作特征的各种模式进行检测，而表示所述规定的操作特征的各种模式的一个模式，在重放操作之后立即有倒回操作，并且在从重放操作的开始时间至结束时间之间包含倒回操作的结束点。

5.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，所述搜索操作群确定单元对基于所述各种模式检测出的所述最小搜索操作群包含公用的操作而构成的情况进行结合，形成一个新的最小搜索操作群。

6.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，所述搜索操作群确定单元对于所述最小搜索操作群之前的操作及所述最小搜索操作群之后的操作，使用所述预览日志中所示的操作类别及该操作的开始时间、结束时间，判定是否有作为关注视频搜索操作群的特征的、交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作，并且相互相反方向的连续操作之间的视频上的时间性关系为包含关系，并根据该判定，确定关注视频搜索操作群。

7.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，所述搜索操作群确定单元对于基于所述最小搜索操作群获得的操作群之前的操作，判定在该操作群内所包含的某一方的连续操作的开始时间被包含在紧靠该操作群之前的另一方的连续操作的开始时间和结束时间之间是否有连续操作，从而进行确定作为关注视频搜索操作群的前方的处理。

8.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，所述搜索操作群确定单元对于基于所述最小搜索操作群获得的操作群之后的操作，判定在该操作群内所包含的某一方的连续操作的开始时间和结束时间之间，包含紧接该操作群后的另一方的连续操作的结束时间的连续操作是否处于该操作群之后的操作，从而进行确定作为关注视频搜索操作群的后方的处理。

9.如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，还包括：用户关注段检测单元，从所述预览日志中包含的所有重放段中，除去由所述关注视频搜索操作群检测单元检测出的所述关注视频搜索操作群中所包含的重放段，从而检测用户关注段；以及重要度信息赋予单元，对于所述检测出的用户关注段赋予重要度信息。

10.一种基于视频操作历史的重要度信息赋予方法，其特征在于，包括：从作为用户的视频操作历史的预览日志中，基于具有规定的操作特征的各种模式检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群的步骤；以检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定所述最小搜索操作群之前的操作及所述最小搜索操作群之后的操作，从而确定关注视频搜索操作群的步骤；从预览日志中所包含的所有重放段中除去关注视频搜索操作群所包含的重放段，从而检测用户关注段的步骤；以及对于检测出的用户关注段赋予重要度信息的步骤。

Images