CN103702726B - 玩具搭建系统、产生构建指令的方法和数据处理系统 - Google Patents

Abstract

一种玩具搭建系统，包括具有联接器件的一组玩具搭建元件，所述联接器件用于可释放地互连玩具搭建元件；和数据处理系统，包括影像捕获器件、处理器件、显示器件，其中数据处理系统适于处理被捕获的影像，以至少检测部分玩具搭建模型的位置和取向；识别用户对一组随后的搭建元件中至少一个的选择，每一个随后的搭建元件可连接到部分玩具搭建模型；响应于部分玩具搭建模型的被检测位置和取向，在所述显示器件上显示复合影像，所述复合影像包括被捕获的影像，其被具有至少被选择的随后搭建元件的影像所叠置。

Description

玩具搭建系统、产生构建指令的方法和数据处理系统

技术领域

本发明涉及用于玩具搭建模型的构建指令的产生。

背景技术

存在各种已知类型的物理搭建玩具组的模型化原理。尤其是，使用模块化或半模块化原理是非常流行的，因为其提供有趣的且有挑战的游戏体验。通常，这些原理提供了一组预制造的搭建元件，其可根据预制造元件的模块以一些预定方式彼此互连。预制造元件可以类似于众所周知的适于具体模型化任务的物体。由此，例如在房子模型的构建中，元件可以类似墙壁块、屋顶瓦、门和窗。以该方式选择元件的目的是，与每一次要制造新模型都要限定房子的所有细节的情况相比，与构建房子模型相关的工作极大地减小。然而，自由完成房子或另一物体的构建需要针对构建模型的简单性进行权衡。

例如，LEGO的玩具搭建组包含多个不同类型的可互换搭建元件，其具有突出部和相应的空腔形式的联接器件。联接器件根据规则网格样式布置，由此允许各种种类的搭建元件之间的互连。

通常，这样的玩具搭建组包含一组搭建元件，其适用于形成一个或多个搭建元件模型，例如动物、机器人或、另一生物、小汽车、飞机、宇宙飞船、建筑物等。通常，搭建组进一步包括印制的构建指令或组装指令，其显示了如何用搭建元件组建造某一模型。

通常，玩具搭建组中包含的构建指令包含一系列图片，一步一步地显示了如何对模型增加搭建元件及其顺序。这种构建指令具有的优势是它们易于遵循，甚至对于没有玩具搭建组经验和/或没有阅读技能的孩子也适用。

然而，这样的构建指令具有的缺点是它们费时且制造昂贵。通常，用来形成构建指令的模型被分解为合理的构建步骤且每一个构建步骤随后在CAD系统中绘制并最后被打印。

最近，构建指令已经以电子形式产生而不是印刷形式。具体说，是生动的构建指令，其中更复杂的构建步骤被生动地显示。然而，仍存在的问题是如何启示孩子们以不同方式形成自己的模型或重建模型玩具搭建组，由此增加玩具搭建组的游戏价值。

发明内容

本文公开了玩具搭建系统的实施例，其包括具有联接器件的一组玩具搭建元件，用于可释放地将玩具搭建元件互连。玩具搭建系统的实施例包含数据处理系统，包括影像捕获器件、处理器件、显示器件，其中数据处理系统适于

-捕获用玩具搭建元件的子组搭建的部分玩具搭建模型的影像；

-处理捕获的影像，以至少检测部分玩具搭建模型的位置和取向；

-识别用户对一组随后的搭建元件中至少一个的选择，每一个随后的搭建元件可连接到部分玩具搭建模型；

-响应于部分玩具搭建模型的被检测位置和取向，在所述显示器件上显示复合影像，所述复合影像包括被捕获的影像，其被具有至少选择的随后搭建元件的影像所叠置。

因此，用户被提供迄今已建造的部分模型的影像，并被提供从一组可能的可选随后搭建元件中限制一个或多个随后搭建元件的选择，即一组可选的继续方案的选择。因此，随后的搭建元件可以是可选的随后搭建元件。

因此增加了用户可用的一些可能的搭建路径的数量，以及甚至是所获得的玩具模型的数量，由此允许各种不同的构建体验。

由于系统检测用户的选择，且至少显示被选择的随后搭建元件(其叠加到当前部分搭建模型的被捕获影像)，且对当前部分模型的检测的位置和取向作出响应，系统可以为用户提供清楚且容易遵循的教导，并提供如何选择要连接的随后搭建元件的教导。

在一些实施例中，数据处理系统可操作为在所述显示器件上显示复合影像，所述复合影像包括被捕获的影像，其在相对于部分玩具搭建模型的位置和取向处(该位置和取向对应于联接到部分玩具搭建模型的所述随后搭建元件)被至少被选择的随后搭建元件的影像所重叠。

在一些实施例中，数据处理系统可操作为获得部分搭建模型的数字展示；和，响应于获得的数字展示，显示一组随后的搭建元件的相应影像，例如通过显示叠置有一组随后的搭建元件影像的被捕获影像的复合影像。数字展示的例子包括标志或识别部分玩具搭建模型的标示符或其他合适的数据结构。

数据处理系统可以被操作为从部分玩具搭建模型的数字展示和从识别的用户选择产生更新的部分玩具搭建模型的数字展示。因此，基于检测的相应随后搭建元件的用户选择，数据处理系统可以确定用户已经遵循的搭建路径，由此在用户根据通过数据处理系统显示的构建指令而将选择的随后搭建元件联接到当前部分搭建模型时，识别用户已经到达哪一个随后部分玩具搭建模型。因而，获得部分搭建模型的数字展示可以包括从以前的部分玩具搭建模型和从以前的用户选择的数字展示确定或产生部分玩具搭建模型的数字展示。

在一些实施例中，数据处理系统可以适于从所述数字展示和从表示搭建步骤的多个顺序的数据结构确定一种随后的搭建元件，每一个顺序形成在一组可选的搭建模型组中的一个，所述搭建模型可用所述一组玩具搭建元件搭建。在一些实施例中，数字展示可以包括在数据结构中。例如，数据结构可以是任何合适的树数据结构，例如代表非循环式的引导图，包括节点和边缘，其中每一个节点代表玩具搭建模型，且连接第一和第二节点的每一个边缘代表可连接到通过第一节点所代表的部分玩具搭建模型的一个或多个随后的搭建元件的连接，以便到达第二节点所代表的(部分)玩具搭建元件。

在一些实施例中，处理捕获影像以至少检测部分玩具搭建模型的位置和取向，包括检测至少一个增强现实(AR)标记，和从检测的至少一个增强现实标记确定玩具搭建模型的位置和取向。

数据处理系统可操作为以多种不同方式识别用户选择。例如，用户可以通过合适的用户输入给出用户选择，例如通过计算机鼠标这样的定点装置在随后的搭建元件的显示影像上点选或点击。替换地或另外地，在一些实施例中，处理捕获影像包括识别至少一个添加的搭建元件；且数据处理系统可以适于从所述被识别的添加搭建元件确定用户选择。因此，用户可以简单地将选择的物理随后搭建元件连接到物理部分搭建模型。在数据处理系统检测哪一个随后的搭建元件已经被添加到模型时，数据处理系统可以确定要被选择的随后搭建元件就是被选择的一个。在一些实施例中，数据处理系统可以进一步检测添加的搭建元件相对于部分玩具搭建模型的位置和/或取向。

在一些实施例中，识别至少一个添加的搭建元件包括检测包括在添加搭建元件中的增强现实标记。

本发明可以以不同方式实施，包括如上所述和如下所述的玩具搭建系统、数据处理系统、方法、和进一步的产品器件，其每一个具有针对首先描述的玩具搭建系统所述的一个或多个优点，且每一个具有对应于针对首先描述的玩具搭建系统和/或权利要求公开的优选实施例的一个或多个优选实施例。

具体说，本文所述的方法的特征可以以软件实施且在数据处理系统或其他处理器件上执行，所述其他处理器件通过计算机可执行指令执行。指令可以是装载在存储器例如RAM中的程序代码，其从存储介质而来或从另一计算机经由计算机网络而来。替换地，所述特征可以代替软件通过硬件电路实施，或是与软件的组合。

相应地，本发明进一步涉及数据处理系统，其适于执行如上所述和如下所述的方法。本发明进一步涉及计算机程序，其包括程序代码，用于在所述程序运行在计算机上时执行如上所述和如下所述的方法的所有步骤。本发明进一步涉及计算机程序，其包括程序代码，用于在所述程序在计算机上运行时执行如上所述和如下所述的方法的所有步骤。程序代码可以存储在计算机可读介质上和/或实施为数据信号。

附图说明

针对优选实施例和参考附图将更完整地描述本发明的方面，其中：

图1a-d每一个显示了现有技术的玩具构建块，

图2显示了本文公开的计算机系统的实施例。

图3显示了显示用于玩具搭建模型的构建指令步骤的过程的实施例流程图。

图4示出了数据结构的实施例，其用于数字地显示用于构建玩具搭建模型的搭建过程的搭建步骤的多个替换顺序。

图5示出了本文公开的计算机系统的显示部显示区域的例子。

图6显示了玩具构建块形式的玩具搭建元件。

图7示出了标记搭建元件如何联接到玩具搭建模型的另一玩具搭建元件。

图8a-g显示了复合标记搭建元件的例子。

图9a-b显示了限定构造网格的玩具搭建系统的例子。

具体实施方式

本文公开的玩具搭建系统的实施例的各种方面将通过参考形式为块的玩具搭建元件描述。然而，本发明可以应用于用在玩具搭建组中的其他形成的搭建元件。

图1a-d每一个显示了现有技术的玩具构建块,其具有在其顶部表面上的联接突柱105和从底部延伸到块中的空腔102。图1a-b显示了玩具构建块的顶侧，而图1b显示了同一玩具构建块的底侧。图1c-d显示了具有不同大小的相似的玩具构建块的例子。空腔具有中央管103，且另一块的联接突柱可被接收在空腔且形成摩擦接合，如US3005282公开的。其余图中所示的构建块可以具有该已知类型的联接器件，其是协作的突柱和空腔的形式。然而，也可以使用其他类型的联接器件。联接突柱布置在正方形平面的网格中，即限定正交方向，一系列联接突柱沿所述正交方向布置。通常，联接元件的这种布置允许玩具块相对于彼此以不连续的一些取向互连，具体说相对于彼此成直角。应理解，联接元件的其他几何布置会造成不同的取向限制。例如，联接元件可以布置在三角形的规则网格中，允许构建元件以三种不同取向被置于另一构建元件上。

通常，联接器件可以包括联接元件，其可以被分组为不同类型的联接元件，例如连接件、接收器和混合元件。连接件为可以被另一搭建元件的接收件接收的联接元件，由此提供搭建元件之间的连接。例如，连接件可以装配在另一元件的部分之间，装配到孔中等。接收件是这样的联接元件，其可接收另一搭建元件的连接件。混合元件是既可用作接收件又可用作连接件的部件，通常取决于其他搭建元件的协作连接元件的类型。

图1示出类型的搭建元件可以以商品名LEGO获得，其具有许多形状、大小和颜色。进而，这样的搭建元件可用于各种不同联接元件。应理解，上述搭建元件仅仅是可能的搭建元件的例子。

图2显示了计算机系统的例子的示意图。计算机系统包括合适的编程计算机15和显示部1。计算机可以是个人计算机、桌面计算机、笔记本计算机、手持计算机、游戏控制台、手持娱乐装置或任何其他可适于编程的计算机。显示部1整合到计算机15或以其他方式操作性地联接到计算机15，且可操作为在计算机15的控制下显示视频影像。

应理解，计算机可以包含或以其他方式联接到进一步的周边装置，例如键盘3、鼠标2或其他定点装置，例如触摸板、追踪球、光笔、触屏等。

计算机系统适于帮助执行如在本文所述的增强现实系统。为此，计算机15包括或以其他方式操作性地联接到视频摄像头5。视频摄像头5可操作为捕获环境的视频影像，其中视频摄像头例如位于视野7，所述视野包括表面4(例如桌面、地板等)的看得见的表面区域8。因此看得见的表面区域8是视频摄像头的视野在表面4上的投影。视频摄像头可操作为将被捕获的视频影像发送到计算机15的处理单元，例如经由计算机15的合适的输入接口。例如，视频摄像头可以是连接到或整合到计算机15的网络摄像头。图2的例子中，视频摄像头定位在摄像头支撑部6上，其例如三脚架，将摄像头支撑在高于表面4的预定高度处。

这里，视频摄像头5捕获环境8的视频影像，其中视频摄像头在该环境8中就位且发送被捕获的视频影像到计算机15。例如，视频摄像头所在的环境可以包含玩具搭建模型10。除了玩具搭建模型10，环境可以进一步包含物体，如家庭物体、玩具等。

计算机影像随后由计算机15产生在显示部1上。因此，用户可以让玩具搭建模型10围绕视频摄像头5的视野而运动和/或在其中以其他方式操作玩具搭建模型，且从玩具搭建模型的视频摄像头5观察实时视频。替换地或另外地，用户可改变视频摄像头的位置和/或取向，以便从不同位置捕获玩具搭建模型(例如静止的)的影像。另外，计算机可操作为将被捕获的视频影像存储在存储装置上，例如计算机的硬盘，和/或将被捕获的视频发送到另一计算机，例如经由计算机网络。例如，计算机可以操作为将被捕获的视频影像上传到网站。

计算机15被合适地编程，以在增强现实构建指令模式中运行，在该模式中计算机在被捕获的视频影像上执行影像处理，以便检测被捕获的视频影像中的一个或多个预定的增强现实标记或标签。至少响应于被检测的AR标记(一个或多个)，计算机可以被编程为产生改变的视频影像，例如视频影像被形成为叠置有计算机产生的影像的被捕获视频影像，或其中被捕获视频影像的一部分被计算机产生的影像所替换的视频影像。计算机15可操作为在显示部1上显示被改变的视频影像。出于描述的目的，计算机可操作为执行AR功能性，其操作性地连接到视频摄像头，且显示部也将被称为AR系统。

用于检测AR标记和用于响应于被的检测AR标记而产生改变的视频影像的影像处理方法在本领域是已知的(例如见DanielWagner和DieterSchmalstieg的"ARToolKitPiusforPoseTrackingonMobileDevices"，omputerVisionWinterWorkshop2007,MichaelGrabner,HelmutGrabner(eds.),St.Lambrecht,Austria,February6-8,GrazTechnicalUniversity)。

在图2的例子中，物理玩具搭建模型10包括玩具搭建元件9，已经对其连接了标记搭建元件11。标记搭建元件11具有在其顶部表面上的二维机器可读代码形式的标识。

计算机15可操作为检测被捕获影像中二维机器可读代码的存在。进而，计算机15可以确定二维机器可读代码相对于视频摄像头5位置的相对位置和取向。

因而，计算机15可以修改玩具搭建模型的被捕获影像，使得显示部1上显示的改变的视频影像12。在该例子中，改变的影像显示了玩具搭建模型的被捕获影像13、和叠加被捕获影像的经计算机产生的影像元素14a和14b。计算机以从标记搭建元件11的AR标记的被检测位置和取向所确定的位置和取向在视频影像12中产生计算机产生的影像元素。

在用户在视频摄像头的投影区域8中操作物理玩具搭建模型10时，例如通过让物理模型运动和/或旋转，计算机5追踪物理玩具的标记搭建元件11的标识的位置和取向。计算机15在显示部1上显示视频摄像头的实时视频反馈(镜像模式)，且响应于标识的被检测位置和取向而对实时视频反馈增加增强现实特效。

如将如后文详述的，计算机15可以适于分别显示可选的玩具搭建元件14a和14b的影像，其可以添加到玩具搭建模型10。用户由此可以选择可选的搭建元件中的一个，且通过增加被选择的搭建元件而修改物理玩具搭建模型10。

图3示出了显示用于玩具搭建模型的构建指令步骤的过程的实施例的流程图。该过程可以通过被合适编程的AR系统，例如通过图2所示系统的计算机15执行。在初始步骤S1，该过程接收表示搭建过程的开始点的输入。例如，开始点可以是之前搭建的部分模型、将在其上搭建模型的基部板、或甚至是没有布置搭建组的部件的空构建环境。例如，过程可以接收这样的输入，其形式是合适的用户输入，例如一些可能的开始点的用户选择。替换地或另外地，过程可以接收通过AR系统视频摄像头捕获的影像形式的输入。在这样的实施例中，过程可以处理被捕获的影像，以便确定开始点。例如，用户可以将基部板或一个或另一个玩具搭建元件定位在摄像头5的视野中。在基部板或其他玩具搭建元件包括AR标记(或其他合适的可检测的可视特征)时，AR系统可以检测AR标记，且从嵌入在AR标记中的信息提取与基部板或玩具搭建元件的类型有关的信息。接收的输入也可以包含与要被建造的玩具搭建模型(一个或多个)有关的信息。例如，信息可以包括标志，其识别玩具搭建模型要从其建造的玩具搭建组，或识别要被建造的一个或多个玩具搭建模型。

过程随后在步骤S2继续，以检测作为当前部分玩具搭建模型的开始点。从上述描述可以理解，当前部分玩具搭建模型可以不包括玩具搭建组的玩具搭建元件、或包括一个或几个所述玩具搭建元件。

在步骤S2，过程基于搭建过程的当前状态(即当前部分玩具搭建模型)确定搭建过程的可能的继续方式的数量。具体说，过程从玩具搭建元件组确定一组可选的玩具搭建元件，其可以被添加到当前部分玩具搭建模型。例如，该判断可以是基于合适的数据结构，其针对给定的部分玩具搭建模型，表示可以添加到所述部分玩具搭建模型的可能的后续玩具搭建元件的组。这种数据结构的实施例将参考图4在下文描述。如果确定的选项数量为零，即没有进一步可能的继续方案，则过程终止；或过程前进到步骤S3。

在步骤S3，过程为用户提供确定的选项，例如通过显示可选的玩具搭建元件的影像，所述可选的玩具搭建元件可以在下一个步骤被添加到模型，例如如图5所示。在一些实施例中，系统进一步指示用户相应的可选玩具搭建元件应该在哪里被添加到当前部分玩具搭建模型。例如，AR系统可以显示组合影像，所述组合影像显示当前部分玩具搭建模型的被捕获影像，同时相应的可选玩具搭建元件影像在相对于部分玩具搭建模型的相应取向和位置处叠加，指示可选的玩具搭建元件应该被联接到当前部分玩具搭建模型的相应位置。如果可选的玩具搭建元件中的两个或更多应该在同一位置(或重叠位置)被添加，则AR系统可以例如在相关位置显示占位符以及在占位符附近显示可选的玩具搭建元件。替换地，AR系统可以一次一个地在相关位置处显示可选的玩具搭建元件，例如通过循环可选的玩具搭建元件，且将每一个显示预定的时间段。

在随后的步骤S4中，过程在给出的选项中确定用户选择。例如，AR系统可以接收表示给出选项中被选择那个的用户输入。例如，每个可选的搭建元件的被显示影像可以对应于AR系统显示的图形用户界面的有效元素(activeelement)，从而有效元素可以被激活，例如通过用计算机鼠标在其上点击，以选择该搭建元件。在一个实施例中，被选择的搭建元件改变外观。例如，被选择的搭建元件可以改变颜色、纹理，等；通过显示被选择的搭建元件周围的边界框，其可以被突出，等。

替换地，AR系统可以操作为通过处理AR系统捕获的玩具搭建模型的影像而识别添加到当前部分玩具搭建模型的物理玩具搭建元件。如果AR系统响应于步骤S3中可选玩具搭建元件的显示而识别了已经被添加到当前部分玩具搭建模型的被添加玩具搭建元件，和如果被识别的被添加玩具搭建模型对应于步骤S3中给出的其中一个可选选项，则AR系统确定用户已经选择了所述可选选项。如果被添加的玩具搭建元件不对应于任何给出的可选选项，则过程例如可以带着合适的错误消息继续进行。在一些实施例中，过程可以进一步确定被添加的玩具搭建元件的位置和可选地确定其取向，其表示额外的玩具搭建元件已经被添加到模型。

在随后的步骤S5，过程可以响应于检测的选择而将当前玩具搭建模型的展示更新为随后的玩具搭建模型。例如，AR系统可以更新在玩具搭建模型标识的数据结构中显示当前玩具搭建模型的指针或指示器，以指向随后的玩具搭建模型。可选地，AR系统可以响应于检测的用户选择显示影像特征，例如被叠加的玩具搭建模型的被捕获影像的视频影像。例如，在用户将选择的玩具搭建元件添加到当前部分玩具搭建模型之前用户选择通过用户输入而被检测的实施例中，AR系统可以以例如动画的形式显示被选择的搭建元件应该如何连接到当前部分搭建模型。替换地或另外地，AR系统可以显示动画故事线，其中故事的继续取决于用户选择。

随后，过程返回到步骤S2，将更新的部分玩具搭建模型作为新的当前部分玩具搭建模型，其中更新的部分玩具搭建模型是从以前的迭代过程的当前部分玩具搭建模型通过添加被选择的玩具搭建元件而获得的。

图4示出了数据结构的实施例，其用于数字地显示用于构建玩具搭建模型的搭建过程的搭建步骤的多个可选顺序。

在一个实施例中，数据结构401具有树结构的形式，其在图4a中示出。树结构具有多个节点和边缘，其中每一个节点代表玩具搭建模型且每一个边缘连接两个节点且代表搭建步骤，以便将其中一个节点(前驱节点)所代表的搭建模型转换为第二节点(后继节点)所代表的搭建模型。树结构包括至少一个根节点411，其不具有任何前驱节点且由此代表构建序列的开始点。类似地，树结构包括一个或多个叶节点412，其没有任何后继节点，每一个代表用玩具搭建组搭建的相应玩具搭建模型。应理解，树结构可以具有一个或多个根节点和一个或多个叶节点。每一个非叶节点由此代表部分玩具搭建模型，其可以被转换为一个或几个可选的随后(部分)玩具搭建模型，如所述非叶节点的后继节点所代表的。每一个非叶模式可以由此具有一个或几个后继节点。树结构可以由此代表非循环式引导图。树结构代表多个搭建路径从而每一个搭建路径将一个根节点与一个叶节点连接。应理解搭建路径可以具有不同长度。

数据结构可以包含一个或多个数据记录，所述数据记录包括全局模型参数，其与根据构建顺序构建的整个搭建模型组有关。这种模型参数的例子包括模型名字、模型创建者名字、模块化应用的程序版本号、创建日期等。

模型数据结构401进一步包括多个边缘数据结构，每一个与树结构的边缘中的一个相关。出于显示简单的目的，仅显示了这种边缘数据结构403中的一个，其与边缘413相关。但是，应理解，其他边缘具有与它们相关的相应的数据结构。每一个边缘数据记录代表一个或多个玩具搭建元件(例如其列表)，其每一个由玩具搭建元件数据记录所代表。每一个玩具搭建元件数据记录可以具有通过数据记录404显示的结构，用于图4b显示的“搭建元件B”。

具体说，每一个搭建元件数据记录404可以包含搭建元件ID405，显示了对应于搭建元件类型的标志。优选地，搭建元件ID唯一地表示搭建元件的性能或搭建元件的类型。

搭建元件数据记录可以进一步包含多个搭建元件属性406，其指示搭建元件的一个或多个属性，例如颜色、纹理、装饰等。

进而，搭建元件数据记录404可以包含数据项407和408，其分别代表搭建元件的内部坐标系的位置和取向。搭建元件的位置和取向可以通过搭建元件的内部坐标系的原点相对于全局坐标系的坐标、且通过内部坐标系相对于全局坐标系的取向而被限定。

进而，搭建元件数据记录404可以包含数据项409，其代表搭建元件的一个或多个边界。

应理解，数字展示可以根据预定的模块化描述语言以任何合适的数据或文件格式编码，例如二进制文件，如文本文件等。用于存储包括坐标系层级的虚拟构建模型的数据格式的例子在US专利No.6,389,375中公开。

基于这样的数据结构，用于给出构建指令的计算机化过程可以基于与给定开始点有关的信息确定多个可选的随后搭建步骤。具体说，过程可以确定树结构中的对应于开始点(例如根节点41)的节点、和将开始点与其后继连接的边缘。每一个边缘代表构建过程中可选的随后步骤，例如可选的搭建元件(或搭建元件组)。在过程接收用户在可选选项中所作的一个选择有关的信息时，过程可以确定树结构中相应的后继节点。过程可以随后迭代地继续进行直到过程达到叶节点。在图4的例子中，形成搭建路径的例子通过粗实线414示出。在该例子中，开始点是根节点411且搭建路径在叶节点412终止。在第一次迭代中，过程识别分别将根节点411与其三个后继节点416a、416b、416c连接的边缘415a、415b、415c。如果用户选择边缘415a，则过程前进到节点416a。应理解，一些节点可以仅具有单个后继节点，即在搭建过程的一些阶段期间可以仅存在单个向前的路线而没有进一步替换选择。类似地，一些节点可以具有多于一个的前驱节点，反映了多个搭建路径可以在同一(部分)玩具搭建模型中形成。

图5示出了本文公开的计算机系统(例如图2的系统)的显示部显示区域的例子，通常标志为501。计算机系统(未在图5中具体示出)显示了通过计算机系统的视频摄像头(未在图5中具体示出)捕获的影像。在该例子中，影像包括位于摄像头视野中的物理玩具搭建模型510的影像。在该例子中，玩具搭建模型510搭建在基部板521的顶部上，且房子的一部分从一个或多个玩具搭建元件建造，例如类似于图1所示的元件，其具有在其顶部表面上的联接突柱525，允许与其他搭建元件的联接。但是，应理解，玩具搭建模型可以是具有或不具有基部板的任何其他模型结构。

在该例子中，基部板包括分布在基部板边缘周围的一些AR标记524。每一个AR标记包括独特的标识，允许AR系统识别玩具搭建模型的位置和取向，而不管其相对于摄像头的相对位置或取向。在该例子中，AR标记524具有2D条形码或相似的矩阵代码的形式，且它们包括边界框，所述边界框提供了一组相交的线，允许AR系统检测标识和其位置和取向。然而，如下文所述的，可以使用不同类型的AR标记。在一些实施例中，一个或多个玩具搭建元件(用其搭建玩具搭建模型510)可以除了基部板上的AR标记之外或代替基部板上的AR标记而包含AR标记。

在图5的例子中，计算机系统具有确定的三个可选的继续路径，根据此用户可以继续进行玩具搭建模型510的搭建。因而，计算机系统显示被搭建模型510的捕获视频影像叠加的相应的可选搭建元件514a、514b、514c的影像，例如计算机产生的影像。在可选的搭建元件将在模型的同一位置处添加时，计算机系统另外显示占位符515的计算机产生影像，例如边界框的形式，其显示了相对于模型结构510的什么位置每一个可选的搭建元件将被添加。例如，计算机系统可以从包括在代表所述模型的数据结构(例如图4的树数据结构)中的相应信息确定占位符的尺寸。类似地，计算机系统可以从包括在代表所述模型的数据结构的信息、和从通过计算机系统检测的模型结构510的位置和取向而确定可选搭建元件和/或占位符相对于模型影像的正确位置。例如，计算机系统可以处理被捕获影像以检测AR标记。从被检测的AR标记，计算机系统可以确定模型的合适坐标系的位置。这种坐标系的例子显示为图5的坐标系526，但是如此确定的坐标系不是必须通过系统显示。计算机系统可以随后从模型数据结构中的相对于模型坐标系的位置和取向信息来确定可选搭建元件和/或占位符的位置和取向。

图6和7示意性地显示了玩具搭建元件的例子，其包括AR标记，有助于通过AR系统检测玩具搭建元件。出于描述的目的，包括AR标记的这种搭建元件被称为标记搭建元件。

图6显示了类似于图1c的构建块的玩具构建块611形式的玩具搭建元件，即构建块包括布置在玩具构建块的顶部表面上的平面正方形网格中的联接突柱605。玩具构建块还包括在其底部表面的一个或多个空腔(图6中未示出)，用于接收和摩擦接合另一相似的玩具搭建块的联接突柱。玩具构建块包括在其侧面上的2D条形码形式的增强现实标记621。

应理解，其他形式的AR标记可以代替2D条形码使用。通常，AR标记可以是任何物体，其相对容易地使用已知的影像辨识方法而在被捕获的视频影像中被自动地区别。在使用影像辨识方法检测AR标记的情况下，AR标记例如可以是三维物体，例如立方体或圆柱体，或其可以是二维标记，例如正方形或圆形。通常，AR标记包括易于区分的样式，例如黑白正方形，但是其他方法也可以用于标记辨识，例如使用具体颜色或颜色样式(patternofcolours)等。

AR标记可以包括一个或多个元件，允许计算机检测AR标记的位置和/或取向。例如，AR标记可以包含两个或更多相交的线。另外或替换地，AR标记可以包含用于对信息进行编码的视觉元件，由此允许计算机识别和区分不同类型的标记且响应于具体类型的标记而选择性地产生计算机产生的影像。

AR标记可以相对于联接器件以均匀的方式布置，即布置到顶部表面上的联接突柱和/或底部中的联接空腔。例如，AR标记可以限定与通过联接器件限定的平面网格平行或正交的方向。这使得标记块可互换，且在图1和6所述的块所建造的玩具结构中，几个标记块可互换地使用，且具体标记块可用在几个构造中。玩具搭建系统可以包含几个的这样的标记块，其具有不同的施加于它的标识且使得计算机系统产生不同的计算机产生影像。然而，如果所有的标记块在一致的位置包括标识，则这样的标记块可以容易地在用本文所述的构建块建造的玩具搭建结构中被更换。进而，AR系统可以使用这种一致定位的AR标记，以准确地确定搭建元件相对于通过联接器件限定的坐标系的位置和取向。因此，AR系统可以基于搭建元件的被检测AR标记而检测搭建元件已经被添加到现有的(部分)模型、哪种类型的搭建元件已经被添加、和搭建元件在相对于现有模型的何处被添加。

在标识位于标记搭建元件的表面的一部分上从而包括标识的表面部分不具有任何联接器件时，标识不太可能被联接到标识物搭建元件的其他搭建元件不经意地阻挡。标识物搭建元件可以包含多个标识，例如在玩具搭建元件的不同面上(或在表面的不同部分上)。

图7示出了标记搭建元件如何联接到玩具搭建模型的另一玩具搭建元件。在该例子中，玩具搭建模型包括玩具搭建元件710和712和标记搭建元件711。图7a显示了各搭建元件，而图7b显示了可释放地联接到搭建元件710的标记搭建元件711。为此，玩具搭建元件40包括在其顶部表面上的联接突柱705，如针对图1的连接结构所示的。标记搭建元件704包括其底部表面上的空腔(在图7中未示出)，允许其摩擦接合到联接突柱704。

因此，用户可以将包括AR标记的标记搭建元件连接到搭建的玩具模型，以便有助于检测和确认添加的标记搭建元件。基于检测，AR系统可以确定可以添加到模型的可能的随后搭建元件，且显示在相对于模型捕获影像的合适位置叠加到模型的被捕获影像的随后元件的影像。在图6的例子中，标记搭建元件711的标识位于不包含联接元件的标记搭建元件的表面上。

图8a-g显示了复合标记搭建元件的例子，即多个标记搭建元件直接地或间接地通过玩具搭建系统的联接器件彼此连接，例如以彼此的预定空间关系。通常，复合的标记搭建元件允许用户形成大组的不同物体，每一个可通过大量独特的AR标记中的一个辨识。具体说，大量的独特AR标记可以用各个标记搭建元件的相对受限的组形成，因为通过构建系统的较小组的标记会显著增加组合可能性的总量。例如，AR系统可以从包括在部分搭建模型中的复合标记搭建元件中识别多个部分搭建模型中的一个(或子组)。

图8a显示用三个标记搭建元件搭建的人样模型的例子，即元件811如同模型的头，元件812如同模型的躯干，且元件813如同模型的腿。搭建元件设置为具有联接元件，允许头和腿可释放地联接到躯干。头、躯干和腿可以包括标识，例如头的面部特征和躯干和/或腿的非常接近的特征的形式。在被提供给AR系统的视频摄像头时，AR系统可以通过分别检测头、躯干和腿的特征821、822、823而由此检测头、躯干和腿的特征，例如示意性地在图8b中示出的。因此，通过将不同的头、躯干和腿进行组合，可形成许多种类的AR标记的组合。取决于通过AR系统检测的模型，AR系统可以以不同的计算机形成的影像做出响应，由此允许许多互动。

图8c和d显示了相似的复合标记搭建元件，其用图1c所示的玩具构建块搭建。玩具构建块831、832和833具有不同的颜色，例如分别为红色、白色和蓝色。在彼此的顶部上堆叠且通过其相应的联接器件互连时，构建块限定颜色序列，其可以通过AR系统检测。通过改变颜色的顺序，如图8d示出的，不同独特的复合AR标记可以仅用三种不同标记搭建元件形成。

图8e显示了复合标记元件的相似的例子，包括类似于图6所示的玩具构建块841、842、843，其具有在其侧面上标记，其为标识的形式。

图8f-g显示了复合标记元件的另一例子。在该例子中，复合标记元件包括基部构建块850，例如类似于1c的块，但是在其顶部表面上具有更多的联接元件。复合标记元件进一步包括连接到基部构建块850的标记搭建元件851、852、853。因此，在该例子中，标记搭建元件851、852和853以刚性构造间接地彼此联接，以便形成复合标记搭建元件。为此，标记搭建元件具有在其底部表面上的联接元件，例如空腔，其可接合在基部构建块850的顶部表面上的相应的联接元件，例如突柱。每一个标记搭建元件具有在其顶部表面上的标识，在该例子中是罗马字母。在标记搭建元件并排布置时，它们限定通过AR系统可检测的标识的序列。

如图8g所示的，标记搭建元件的标识可以限定在平面中的取向，且各标记元件可以相对于彼此旋转，由此进一步增加限定多个代码的自由度，因为AR系统可以检测相应AR标记相对彼此和/或相对于玩具搭建模型的另一特征的取向。

因此，在图8的例子中，各标记搭建元件(每一个包括与其他标记搭建元件视觉上可检测的不同的特征)通过其联接元件互连，以便限定视觉上可检测特征的序列。视觉上可检测特征的每一个不同序列可以由此限定复合AR标记。例如，各视觉上可检测的特征可以通过AR系统检测为代码符号，且被检测符号的序列可以通过AR系统解码，以便获得通过符号序列编码的信息。在一些实施例中，系统可以使用已知的误差检测和/或误差修正技术，用于形成代码鲁棒性来抵抗检测误差。

图9a-b显示了限定构造网格的玩具搭建系统的例子。

图9a显示玩具搭建元件和其相应的连接网格的透视图。玩具搭建元件901具有带八个突出物903a-h的顶部表面902、带相应的孔(未示出)和侧面904的底部表面。在图9a中，顶部表面和底部表面的连接网格905和906分别被显示。网格点通过圆907a-k所表示的圆示出。因此，网格点907a-h分别对应于突出物903a-h。因为侧表面904不具有任何连接元件，所以不需要针对它们限定连接网格。

如从图9a可见的，通过置于网格点限定的玩具搭建元件的连接元件在规则网格中的置放对连接元件的物理置放赋予一定的限制。网格905位于玩具搭建元件的顶部表面的平面中，突出物903从该顶部表面延伸。在图9a的例子中，网格点被置于正方形网格中，其中每一个正方形具有任意长度单位(LU)的5x5单元。因此，在该几何构造中，连接元件也被置于相应的正方形网格上，且搭建元件的平面中连接元件之间的距离为10LU的倍数。在图9a的例子中，搭建元件的上表面和下表面为矩形且具有20LUx40LU的尺寸，且相邻连接元件间隔开10LU。另一方面，在垂直方向，连接元件间隔开12LU。因此在不同维度下网格尺寸可以变化。相对于玩具搭建元件的内部坐标系908限定连接点的位置。通过限定搭建元件关于全局模型坐标系(和由此，其内部坐标系)的位置和取向，可以限定连接元件相对于模型坐标系的位置。

图9b示出了模型坐标系的3D规则网格，其中网格的每一个网格点限定了玩具搭建模型中连接元件的有效位置。通常应理解不是网格的所有网格点实际上都需要通过联接元件填入；然而，在一些实施例中所有联接元件定位在规则网格的网格点上。具体说，在图9b的例子中，网格点布置在平行的平面801a-d中，其中平面中的网格点限定连接元件在一个或多个玩具表面上的位置

平行平面之间的距离限定具有联接元件的搭建元件表面之间的距离。例如，在一些实施例中，搭建元件具有等于网格的两个相邻平面之间距离(或为其整数倍)的高度。

在玩具搭建系统限定规则网格时，AR标记相对于网格的位置和/或取向通过AR系统网格准确地确定。进而，跟踪标记(其附接到构建系统的网格中的构建元件)提供有关标志元件如何用在模型中的更多信息。如果标签被正确地构建(即装配在网格中)则应用中的事件可以选择性地被触发。

AR标记可以由此响应于AR标记相对于网格的预定位置和/或取向(和/或其他位置限制条件)而使得AR系统开始形成可以添加到模型的可选的随后搭建元件的计算机产生的影像元素。AR应用可由此对物理元件如何用在构建系统做出反应。

Claims (25)

1.一种玩具搭建系统，包括具有联接器件的一组玩具搭建元件和数据处理系统，所述联接器件用于可释放地互连玩具搭建元件，所述数据处理系统包括影像捕获器件、处理器件、和显示器件，其中数据处理系统适于

捕获用所述玩具搭建元件的子组件搭建的部分玩具搭建模型的影像；

处理被捕获的影像，以至少检测部分玩具搭建模型的位置和取向；

识别用户选择，所述用户选择指示用户对一组随后的搭建元件中至少一个的选择，每一个随后的搭建元件可连接到部分玩具搭建模型；

响应于部分玩具搭建模型的被检测的位置和取向，在所述显示器件上显示复合影像，所述复合影像包括被捕获的影像，该被捕获的影像叠置有至少被选择的随后搭建元件的影像。

2.如权利要求1所述的玩具搭建系统，其中数据处理系统进一步适于获得部分玩具搭建模型的数字展示；和响应于获得的数字展示，显示一组随后的搭建元件的相应影像。

3.如权利要求2所述的玩具搭建系统，其中获得部分玩具搭建模型的数字展示包括，从以前的部分玩具搭建模型的数字展示和从以前的用户选择产生部分玩具搭建模型的数字展示。

4.如权利要求2或3所述的玩具搭建系统，其中数字展示包括每一个搭建元件相对于预定坐标系的相应位置坐标。

5.如权利要求1所述的玩具搭建系统，其中数据处理系统进一步适于从部分玩具搭建模型的数字展示和从识别的用户选择产生更新的部分玩具搭建模型的数字展示。

6.如权利要求1所述的玩具搭建系统，其中数据处理系统进一步适于从部分玩具搭建模型的数字展示和从表示搭建步骤的多个顺序的数据结构确定一组随后的搭建元件，每一个顺序形成一组可选的搭建模型中的一个，所述搭建模型可用所述一组玩具搭建元件搭建。

7.如权利要求1所述的玩具搭建系统，其中处理被捕获的影像以至少检测部分玩具搭建模型的位置和取向，包括，检测至少一个增强现实标记和从检测的至少一个增强现实标记确定玩具搭建模型的位置和取向。

8.如权利要求1所述的玩具搭建系统，其中处理被捕获的影像包括识别至少一个被添加的搭建元件；和从被识别的被添加搭建元件确定用户选择。

9.如权利要求8所述的玩具搭建系统，其中识别至少一个被添加的搭建元件包括检测包括在被添加的搭建元件中的增强现实标记。

10.如权利要求8或9所述的玩具搭建系统，其中数据处理系统进一步适于识别被添加的搭建元件相对于部分玩具搭建模型的位置和取向。

11.如权利要求1所述的玩具搭建系统，其中数据处理系统进一步适于，响应于识别的用户选择和部分玩具搭建模型的被检测位置和取向，在所述显示器件上显示复合影像，所述复合影像包括被捕获的影像，所述被捕获的影像叠加有至少一个额外的计算机产生的影像。

12.如权利要求1所述的玩具搭建系统，其中所述一组玩具搭建元件包括一个或多个标记搭建元件，所述标记搭建元件包括所述联接器件，且所述标记搭建元件每一个具有通过影像处理器件可识别的视觉外观。

13.如权利要求12所述的玩具搭建系统，包括至少两个标记搭建元件，其中两个标记搭建元件经由其相应联接器件可释放地彼此连接，以便形成复合标记元件。

14.如权利要求13所述的玩具搭建系统，其中数据处理系统进一步适于检测复合标记元件，和基于被检测的复合标记元件识别所述用户选择，所述用户选择表示用户对所述一组随后的搭建元件中至少一个的选择。

15.如权利要求14所述的玩具搭建系统，其中每一个标记搭建元件包括标识，所述标识表示用于编码信息的代码的代码符号；和其中数据处理系统进一步适于从复合标记元件的视觉外观确定被编码的代码符号组，且将确定的代码符号组解码，以获得解码的信息。

16.权利要求12到15中任一项所述的玩具搭建系统，其中玩具搭建元件具有至少一个性质，其中玩具搭建系统的每一个标记搭建元件具有所述性质的值，所述值从所述性质的不连续值的预定组中选择。

17.权利要求12到15中任一项所述的玩具搭建系统，其中联接器件布置在限定了连接方向的一个或多个规则平面网格中；和其中每一个标记搭建元件包括标识，在标记搭建元件连接到玩具搭建系统的至少一个其他玩具搭建元件时，从平行于至少一个平面网格的方向或从垂直于至少一个平面网格的方向可看见所述标识。

18.如权利要求17所述的玩具搭建系统，其中每一个标记搭建元件具有顶部表面、底部表面和至少一侧表面；其中所述联接器件置于顶部和底部表面中的至少一个上；其中标记搭建元件包括至少一个没有联接器件的第一表面，其中第一表面包括所述标识。

19.如权利要求1所述的玩具搭建系统，其中联接器件限定规则网格，所述网格将玩具搭建模型中玩具搭建元件的位置和/或取向限制为相对于所述规则网格的不连续的位置和/或不连续的取向。

20.如权利要求19所述的玩具搭建系统，包括至少两个标记搭建元件，且其中数据处理系统适于检测玩具搭建模型中的两个标记搭建元件相对于所述规则网格的相应位置和/或取向，且基于检测的相应位置和/或取向识别所述用户选择，所述用户选择表示用户对所述一组随后的搭建元件中至少一个的选择。

21.如权利要求20所述的玩具搭建系统，其中数据处理系统适于从标记搭建元件的被检测位置确定规则影像网格的网格位置，且在相对于被检测的规则影像网格的位置处产生计算机产生影像的影像特征。

22.如权利要求1所述的玩具搭建系统，其中联接器件包括一个或多个突出部和一个或多个空腔，每一个空腔适于以摩擦接合接收至少一个突出部。

23.一种用于产生构建指令的计算机实施的方法，所述构建指令用于用玩具搭建系统的玩具搭建元件搭建玩具搭建模型，玩具搭建元件包括用于可释放地将玩具搭建元件互连的联接器件；方法包括：

捕获用所述玩具搭建元件的子组搭建的部分玩具搭建模型的影像；

处理被捕获的影像，以至少检测部分玩具搭建模型的位置和取向；

识别用户对一组随后的搭建元件中的至少一个的选择，每一个随后的搭建元件可连接到部分玩具搭建模型；

响应于部分玩具搭建模型的被检测的位置和取向，在显示器件上显示复合影像，所述复合影像包括被捕获的影像，所述被捕获的影像叠置有至少被选择的随后搭建元件的影像。

24.一种数据处理系统，包括影像捕获器件、处理器件、显示器件，其中数据处理系统包括计算机编程器件，其配置为使得在由数据处理系统执行时，所述数据处理系统执行如权利要求23所述方法的步骤。

25.一种玩具搭建组，包括玩具搭建元件，该搭建元件包括联接器件，所述联接器件用于可释放地将玩具搭建元件互连；和用户指令，用于在数据处理系统上安装，所述数据处理系统包括影像捕获器件、处理器件和显示器件、和计算机程序，该计算机程序包括程序代码器件，其适于在被数据处理系统执行时使所述数据处理系统执行如权利要求23所述的方法的步骤。