CN109564505A

CN109564505A - 被配置为使用教学编程语言进行工作以训练经训练的人工智能模型的人工智能引擎

Info

Publication number: CN109564505A
Application number: CN201780020323.9A
Authority: CN
Inventors: M·I·哈蒙德; K·M·布朗; M·亚当斯
Original assignee: Bernie Sai Co
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2016-01-27
Filing date: 2017-01-27
Publication date: 2019-04-02
Anticipated expiration: 2037-01-27
Also published as: CN110168495B; US20200250583A1; EP3408750A1; US10586173B2; US11100423B2; US20170213156A1; EP3408750B1; EP3408800A4; EP3408739A4; US10664766B2; US20170213154A1; US10733531B2; EP3408750A4; WO2017132584A1; US11842172B2; US20170213155A1; US20170213132A1; CN110168495A; US10671938B2; US20170213131A1

Abstract

在一些实施例中提供了一种被配置为使用教学编程语言进行工作的人工智能(“AI”)引擎，教学编程语言被配置为使得作者能够1)定义要由AI模型学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或多个流节点、和输出，以及2)定义用于分别在一个或多个概念节点上训练AI模型的一个或多个课程。编译器可以被配置为从用教学编程语言编写的源代码生成汇编代码。架构师模块可以被配置为从汇编代码提出神经网络布局。学习者模块可以被配置为从神经网络布局构建AI模型。讲师模块可以被配置为使用一个或多个课程分别在一个或多个概念节点上训练AI模型。

Description

被配置为使用教学编程语言进行工作以训练经训练的人工智能模型的人工智能引擎

相关申请的交叉引用

本申请要求于2017年1月26日提交的美国专利申请号15/416,904和于2016年1月27日提交的题为“BONSAI PLATFORM，LANGUAGE，AND TOOLING”的临时专利申请号US 62/287,861的优先权，其全部内容通过引用并入本文中。

技术领域

本文中提供的设计的实施例总体上涉及人工智能系统及其方法。

背景技术

人工智能(“AI”)有可能成为21世纪及以后的最具影响力的技术之一。不幸的是，目前希望使用AI进行工作的软件开发者必须学习复杂的工具包，使用有限的应用编程接口(“API”)，使用用于AI的受限制的黑盒解决方案或其某种组合。必须克服上述限制以用于软件开发者和企业使用AI解决实际问题。此外，在不到20,000名能够在AI的最低级别构建AI的数据科学专家的情况下，需要使软件开发社区的2000万或更多软件开发者更容易使用AI进行工作。本文中提供了解决前述问题的AI系统和方法。

发明内容

本文中在一些实施例中提供了一种被配置为使用教学编程语言进行工作的AI引擎，AI引擎模块包括编译器和一个或多个AI引擎模块，一个或多个AI引擎模块包括架构师模块、讲师模块和学习者模块。编译器可以被配置为从用教学编程语言编写的源代码生成汇编代码。教学编程语言可以被配置为使得作者能够定义要由AI模型学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或多个流节点、和输出。教学编程语言还可以被配置为使得作者能够定义用于分别在一个或多个概念节点上训练AI模型的一个或多个课程。架构师模块可以被配置为从汇编代码提出具有一个或多个神经网络层的神经网络布局。学习者模块可以被配置为使用来自由架构师模块提出的神经网络布局的一个或多个神经网络层来构建AI模型。讲师模块可以被配置为使用一个或多个课程分别在一个或多个概念节点上训练由学习者模块构建的AI模型。

本文中在一些实施例中还提供了一种AI系统，其包括一个或多个远程服务器和一个或多个本地客户端。一个或多个远程服务器可以包括编译器；包括架构师模块、讲师模块和学习者模块的一个或多个AI引擎模块；被配置为启用与AI引擎的客户端交互的一个或多个服务器侧客户端服务器接口。编译器可以被配置为从用教学编程语言编写的源代码生成汇编代码。教学编程语言可以被配置为使得作者能够定义要由AI模型学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或多个流节点、和输出。教学编程语言还可以被配置为使得作者能够定义用于分别在一个或多个概念节点上训练AI模型的一个或多个课程。架构师模块可以被配置为从汇编代码提出具有一个或多个神经网络层的神经网络布局。学习者模块可以被配置为使用来自由架构师模块提出的神经网络布局的一个或多个神经网络层来构建AI模型。讲师模块可以被配置为使用一个或多个课程分别在一个或多个概念节点上训练由学习者模块构建的AI模型。一个或多个本地客户端可以包括被配置为使得作者能够生成用教学编程语言编写的源代码的编码器。一个或多个本地客户端还可以包括被配置为在一个或多个客户端交互中启用与AI引擎的客户端交互的一个或多个客户端侧客户端服务器接口。一个或多个客户端交互可以包括提交用于训练AI模型的源代码以及基于训练数据针对一个或多个预测使用经训练的AI模型。AI系统可以包括至少一个服务器侧训练数据源或至少一个客户端侧训练数据源。

本文中在一些实施例中还提供了一种用于被配置为使用教学编程语言进行工作的AI引擎的方法，该方法包括使得作者能够使用教学编程语言来定义要由AI模型来学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或多个流节点、和输出；使得作者能够使用教学编程语言定义用于分别在一个或多个概念节点上训练AI模型的一个或多个课程；执行编译器以从用教学编程语言编写的源代码生成汇编代码；并且执行包括架构师模块、讲师模块和学习者模块的一个或多个AI引擎模块以处理汇编代码。在执行架构师模块时，架构师模块可以被配置为从汇编代码提出具有一个或多个神经网络层的神经网络布局。在执行学习者模块时，学习者模块可以被配置为使用来自由架构师模块提出的神经网络布局的一个或多个神经网络层来构建AI模型。在执行讲师模块时，讲师模块可以被配置为使用一个或多个课程分别在一个或多个概念节点上训练由学习者模块构建的AI模型。

参考构成本专利申请的公开的附图、说明书和权利要求，可以更好地理解本文中提供的设计的这些和其他特征。

附图说明

附图涉及本文中提供的设计的一些实施例，在附图中：

图1A提供了示出简单的人工神经网络的示意图。

图1B提供了示出根据一些实施例的构建、训练和部署经训练的AI模型的示意图。

图2A提供了示出根据一些实施例的AI系统的示意图。

图2B提供了示出根据一些实施例的与AI系统相关联的方法的示意图。

图3A提供了示出根据一些实施例的AI系统的示意图。

图3B提供了示出根据一些实施例的与AI系统相关联的方法的示意图。

图4A提供了示出根据一些实施例的包括一个概念的心智模型的示意图。

图4B提供了示出根据一些实施例的包括多个概念的心智模型的示意图。

图5提供了示出根据一些实施例的AI系统的示意图。

图6A提供了示出根据一些实施例的AI系统的示意图。

图6B提供了示出根据一些实施例的AI系统的示意图。

图7A提供了示出根据一些实施例的用于与AI系统一起使用教学编程语言的方法的示意图。

图7B提供了示出根据一些实施例的用于与AI系统一起使用教学编程语言的方法的示意图。

图8提供了根据一些实施例的一个或多个网络。

图9提供了根据一些实施例的一个或多个计算系统。

虽然设计经受各种修改、等同物和替代形式，但是其特定实施例在附图中通过示例的方式示出，并且现在详细描述。应当理解，设计不限于所公开的特定实施例，而是相反，意图在于使用特定实施例覆盖所有修改、等同物和替代形式。

具体实施方式

在以下描述中，阐述了很多具体细节，诸如设备中的特定数据信号、命名组件、存储器等的示例，以便提供对本设计的透彻理解。然而，对于本领域普通技术人员很清楚的是，可以在没有这些具体细节的情况下实践本设计。在其他情况下，公知的组件或方法没有被详细描述，而是在框图中被描述，以避免不必要地模糊本设计。此外，可以进行诸如第一驱动器等特定数字引用。但是，特定数字引用不应当被解释为文字顺序，而是被解释为第一通知与第二通知不同。因此，所阐述的具体细节仅仅是示例性的。具体细节可以在本设计的精神和范围内变化，并且仍然被认为是在本设计的精神和范围内。术语“耦合”被定义为表示直接连接到组件或通过另一组件间接连接到组件。

本文中使用的“AI模型”包括但不限于神经网络，诸如循环(recurrent)神经网络、递归(recursive)神经网络、前馈神经网络、卷积神经网络、深度信念网络和卷积深度信念网络；多层感知器；自组织映射；深玻尔兹曼机器；以及堆叠式去噪自动编码器。

本文中使用的“人工神经网络”或简称为“神经网络”可以包括高度互连的处理元件网络，每个处理元件可选地与本地存储器相关联。图1A提供了示出简单的人工神经网络101的示意图。处理元件在本文中可以称为“人工神经单元”、“人工神经元”、“神经单元”、“神经元”、“节点”等，虽然处理元件之间的连接在这里可以称为“突触”、“权重”等。神经元可以分别通过一个或多个加权突触从输入或一个或多个其他神经元接收数据，处理数据，并且分别通过一个或多个其他加权突触将经处理的数据发送到输出或一个或多个其他神经元。神经网络或其一个或多个神经元可以在硬件、软件或硬件和软件的组合中生成，并且神经网络随后可以进行训练。

如本文中使用的，诸如在“远程服务器”和“本地客户端”中的“远程”和“本地”旨在表示例如远程服务器和本地客户端电信地耦合，有时是在非常大的地理距离上。如本文中使用的，“在线”旨在表示诸如远程服务器和本地客户端等两个系统电信地耦合并且可用于两个系统之间的即时通信。如本文中使用的，“离线”旨在表示诸如远程服务器和本地客户端等两个系统电信地耦合但两个系统中的至少一个系统不可用于两个系统之间的即时通信。例如，远程服务器和本地客户端中的至少一个可以关闭并且因此“离线”。替代地，“离线”可以指示诸如远程服务器和本地客户端等两个系统例如由于电信连接断开而没有电信耦合。

除非另外定义，否则本文中使用的所有技术和科学术语具有与本领域普通技术人员通常理解的含义相同的含义。

AI有可能成为21世纪及以后的最具影响力的技术之一。不幸的是，目前希望使用AI进行工作的软件开发者必须学习复杂的工具包，使用有限的API，使用用于AI的受限制的黑盒解决方案或其某些组合。必须克服上述限制以用于软件开发者和企业使用AI解决实际问题。此外，在不到20,000名能够在最低级别构建AI的数据科学专家的情况下，需要使软件开发社区的2000万或更多软件开发者更容易使用AI进行工作。本文中提供了解决前述问题的AI系统和方法。

例如，在一些实施例中提供了一种被配置为使用教学编程语言进行工作的AI引擎，AI引擎包括编译器和一个或多个AI引擎模块，一个或多个AI引擎模块包括架构师模块、讲师模块和学习者模块。编译器可以被配置为从用教学编程语言编写的源代码生成汇编代码。教学编程语言可以被配置为使得作者能够定义要由AI模型学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或多个流节点、和输出。教学编程语言还可以被配置为使得作者能够定义用于分别在一个或多个概念节点上训练AI模型的一个或多个课程。架构师模块可以被配置为从汇编代码提出具有一个或多个神经网络层的神经网络布局。学习者模块可以被配置为使用来自由架构师模块提出的神经网络布局的一个或多个神经网络层来构建AI模型。讲师模块可以被配置为使用一个或多个课程分别在一个或多个概念节点上训练由学习者模块构建的AI模型。

如图所示，本文中提供的AI系统和方法使得诸如软件开发者等用户能够设计AI模型，构建AI模型，训练AI模型以提供经训练的AI模型，并且以多种期望方式中的任何一种部署经训练的AI模型作为部署的AI模型。例如，本文中提供的AI系统和方法使得诸如软件开发者等用户能够设计神经网络布局或神经网络拓扑102，构建神经网络104，训练神经网络104以提供经训练的神经网络106，并且以多种期望方式中的任何一种部署经训练的神经网络106作为部署的神经网络108。例如，经训练的AI模型或经训练的神经网络106可以部署在软件应用或基于硬件的系统中或与其一起使用。

图2A提供了示出根据一些实施例的AI系统200的示意图。

如图所示，AI系统200包括一个或多个客户端系统210和一个或多个服务器系统220，其中一个或多个服务器系统220中的每个服务器系统或任何两个或更多个服务器系统在本文中可以称为AI引擎。一个或多个客户端系统210可以是客户端系统，并且包括编码器212或用于生成诸如Inkling^TM代码等编程代码的编码装置，该Inkling^TM代码基于教学编程语言Inkling^TM。一个或多个客户端系统210还可以包括训练数据源214。尽管图2A中未示出，但是替代地，训练数据源214可以被包括在一个或多个服务器系统220中，或者训练数据源214可以被包括在一个或多个客户端系统210和一个或多个服务器系统220中。一个或多个服务器系统220可以是服务器系统并且包括用于Inkling^TM代码的编译器222和用于在AI生成器223中经由一个或多个训练循环生成经训练的神经网络106的AI生成器223。

图2B提供了示出根据一些实施例的与AI系统相关联的方法201的示意图。

如图2A中的视图所示，诸如一个或多个客户端210中的客户端等客户端可以在诸如一个或多个服务器系统220的服务器等服务器上从编码器212或中间代理向编译器222发送Inkling^TM代码用于将Inkling^TM代码编译为用于AI生成器223的优化的汇编代码。编译器222可以向AI生成器223发送经编译的Inkling^TM代码或汇编代码，AI生成器223提出并且构建诸如神经网络104等神经网络用于如通过代码的特征所确定的训练。AI生成器可以从训练数据源214请求训练数据，并且训练数据源214可以在请求时向A1生成器223发送训练数据。随后，AI生成器223可以在一个或多个训练周期中在训练数据上训练神经网络104以提供神经网络或经训练的神经网络106的训练状态。AI生成器223可以从经训练的神经网络引出预测106，并且向训练数据源214发送预测以用于基于预测和可选的附加训练周期的已更新的训练数据。当一个或多个训练周期完成时，AI生成器223可以将神经网络的训练状态保存为经训练的神经网络106。

图3A提供了示出根据一些实施例的AI系统的示意图。

接下来是图2A的AI系统200，用于生成经训练的神经网络106的AI生成器223可以包括至少选自讲师模块324、架构师模块326和学习者模块328的一个或多个AI生成器模块，如图所示。讲师模块324、架构师模块326和学习者模块328在本文中可以分别称为讲师、架构师和学习者。讲师模块324可以可选地包括超学习者模块325，超学习者模块325在本文中可以称为超学习者并且可以被配置为针对神经网络配置、学习算法、学习优化器等中的任何一个或多个选择一个或多个超参数。在选择一个或多个超参数之前，超学习者模块325可以访问从先前的问题和针对其先前构建的AI模型的一个或多个存储库收集的解决方案统计数据库，并且通过使用随机预测来获取可用数据样本的指纹。超学习者模块325可以可选地被包含在诸如架构师模块326或学习者模块328等不同的AI生成器模块中，或者超学习者模块325可以是AI生成器模块本身。学习者模块328可以可选地包括预测器模块329，预测器模块329在本文中可以称为预测器，并且可以针对诸如以预测模式托管的经训练的神经网络106等经训练的神经网络提供一个或多个预测。预测器模块329可以可选地被包含在诸如讲师模块324或架构器模块326等不同的AI生成器模块中，或者预测器模块329可以是AI生成器模块本身。包括前述一个或多个AI生成器模块的AI生成器223可以被配置为在AI生成器223中经由一个或多个训练周期从编译的Inkling^TM代码生成经训练的神经网络106。

如图3A所示，诸如一个或多个客户端210中的客户端等客户端可以在诸如一个或多个服务器系统220的服务器等服务器上从编码器212或中间代理向编译器222发送Inkling^TM代码用于将Inkling^TM代码编译为优化的汇编代码。编译器222可以向讲师模块324发送经编译的Inkling^TM代码或汇编代码，讲师模块324又可以将代码发送到架构师模块326。架构师模块326可以提出诸如神经网络布局102等神经网络布局以及优化神经网络布局102用于如由代码的特征确定地进行构建和训练，并且架构师模块326可以向讲师模块324发送神经网络布局102。此外，架构师模块326可以在基于Inkling^TM的心智模型的一个或多个概念或概念节点与神经网络布局102的一个或多个层之间进行映射，并且随后向学习者模块328发送一个或多个映射。学习者模块328可以从由架构师模块326指定的神经网络布局102构建诸如神经网络104等神经网络。讲师模块324可以在基于Inkling^TM的心智模型中的一个或多个概念节点和用于训练神经网络104的一个或多个基于Inkling^TM的课程中找到起始点。讲师模块324还可以从训练数据源214或任何其他训练数据源请求训练数据，并且训练数据源214可以在请求时向讲师模块324发送训练数据。讲师模块324随后可以指示学习者模块328使用一个或多个课程训练神经网络104(例如，应当以哪种顺序教导哪些功课)，用于使用训练数据和来自超学习者模块325的一个或多个超参数来训练心理模式中的一个或多个概念。训练神经网络104可以使用训练数据在一个或多个训练周期中进行以产生神经网络或经训练的神经网络106的训练状态。讲师模块324可以决定什么基于Inkling^TM的概念和流应当在基于Inkling^TM的心智模型中被积极训练、以及用于训练概念的终止条件。学习者模块328或预测器模块329可以从经训练的神经网络106引出预测并且向讲师模块324发送预测。讲师模块324又可以向训练数据源214发送预测以用于基于预测的已更新的训练数据，并且可选地在附加训练周期中指示学习者模块328。当一个或多个训练周期完成时，学习者模块328可以将神经网络的训练状态保存为经训练的神经网络106。

教学编程

教学编程关注编码以下中的一项或多项：1)与问题领域相关的概念是什么？2)这些概念如何相互关联？3)如何教导这些概念？

教学编程语言Inkling^TM是一种专用编程语言，其被设计为使用要学习的更高级别的心智模型和概念而不是用于构建和教导(或训练)神经网络的低级别机制来实现经训练的AI模型。Inkling^TM是一种声明性的强类型的教学编程语言，其被配置为从通常需要高级别的机器学习专业知识的广泛的动态AI算法进行概括。使用Inkling^TM或Inkling^TM文件创作的源代码可以包含要向AI模型教导并且从而由AI模型学习的更高级别的心智模型和概念。Inkling^TM文件还可以包含课程及其功课以教导AI模型要学习的概念。

心智模型和概念

图4A和4B提供了分别示出根据一些实施例的心智模型400A和400B及其概念的示意图。

从概念开始，Inkling^TM中的概念可以是软件对象和/或定义可以训练和学习AI模型或神经网络的东西。一旦学会了，AI模型可以提供智能输出。每个Inkling^TM文件或程序需要至少一个概念。

概念可以属于至少两个群组之一：事实和策略。事实类型概念可以描述诸如物体、球、角色、敌人、光、人等一个或多个事物的状态。状态可以是一个或多个事物是打开还是关闭，是热还是冷，是数字还是字母，等等。事实类型概念还可以描述位置。策略类型概念可以反映诸如“avoid_ghosts(躲避幽灵)”、“keep_the_paddle_under_the_ball(将球拍保持在球之下)”、“don’t_run_into_walls(不要撞墙)”、“turn_lights_off(关灯)”、“get_high_score(得到高分)”等方法或行为。图4A和4B都示出了包括策略类型概念“get high score”的心智模型。

转向心智模型，Inkling^TM中的心智模型也是AI模型可以训练和学习的东西。心智模型可以包括输入、一个或多个概念或概念节点、一个或多个数据变换流或流节点、和输出，所有这些都可以根据一个或多个概念以及一个或多个数据变换流或流节点来构造(例如，分层地、循环地等)。心智模型通过编码基础概念及其相互关系来建模问题域，通常从相对简单的概念开始并且根据需要构建更复杂的概念。

如图4A所示，例如，相对简单的单概念心智模型可以包括诸如“get_high_score”等策略类型概念。单概念心智模型及其概念可以用Inkling^TM表示，如在下面的Inkling^TM代码块中，其中概念是“get_high_score”，概念的预测类型是“classifier”，概念跟随到神经网络的游戏状态的输入，并且概念从神经网络馈送输出：

“PlayerMove(玩家移动)”和“GameState(游戏状态)”表示模式引用，而模式引用又描述一种或多种数据类型。模式在本文中更详细地描述。

如图4B所示，更复杂的多概念心智模型可以包括分层结构，包括例如诸如“keep_paddle_under_ball”、“get_high_score”等策略类型概念和诸如“ball_location(球位置)”等状态类型概念。多概念心智模型及其概念可以用Inkling^TM表示，如在下面的代码块中，其中概念是“ball_location”、“keep_paddle_under_ball”和“get_high_score”。

概念的预测类型是“estimator(估计器)”和“classifier(分类器)”，其中估计器被配置为根据其输入来估计值，并且其中分类器被配置为根据其输入进行分类。概念的其他预测类型还可以包括但不限于“predictor(预测器)”和“goal(目标)”。

如图4B中进一步所示，多概念心智模型中的概念可以从心智模型中的其他概念接收输入，向心智模型中的其他概念发送输出，提供最终输出或结果输出，或其组合。这可以用Inkling^TM表示，如在前面的代码块中。例如，概念“keep_paddle_under_ball”跟随概念“ball_location”以及到神经网络的游戏状态的输入，并且概念“get_high_score”跟随概念“keep_paddle_under_ball”以及到神经网络的游戏状态的输入。此外，概念“get_high_score”从神经网络馈送输出。在图形上，前述代码块产生图4B的分层的多概念心智模型。向心智模型添加更多概念可以减少AI模型的训练时间，并且使得经训练的AI模型能够根据训练或测试馈送到心智模型的数据来提供更智能的更准确的预测。

心智模型的输入可以是表示问题域的数据，诸如用于区分猫和狗的猫图像和狗图像。心智模型的输出可以是问题域的解决方案，诸如“yes(是)”第一图像是猫的图像，或者“no(否)”第一图像不是猫的图像。

鉴于前述内容，教学编程语言Inkling^TM可以被配置为使得作者能够按名称；预测类型，诸如估计器、分类器、预测器和目标；输入；输出；以及心智模型中的包括前导输入提供概念节点和后续输出接受概念节点的一个或多个连接概念节点来定义心智模型中的一个或多个概念节点中的每个概念节点，例如，使用关键字“follows(跟随)”和“feeds(馈送)”。

流

除了一个或多个概念之外，心智模型还可以包括结构化的一个或多个概念中的一个或多个数据变换流或流节点。数据可以流入流节点，被处理，并且随后被发送到神经网络中的其他节点(例如，概念节点、流节点或两者)或者从神经网络输出。

流关键字声明数据的功能变换。可以声明任何有效的语言集成查询(“LINQ”)语句，并且因此，流节点可以直接对输入数据、来自其他流节点的数据、来自概念节点的数据、来自文字的数据和来自内置函数(例如，以返回随机数据或序列数据)的数据进行操作。例如，以下Inkling^TM代码块声明了明确指定的数据的功能转换：

上述Inkling^TM代码块声明了流节点“Double(双精度浮点数)”，流节点“Double”从外部输入向神经网络读取32位有符号整数，将其加倍，并且将结果指向任何订阅的侦听器。“from(从)”和“＝>”(或“into(到)”)子句类似于用于前述的一个或多个概念的“follows”和“feeds”，其指定包括一个或多个概念和任何流的心智模型的构造。“select(选择)”子句可以执行数据变换，包括经由一个或多个系统库(例如，计算机视觉算法)公开的任何功能。

课程和功课

教学编程就如何教导AI引擎找到解决方案而不是如何计算解决方案在脚本代码中表达问题的解决方案。教学编程关注：

·您希望AI引擎知道什么？教学编程捕获概念及其相互关系，并且形成概念的有向图。

想象学习打棒球；涉及很多概念。它不仅仅局限于游戏规则，还包括如击球姿势、球棒握法、眼手协调等东西。

·你如何教导这些东西？

·教学编程关注如何教导问题，而不是如何计算问题。

想象教导孩子打棒球。你不能只是向他们解释整个游戏，并且期望他们了解如何打。你将学习分解成碎片，并且创建将帮助他们学习如何打棒球的一系列功课。

比如说，首先，你想教导他们手眼协调的概念。可能会有一系列的功课来做到这一点。你可以从球座上的塑料空心球开始，发展为向上弹出球的球座，然后转向低手投球，然后进行上手投球。你可以通过如弯曲的球路、不同的捕捉风格和其他练习等东西来继续构建你的手眼协调概念。这都是教导一个概念——眼手协调，但是使用渐进式功课来做到这一点。

课程用于向神经网络教导概念，并且课程与要教导的概念之间至少存在单向关系。例如，对于每个指定的概念，要指定用于教导概念的课程。要提供训练数据以关于概念对神经网络进行训练，并且要向AI引擎告知一旦被教导则它对概念的理解是否正确。课程类似于老师从书中向学生分配阅读，并且随后关于书的阅读或书本身来测试学生。训练数据的呈现方式被分解为被称为“功课”的各个组成部分。在书类比中，书可以是课程，并且功课可以是书中的各个章节。功课允许一点点地学习而不是一次性学习概念。

课程定义声明了可以用于教导概念的一组一个或多个功课，其中每个功课可以被配置为可选地使用不同的训练数据流。课程定义指定了该课程训练哪个概念、应当与该课程一起使用哪个模拟、以及用于评估学习系统的性能的目标函数。例如，以下Inkling^TM代码块声明了用于训练前述“get_high_score”概念的课程：

在前述Inkling^TM代码块中，关键字“curriculum(课程)”命名课程(例如，“get_high_score_curriculum(得到高分课程)”)并且声明了用于教导概念的一组功课(参见“#get_high_score lesson(s)specified here(#这里指定得到高分(多个)功课)”注释)。关键字“train(训练)”通过名称(例如，“get_high_score”)指示课程要训练的概念；关键字“with(一起)”指定应当与课程一起使用的后续训练数据源类型(例如，模拟器、训练数据生成器、训练数据数据库)，后跟训练数据源名称(例如，“breakout_simulator(投变化球模拟器)”)；并且关键字“objective(目标)”指定用于评估神经网络的性能的目标函数或目标(例如，得分)，并且因此指定要训练的概念节点的终止条件。这样，“get_high_score_curriculum”使用名为“breakout_simulator”的投变化球模拟器训练概念“get_high_score”，该模拟器可以用任何语言(例如，python)编写。“get_high_score_curriculum”的目标是尽可能地提高得分。

在另一示例中，以下Inkling^TM代码块声明了用于训练上述“ball_location”概念的课程：

在前述Inkling^TM代码块中，关键字“curriculum”命名课程(例如，“ball_location_curriculum(球位置课程)”)并且声明了用于教导概念的一组功课(参见“#ball_location lesson(s)specified here”注释)。关键字“train”通过名称(例如，“ball_location”)指示课程要训练的概念；关键字“with”指定应当与课程一起使用的后续训练数据源类型(例如，模拟器、训练数据生成器、训练数据数据库)，后跟训练数据源名称(例如，“breakout_simulator”)；并且关键字“objective”指定用于评估神经网络的性能的目标(例如，ball_location_distance(球位置距离))，并且因此指定要训练的概念节点的终止条件。这样，“ball_location_curriculum”使用名为“breakout_simulator”的投变化球模拟器训练概念“ball_location”。在“ball_location_curriculum”中，概念“ball_location”使用与“get_high_score_curriculum”不同的目标函数、即“ball_location_distance”进行训练，“ball_location_distance”测量AI模型对球位置的预测与在模拟器的模拟内部计算的实际球位置之间的距离。

鉴于前述内容，教学编程语言Inkling^TM可以被配置为使得作者能够按名称；要训练的概念节点；训练数据源类型；训练数据源名称；要训练的概念节点的课程的一个或多个功课；以及要训练的概念节点的目标来定义一个或多个课程中的每个课程。目标的终止条件关于课程的一个或多个功课进一步详细说明。

回到书类比，书可以是课程，并且功课可以是书中的各个章节。用于教导概念的每个课程将具有一个或多个功课，这些功课在课程的上下文中声明(例如，参见上文“#get_high_score lesson(s)specified here”和“#ball_location lesson(s)specified here”注释)。功课使得程序员可以控制神经网络训练。例如，以下Inkling^TM代码块声明了功课，即“get_high_score_curriculum”的“score_lesson(得分功课)”，用于训练前述“get_high_score”概念：

再例如，下面的Inkling^TM代码块为用于训练前述“ball_location”概念的“ball_location_curriculum”声明了两个功课，即“no_bricks”和“more_bricks”：

在用于“score_lesson”的前述Inkling^TM代码块中，关键字“lesson(功课)”命名功课(例如，“score_lesson”)，而关键字“configure(配置)”声明了针对功课的训练数据的配置，其向讲师模块提供关于如何配置针对神经网络的训练的指导。在这个示例中，关键字“constrain(约束)”约束模式定义的字段，诸如“bricks_percent(未投中百分比)”、“level(级别)”和“paddle width(球拍宽度)”，其中在投变化球模拟器中，“bricks_percent”限制为0.5％，“level”约束为级别1，并且“paddle width”限制为4。关键字“until(直到)”指定针对神经网络的训练应当继续，直到目标函数“score”的返回值按照关键词“maximize(最大化)”最大化。一旦训练开始，AI引擎可以配置并且启用模拟器，直到AI模型尽可能地最大化得分或者训练通过某个其他条件而终止。

在用于“no_bricks(没有未投中)”功课的前述Inkling^TM代码块中，关键字“lesson”也用于命名功课(例如，“no_bricks”)，并且关键字“configure”用于声明针对功课的训练数据的配置，其恰好使用与“score_lesson”相同的约束。关键词“until”也用于“no_bricks”功课以指定针对神经网络的广泛训练应当如何进行；但是，“no_bricks”功课的目标函数“ball_location_distance”的返回值按照关键字“minimize(最小化)”最小化。

在用于“more_bricks”功课的前述Inkling^TM代码块中，关键字“lesson”命名功课(例如，“more_bricks(更多未投中)”)，并且可选的关键字“follows”指示在前功课(例如，“no_bricks”)，其可以用于指定用于训练概念的课程中的功课的顺序。如果关键字“follows”没有被用于指定功课的顺序，则功课并行执行，这减慢了神经网络的训练。同样，关键字“configure”声明了针对课程的训练数据的配置，在这种情况下，在投变化球模拟器中，它将模式定义的“bricks_percent”约束为0.8％，将“level”约束为级别20，将“paddlewidth”约束为1。与“no_bricks”功课一样，“more_bricks”功课的目标函数“ball_location_distance”按照关键字“minimize(最小化)”最小化。

功课可以确定训练神经网络所需要的时间量。更复杂的功课可以构建在其他更简单的功课上，以减少训练神经网络所需要的时间量。例如，如果要使用“ball_location_curriculum”关于“ball_ocation”概念对神经网络进行训练，则可以首先使用“no_bricks”功课训练神经网络，“no_bricks”功课描述具有更少未投中(例如，约束bricks_percent＝0.5)、较低级别(例如，约束level＝1)和较宽球拍(例如，约束paddle_width＝4)的更简单版本的投变化球。一旦AI模型持续返回用于“no_bricks”功课的更容易的环境的目标函数“ball_location_distance”的最小值，神经网络可以使用“more_bricks”功课进行第二次训练，“more_bricks”功课描述具有包括更多未投中(例如，约束brick_percent＝0.8)、更高级别(例如，约束级别＝20)，以及更窄球拍(例如，约束paddle_width＝1)的更大复杂性的投变化球的不同版本。以这种方式，AI模型可以从更简单的环境发展到更复杂的环境。

鉴于前述内容，教学编程语言Inkling^TM可以被配置为使得作者能够按名称；经由关键字“follows”的要跟随的主要功课；经由关键字“configure”的针对功课的数据配置；以及要训练的概念节点的课程定义的目标的终止条件来定义一个或多个课程中的每个课程。

模式

Inkling^TM中的模式引用或模式描述数据类型或数据的结构，诸如心智模型的输入数据、心智模型的一个或多个概念节点之间的数据、心智模型的一个或多个流节点之间的数据、以及心智模型的输出数据。因为架构师模块将心智模型的一个或多个节点映射到神经网络的一个或多个模式，所以模式还描述数据的结构，诸如到神经网络中的输入数据、神经网络的节点之间的数据以及神经网络的输出数据。这样，教学编程语言Inkling^TM被配置为使得作者能够定义描述要通过包括一个或多个概念节点和一个或多个流节点的心智模型进行流式传输的一个或多个数据类型的模式。

数据类型是数据操纵的最基本构建块。数据类型提供与对应数据的含义、数据的可能值、可以对数据执行的操作以及可以存储数据的方式相关的信息。Inkling^TM中支持的数据类型包括但不限于原始数据类型，其包括从字符串(例如，String)、整数(例如，Int8、Int16、Int32、Int64、Ulnt8、Ulnt16、Ulnt32、Ulnt64)、浮点数(例如，Double、Float64、Float32)和布尔(例如，Bool)中选择的数据类型；结构化数据类型(例如，用于机器学习的结构化数据类型)；具有限制约束数据类型的数据的范围表达式的约束数据类型，包括用范围表达式约束的原始数据类型；本机数据类型，诸如用于处理媒体格式(例如，图像、音频、视频等)的数据类型；及其组合。对于本机数据类型，来自例如诸如图像、音频和视频等媒体格式的元数据可以用于指导神经网络的训练并且改进神经网络的学习。

模式表示为记录，并且可以包括一组一个或多个字段，每个字段可以具有可以用于数据操纵的名称和数据类型。表示为命名记录的模式是命名模式，而表示为未命名记录的模式是匿名模式。例如，在记录中包括一组一个或多个字段声明的模式(其中模式名称将以其他方式出现)可以是匿名模式。例如，以下Inkling^TM代码块声明了在上面的示例中使用的模式，即“GameState”、“PlayerMove”和“BreakoutConfig(投变化球配置)”：

关于前述Inkling^TM代码块，模式“GameState”被配置为表示输入，诸如来自投变化球模拟器的投变化球屏幕的灰度图像。“Luminance(亮度)”命名在机器学习中使用的结构化数据类型，它声明了输入是投变化球屏幕的灰度图像，其中数据的值在0(黑色)到1(白色)之间浮动。模式“PlayerMove”被配置为表示输出，诸如可用于投变化球球拍的移动。“String”命名原始数据类型，它声明了输出要向左移动，不移动或向右移动。同样，模式“BreakoutConfig”被配置为表示关于进行投变化球的不同配置或方面的数据，包括级别、球拍宽度和屏幕上的未命中百分比。“Ulnt32”使用无符号的32位整数为级别命名原始数据类型；“Uint8”使用无符号的8位整数为球拍宽度命名基本数据类型；并且“Float32”使用32位浮点数为屏幕上的未投中百分比命名原始数据类型。

Inkling^TM编译器可以被配置为检查(例如，静态检查)以验证Inkling^TM文件中的模式在其使用的上下文中是有效的。但是，编译器不会强制模式，流式守护程序强制模式。当在Inkling^TM文件上执行编译器时，如果预期匹配的模式不匹配，则编译器可以匹配检查模式并且报告一个或多个错误。匹配检查是结构性的，而不是基于名称的。字段名称无关紧要。例如，匹配检查是结构性的，因为如果具有不同模式名称的一对模式以相同的顺序定义相同的字段类型列表，则这对模式可以匹配。对于具有大小的结构化数据类型，大小必须相等。此外，通过名称对同一模式的两个引用匹配，因为模式与自身匹配。如果两个匿名模式以相同的顺序定义相同的字段类型，则两个匿名模式匹配。另外，如果通过名称引用的模式与匿名模式以相同的顺序定义相同的字段类型，则通过名称引用的模式与匿名模式匹配。

块

Inkling^TM中的块是重用单元。块是Inkling^TM作者可以使用和重用的一个或多个模式、一个或多个概念节点、一个或多个流节点或其组合的集合；但是，块不包括任何课程。作者不需要知道块的内部。块可以包括单个输入和单个输出，针对输入和输出使用保留名称。块可以使用导入语句来访问块外部的概念和流。

块封装心智模型的一部分。Inkling^TM文件中的每个块可以包括一个或多个块封装的概念节点、一个或多个块封装的流节点、以及一个或多个块封装的模式，而没有用于训练神经网络的任何课程。Inkling^TM文件中的每个块可以被配置为从心智模型的一个或多个概念节点或一个或多个流节点中的任何一个或多个节点接受输入，以及向心智模型的一个或多个概念节点或一个或多个流节点中的任何其他节点提供输出。

参考以下内容可以更好地理解本文中提供的AI系统和方法的其他特征：

基础原语

本文中提供的AI系统和方法通过提供可以用于表示AI而不指定如何创建AI的一组基础原语来实现面向教导的方法。这些基础原语是1)概念和心智模型，2)课程和功课，以及3)训练数据源，如本文中进一步详细描述的。概念和心智模型以及课程和功课可以用教学编程语言Inkling^TM表达。

AI引擎

AI系统500使得开发者能够更高效地构建、教导和使用智能模型。

AI引擎描述了问题以及如何教导涵盖要解决的问题的各方面的概念，并且AI引擎将编码的描述编译成机器可以更多容易理解的较低级别的结构化数据对象，构建涵盖要解决的问题的各方面的主要问题概念和子概念的网络拓扑，训练子概念和主要概念的编码实例，并且执行包含一个、两个或更多个神经网络的经训练的AI模型。

AI引擎可以抽象并且自动化AI的低级别机制，并且AI引擎可以管理和自动化使用AI进行工作的大部分低级复杂性。所开发的每个Inkling^TM程序可以被馈送到AI引擎中以便生成和训练适当的智能模型，其在本文中可以被称为基本循环人工智能网络(“BRAIN”)。从本质上讲，BRAIN可以是包括潜在循环网络的智能处理节点的拓扑或基本网络，因此首字母缩写是“BRAIN”。

AI引擎可以抽象神经网络拓扑的生成，以用于课程和功课的最佳解决方案和更快的训练时间，以经由构成神经网络的每个节点上的递归模拟和训练项目来教导神经网络。

AI引擎可以包含用于各种AI模型的大量机器学习算法，具有用于选择学习算法和指导训练的逻辑，管理数据流和数据存储，并且提供硬件资源的有效分配。AI引擎可以使用通过系统有效地支持流式传输数据的基础设施来构建，并且AI引擎可以使用一组启发法来选择使用哪些学习算法来训练每个BRAIN。这组启发法还使得AI引擎能够从任意数目的可能算法、拓扑等中进行选择，并行训练多个BRAIN，并且选择最佳结果。

AI引擎可以是被配置为管理训练AI网络固有的复杂性的云托管的平台即服务。因此，可以使用一个或多个客户端接口访问AI引擎，以允许第三方提交以教学编程语言的对问题的描述，并且使得在线AI引擎能够为一个或多个第三方构建和生成经训练的智能模型。

主要的AI系统组件

图5提供了示出根据一些实施例的包括AI引擎的AI系统500的示意图。

BRAIN服务器的任何给定实现的细节可能显著变化，但很多具有共同的架构组件，诸如以下六个组件：1)架构师模块、2)讲师模块、3)学习者模块、4)超学习者模块、5)编译器、以及6)用于将通信交换进出AI引擎的一个或多个接口。

接下来是图2A和3A的AI系统200，AI系统500包括在一个或多个客户端系统上的编码器212以及在一个或多个服务器系统上的以下各项：编译器222；AI生成器模块，其包括讲师模块324、架构师模块326和学习者模块328、超学习者模块325和预测器模块329。除了上述之外，AI系统500还可以包括被配置为加载训练数据的训练数据加载器521、训练数据数据库514a、模拟器514b和流式传输数据服务器523。训练数据可以是批量训练数据、流式传输训练数据或其组合，并且训练数据管理器可以被配置为从选自模拟器、训练数据生成器、训练数据数据库或其组合的一个或多个训练数据源推送或拉取训练数据。在至少一个实施例中，批量数据源可以从数据库提供批量数据。随机数据生成器可以基于用户输入参数生成随机数据。此外，除了前述之外，图5示出了被配置为提出诸如神经网络布局102等神经网络布局的架构师模块326，和被配置为保存诸如经训练的神经网络106等神经网络的训练状态的学习者模块328。

架构师模块

架构师模块是负责基于心智模型提出和优化学习拓扑(例如，神经网络)的系统的组件。

神经网络可以基于松散地对生物大脑使用轴突连接的大量生物神经元解决问题的方式进行建模的大量神经单元。每个神经单元与很多其他神经单元连接，并且链接可以强制或抑制它们对连接的神经单元的激活状态的影响。每个单独的神经单元可以具有例如将其所有输入的值组合在一起的求和函数。在每个连接和单元本身上可能存在阈值函数或限制函数，使得它必须超过它才能传播到其他神经元。这些系统是自学习和训练的而不是明确编程的，并且在传统计算机程序中难以表达解决方案或特征检测的领域中表现优异。

神经网络可以由多个层或立方体设计组成，并且信号路径可以从前向后穿过。神经网络的目标是以与人类大脑相同的方式解决问题，尽管几个神经网络更抽象。现代神经网络项目通常使用几千到几百万个神经单元和数百万个连接进行工作。

架构师模块可以采用编码的心智模型和教学法，并且提出架构师模块认为最能够在模型中学习概念的一组候选低级学习算法、主要概念和子概念的拓扑以及其配置。这类似于数据科学家在工具包方法中所做的工作、或者搜索系统在使用统计数据分析工具的方法中自动化的工作。这里，它由教学编程而不是广泛的搜索进行指导。架构师模块可以采用各种技术来标识这样的模型。架构师模块可以生成节点的有向图或高级心智模型的低级实例。架构师模块可以将要解决的问题分解为更小的任务/概念，所有这些任务/概念都作为试图要解决的更复杂的主要问题的因素。架构师模块可以实例化主要概念和馈送到主概念中的子概念层。架构师模块可以生成每个概念，每个概念包括子概念，子概念具有存储输出动作/决策的抽头(tap)以及该节点实现该结果输出的原因(例如，哪些参数主导决策和/或导致节点实现结果输出的其他因素)。结果输出的这种存储的输出和节点实现该结果输出的原因可以存储在经训练的智能模型中。在每个实例化节点中创建的抽头允许智能模型中每个步骤关于经训练的智能模型如何为一组数据输入产生其结果输出的可解释性。架构师模块可以引用要使用的算法数据库以及要使用的网络拓扑数据库。架构师模块可以引用最佳建议拓扑布置的表或数据库，包括有多少针对给定问题的拓扑图中的级别的层(如果可用)。架构师模块还具有用于引用通过比较签名而解决的类似问题的逻辑。如果签名足够接近，则架构师模块可以尝试用于最佳地解决具有类似签名的存档数据库中存储的问题的拓扑。架构师模块还可以并行实例化所有要测试和模拟的多个拓扑布置以查看哪个拓扑具有最佳结果。最佳结果可以基于诸如性能时间、准确度、完成训练模拟所需要的计算资源等因素。

在一些实施例中，例如，架构师模块可以被配置为提出多个神经网络，并且针对多个神经网络中的每个，从一个或多个数据库中的多个机器学习算法启发式地选择适当的学习算法。讲师模块和学习者模块可以被配置为并行地训练多个神经网络。可以利用来自一个或多个训练数据源的训练数据在一个或多个训练周期中训练多个神经网络。AI引擎或其预测器模块可随后以基于由多个神经网络在一个或多个训练周期中学习的概念来实例化多个经训练的神经网络，并且AI引擎可以在多个经训练的神经网络中标识最佳训练的神经网络(例如，通过基于诸如性能时间、准确度等因素的最佳结果)。

用户可以通过设置特定节点的依赖性来帮助构建节点的拓扑。架构师模块可以为在不同的两步过程中解决问题所需要的所有概念生成和实例化神经网络拓扑。架构师模块可以生成网络概念的描述。架构师模块还可以采用描述并且实例化一个或多个拓扑形状、层或其他图形布置以解决问题描述。架构师模块可以基于以下因素来选择要使用的拓扑算法：诸如当前问题的输出类型是1)估计输出还是2)离散输出，以及其他参数中的因素，诸如完成算法的性能时间、准确度、完成训练模拟所需要的计算资源、原创性、属性量等。

讲师模块

讲师模块是负责执行用教学编程语言Inkling^TM编码的训练计划的系统的部件。训练可以包括教导神经网络以获取一个或多个结果，例如，在模拟器上。训练可以涉及使用可以在Inkling^TM文件中进行描述的一组特定的概念、课程和功课。与更复杂的任务相比，讲师模块可以更早地训练更容易理解的任务。因此，讲师模块可以训练子概念节点，并且然后训练更高级别的节点。在训练其他节点之后，讲师模块可以训练依赖于其他节点的子概念节点。但是，可以并行训练图中的多个节点。讲师模块可以使用输入数据在节点上运行模拟，输入数据包括来自学习者模块的正在训练的节点的结果的统计和反馈。学习者模块和讲师模块可以与模拟器或其他数据源一起工作以使用不同数据输入迭代地训练节点。讲师模块可以通过将数据并行地流向拓扑图中的一个或多个节点的不同方式来引用如何有效地训练节点的知识库，或者，如果存在依赖性，则讲师模块可以使用只有在满足早期依赖性之后才会发生的功课的某些部分连续地训练。讲师模块可以引用拓扑图中的依赖性，其中依赖性可以来自指定依赖性和/或拓扑中的节点的布置如何被实例化的用户。讲师模块可以在计算资源和依赖性检查允许并行训练的同时，向多个节点并行地提供来自诸如模拟器等数据源的数据流。

学习者模块

学习者模块是被配置为执行低级基础AI算法的实际执行的系统的组件。在训练模式中，学习者模块可以实例化符合架构师模块提出的内容的系统，与讲师模块的接口以执行计算和评估性能，并且然后执行学习算法本身。在执行模式中，学习者模块可以实例化并且执行已经训练的系统的实例。最后，学习者模块为每个经训练的子节点写出网络状态，并且然后将主节点的拓扑图与所有子节点的组合写入本文中称为BRAIN的经训练的智能模型。学习者模块还可以写入每个节点的存储输出以及该节点实现到BRAIN的输出的原因，这可以解释AI如何以及为何提出解决方案或实现结果。

超学习者模块

超学习者模块可以执行当前问题与一个或多个数据库中的先前问题的比较。超学习者模块可以参考存档的先前构建和训练的智能模型，以帮助指导讲师模块训练当前的节点模型。超学习者模块可以解析经训练的智能模型的存档数据库、已知的过去的类似问题和提出的解决方案、以及其他来源。超学习者模块可以比较类似于当前问题中所需要的解决方案的先前的解决方案，并且比较类似于当前问题的先前问题，以建议潜在的最佳神经网络拓扑以及训练功课和训练方法。

变换器

变换器可以执行不需要学习的流式传输数据变换。当作者创建BRAIN模型时，某些概念不需要学习，并且可以指定明确地指定如何计算它们的代码。例如，如果作者想要使用移动平均的概念，而不是让系统学习如何计算移动平均，则作者可以明确地指定如何计算移动平均。这种变换采用Inkling^TM中的“流”语句的形式。变换器可以在需要时执行这种变换的实际执行。

预测器模块

在训练算法之后，经训练的神经网络可以以“预测模式”被托管。预测模式可以保持神经网络以用作HTTP API端点。然后，程序员可以将输入数据发送到预测器模块并且返回预测。

编译器

编译器模块自动转换和编译描述问题(主要概念)和作为问题的因素的子概念的教学编程语言。在教学编程语言中叙述的每个语句可以被编译到结构化数据对象的定义字段中，该字段随后可以由架构师模块生成并且实例化到其自己的子概念节点中。每个节点可以具有一个或多个神经网络用于处理输入数据和结果输出决策/动作的一个或多个输入。馈送到AI编译器中的经编译的语句、命令和其他编码可以被变换为较低级别的AI规范。

客户端服务器接口

本文中提供的AI系统可以包括至少选自命令行接口、图形接口、基于web的接口或其组合的一个或多个客户端服务器接口。每个客户端服务器接口包括被配置为彼此协作或通信使得客户端上的用户可以与包括AI引擎的服务器在线工作的客户端侧客户端服务器接口和服务器侧客户端服务器接口。这样，一个或多个服务器侧客户端服务器接口被配置为分别与一个或多个客户端侧客户端服务器接口协作，反之亦然。在客户端服务器接口、即基于web的接口的第一示例中，客户端侧的基于web的接口(例如，在文本或图形用户环境中使用的基于web浏览器的应用)被配置为与服务器侧的基于web的接口协作。在客户端服务器接口、即命令行接口的第二示例中，客户端侧命令行接口(例如，在诸如Bash或cmd.exe等命令行解释器中使用的基于命令行的应用)被配置为与服务器侧命令行接口协作。

图形接口

图形接口可以包括通过例如浏览器的基于web的接口，并且图形接口可以包括通过例如除了web浏览器之外的诸如集成开发环境的本地客户端应用访问的非基于web的接口。例如，图形接口可以被配置为请求用于创建新BRAIN的信息，诸如新BRAIN的名称、新BRAIN的描述、以及用于存储新BRAIN要执行的代码的链接。

关于基于web的接口，图形接口可以包括浏览器中的打开标签或其一部分、浏览器的弹出窗口、浏览器的弹下窗口、浏览器的插件元素或被配置为请求和接受输入的任何其他浏览器元素。基于web的接口可以包括被配置为访问网站以配置和分析存储在AI引擎中的BRAIN的基于浏览器的工具。网站可以用于共享、协作和学习。可以从网站访问的一些信息是BRAIN的训练进度的可视化。

关于非基于web的接口，图形接口同样可以表示打开标签或其一部分、弹出窗口、弹下窗口、插件元素或被配置为请求和接受诸如对话框等输入的任何其他元素，其中图形接口是除了web浏览器之外的本机客户端应用。

命令行接口(“CLI”)

命令行接口可以包括在诸如Bash或cmd.exe等命令行解释器中使用的基于命令行的程序。替代地，命令行接口可以包括通过例如浏览器或其任何浏览器元素的基于web的接口，浏览器可以是文本的或图形的。命令行接口可以被配置为通过用于创建新BRAIN的提示(诸如新BRAIN的名称)来请求信息。

CLI可以被配置为使得用户能够配置AI引擎。CLI对于自动化和到其他工具的连接(例如，经由管道)特别有用。可以使用CLI执行的一些动作包括启动和命名BRAIN，加载Inkling^TM文件，训练BRAIN以及将BRAIN连接到模拟器。

模拟器

如果课程使用模拟或程序生成进行训练，则功课的数据不是要传递给学习系统的数据，而是要传递给模拟器的数据。否则，然后可以在传递到学习系统之前在功课中可选地过滤/扩充数据。模拟器可以使用该数据来配置自身，并且模拟器随后可以为学习系统产生用于训练的数据。这种分离允许适当地分离关注点。模拟器是指令的方法，并且功课提供调节该指令的方法的方式，这使得它取决于学习系统所展示的当前掌握级别而更难或更简单。模拟可以在客户端计算机上运行，并且将数据流式传输到AI引擎用于训练。在这样的实施例中，客户端机器需要在BRAIN正在训练时保持连接到AI引擎。但是，如果客户端计算机与AI引擎的服务器断开连接，则它可以在它重新连接时自动选择它中断的地方。

注意，1)模拟和程序生成在各种情况下相对于数据是一个很好的选择；并且2)当相对于计算可以更轻松地教导时，概念相对于流是一个很好的选择。

模拟器可以重用来教导多个概念。

操作模式

BRAIN服务器至少具有三种操作模式：创作/调试、训练和执行(或预测)。在实践中，所有三种操作模式可以同时运行，并且大多数BRAIN服务器的实现是高可用性多租户分布式系统。话虽如此，每个个人用户通常一次以一种操作模式进行工作。

创作/调试模式

当处于创作/调试操作模式时，可以调节BRAIN服务器以帮助用户迭代地开发心智模型和教学法。例如，在创作/调试模式中，用户可以在BRAIN模型中的节点上设置断点，并且当遇到断点时，用户可以检查通向该节点的流处理链。即使给定节点可以表示神经网络或其他复杂的AI学习系统，由于进行训练的方式，系统可以从高维张量表示编码和解码成与概念相关联的输出类型。这并不表示高维表示必然在节点之间折叠，只是为所有节点学习解码器。除了这种直接的模型检测功能外，作者还可以类似地调试课程。例如，可以在特定功课上设置观察条件，并且将实际训练性能和适应的学习执行计划与规范的编码的功课排序进行比较。高级用户可以自己检查底层学习算法，并且调试工具可以根据意图帮助可视化在不理解的概念中实际学到的内容。

由于很多开发者可能同时处理给定的BRAIN模型，因此创作模式还处理正在开发、训练和单独部署的表示。

训练模式

当处于训练操作模式时，讲师模块和学习者模块被配置为i)实例化符合架构师模块提出的神经网络的神经网络，以及ii)训练神经网络。为了实现上述目的，BRAIN服务器可以采用编译的Inkling^TM代码并且生成BRAIN学习拓扑，并且继续按照课程教导指定的概念。取决于模型，训练可能会花费大量时间。因此，BRAIN服务器可以提供有关训练状态的交互式上下文。例如，BRAIN服务器可以示出正在积极训练哪些节点，关于每个节点对其相关联的概念的掌握的当前信念、总体和细粒度的准确度和性能、当前的训练执行计划以及完成时间的估计。这样，在一些实施例中，AI引擎可以被配置为提供选自以下各项的关于训练神经网络的一个或多个训练状态更新：i)针对神经网络完成的训练计划的比例的估计，ii)用于完成训练计划的完成时间的估计，iii)神经网络正在积极训练的一个或多个概念，iv)神经网络在学习一个或多个概念时的掌握，v)神经网络在学习一个或多个概念时的细粒度的准确度和性能，以及vi)神经网络在学习一个或多个心智模型时的整体准确度和表现。

由于构建教学编程的过程是迭代的，因此训练模式下的BRAIN服务器也可以提供增量训练。也就是说，如果Inkling^TM代码相对于在已经训练的其他概念之后的概念而改变，则这些先行概念不需要重新训练。

此外，在训练模式中，如果程序本身允许无限期训练，则用户能够指定什么构成令人满意的训练。

当开始训练操作时，讲师模块可以首先生成执行计划。这是讲师模块在教导概念时打算使用的顺序，并且对于每个概念，讲师模块打算以什么顺序教导的功课。在执行计划执行时，讲师模块可以在概念与功课之间来回跳转以优化学习速率。通过不需要在开始训练依赖概念之前完全训练每个概念，系统自然可以避免某些系统性机器学习问题，诸如过度拟合。用于确定何时在功课和训练概念之间切换的主要技术是强化学习和自适应学习。例如，对于确定美国破产申请数量的第一主要问题，可以在关于如何确定加利福尼亚州的破产申请的第一功课中训练第一子节点。第二功课可以训练第一个子节点如何确定加利福尼亚州和约克的破产申请。节点上的连续功课可以构建和增加节点在训练功课期间训练的早期功课。

执行模式

当处于操作的执行模式或预测模式时，预测器A1模块可以被配置为i)在训练数据上实例化并且执行经训练的神经网络，用于预测模式中的一个或多个预测。为了实现上述目标，BRAIN服务器可以采用经训练的BRAIN模型，启用API端点，使得可以将数据流入和流出模型，并且然后针对性能优化其分布。由于学习和指定的数据变换本质上可以是功能性的，因此变换可以自动并行化并且分发给可以加速其执行的硬件。例如，文本处理可以分发给具有大量CPU资源的机器集群，而利用深度学习的节点可以类似地分发给具有大量GPU资源的机器集群。

执行BRAIN模型的运营管理也可以在这种模式下进行。这包括通过操作仪表板来监测数据提取率、执行性能(在速度和准确度方面)、日志、事件订阅等。

参考以下内容可以更好地理解本文中提供的用于创作/调试、训练和执行(或预测)的AI系统和方法的其他特征：

算法选择

BRAIN服务器可以采取的第一步是选择适当的学习算法来训练心智模型。这是训练AI的一个显著步骤，并且如果没有专家指导，则这是一个没有AI专业知识的人无法完成的步骤。BRAIN服务器可以具有很多可用的学习算法的知识、以及用于选择适当算法的一组启发法，包括用于训练的初始配置。

例如，如果BRAIN服务器选择深度Q学习来训练心智模型，它还会选择适当的拓扑、超参数和突触的初始权重值。以编程方式使用启发法的好处是，BRAIN服务器不限于单一选择；它可以选择任何数目的可能算法、拓扑等，并行训练多个BRAINS，并且选择最佳结果。

选择适当算法等的过程由已经由AI引擎训练(并且将继续训练)的BRAIN执行，这表示BRAIN在每次构建新的BRAIN时都会更好地构建BRAIN。诸如BRAIN等经训练的AI引擎神经网络由此提供使得AI能够从汇编代码提出神经网络并且从一个或多个数据库中的多个机器学习算法中选择适当的学习算法用于训练神经网络。AI引擎可以被配置为持续训练经训练的AI引擎神经网络以提供使得AI能够提出神经网络并且选择适当的学习算法，从而更好地构建BRAIN。

架构师模块还可以在拓扑和算法选择中使用启发法、心智模型签名、统计分布推理和元学习：

首先，架构师模块可以被配置为从一个或多个数据库中的多个机器学习算法中启发式地选择适当的学习算法用于训练由架构师模块提出的神经网络。关于心智模型的很多启发法可以用于通知可以使用哪些类型的AI和机器学习算法。例如，使用的数据类型具有很大的影响。因此，除了基本数据类型之外，Inkling^TM语言还包含丰富的本机数据类型。例如，如果架构师模块看到正在使用图像，则卷积深度学习神经网络架构可能是合适的。如果架构师模块看到本质上是时间的数据(例如，音频数据、序列数据等)，则如长短期存储器(“LSTM”)网络等递归深度学习神经网络架构可能更合适。启发法的集合可以由数据科学和机器学习/AI专家生成，他们在架构师模块代码库上工作，并且试图捕获他们自己在实践中使用的启发法。

系统还可以计算心智模型的签名。这些签名是散列的形式，使得具有类似机器学习算法特征的心智模型具有类似的签名。然后，这些签名可以与启发法和元学习结合使用。

除了在心智模型处查看之外，架构师模块还可以考虑在Inkling^TM代码中提供的教学法。例如，它可以查看正在使用的任何数据集的统计分布；并且，在模拟器的情况下，它可以要求模拟器生成大量数据，以便确定将在训练期间使用的数据的统计数据。这些分布属性可以进一步告知所使用的启发法。

元学习是架构师模块使用的高级技术。顾名思义，它是学习关于的学习。这表示，由于架构师模块可以生成用于训练的候选算法选择和拓扑，它可以记录这个数据以及模型的签名和最终的系统性能。然后，该数据集可以在其自己的学习系统中使用。因此，通过提出、探索和优化学习模型，架构师模块可以观察哪些有效以及哪些无效，并且使用它来了解它在看到类似签名时应当尝试的模型。

为了实现元学习，AI引擎可以包括被配置为将诸如元学习记录等记录保存在一个或多个数据库中的元学习模块。记录可以包括：i)由AI引擎处理的源代码，ii)源代码和/或其签名的心智模型，iii)用于训练神经网络的训练数据，iv)经训练的神经网络，v)经训练的神经网络训练到足够精确度级别的速度有多快，以及vi)经训练的神经网络在训练数据上进行预测的准确度。

对于高级用户，可以完全或部分明确指定学习拓扑的低级细节。架构师模块可以将任何这样的参数固定视为其默认行为的覆盖。以这种方式，可以提供特定算法，或者可以固定生成的模型以用于手动细化。

指导训练

一旦选择了算法，BRAIN服务器可以经由课程及其功课继续训练BRAIN的心智模型。BRAIN服务器可以管理数据流、数据存储、硬件资源的有效分配、选择何时训练每个概念、根据心智模型中的相关性来训练概念的多少(例如，处理过度拟合和欠拟合的问题)并且通常负责基于给定的心智模型和课程生成经训练的BRAIN。因此，AI引擎被配置为做出关于以下的确定：i)何时在一个或多个概念中的每个概念上训练神经网络，以及ii)如何广泛地在一个或多个概念中的每个概念上训练神经网络。这样的确定可以基于基于训练数据的经训练的神经网络的一个或多个预测中的一个或多个概念中的每个概念的相关性。

与选择合适的学习算法的情况一样，指导训练、特别是避免过度拟合和欠拟合以产生准确的AI解决方案是一项需要训练AI的知识和经验的任务，并且BRAIN服务器可以具有一组编码的启发法来以很少或根本没有用户参来与管理这个操作。类似地，指导训练的过程也是经过训练的BRAIN，它只会通过它训练的每个BRAIN而变得更聪明。

AI引擎还可以确定何时训练每个概念，基于其相关性训练每个概念多少，并且最终产生经训练的BRAIN。此外，AI引擎可以利用元学习。在元学习中，AI引擎保持它所看到的每个程序、它用于训练的数据以及它做出的所生成的AI的记录。它还记录这些AI的训练速度以及它们的准确度。AI引擎服务器了解该数据集。

面向流的数据流处理

BRAIN服务器可以在后台对数据流进行操作，并且因此可以被认为是数据流处理系统。数据可以通过传统程序流式传输到BRAIN服务器，数据可以流经BRAIN模型中的节点(包括循环流)，并且经处理的输出可以在立即或异步的基于事件的模型中可用于呼叫者。除非用户在其Inkling^TM程序中明确创建持久数据存储，否则流经系统的所有数据都可能是短暂的。从本质上讲，BRAIN可以是包括潜在的循环网络的智能处理节点的基本网络，因此首字母缩写为“BRAIN”。

学习后端

学习后端编码使用特定AI或机器学习算法进行工作所需要的底层细节。BRAIN服务器可以提供很多后端，诸如用于深度学习的后端。但是，如果需要，学习算法作者可以提供自己的后端。通过以这种方式构建BRAIN服务器，Inkling^TM代码包括来自特定方法的另一级抽象。如果创建性能优于现有算法的新学习算法，则需要添加的仅是新的后端。然后，架构师模块可以立即开始使用后端来构建系统，并且可以在不进行修改的情况下重新编译现有的Inkling^TM程序以利用改进的算法。

学习后端使用在Inkling^TM中提出的模式将大矩阵转换为可用值。

在线学习

除了迁移学习状态的功能之外，BRAIN服务器的某些实现还提供了启用在线学习的功能。由于在线学习可以在运行时期间经由状态变化打破节点的纯功能特性，所以系统被配置为提供的另一策略是使用数据守护进程持续训练在线学习的数据，以设定的间隔逐步训练网络，并且然后重新分配更新的网络作为整个BRAIN服务器的功能块。学习状态的迁移

当系统经历了实质性训练以达到学习状态，并且对底层心智模型的随后改变可能需要重新训练时，可能需要迁移学习状态而不是从头开始训练。BRAIN服务器可以被配置为提供转换功能，使得先前学习的高维表示可以迁移到适当的新的高维表示。这可以在神经网络中实现，例如，通过扩展输入层的宽度以考虑到与下游层的零权重连接的改变。然后，系统可以人为地减少来自要修剪的输入的连接的权重，直到它们达到零并且然后可以被完全修剪。

部署和使用

一旦对BRAIN进行了充分的训练，就可以对其进行部署，使得其可以用于生产应用。使用部署的BRAIN的接口很简单：用户将数据(与训练过的BRAIN类型相同)提交给BRAIN服务器API，并且接收BRAIN对该数据的评估。

作为如何使用部署的BRAIN的实际示例，可以首先训练BRAIN以识别来自混合国家标准与技术研究院(“MNIST”)数据集的手写数字。可以创建包含手写数字的图像，可能直接通过基于触摸的接口，或者间接通过用写在其上的手写数字扫描一张纸。然后可以将图像下采样到28×28的分辨率并且转换为灰度，因为这是用于训练示例BRAIN的输入模式。当通过BRAIN服务器API提交给BRAIN服务器时，BRAIN可以将图像作为输入并且输出长度为10的一维数组(其中每个数组项表示由BRAIN判断的图像是与索引相对应的数字的概率)。该数组可以是从API返回给用户的值，用户可以根据需要使用该值。

尽管在一些实施例中呈现了用于构建BRAIN的线性方法，但是作者训练部署工作流不必被视为瀑布过程。如果用户决定需要进一步细化BRAIN，无论是通过使用现有数据的额外训练、使用新的补充数据的额外训练、还是使用心智模型的修改版本或用于训练的课程的额外训练，BRAIN服务器被配置为支持BRAIN的版本控制，使得用户可以保留(并且可能恢复)BRAIN的当前状态，同时细化BRAIN的训练状态，直到达到新的更令人满意的状态。

图6A提供了示出根据一些实施例的AI系统600A的示意图。

如图6A所示，诸如软件开发者等用户可以通过在线接口与AI系统600A对接；然而，用户不限于在线接口，并且在线接口不限于图6A所示的接口。考虑到这一点，图6A的AI系统600A可以使得用户能够通过域名系统(“DNS”)发出API和web请求，该请求可以可选地通过代理进行过滤以将API请求路由到API负载均衡器并且将web请求路由到网络负载均衡器。API负载均衡器可以被配置为在Docker网络或容器化平台中运行的多个BRAIN服务容器之间分配API请求，这些容器被配置为将一个或多个软件包装在包含代码、运行时、系统工具、系统库等所有内容的完整文件系统中。网络负载均衡器可以被配置为在Docker网络中运行的多个网络服务容器之间分发web请求。Docker网络或Docker BRAIN网络可以包括中央处理单元(“CPU”)节点和图形处理单元(“GPU”)节点，Docker网络的节点可以根据需要自动调节。CPU节点可以用于Docker网络上运行的大多数BRAIN服务容器，并且GPU节点可以用于计算密集度更高的组件，诸如TensorFlow和学习者模块。如图6A中进一步所示，BRAIN服务工程师可以通过被配置为保护Docker网络的虚拟私有云(“VPC”)网关和硬化堡垒主机与AI系统600A接口。可以在所有生产集群之间共享Elastisearch-Logstash-Kibana(“ELK”)堆栈集群，以进行专用监测和日志记录。

图6B提供了示出根据一些实施例的AI系统600B的示意图。

在AI系统600A之后，堡垒主机和一个或多个CPU节点可以在公共子网上，以通过因特网网关进行双向通信。一个或多个其他CPU节点以及GPU节点可以位于借助于其间的子网与公共子网通信耦合的私有子网上。公共子网上的一个或多个CPU节点可以由图2A、3A和5的编译器222以及图3A和5的架构师模块326使用。私有子网上的一个或多个其他CPU节点可以由图3A和5的讲师模块324使用，并且GPU节点可以由图3A和5的学习者模块328和预测器模块329使用。如图6B中进一步所示，私有子网可以被配置为通过网络地址转换(“NAT”)网关向因特网发送传出通信。

方法

在一些实施例中，被配置为使用教学编程语言进行工作的AI引擎的一个或多个方法包括使得作者能够使用教学编程语言来定义要由AI模型来学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或多个流节点、和输出；使得作者能够使用教学编程语言来定义用于分别在一个或多个概念节点上训练AI模型的一个或多个课程；执行编译器以从用教学编程语言编写的源代码生成汇编代码；并且执行包括架构师模块、讲师模块和学习者模块的一个或多个AI引擎模块以处理汇编代码。在执行架构师模块时，架构师模块可以被配置为从汇编代码提出具有一个或多个神经网络层的神经网络布局。在执行学习者模块时，学习者模块可以被配置为使用来自由架构师模块提出的神经网络布局的一个或多个神经网络层来构建AI模型。在执行讲师模块时，讲师模块可以被配置为使用一个或多个课程分别在一个或多个概念节点上训练由学习者模块构建的AI模型。

在这样的实施例中，在执行架构师模块时，架构师模块还可以被配置为在AI模型的一个或多个网络层上映射心智模型的一个或多个概念节点。在这样的实施例中，在执行讲师模块时，讲师模块还可以被配置为在一个或多个概念节点和对应的用于训练AI模型的一个或多个课程中找到起始点。

在这样的实施例中，在执行讲师模块时，讲师模块还可以被配置为在一个或多个训练周期中使用来自选自模拟器、训练数据生成器、训练数据数据库或其组合的一个或多个训练数据源的训练数据来训练AI模型。在这样的实施例中，在执行讲师模块时，讲师模块还可以被配置为在讲师模块确定的终止条件下终止神经网络训练。

在这样的实施例中，该方法还可以包括使得作者能够使用教学编程语言来定义模式，该模式描述要通过包括一个或多个概念节点和一个或多个流节点的心智模型进行流式传输的一个或多个数据类型。

在这样的实施例中，在执行编译器时，编译器还可以被配置为匹配检查模式，并且如果预期匹配的模式不匹配，则报告一个或多个错误，其中匹配检查是结构的，因为如果具有不同模式名称的任何一对模式以相同的顺序定义相同的字段类型列表，则这对模式匹配。

在这样的实施例中，该方法还可以包括使得作者能够使用教学编程语言按名称；预测类型；输出；以及包括前导输入提供概念节点和后续输出接受概念节点的心智模型中的一个或多个连接概念节点来定义一个或多个概念节点中的每个概念节点。预测类型可以包括选自分类器、预测器、估计器和目标的预测类型。此外，该方法可以使得作者能够定义心智模型的输入和输出。

在这样的实施例中，该方法还可以包括使得作者能够使用教学编程语言按名称；要训练的概念节点；训练数据源类型；训练数据源名称；要训练的概念节点的课程的一个或多个功课；以及包括要训练的概念节点的终止条件的目标来定义一个或多个课程中的每个课程。训练数据源类型可以包括选自模拟器、训练数据生成器和训练数据数据库的训练数据源类型。

在这样的实施例中，该方法还可以包括使得作者能够使用教学编程语言按名称；要跟随的前导功课；功课的数据配置；以及要训练的概念节点的课程定义目标的终止条件来定义一个或多个功课中的每个功课。

在这样的实施例中，该方法还可以包括使得作者能够使用教学编程语言来使用和重用心智模型中的一个或多个块。一个或多个块中的每个块可以包括一个或多个块封装的概念节点、一个或多个块封装的流节点、以及一个或多个块封装的模式，而没有用于训练AI模型的任何课程。一个或多个块中的每个块可以被配置为从心智模型的一个或多个概念节点或一个或多个流节点中的任何一个或多个接受输入，以及向心智模型的一个或多个概念节点或一个或多个流节点中的任何其他节点提供输出。

图7A提供了示出了根据一些实施例的诸如用于与AI系统一起使用教学编程语言的前述方法等方法700A的示意图。

如图所示，该方法包括第一步骤710A，包括使得作者能够使用教学编程语言来定义要由神经网络学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或多个流节点、和输出。该方法还可以包括第二步骤720A，包括使得作者能够定义用于分别在心智模型的一个或多个概念节点上训练神经网络的一个或多个课程。该方法还可以包括第三步骤730A，包括使得作者能够定义模式，该模式描述要通过心智模型进行流式传输的一个或多个数据类型。该方法还可以包括第四步骤740A，包括使得作者能够按名称；预测类型；输出；以及包括前导输入提供概念节点和后续输出接受概念节点的心智模型中的一个或多个连接概念节点来定义一个或多个概念节点中的每个概念节点。该方法还可以包括第五步骤750A，包括使得作者能够按名称；要训练的概念节点；训练数据源类型；训练数据源名称；要训练的概念节点的课程的一个或多个功课；以及包括要训练的概念节点的终止条件的目标来定义一个或多个课程中的每个课程。该方法还可以包括第六步骤760A，包括使得作者能够按名称；要跟随的前导功课；功课的数据配置；以及要训练的概念节点的目标的终止条件来定义一个或多个功课中的每个功课。该方法还可以包括第七步骤770A，包括使得作者能够使用AI引擎分别在一个或多个概念节点上使用一个或多个课程训练神经网络。

图7B提供了示出了根据一些实施例的诸如用于与AI系统一起使用教学编程语言的前述方法等方法700B的示意图。

如所示的，该方法包括第一步骤710B，包括使得作者能够使用教学编程语言来定义要由神经网络学习的心智模型，心智模型包括输入、一个或多个概念节点、一个或更多流节点、和输出。该方法还可以包括第二步骤720B，包括使得作者能够定义用于分别在心智模型的一个或多个概念节点上训练神经网络的一个或多个课程。该方法还可以包括第三步骤730B，包括使得作者能够定义模式，该模式描述要通过心智模型进行流式传输的一个或多个数据类型。该方法还可以包括第四步骤740B，包括使得作者能够使用和重用心智模型中的一个或多个块，其中一个或多个块中的每个包括一个或多个块封装的概念节点、一个或多个块封装流节点、以及一个或多个块封装的模式，而没有用于训练神经网络的任何课程。该方法还可以包括第五步骤750B，包括使得作者能够使用AI引擎分别在一个或多个概念节点上使用一个或多个课程训练神经网络。

网络

图8示出了根据一些实施例的在网络环境中彼此通信的多个电子系统和设备。网络环境800具有通信网络820。网络820可以包括选自光网络、蜂窝网络、因特网、局域网(“LAN”)、广域网(“WAN”)、卫星网络、光纤网络、有线网络及其组合的一个或多个网络。在一些实施例中，通信网络820是因特网。如图所示，可以存在经由通信网络820彼此连接的很多服务器计算系统和很多客户端计算系统。然而，应当理解，例如，单个客户端计算系统也可以连接到单个服务器计算系统。这样，图8示出了经由通信网络820彼此连接的服务器计算系统和客户端计算系统的任何组合。

通信网络820可以将至少选自第一服务器计算系统804A和第二服务器计算系统804B的一个或多个服务器计算系统彼此连接并且还连接到至少一个或多个客户端计算系统。例如，服务器计算系统804A和804B可以是图2A和3A的一个或多个服务器系统220。服务器计算系统804A和804B可以分别可选地包括有组织的数据结构，诸如数据库806A和806B。一个或多个服务器计算系统中的每个可以具有一个或多个虚拟服务器计算系统，并且多个虚拟服务器计算系统可以通过设计来实现。一个或多个服务器计算系统中的每个可以具有一个或多个防火墙以保护数据完整性。

至少一个或多个客户端计算系统可以选自第一移动计算设备802A(例如，具有基于Android的操作系统的智能电话)、第二移动计算设备802E(例如，具有基于iOS的操作系统的智能电话)、第一可穿戴电子设备802C(例如，智能手表)、第一便携式计算机802B(例如，膝上型计算机)、第三移动计算设备或第二便携式计算机802F(例如，具有基于Android或iOS的操作系统的平板计算机)、合并到第一智能自行车802D中的智能设备或系统、合并到第一智能自行车802G中的智能设备或系统、第一智能电视802H、第一虚拟现实或增强现实耳机804C等。例如，客户端计算系统802B可以是图2A和3A的一个或多个客户端系统210中的一个，并且任何一个或多个其他客户端计算系统(例如，802A、802C、802D、802E、802F、802G、802H和/或804C)可以包括例如软件应用或其中可以部署经训练的神经网络106的基于硬件的系统。一个或多个客户端计算系统中的每个可以具有一个或多个防火墙以保护数据完整性。

应当理解，术语“客户端计算系统”和“服务器计算系统”的使用旨在指示通常发起通信的系统和通常响应于通信的系统。例如，客户端计算系统通常可以发起通信，并且服务器计算系统通常响应于通信。除非明确说明，否则不暗示任何层级。这两个功能可以在单个通信系统或设备中，在这种情况下，客户端服务器和服务器客户端关系可以被视为是对等的。因此，如果第一便携式计算机802B(例如，客户端计算系统)和服务器计算系统804A都可以发起和响应于通信，则它们的通信可以被视为是对等的。另外，服务器计算系统804A和804B包括能够通过网络820彼此通信的电路和软件。

任何一个或多个服务器计算系统可以是云提供商。云提供商可以在云(例如，诸如因特网等网络820)中安装和操作应用软件，并且云用户可以从一个或多个客户端计算系统访问应用软件。通常，在云中具有基于云的站点的云用户不能单独管理运行应用软件的云基础架构或平台。因此，服务器计算系统及其组织的数据结构可以是共享资源，其中每个云用户被给予对共享资源的一定量的专用使用。每个云用户的基于云的站点可以在云中被给予一定量的虚拟的专用空间和带宽。云应用在其可伸缩性方面可以与其他应用不同，这可以通过在运行时将任务克隆到多个虚拟机以满足不断变化的工作需求来实现。负载平衡器在一组虚拟机上分配工作。这个过程对云用户是透明的，云用户只能看到单个接入点。

可以对基于云的远程访问进行编码以利用诸如超文本传输协议(“HTTP”)等协议来与客户端计算系统(诸如驻留在客户端计算系统上的web浏览器应用)上的应用进行请求和响应循环。可以通过智能手机、台式计算机、平板计算机或任何其他客户端计算系统随时和/或随地访问基于云的远程访问。基于云的远程访问被编码为参与1)来自所有基于web浏览器的应用的请求和响应周期，3)来自专用在线服务器的请求和响应周期，4)直接在驻留在客户端设备上的本机应用与对另一客户端计算系统的基于云的远程访问之间的请求和响应周期，以及5)这些的组合。

在一个实施例中，服务器计算系统804A可以包括服务器引擎、网页管理组件、内容管理组件和数据库管理组件。服务器引擎可以执行基本处理和操作系统级任务。网页管理组件可以处理与接收和提供数字内容和数字广告相关联的网页或屏幕的创建和显示或路由。用户(例如，云用户)可以借助于与其相关联的统一资源定位符(“URL”)访问一个或多个服务器计算系统。内容管理组件可以处理本文中描述的实施例中的大多数功能。数据库管理组件可以包括关于数据库的存储和检索任务、对数据库的查询和数据的存储。

在一些实施例中，服务器计算系统可以被配置为在窗口、网页等中显示信息。包括可执行的任何程序模块、应用、服务、进程和其他类似软件的应用在例如服务器计算系统804A上执行时可以引起服务器计算系统804A在显示屏空间的一部分中显示窗口和用户接口屏幕。关于网页，例如，用户经由客户端计算系统802B上的浏览器可以与网页交互，并且然后向用户接口屏幕呈现的查询/字段和/或服务提供输入。网页可以由网络服务器(例如，服务器计算系统804A)在任何超文本标记语言(“HTML”)或无线访问协议(“WAP”)启用的客户端计算系统(例如，客户端计算系统802B)或其任何等同物上提供。客户端计算系统802B可以托管浏览器和/或特定应用以与服务器计算系统804A交互。每个应用具有用于执行软件组件被编码为执行的功能的代码脚本，诸如呈现字段以获取期望信息的详细信息。例如，服务器计算系统804A内的算法、例程和引擎可以从呈现字段中获取信息并且将该信息放入适当的存储介质中，诸如数据库(例如，数据库806A)。比较向导可以编写脚本以引用数据库并且使用这样的数据。应用可以托管在例如服务器计算系统804A上，并且提供给例如客户端计算系统802B的特定应用或浏览器。然后，应用提供允许输入详细信息的窗口或页面。

计算系统

图9示出了根据一些实施例的计算系统900，其可以完全或部分地是一个或多个服务器或客户端计算设备的一部分。参考图9，计算系统900的组件可以包括但不限于具有一个或多个处理核的处理单元920、系统存储器930、和将包括系统存储器930的各种系统组件耦合到处理单元920的系统总线921。系统总线921可以是使用各种总线架构中的任何一种的选自存储器总线或存储器控制器、外围总线和本地总线的几种类型的总线结构中的任何一种。

计算系统900通常包括各种计算机器可读介质。计算机器可读介质可以是可以由计算系统900访问的任何可用介质，并且包括易失性和非易失性介质以及可移除和不移除动介质。作为示例而非限制，计算机器可读介质使用包括诸如计算机可读指令、数据结构、其他可执行软件或其他数据等信息的存储。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字通用盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或者可以用于存储期望的信息并且可以由计算设备900访问的任何其他有形介质。诸如无线信道等暂时性介质不包括在机器可读介质中。通信介质通常包含计算机可读指令、数据结构、其他可执行软件或其他传输机制，并且包括任何信息传递介质。作为示例，图8的网络820上的一些客户端计算系统可能没有光或磁存储装置。

系统存储器930包括诸如只读存储器(ROM)931和随机存取存储器(RAM)932等易失性和/或非易失性存储器形式的计算机存储介质。包含有助于例如在启动期间在计算系统900内的元件之间传送信息的基本例程的基本输入/输出系统933(BIOS)通常存储在ROM931中。RAM 932通常包含可立即访问和/或当前由处理单元920操作的数据和/或软件。作为示例而非限制，图9示出了RAM 932可以包括操作系统934、应用程序935、其他可执行软件936和程序数据937的一部分。

计算系统900还可以包括其他可移除/不可移除的易失性/非易失性计算机存储介质。仅作为示例，图9示出了固态存储器941。可以在示例操作环境中使用的其他可移除/不可移除的易失性/非易失性计算机存储介质包括但不限于USB驱动器和设备、闪存卡、固态RAM、固态ROM等。固态存储器941通常通过诸如接口940等不可移除存储器接口连接到系统总线921，并且USB驱动器951通常通过诸如接口950等可移除存储器接口连接到系统总线921。

上面讨论并且在图9中示出的驱动器及其相关联的计算机存储介质为计算系统900提供计算机可读指令、数据结构、其他可执行软件和其他数据的存储。例如，在图9中，固态存储器941被示出为用于存储操作系统944、应用程序945、其他可执行软件946和程序数据947。注意，这些组件可以与操作系统934、应用程序935、其他可执行软件936和程序数据937相同或不同。操作系统944、应用程序945、其他可执行软件946和程序数据947在这里给出不同的数字，以说明它们至少是不同的副本。

用户可以通过诸如键盘、触摸屏或软件或硬件输入按钮962、麦克风963、指示设备和/或滚动输入组件(诸如鼠标、轨迹球或触摸板)等输入设备向计算系统900中输入命令和信息。麦克风963可以与语音识别软件协作。这些和其他输入设备通常通过耦合到系统总线921的用户输入接口960连接到处理单元920，但是可以通过其他接口和总线结构连接，诸如并行端口、游戏端口或通用串行总线(USB)。显示监视器991或其他类型的显示屏设备也经由诸如显示器接口990等接口连接到系统总线921。除了监视器991之外，计算设备还可以包括可以通过输出外围接口995连接的其他外围输出设备，诸如扬声器997、振动器999和其他输出设备。

计算系统900可以使用到一个或多个远程计算机/客户端设备(诸如远程计算系统980)的逻辑连接在网络环境中操作。远程计算系统980可以是个人计算机、手持设备、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上面相对于计算系统900描述的很多或所有元件。图9中描绘的逻辑连接可以包括个域网(“PAN”)972(例如，)、局域网(“LAN”)971(例如，Wi-Fi)和广域网(“WAN”)973(例如，蜂窝网络)，但也可以包括其他网络。这种网络环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。浏览器应用可以驻留在计算设备上以及存储在存储器中。

当在LAN网络环境中使用时，计算系统900通过网络接口或适配器970连接到LAN971，网络接口或适配器970可以是例如或Wi-Fi适配器。当在WAN网络环境(例如，因特网)中使用时，计算系统900通常包括用于通过WAN 973建立通信的一些装置。关于移动电信技术，例如，可以是内部或外部的无线电接口可以经由网络接口970或其他适当的机制连接到系统总线921。在网络环境中，相对于计算系统900描述的其他软件或其部分可以存储在远程存储器存储设备中。作为示例而非限制，图9将远程应用程序985示出为驻留在远程计算设备980上。可以理解，所示出的网络连接是示例，并且可以使用在计算设备之间建立通信链路的其他手段。

如所讨论的，计算系统900可以包括处理器920、存储器(例如，ROM 931、RAM 932等)、为计算设备供电的内置电池、为电池充电的AC电源输入、显示屏、用于与连接到网络的远程计算设备进行无线通信的内置Wi-Fi电路。

应当注意，本设计可以在诸如关于图9描述的计算系统上执行。然而，本设计可以在服务器、专用于消息处理的计算设备、或分布式系统上执行，在分布式系统中，本设计的不同部分在分布式计算系统的不同部分上执行。

可以耦合到总线921的另一设备是诸如DC电源(例如，电池)或AC适配器电路等电源。如上所述，DC电源可以是需要定期再充电的电池、燃料电池或类似的DC电源。无线通信模块可以采用无线应用协议来建立无线通信信道。无线通信模块可以实现无线网络标准。

在一些实施例中，用于支持本文中讨论的算法的软件可以实施在非暂态机器可读介质上。机器可读介质包括以机器(例如，计算机)可读的形式存储信息的任何机制。例如，非暂态机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；数字通用光盘(DVD)、EPROM、EEPROM、闪存、磁卡或光卡、或适于存储电子指令的任何类型的介质。

注意，本文中描述的应用包括但不限于作为操作系统应用的一部分的软件应用、移动应用和程序。本说明书的一些部分是在对计算机存储器内的数据位的操作的算法和符号表示方面来呈现的。这些算法描述和表示是数据处理领域的技术人员用来将他们工作的实质最有效地传达给本领域其他技术人员的手段。这里的算法通常被认为是导致期望结果的自相一致的步骤序列。这些步骤是需要物理操纵物理量的步骤。通常，尽管不是必须的，但是这些量采用能够被存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。有时，主要出于通用的原因，已经证明将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。这些算法可以用多种不同的软件编程语言来编写，诸如C、C+或其他类似语言。此外，算法可以用软件中的代码行、软件中配置的逻辑门或两者的组合来实现。在一个实施例中，逻辑包括遵循布尔逻辑规则的电子电路、包含指令模式的软件或两者的任何组合。

然而，应当记住，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非从上述讨论中明确说明，否则应当理解，在整个说明书中，利用诸如“处理”或“计算(computing)”或“计算(calculating)”或“确定”或“显示”等术语的讨论是指计算机系统或类似电子计算设备的动作和过程，这些动作和过程将在计算机系统的寄存器和存储器内表示为物理(电子)量的数据操纵和转换成类似地在计算机系统存储器或寄存器或者其他这样的信息存储、传输或显示设备内表示为物理量的其他数据。

可以通过软件仿真来复制由电子硬件组件执行的很多功能。因此，为实现那些相同功能而编写的软件程序可以对输入输出电路中的硬件组件的功能进行仿真。

虽然已经相当详细地提供了前述设计和其实施例，但是(多个)申请人的设计和实施例的意图并不是限制性的。附加的调节和/或修改是可能的，并且在更广泛的方面，还包括这些调节和/或修改。因此，在不脱离由所附权利要求提供的范围的情况下，可以偏离前述设计和实施例，上述范围仅在适当地解释时受权利要求限制。

Claims

1.一种被配置为使用教学编程语言进行工作的人工智能(“AI”)引擎，包括：

在存储器中的编译器，被配置用于由一个或多个处理器执行以从用所述教学编程语言编写的源代码生成汇编代码，

其中所述教学编程语言被配置为使得作者能够定义要由AI模型学习的心智模型，所述心智模型包括输入、一个或多个概念节点、和输出，以及

其中所述教学编程语言还被配置为使得作者能够定义用于分别在所述一个或多个概念节点上训练所述AI模型的一个或多个课程；以及

在所述存储器中的一个或多个AI引擎模块，包括架构师模块、讲师模块和学习者模块，

其中在由所述一个或多个处理器执行所述架构师模块时，所述架构师模块被配置为从所述汇编代码提出具有一个或多个神经网络层的神经网络布局，

其中在由所述一个或多个处理器执行所述学习者模块时，所述学习者模块被配置为使用来自由所述架构师模块提出的所述神经网络布局的所述一个或多个神经网络层来构建所述AI模型，

其中在由所述一个或多个处理器执行所述讲师模块时，所述讲师模块被配置为使用所述一个或多个课程分别在所述一个或多个概念节点上训练由所述学习者模块构建的所述AI模型，以及

其中利用所述教学编程语言通过就如何教导所述AI引擎找到问题的解决方案在脚本代码中表达所述解决方案来改进所述AI引擎的训练和功能，而不是使用针对需要直接计算所述AI模型的所述解决方案、并且针对其进行训练的低级别机制的另一种编程语言，这通过进行如何教导所述AI引擎找到所述解决方案的一系列特别关注的训练会话、而不是试图产生在一个会话中计算整个解决方案的算法的训练会话而节省了错误的训练周期。

2.根据权利要求1所述的AI引擎，

其中所述架构师模块还被配置为解析以所述教学编程语言的脚本代码，以便在所述AI模型的所述一个或多个网络层上映射所述心智模型的所述一个或多个概念节点，以及

其中所述讲师模块还被配置为分析以所述教学编程语言的所述脚本代码，以便在所述一个或多个概念节点和用于训练所述AI模型的对应的所述一个或多个课程中找到起始点。

3.根据权利要求1所述的AI引擎，

其中所述讲师模块还被配置为在一个或多个训练周期中，基于所述教学编程语言的训练参数，使用来自选自模拟器、训练数据生成器、训练数据数据库或其组合的一个或多个训练数据源的训练数据来训练所述AI模型，以及

其中所述讲师模块还被配置为在讲师模块确定的终止条件下终止神经网络训练。

4.根据权利要求1所述的AI引擎，

其中所述教学编程语言还被配置为使得作者能够定义描述要通过所述心智模型进行流式传输的一个或多个数据类型的模式，所述心智模型包括所述心智模型中的所述一个或多个概念节点和一个或多个流节点。

5.根据权利要求4所述的AI引擎，

其中所述编译器还被配置为匹配检查所述模式，并且如果预期匹配的所述模式不匹配，则报告一个或多个错误，以及

其中所述匹配检查是结构性的，因为如果具有不同模式名称的任何一对模式以相同的顺序定义相同的字段类型列表，则所述一对模式匹配。

6.根据权利要求4所述的AI引擎，

其中所述数据类型包括选自字符串、整数、浮点数和布尔值的原始数据类型；结构化数据类型；约束数据类型，具有限制所述约束数据类型的数据的范围表达式；及其组合。

7.根据权利要求1所述的AI引擎，

其中所述教学编程语言还被配置为使得作者能够按名称、预测类型、输出、以及包括前导输入提供概念节点和后续输出接受概念节点的所述心智模型中的一个或多个连接概念节点，来定义所述一个或多个概念节点中的每个概念节点。

8.根据权利要求1所述的AI引擎，

其中所述教学编程语言还被配置为使得作者能够按名称、要训练的所述概念节点、训练数据源类型、训练数据源名称、针对要训练的所述概念节点的所述课程的一个或多个功课、以及包括针对要训练的所述概念节点的终止条件的目标，来定义所述一个或多个课程中的每个课程。

9.根据权利要求8所述的AI引擎，

其中所述教学编程语言还被配置为使得作者能够按名称、要跟随的前导功课、针对所述功课的数据配置、以及针对要训练的所述概念节点的所述目标的所述终止条件，来定义所述一个或多个功课中的每个功课。

10.根据权利要求1所述的AI引擎，

其中所述教学编程语言还被配置为使得作者能够使用和重用所述心智模型中的一个或多个块，其中所述一个或多个块中的每个块包括一个或多个块封装的概念节点、可选的一个或多个块封装的流节点、以及一个或多个块封装的模式，而没有用于训练所述AI模型的任何课程，以及

其中所述一个或多个块中的每个块被配置为：

从所述心智模型的所述一个或多个概念节点或所述一个或多个流节点中的任何一个或多个节点接受输入，以及

向所述心智模型的所述一个或多个概念节点或所述一个或多个流节点中的任何其他节点提供输出。

11.一种被配置为使用教学编程语言进行工作的人工智能(“AI”)系统，包括：

a)一个或多个远程服务器，包括：

i)在服务器存储器中的编译器，被配置用于由一个或多个服务器处理器执行以从用所述教学编程语言编写的源代码生成汇编代码，

其中所述教学编程语言还被配置使得作者能够定义用于分别在所述一个或多个概念节点上训练所述AI模型的一个或多个课程；

ii)在第一存储器中的一个或多个AI引擎模块，包括架构师模块、讲师模块和学习者模块，

其中在由所述一个或多个处理器执行所述学习者模块时，所述学习者模块被配置为使用来自由所述架构师模块提出的所述神经网络布局的一个或多个神经网络层来构建所述AI模型，以及

其中在由所述一个或多个处理器执行所述讲师模块时，所述讲师模块被配置为使用所述一个或多个课程分别在所述一个或多个概念节点上训练由所述学习者模块构建的所述AI模型；以及

iii)一个或多个服务器侧客户端服务器接口，被配置为启用与所述AI引擎的客户端交互；以及

b)一个或多个本地客户端，包括：

i)在客户端存储器中的编码器，被配置用于由一个或多个客户端处理器执行以使得作者能够生成用所述教学编程语言编写的所述源代码；以及

ii)一个或多个客户端侧客户端服务器接口，被配置为在从提交用于训练所述AI模型的所述源代码以及基于训练数据针对一个或多个预测使用经训练的AI模型中选择的一个或两个客户端交互中，启用与所述AI引擎的所述客户端交互，

其中所述AI系统包括至少一个服务器侧训练数据源或至少一个客户端侧训练数据源。

12.一种非暂态机器可读介质，被配置为存储数据和指令，所述数据和指令在由计算设备上的一个或多个处理器执行时引起以下操作，包括：

使得作者能够使用教学编程语言来定义要由AI模型学习的心智模型，所述心智模型包括输入、一个或多个概念节点、和输出；

使得作者能够使用所述教学编程语言来定义用于分别在所述一个或多个概念节点上训练所述AI模型的一个或多个课程；

由一个或多个处理器执行存储器中的编译器，以从用所述教学编程语言编写的源代码生成汇编代码；以及

由所述一个或多个处理器执行所述存储器中的、包括架构师模块、讲师模块和学习者模块的一个或多个人工智能(“AI”)引擎模块以

由所述架构师模块从所述汇编代码提出具有一个或多个神经网络层的一个神经网络布局，

由所述学习者模块使用来自由所述架构师模块提出的所述神经网络布局的所述一个或多个神经网络层，来构建所述AI模型，以及

由所述讲师模块使用所述一个或多个课程，分别在所述一个或多个概念节点上训练由所述学习者模块构建的所述AI模型。

13.根据权利要求12所述的非暂态机器可读介质，

其中在执行所述架构师模块时，所述架构师模块还解析以所述教学编程语言的脚本代码，并且在所述AI模型的所述一个或多个网络层上映射所述心智模型的所述一个或多个概念节点，以及

其中在执行所述讲师模块时，所述讲师模块还分析以所述教学编程语言的所述脚本代码，并且在所述一个或多个概念节点和用于训练所述AI模型的对应的所述一个或多个课程中找到起始点。

14.根据权利要求12所述的非暂态机器可读介质，

其中在执行所述讲师模块时，所述讲师模块还：

在一个或多个训练周期中，基于所述教学编程语言的训练参数，使用来自选自模拟器、训练数据生成器、训练数据数据库或其组合的一个或多个训练数据源的训练数据来训练所述AI模型，以及

在讲师模块确定的终止条件下终止神经网络训练。

15.根据权利要求12所述的非暂态机器可读介质，还包括：使得作者能够使用所述教学编程语言来定义模式，所述模式描述要通过所述心智模型进行流式传输的一个或多个数据类型，所述心智模型包括所述一个或多个概念节点和一个或多个流节点。

16.根据权利要求15所述的非暂态机器可读介质，

其中在执行所述编译器时，所述编译器还匹配检查所述模式，并且如果预期匹配的所述模式不匹配，则报告一个或多个错误，以及

17.根据权利要求12所述的非暂态机器可读介质，还包括：使得作者能够使用所述教学编程语言，按名称、预测类型、输出、以及包括前导输入提供概念节点和后续输出接受概念节点的所述心智模型中的一个或多个连接概念节点，来定义所述一个或多个概念节点中的每个概念节点。

18.根据权利要求12所述的非暂态机器可读介质，还包括：使得作者能够使用所述教学编程语言，按名称、要训练的所述概念节点、训练数据源类型、训练数据源名称、针对要训练的所述概念节点的所述课程的一个或多个功课、以及包括针对要训练的所述概念节点的终止条件的目标，来定义所述一个或多个课程中的每个课程。

19.根据权利要求18所述的非暂态机器可读介质，还包括：使得作者能够使用所述教学编程语言，按名称、要跟随的前导功课、针对所述功课的数据配置、以及针对要训练的所述概念节点的所述目标的所述终止条件，来定义所述一个或多个功课中的每个功课。

20.根据权利要求12所述的非暂态机器可读介质，还包括：使得作者能够使用所述教学编程语言来使用和重用所述心智模型中的一个或多个块，

其中所述一个或多个块中的每个块包括一个或多个块封装的概念节点、一个或多个块封装的流节点、以及一个或多个块封装的模式，而没有用于训练所述AI模型的任何课程，以及

其中所述一个或多个块中的每个块被配置为：