Nothing Special   »   [go: up one dir, main page]

WO2022085661A1 - ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム - Google Patents

ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム Download PDF

Info

Publication number
WO2022085661A1
WO2022085661A1 PCT/JP2021/038530 JP2021038530W WO2022085661A1 WO 2022085661 A1 WO2022085661 A1 WO 2022085661A1 JP 2021038530 W JP2021038530 W JP 2021038530W WO 2022085661 A1 WO2022085661 A1 WO 2022085661A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
memory
hardware
software
data
Prior art date
Application number
PCT/JP2021/038530
Other languages
English (en)
French (fr)
Inventor
潤一 金井
宙太 山岡
Original Assignee
ＬｅａｐＭｉｎｄ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ＬｅａｐＭｉｎｄ株式会社 filed Critical ＬｅａｐＭｉｎｄ株式会社
Priority to CN202180070438.5A priority Critical patent/CN116348883A/zh
Priority to US18/249,316 priority patent/US20240037412A1/en
Publication of WO2022085661A1 publication Critical patent/WO2022085661A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Definitions

  • the present invention relates to a neural network generator, a neural network control method, and a software generation program.
  • a convolutional neural network has been used as a model for image recognition and the like.
  • a convolutional neural network has a multi-layered structure having a convolutional layer and a pooling layer, and requires a large number of operations such as a convolutional operation.
  • Various arithmetic methods have been devised to speed up the arithmetic by the convolutional neural network (Patent Document 1 and the like).
  • embedded devices such as IoT devices also use image recognition using convolutional neural networks.
  • convolutional neural network In order to efficiently operate a convolutional neural network in an embedded device, it is desired to generate a circuit or a model that performs an operation related to the neural network according to the hardware configuration of the embedded device. Further, a control method for operating these circuits and models with high efficiency and high speed is desired. Further, a software generation program that generates software for operating these circuits and models with high efficiency and high speed is desired.
  • the present invention is a neural network generator, a neural network generator, which generates a circuit or model related to a neural network that can be incorporated into an embedded device such as an IoT device and can be operated at high efficiency and high speed.
  • a neural network control method that operates circuits and models that perform operations related to networks with high efficiency and high speed
  • software generation programs that generate software that operates circuits and models that perform operations related to neural networks with high efficiency and high speed. The purpose is.
  • the neural network generation device is a neural network generation device that generates a neural network execution model that calculates a neural network, and includes hardware information of the hardware on which the neural network execution model operates. , Software that generates an execution model generator that generates the neural network execution model based on the network information of the neural network, and software that operates the neural network hardware that implements the neural network execution model on the hardware. It is provided with a generation unit.
  • the neural network control method is a method for controlling neural network hardware that calculates a neural network, and is a neural network control that divides the neural network and causes the neural network hardware to perform the calculation. Method.
  • the software generation program is a program that generates software for controlling neural network hardware that calculates a neural network, and divides the neural network so that the neural network hardware calculates. Have the computer generate the software.
  • the neural network generation device, neural network control method, and software generation program of the present invention can be incorporated into an embedded device such as an IoT device, and can generate and control a neural network that can be operated with high performance.
  • FIG. 1 is a diagram showing a neural network generation device 300 according to the present embodiment.
  • the neural network generation device 300 is a device that generates a trained neural network execution model 100 that can be incorporated into an embedded device such as an IoT device.
  • the neural network execution model 100 is a software or hardware model generated for operating a convolutional neural network 200 (hereinafter referred to as “CNN200”) in an embedded device.
  • CNN200 convolutional neural network 200
  • the neural network generation device 300 is a program-executable device (computer) equipped with a processor such as a CPU (Central Processing Unit) and hardware such as a memory.
  • the function of the neural network generation device 300 is realized by executing the neural network generation program and the software generation program in the neural network generation device 300.
  • the neural network generation device 300 includes a storage unit 310, a calculation unit 320, a data input unit 330, a data output unit 340, a display unit 350, and an operation input unit 360.
  • the storage unit 310 stores the hardware information HW, the network information NW, the learning data set DS, the neural network execution model 100 (hereinafter referred to as “NN execution model 100”), and the learned parameter PM.
  • the hardware information HW, the learning data set DS, and the network information NW are input data input to the neural network generator 300.
  • the NN execution model 100 and the trained parameter PM are output data output by the neural network generator 300.
  • the "trained NN execution model 100" includes the NN execution model 100 and the trained parameter PM.
  • Hardware information HW is information on an embedded device (hereinafter referred to as "operation target hardware") that operates the NN execution model 100.
  • the hardware information HW is, for example, a device type, device constraint, memory configuration, bus configuration, operating frequency, power consumption, manufacturing process type, etc. of the operation target hardware.
  • the device type is, for example, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or the like.
  • Device constraints include the upper limit of the number of arithmetic units included in the operation target device and the upper limit of the circuit scale.
  • the memory configuration is a memory type, the number of memories, a memory capacity, and an input / output data width.
  • the bus configuration includes the bus type, bus width, bus communication standard, and connection devices on the same bus. Further, when there are a plurality of variations in the NN execution model 100, the hardware information HW includes information regarding the variations of the NN execution model 100 to be used.
  • Network information NW is the basic information of CNN200.
  • the network information NW is, for example, the network configuration of the CNN200, input data information, output data information, quantization information, and the like.
  • the input data information includes an input data type such as an image and a sound, and an input data size.
  • the learning data set DS has training data D1 used for learning and test data D2 used for inference test.
  • FIG. 2 is a diagram showing input / output of the calculation unit 320.
  • the calculation unit 320 includes an execution model generation unit 321, a learning unit 322, an inference unit 323, a hardware generation unit 324, and a software generation unit 325.
  • the NN execution model 100 input to the arithmetic unit 320 may be generated by a device other than the neural network generation device 300.
  • the execution model generation unit 321 generates the NN execution model 100 based on the hardware information HW and the network information NW.
  • the NN execution model 100 is software or a hardware model generated for operating the CNN 200 in the operation target hardware.
  • Software includes software that controls the hardware model.
  • the hardware model may be a behavior level, an RTL (Register Transfer Level), a netlist representing connections between gates and circuit modules, or a combination thereof. ..
  • the learning unit 322 generates the learned parameter PM by using the NN execution model 100 and the learning data D1.
  • the inference unit 323 carries out an inference test using the NN execution model 100 and the test data D2.
  • the hardware generation unit 324 generates the neural network hardware model 400 based on the hardware information HW and the NN execution model 100.
  • the neural network hardware model 400 is a hardware model that can be implemented in the operating target hardware.
  • the neural network hardware model 400 is optimized for the operating target hardware based on the hardware information HW.
  • the neural network hardware model 400 may be an RTL (Register Transfer Level), a netlist representing a connection between a gate or a circuit module, or a combination thereof.
  • the neural network hardware model 400 may be a parameter list or a configuration file necessary for implementing the NN execution model 100 in the hardware. The parameter list and configuration file are used in combination with the separately generated NN execution model 100.
  • neural network hardware 600 the implementation of the neural network hardware model 400 on the operating target hardware is referred to as "neural network hardware 600".
  • the software generation unit 325 generates software 500 for operating the neural network hardware 600 based on the network information NW and the NN execution model 100.
  • Software 500 includes software that transfers the trained parameter PM to the neural network hardware 600 as needed.
  • the hardware information HW, network information NW, etc. necessary for generating the trained NN execution model 100 are input to the data input unit 330.
  • the hardware information HW, network information NW, and the like are input as data described in, for example, a predetermined data format.
  • the input hardware information HW, network information NW, and the like are stored in the storage unit 310.
  • the hardware information HW, the network information NW, and the like may be input or changed by the user from the operation input unit 360.
  • the generated trained NN execution model 100 is output to the data output unit 340.
  • the generated NN execution model 100 and the learned parameter PM are output to the data output unit 340.
  • the display unit 350 has a known monitor such as an LCD display.
  • the display unit 350 can display a console screen for receiving GUI (Graphical User Interface) images, commands, and the like generated by the calculation unit 320. Further, when the calculation unit 320 requires information input from the user, the display unit 350 can display a message prompting the user to input information from the operation input unit 360 or a GUI image necessary for information input.
  • GUI Graphic User Interface
  • the operation input unit 360 is a device in which the user inputs an instruction to the calculation unit 320 or the like.
  • the operation input unit 360 is a known input device such as a touch panel, a keyboard, and a mouse. The input of the operation input unit 360 is transmitted to the calculation unit 320.
  • All or part of the functions of the arithmetic unit 320 are realized by executing a program stored in the program memory by one or more processors such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit). ..
  • processors such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • all or part of the functions of the arithmetic unit 320 are hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), PLD (Programmable Logic Device) (for example). It may be realized by a circuit unit; circuity). Further, all or a part of the functions of the arithmetic unit 320 may be realized by a combination of software and hardware.
  • All or part of the functions of the arithmetic unit 320 may be realized by using an external accelerator such as a CPU, GPU, or hardware provided in an external device such as a cloud server.
  • the arithmetic unit 320 can improve the arithmetic speed of the arithmetic unit 320 by using, for example, a GPU having high arithmetic performance on a cloud server or dedicated hardware in combination.
  • the storage unit 310 is realized by a flash memory, an EEPROM (Electrically Erasable Programmable Read-Only Memory), a ROM (Read-Only Memory), a RAM (Random Access Memory), or the like. All or part of the storage unit 310 may be provided in an external device such as a cloud server and may be connected to the arithmetic unit 320 or the like by a communication line.
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • FIG. 3 is a diagram showing an example of CNN200.
  • the network information NW of the CNN200 is information regarding the configuration of the CNN200 described below.
  • the CNN200 uses a low-bit weight w and quantized input data a, and is easy to incorporate into an embedded device.
  • the CNN 200 is a multi-layered network including a convolution layer 210 for performing a convolution operation, a quantization calculation layer 220 for performing a quantization calculation, and an output layer 230. In at least a part of the CNN 200, the convolution layer 210 and the quantization calculation layer 220 are alternately connected.
  • the CNN200 is a model widely used for image recognition and video recognition.
  • the CNN 200 may further have a layer having other functions such as a fully connected layer.
  • FIG. 4 is a diagram illustrating a convolution operation performed by the convolution layer 210.
  • the convolution layer 210 performs a convolution operation using the weight w on the input data a.
  • the convolution layer 210 performs a product-sum operation with the input data a and the weight w as inputs.
  • the input data a (also referred to as activation data or feature map) to the convolution layer 210 is multidimensional data such as image data.
  • the input data a is a three-dimensional tensor composed of elements (x, y, c).
  • the convolution layer 210 of the CNN 200 performs a convolution operation on the low-bit input data a.
  • the element of the input data a is a 2-bit unsigned integer (0, 1, 2, 3).
  • the element of the input data a may be, for example, a 4-bit or 8-bit unsigned integer.
  • the CNN200 When the input data input to the CNN200 has a different format from the input data a to the convolutional layer 210, for example, a 32-bit floating point type, the CNN200 inserts an input layer for type conversion or quantization before the convolutional layer 210. You may also have more.
  • the weight w (also referred to as a filter or kernel) of the convolution layer 210 is multidimensional data having elements that are learnable parameters.
  • the weight w is a four-dimensional tensor composed of elements (i, j, c, d).
  • the weight w has d three-dimensional tensors (hereinafter referred to as “weight w”) composed of elements (i, j, c).
  • the weight w in the trained CNN 200 is the trained data.
  • the convolution layer 210 of the CNN 200 performs a convolution operation using a low bit weight w.
  • the element of the weight w is a 1-bit signed integer (0,1), where the value "0" represents +1 and the value "1" represents -1.
  • the convolution layer 210 performs the convolution operation shown in Equation 1 and outputs the output data f.
  • s represents a stride.
  • the area shown by the dotted line in FIG. 4 indicates one of the areas ao (hereinafter referred to as “applicable area ao”) to which the weight wo is applied to the input data a.
  • the element of the application area ao is represented by (x + i, y + j, c).
  • the quantization calculation layer 220 performs quantization or the like on the output of the convolution calculation output by the convolution layer 210.
  • the quantization calculation layer 220 includes a pooling layer 221, a Batch Normalization layer 222, an activation function layer 223, and a quantization layer 224.
  • the pooling layer 221 performs operations such as average pooling (Equation 2) and MAX pooling (Equation 3) on the output data f of the convolution operation output by the convolution layer 210, and compresses the output data f of the convolution layer 210. do.
  • Equations 2 and 3 u indicates an input tensor, v indicates an output tensor, and T indicates the size of the pooling region.
  • max is a function that outputs the maximum value of u for the combination of i and j contained in T.
  • the Batch Normalization layer 222 normalizes the data distribution of the output data of the quantization calculation layer 220 and the pooling layer 221 by, for example, the calculation shown in Equation 4.
  • Equation 4 u represents an input tensor, v represents an output tensor, ⁇ represents a scale, and ⁇ represents a bias.
  • ⁇ and ⁇ are trained constant vectors.
  • the activation function layer 223 calculates an activation function such as ReLU (Equation 5) on the outputs of the quantization calculation layer 220, the pooling layer 221 and the Batch rectification layer 222.
  • u is the input tensor and v is the output tensor.
  • max is a function that outputs the largest numerical value among the arguments.
  • the quantization layer 224 quantizes the outputs of the pooling layer 221 and the activation function layer 223, for example, as shown in Equation 6 based on the quantization parameters.
  • the quantization shown in Equation 6 reduces the input tensor u to 2 bits.
  • q (c) is a vector of quantization parameters.
  • q (c) is a trained constant vector.
  • the inequality sign “ ⁇ ” in Equation 6 may be “ ⁇ ”.
  • the output layer 230 is a layer that outputs the result of CNN200 by an identity function, a softmax function, or the like.
  • the layer in front of the output layer 230 may be a convolution layer 210 or a quantization calculation layer 220.
  • the load of the convolutional operation of the convolutional layer 210 is smaller than that of other convolutional neural networks that do not perform quantization. ..
  • FIG. 5 is a diagram showing an example of the NN execution model 100.
  • the NN execution model 100 is software or a hardware model generated for operating the CNN 200 in the operation target hardware.
  • Software includes software that controls the hardware model.
  • the hardware model may be a behavior level, an RTL (Register Transfer Level), a netlist representing connections between gates and circuit modules, or a combination thereof. ..
  • the NN execution model 100 includes a first memory 1, a second memory 2, a DMA controller 3 (hereinafter, also referred to as “DMAC3”), a convolution operation circuit 4, a quantization operation circuit 5, and a controller 6. Be prepared.
  • the NN execution model 100 is characterized in that the convolution calculation circuit 4 and the quantization calculation circuit 5 are formed in a loop shape via the first memory 1 and the second memory 2.
  • the first memory 1 is a rewritable memory such as a volatile memory composed of, for example, SRAM (Static RAM). Data is written to and read from the first memory 1 via the DMAC 3 and the controller 6.
  • the first memory 1 is connected to the input port of the convolution calculation circuit 4, and the convolution calculation circuit 4 can read data from the first memory 1. Further, the first memory 1 is connected to the output port of the quantization calculation circuit 5, and the quantization calculation circuit 5 can write data to the first memory 1.
  • the external host CPU can input / output data to / from the NN execution model 100 by writing / reading data to / from the first memory 1.
  • the second memory 2 is a rewritable memory such as a volatile memory composed of, for example, SRAM (Static RAM). Data is written to and read from the second memory 2 via the DMAC 3 and the controller 6.
  • the second memory 2 is connected to the input port of the quantization calculation circuit 5, and the quantization calculation circuit 5 can read data from the second memory 2. Further, the second memory 2 is connected to the output port of the convolution calculation circuit 4, and the convolution calculation circuit 4 can write data to the second memory 2.
  • the external host CPU can input / output data to / from the NN execution model 100 by writing / reading data to / from the second memory 2.
  • the DMAC 3 is connected to the external bus EB and transfers data between an external memory such as a DRAM and the first memory 1. Further, the DMAC 3 transfers data between an external memory such as a DRAM and the second memory 2. Further, the DMAC 3 transfers data between an external memory such as a DRAM and the convolution calculation circuit 4. Further, the DMAC 3 transfers data between an external memory such as a DRAM and the quantization calculation circuit 5.
  • the convolution calculation circuit 4 is a circuit that performs a convolution calculation in the convolution layer 210 of the trained CNN 200.
  • the convolution calculation circuit 4 reads the input data a stored in the first memory 1 and performs the convolution calculation on the input data a.
  • the convolution calculation circuit 4 writes the output data f of the convolution operation (hereinafter, also referred to as “convolution operation output data”) to the second memory 2.
  • the quantization calculation circuit 5 is a circuit that performs at least a part of the quantization calculation in the quantization calculation layer 220 of the trained CNN200.
  • the quantization operation circuit 5 reads out the output data f of the convolution operation stored in the second memory 2, and for the output data f of the convolution operation, the quantization operation (pooling, Batch Nomalization, activation function, and quantization). Of these, at least operations including quantization) are performed.
  • the quantization calculation circuit 5 writes the output data of the quantization calculation (hereinafter, also referred to as “quantization calculation output data”) metre to the first memory 1.
  • the controller 6 is connected to the external bus EB and operates as a slave of the external host CPU.
  • the controller 6 has a register 61 including a parameter register and a status register.
  • the parameter register is a register that controls the operation of the NN execution model 100.
  • the status register is a register indicating the status of the NN execution model 100 including the semaphore S.
  • the external host CPU can access the register 61 via the controller 6.
  • the controller 6 is connected to the first memory 1, the second memory 2, the DMAC 3, the convolution calculation circuit 4, and the quantization calculation circuit 5 via the internal bus IB.
  • the external host CPU can access each block via the controller 6. For example, the external host CPU can instruct instructions to the DMAC 3, the convolution calculation circuit 4, and the quantization calculation circuit 5 via the controller 6. Further, the DMAC 3, the convolution calculation circuit 4, and the quantization calculation circuit 5 can update the state registers (including the semaphore S) of the controller 6 via the internal bus IB.
  • the state register (including the semaphore S) may be configured to be updated via a dedicated wiring connected to the DMAC 3, the convolution calculation circuit 4, and the quantization calculation circuit 5.
  • the NN execution model 100 has a first memory 1, a second memory 2, and the like, it is possible to reduce the number of times of data transfer of duplicate data in data transfer by DMAC3 from an external memory such as a DRAM. As a result, the power consumption generated by the memory access can be significantly reduced.
  • FIG. 6 is a timing chart showing an operation example of the NN execution model 100.
  • the NN execution model 100 calculates the operation of the CNN 200, which is a multi-layer structure of a plurality of layers, by a circuit formed in a loop shape.
  • the NN execution model 100 can efficiently use hardware resources due to the loop-shaped circuit configuration.
  • an operation example of the neural network hardware 600 shown in FIG. 6 will be described.
  • the DMAC 3 stores the input data a of the layer 1 (see FIG. 3) in the first memory 1.
  • the DMAC 3 may divide the input data a of the layer 1 and transfer it to the first memory 1 in accordance with the order of the convolution operations performed by the convolution operation circuit 4.
  • the convolution calculation circuit 4 reads out the input data a of the layer 1 (see FIG. 3) stored in the first memory 1.
  • the convolution calculation circuit 4 performs a layer 1 convolution operation on the layer 1 input data a.
  • the output data f of the layer 1 convolution operation is stored in the second memory 2.
  • the quantization calculation circuit 5 reads out the output data f of the layer 1 stored in the second memory 2.
  • the quantization calculation circuit 5 performs a layer 2 quantization calculation on the output data f of the layer 1.
  • the output data metreut of the layer 2 quantization operation is stored in the first memory 1.
  • the convolution operation circuit 4 reads out the output data of the layer 2 quantization operation stored in the first memory 1.
  • the convolution operation circuit 4 performs the convolution operation of the layer 3 by using the output data metreut of the quantization operation of the layer 2 as the input data a.
  • the output data f of the layer 3 convolution operation is stored in the second memory 2.
  • the convolution operation circuit 4 reads out the output data administratut of the quantization operation of the layer 2M-2 (M is a natural number) stored in the first memory 1.
  • the convolution operation circuit 4 performs the convolution operation of the layer 2M-1 by using the output data réelleut of the quantization operation of the layer 2M-2 as the input data a.
  • the output data f of the convolution operation of the layer 2M-1 is stored in the second memory 2.
  • the quantization calculation circuit 5 reads out the output data f of the layer 2M-1 stored in the second memory 2.
  • the quantization calculation circuit 5 performs a layer 2M quantization calculation on the output data f of the 2M-1 layer.
  • the output data metreut of the layer 2M quantization operation is stored in the first memory 1.
  • the convolution operation circuit 4 reads out the output data administratut of the layer 2M quantization operation stored in the first memory 1.
  • the convolution operation circuit 4 performs the convolution operation of the layer 2M + 1 by using the output data administratut of the quantization operation of the layer 2M as the input data a.
  • the output data f of the convolution operation of the layer 2M + 1 is stored in the second memory 2.
  • the convolution calculation circuit 4 and the quantization calculation circuit 5 alternately perform calculations, and proceed with the calculation of CNN200 shown in FIG.
  • the convolution calculation circuit 4 performs the convolution calculation of the layer 2M-1 and the layer 2M + 1 by time division.
  • the quantization calculation circuit 5 performs the quantization calculation of the layer 2M-2 and the layer 2M by time division. Therefore, the circuit scale of the NN execution model 100 is significantly smaller than that in the case where the convolution calculation circuit 4 and the quantization calculation circuit 5 are separately mounted for each layer.
  • step S10 the operation of the neural network generation device 300 (neural network control method) will be described with reference to the control flowchart of the neural network generation device 300 shown in FIG. 7. After performing the initialization process (step S10), the neural network generation device 300 executes step S11.
  • step S11 the neural network generation device 300 acquires the hardware information HW of the operation target hardware (hardware information acquisition step).
  • the neural network generation device 300 acquires, for example, the hardware information HW input to the data input unit 330.
  • the neural network generation device 300 acquires the hardware information HW by displaying the GUI image necessary for inputting the hardware information HW on the display unit 350 and causing the user to input the hardware information HW from the operation input unit 360. You may.
  • the hardware information HW has a memory type, a memory capacity, and an input / output data width of the memory allocated as the first memory 1 and the second memory 2.
  • the acquired hardware information HW is stored in the storage unit 310.
  • the neural network generation device 300 executes step S12.
  • step S12 the neural network generation device 300 acquires the network information NW of the CNN 200 (network information acquisition step).
  • the neural network generation device 300 acquires, for example, the network information NW input to the data input unit 330.
  • the neural network generation device 300 may acquire the network information NW by displaying the GUI image necessary for inputting the network information NW on the display unit 350 and having the user input the network information NW from the operation input unit 360. ..
  • the network information NW includes a network configuration including an input layer and an output layer 230, a configuration of a convolution layer 210 including a weight w and a bit width of input data a, and a quantization calculation layer 220 including quantization information.
  • a network configuration including an input layer and an output layer 230, a configuration of a convolution layer 210 including a weight w and a bit width of input data a, and a quantization calculation layer 220 including quantization information.
  • the acquired network information NW is stored in the storage unit 310.
  • the neural network generation device 300 executes step S13.
  • step S13 the execution model generation unit 321 of the neural network generation device 300 generates the NN execution model 100 based on the hardware information HW and the network information NW (neural network execution model generation step).
  • the neural network execution model generation step is, for example, a convolution calculation circuit generation step (S13-1), a quantization calculation circuit generation step (S13-2), and a DMAC generation step (S13-3). And have.
  • the execution model generation unit 321 generates the convolution calculation circuit 4 of the NN execution model 100 based on the hardware information HW and the network information NW (convolution calculation circuit generation step).
  • the execution model generation unit 321 generates a hardware model of the convolution calculation circuit 4 from information such as the weight w input as the network information NW and the bit width of the input data a.
  • the hardware model may be a behavior level, an RTL (Register Transfer Level), a netlist representing connections between gates and circuit modules, or a combination thereof. ..
  • RTL Registered Transfer Level
  • FIG. 8 is an internal block diagram of the generated convolution calculation circuit 4.
  • the convolution operation circuit 4 includes a weight memory 41, a multiplier 42, an accumulator circuit 43, and a state controller 44.
  • the convolution operation circuit 4 has a state controller 44 dedicated to the multiplier 42 and the accumulator circuit 43, and when an instruction command is input, the convolution operation can be performed without the need for an external controller.
  • the weight memory 41 is a memory in which the weight w used for the convolution operation is stored, and is a rewritable memory such as a volatile memory composed of, for example, a SRAM (Static RAM).
  • the DMAC 3 writes the weight w required for the convolution operation to the weight memory 41 by DMA transfer.
  • FIG. 9 is an internal block diagram of the multiplier 42.
  • the multiplier 42 multiplies each element of the input vector a by each element of the weight matrix w.
  • Each element of the input vector a is data obtained by dividing the input data a, and is vector data having Bc elements (for example, "input vector A" described later).
  • each element of the weight matrix w is data in which the weight w is divided, and is matrix data having Bc ⁇ Bd elements (for example, “weight matrix W” described later).
  • the multiplier 42 has Bc ⁇ Bd product-sum calculation units 47, and can perform multiplication of the input vector A and the weight matrix W in parallel.
  • the multiplier 42 reads the input vector A and the weight matrix W necessary for multiplication from the first memory 1 and the weight memory 41, and performs multiplication.
  • the multiplier 42 outputs Bd product-sum operation results O (di).
  • FIG. 10 is an internal block diagram of the product-sum calculation unit 47.
  • the product-sum calculation unit 47 performs multiplication of the element A (ci) of the input vector A and the element W (ci, di) of the weight matrix W. Further, the product-sum calculation unit 47 adds the multiplication result and the multiplication result S (ci, di) of another product-sum calculation unit 47.
  • the product-sum calculation unit 47 outputs the addition result S (ci + 1, di).
  • ci is an index from 0 to (Bc-1).
  • di is an index from 0 to (Bd-1).
  • the element A (ci) is a 2-bit unsigned integer (0,1,2,3).
  • the element W (ci, di) is a 1-bit signed integer (0,1), where the value "0" represents +1 and the value "1" represents -1.
  • the product-sum calculation unit 47 has an inverter (inverter) 47a, a selector 47b, and an adder 47c.
  • the multiply-accumulate unit 47 does not use a multiplier, but uses only the inverter 47a and the selector 47b to perform multiplication.
  • the selector 47b selects the input of the element A (ci) when the element W (ci, di) is “0”. When the element W (ci, di) is "1", the selector 47b selects the complement in which the element A (ci) is inverted by the inversion device.
  • the element W (ci, di) is also input to the Carry-in of the adder 47c.
  • the adder 47c outputs a value obtained by adding the element A (ci) to the S (ci, di) when the element W (ci, di) is “0”.
  • the adder 47c outputs a value obtained by subtracting the element A (ci) from S (ci, di) when W (ci, di) is “1”.
  • FIG. 11 is an internal block diagram of the accumulator circuit 43.
  • the accumulator circuit 43 accumulates the product-sum operation result O (di) of the multiplier 42 into the second memory 2.
  • the accumulator circuit 43 has Bd accumulator units 48, and can accumulate Bd product-sum operation results O (di) in parallel to the second memory 2.
  • FIG. 12 is an internal block diagram of the accumulator unit 48.
  • the accumulator unit 48 has an adder 48a and a mask portion 48b.
  • the adder 48a adds the element O (di) of the product-sum operation result O and the partial sum stored in the second memory 2 which is an intermediate process of the convolution operation shown in the equation 1.
  • the addition result is 16 bits per element.
  • the addition result is not limited to 16 bits per element, and may be, for example, 15 bits or 17 bits per element.
  • the adder 48a writes the addition result to the same address in the second memory 2.
  • the mask unit 48b masks the output from the second memory 2 and sets the addition target for the element O (di) to zero.
  • the initialization signal clear is asserted when the partial sum of the progress is not stored in the second memory 2.
  • the output data f (x, y, do) having Bd elements is stored in the second memory.
  • the state controller 44 controls the states of the multiplier 42 and the accumulator circuit 43. Further, the state controller 44 is connected to the controller 6 via the internal bus IB.
  • the state controller 44 has an instruction queue 45 and a control circuit 46.
  • the instruction queue 45 is a queue in which the instruction command C4 for the convolution operation circuit 4 is stored, and is composed of, for example, a FIFO memory.
  • the instruction command C4 is written in the instruction queue 45 via the internal bus IB.
  • the control circuit 46 is a state machine that decodes the instruction command C4 and controls the multiplier 42 and the accumulator circuit 43 based on the instruction command C4.
  • the control circuit 46 may be implemented by a logic circuit or by a CPU controlled by software.
  • FIG. 13 is a state transition diagram of the control circuit 46.
  • the control circuit 46 transitions from the idle state S1 to the decode state S2.
  • the control circuit 46 decodes the instruction command C3 output from the instruction queue 45 in the decode state S2. Further, the control circuit 46 reads the semaphore S stored in the register 61 of the controller 6 and determines whether or not the operation of the multiplier 42 or the accumulator circuit 43 instructed by the instruction command C4 can be executed. If it is infeasible (Not ready), the control circuit 46 waits until it becomes executable (Wait). If it is executable, the control circuit 46 transitions from the decode state S2 to the execution state S3.
  • the control circuit 46 controls the multiplier 42 and the accumulator circuit 43 in the execution state S3, and causes the multiplier 42 and the accumulator circuit 43 to perform the operation instructed by the instruction command C4.
  • the control circuit 46 removes the completed instruction command C4 from the instruction queue 45 and updates the semaphore S stored in the register 61 of the controller 6.
  • the control circuit 46 transitions from the execution state S3 to the decode state S2.
  • the control circuit 46 transitions from the execution state S3 to the idle state S1.
  • the execution model generation unit 321 determines the specifications and sizes (Bc and Bd) of the arithmetic unit in the convolution arithmetic circuit 4 from the information such as the weight w input as the network information NW and the bit width of the input data a.
  • the execution model generation unit 321 adjusts to the specified scale.
  • the specifications and sizes (Bc and Bd) of the arithmetic unit in the convolutional arithmetic circuit 4 are adjusted.
  • the execution model generation unit 321 generates the quantization calculation circuit 5 of the NN execution model 100 based on the hardware information HW and the network information NW (quantization calculation circuit generation step).
  • the execution model generation unit 321 generates a hardware model of the quantization calculation circuit 5 from the quantization information input as the network information NW.
  • the hardware model may be a behavior level, an RTL (Register Transfer Level), a netlist representing connections between gates and circuit modules, or a combination thereof. ..
  • RTL Registered Transfer Level
  • FIG. 14 is an internal block diagram of the generated quantization calculation circuit 5.
  • the quantization calculation circuit 5 includes a quantization parameter memory 51, a vector calculation circuit 52, a quantization circuit 53, and a state controller 54, and the quantization calculation circuit 5 has a reference to the vector calculation circuit 52 and the quantization circuit 53. It has a dedicated state controller 54, and when an instruction command is input, the quantization operation can be performed without the need for an external controller.
  • the quantization parameter memory 51 is a memory in which the quantization parameter q used for the quantization operation is stored, and is a rewritable memory such as a volatile memory composed of, for example, a SRAM (Static RAM).
  • the DMAC 3 writes the quantization parameter q required for the quantization operation to the quantization parameter memory 51 by DMA transfer.
  • FIG. 15 is an internal block diagram of the vector calculation circuit 52 and the quantization circuit 53.
  • the vector calculation circuit 52 performs a calculation on the output data f (x, y, do) stored in the second memory 2.
  • the vector calculation circuit 52 has Bd calculation units 57, and performs SIMD calculation in parallel with the output data f (x, y, do).
  • FIG. 16 is a block diagram of the arithmetic unit 57.
  • the arithmetic unit 57 has, for example, an ALU 57a, a first selector 57b, a second selector 57c, a register 57d, and a shifter 57e.
  • the arithmetic unit 57 may further include another arithmetic unit or the like included in a known general-purpose SIMD arithmetic circuit.
  • the vector arithmetic circuit 52 can be used with the pooling layer 221 in the quantization arithmetic layer 220, the Batch Normalization layer 222, and the output data f (x, y, do). At least one of the operations of the activation function layer 223 is performed.
  • the arithmetic unit 57 can add the data stored in the register 57d and the element f (di) of the output data f (x, y, do) read from the second memory 2 by the ALU57a.
  • the arithmetic unit 57 can store the addition result by ALU57a in the register 57d.
  • the arithmetic unit 57 can initialize the addition result by inputting "0" to the ALU 57a instead of the data stored in the register 57d by selecting the first selector 57b. For example, when the pooling area is 2 ⁇ 2, the shifter 57e can output the average value of the addition results by shifting the output of the ALU 57a to the right by 2 bits.
  • the vector calculation circuit 52 can carry out the calculation of the average pooling shown in Equation 2 by repeating the above calculation and the like by the Bd calculation units 57.
  • the arithmetic unit 57 can compare the data stored in the register 57d with the element f (di) of the output data f (x, y, do) read from the second memory 2 by the ALU57a.
  • the arithmetic unit 57 can control the second selector 57c according to the comparison result by the ALU 57a to select the larger of the data stored in the register 57d and the element f (di).
  • the arithmetic unit 57 can initialize the comparison target to the minimum value by inputting the minimum value of the possible values of the element f (di) into the ALU 57a by selecting the first selector 57b.
  • the vector calculation circuit 52 can perform the MAX pooling calculation of the formula 3 by repeating the above calculation and the like by the Bd calculation units 57. In the MAX pooling operation, the shifter 57e does not shift the output of the second selector 57c.
  • the arithmetic unit 57 can subtract the data stored in the register 57d and the element f (di) of the output data f (x, y, do) read from the second memory 2 by the ALU57a.
  • the shifter 57e can shift the output of the ALU57a to the left (ie, multiply) or to the right (ie, divide).
  • the vector calculation circuit 52 can carry out the Batch Normalization calculation of the equation 4 by repeating the above calculation and the like by the Bd calculation units 57.
  • the arithmetic unit 57 can compare the element f (di) of the output data f (x, y, do) read from the second memory 2 with "0" selected by the first selector 57b by the ALU57a.
  • the arithmetic unit 57 can select and output either the element f (di) or the constant value “0” stored in the register 57d in advance according to the comparison result by the ALU 57a.
  • the vector calculation circuit 52 can perform the ReLU calculation of the equation 5 by repeating the above calculation and the like by the Bd calculation units 57.
  • the vector calculation circuit 52 can perform average pooling, MAX pooling, Batch Normalization, activation function calculation, and a combination of these calculations. Since the vector operation circuit 52 can perform general-purpose SIMD operation, other operations necessary for the operation in the quantization calculation layer 220 may be performed. Further, the vector calculation circuit 52 may perform a calculation other than the calculation in the quantization calculation layer 220.
  • the quantization calculation circuit 5 does not have to have the vector calculation circuit 52.
  • the output data f (x, y, do) is input to the quantization circuit 53.
  • the quantization circuit 53 quantizes the output data of the vector calculation circuit 52. As shown in FIG. 15, the quantization circuit 53 has Bd quantization units 58, and performs operations in parallel with respect to the output data of the vector operation circuit 52.
  • FIG. 17 is an internal block diagram of the quantization unit 58.
  • the quantization unit 58 quantizes the element in (di) of the output data of the vector calculation circuit 52.
  • the quantization unit 58 includes a comparator 58a and an encoder 58b.
  • the quantization unit 58 performs an operation (Equation 6) of the quantization layer 224 in the quantization operation layer 220 on the output data (16 bits / element) of the vector calculation circuit 52.
  • the quantization unit 58 reads out the required quantization parameter q (th0, th1, th2) from the quantization parameter memory 51, and compares the input in (di) with the quantization parameter q by the comparator 58a.
  • the quantization unit 58 quantizes the comparison result by the comparator 58a into 2 bits / element by the encoder 58b. Since ⁇ (c) and ⁇ (c) in Equation 4 are different parameters for each variable c, the quantization parameters q (th0, th1, th2) reflecting ⁇ (c) and ⁇ (c) are in ( This is a different parameter for each di).
  • the quantization unit 58 By comparing the input in (di) with the three thresholds th0, th1, th2, the quantization unit 58 sets the input in (di) in four regions (for example, in ⁇ th0, th0 ⁇ in ⁇ th1, th1 ⁇ in. Classify into ⁇ th2, th2 ⁇ in), and the classification result is encoded into 2 bits and output.
  • the quantization unit 58 can also perform Batch Normalization and activation function operations together with the quantization.
  • the quantization unit 58 sets the threshold value th0 as ⁇ (c) of the equation 4, the difference between the thresholds (th1-th0) and (th2-th1) as ⁇ (c) of the equation 4, and performs the quantization.
  • the Butch Normalization operation shown in Equation 4 can be performed together with the quantization.
  • ⁇ (c) can be reduced by increasing (th1-th0) and (th2-th1). By reducing (th1-th0) and (th2-th1), ⁇ (c) can be increased.
  • the quantization unit 58 can perform the ReLU operation of the activation function together with the quantization of the input in (di). For example, the quantization unit 58 saturates the output value in the region where in (di) ⁇ th0 and th2 ⁇ in (di). The quantization unit 58 can perform the operation of the activation function together with the quantization by setting the quantization parameter q so that the output is non-linear.
  • the state controller 54 controls the states of the vector calculation circuit 52 and the quantization circuit 53. Further, the state controller 54 is connected to the controller 6 via the internal bus IB.
  • the state controller 54 has an instruction queue 55 and a control circuit 56.
  • the instruction queue 55 is a queue in which the instruction command C5 for the quantization calculation circuit 5 is stored, and is composed of, for example, a FIFO memory.
  • the instruction command C5 is written in the instruction queue 55 via the internal bus IB.
  • the control circuit 56 is a state machine that decodes the instruction command C5 and controls the vector calculation circuit 52 and the quantization circuit 53 based on the instruction command C5.
  • the control circuit 56 has the same configuration as the control circuit 46 of the state controller 44 of the convolution calculation circuit 4.
  • the quantization calculation circuit 5 writes the quantization calculation output data having Bd elements to the first memory 1.
  • the preferable relationship between Bd and Bc is shown in Equation 7.
  • Equation 7 n is an integer.
  • the execution model generation unit 321 uses the quantization information input as the network information NW to determine the presence / absence and type of pooling calculation (average pooling, MAX pooling, etc.) in the quantization calculation circuit 5, and the presence / absence and method of Batch Normalization calculation. , The presence / absence and method of the activation function operation (ReLU operation, etc.), the quantization method (number of bits, etc.), and the presence / absence of other operations.
  • the execution model generation unit 321 adjusts to the specified scale. The configuration of the arithmetic unit in the quantization arithmetic circuit 5 is adjusted.
  • the execution model generation unit 321 generates the DMAC3 of the NN execution model 100 based on the hardware information HW and the network information NW (DMAC generation step).
  • the execution model generation unit 321 generates a hardware model of the DMAC3 from the information input as the network information NW.
  • the hardware model may be a behavior level, an RTL (Register Transfer Level), a netlist representing connections between gates and circuit modules, or a combination thereof. ..
  • RTL Registered Transfer Level
  • FIG. 18 is an internal block diagram of the generated DMAC3.
  • the DMAC 3 has a data transfer circuit 31 and a state controller 32.
  • the DMAC 3 has a state controller 32 dedicated to the data transfer circuit 31, and when an instruction command is input, DMA data transfer can be performed without the need for an external controller.
  • the data transfer circuit 31 is connected to the external bus EB and transfers DMA data between an external memory such as a DRAM and the first memory 1. Further, the data transfer circuit 31 transfers DMA data between an external memory such as a DRAM and the second memory 2. Further, the data transfer circuit 31 transfers data between an external memory such as a DRAM and the convolution calculation circuit 4. Further, the data transfer circuit 31 transfers data between an external memory such as a DRAM and the quantization calculation circuit 5.
  • the number of DMA channels in the data transfer circuit 31 is not limited. For example, each of the first memory 1 and the second memory 2 may have a dedicated DMA channel.
  • the state controller 32 controls the state of the data transfer circuit 31. Further, the state controller 32 is connected to the controller 6 via the internal bus IB.
  • the state controller 32 has an instruction queue 33 and a control circuit 34.
  • the instruction queue 33 is a queue in which the instruction command C3 for DMAC3 is stored, and is composed of, for example, a FIFO memory. One or more instruction commands C3 are written to the instruction queue 33 via the internal bus IB.
  • the control circuit 34 is a state machine that decodes the instruction command C3 and sequentially controls the data transfer circuit 31 based on the instruction command C3.
  • the control circuit 34 has the same configuration as the control circuit 46 of the state controller 44 of the convolution calculation circuit 4.
  • the execution model generation unit 321 determines the number of DMA channels, the data bus width, etc. in the DMAC3 from the information input as the network information NW.
  • the execution model generation unit 321 generates a DMAC3 having specifications (data bus width, etc.) that match the specifications of the external bus EB on the host side.
  • the data bus width and the number of DMA channels By increasing the data bus width and the number of DMA channels, the data transmission speed between the external memory and the first memory 1 or the second memory 2 can be improved.
  • step S14 the learning unit 322 and the inference unit 323 of the neural network generation device 300 learn the learning parameters of the generated NN execution model 100 using the learning data set DS (learning step).
  • the learning step (S14) includes, for example, a learned parameter generation step (S14-1) and an inference test step (S14-2).
  • the learning unit 322 generates the learned parameter PM by using the NN execution model 100 and the learning data D1.
  • the trained parameter PM is a trained weight w, a quantization parameter q, and the like.
  • the training data D1 is a combination of the input image and the teacher data T.
  • the input image is the input data a input to the CNN 200.
  • the teacher data T is the type of the subject captured in the image, the presence / absence of the detection target object in the image, the coordinate value of the detection target object in the image, and the like.
  • the learning unit 322 generates a learned parameter PM by supervised learning by a known technique such as an error back propagation method.
  • the learning unit 322 obtains the difference E between the output of the NN execution model 100 for the input image and the teacher data T corresponding to the input image by a loss function (error function), and the weight w and the quantum so that the difference E becomes small. Update the conversion parameter q.
  • the gradient of the loss function with respect to the weight w is used.
  • the gradient is calculated, for example, by differentiating the loss function.
  • the gradient is calculated by backpropagation.
  • the learning unit 322 improves the accuracy of the operation related to the convolution operation when calculating the gradient and updating the weight w. Specifically, a 32-bit floating-point type weight w that is more accurate than the low-bit weight w (for example, 1 bit) used by the NN execution model 100 is used for learning. Further, the convolution calculation performed in the convolution calculation circuit 4 of the NN execution model 100 is improved in accuracy.
  • the learning unit 322 improves the accuracy of the calculation related to the activation function when calculating the gradient and updating the weight w. Specifically, a sigmond function with higher accuracy than an activation function such as the ReLU function implemented in the quantization calculation circuit 5 of the NN execution model 100 is used for learning.
  • the learning unit 322 calculates the output data for the input image by forward propagation (f Cincinnatirward)
  • the operation related to the convolution operation and the activation function is not made highly accurate, and the operation is based on the NN execution model 100.
  • the high-precision weight w used when updating the weight w is reduced in bits by a look-up table or the like.
  • the learning unit 322 calculates the gradient and updates the weight w
  • the learning unit 322 improves the accuracy of the operation related to the convolution operation and the activation function, thereby preventing the accuracy of the intermediate data in the operation from deteriorating and making a high inference. It is possible to generate a trained parameter PM that can achieve accuracy.
  • the learning unit 322 when calculating the output data for the input image, the learning unit 322 does not improve the accuracy of the forward propagation calculation, but performs the calculation based on the NN execution model 100. Therefore, the output data calculated by the learning unit 322 and the output data of the NN execution model 100 using the generated learned parameter PM match.
  • the inference unit 323 carries out an inference test using the learned parameters PM, the NN execution model 100, and the test data D2 generated by the learning unit 322.
  • the NN execution model 100 is an execution model of the CNN 200 that performs image recognition
  • the test data D2 is a combination of the input image and the teacher data T as in the learning data D1.
  • the inference unit 323 displays the progress and result of the inference test on the display unit 350.
  • the result of the inference test is, for example, the correct answer rate for the test data D2.
  • step S15 the inference unit 323 of the neural network generation device 300 causes the display unit 350 to display a message prompting the user to input confirmation regarding the result from the operation input unit 360 and a GUI image necessary for information input.
  • the user inputs from the operation input unit 360 whether or not the result of the inference test is allowed.
  • the neural network generator 300 then performs step S16.
  • the neural network generation device 300 performs step S12 again.
  • the neural network generation device 300 may return to step S11 and have the user re-input the hardware information HW.
  • step S16 the hardware generation unit 324 of the neural network generation device 300 generates the neural network hardware model 400 based on the hardware information HW and the NN execution model 100.
  • step S17 the software generation unit 325 of the neural network generation device 300 implements the neural network hardware 600 (neural network hardware model 400 on the operation target hardware) based on the network information NW, the NN execution model 100, and the like. ) Is generated.
  • Software 500 includes software that transfers the trained parameter PM to the neural network hardware 600 as needed.
  • the software generation step (S17) includes, for example, an input data division step (S17-1), a network division step (S17-2), and an allocation step (S17-3).
  • the software generation unit 325 partially inputs the input data a of the convolution operation of the convolution layer 210 based on the memory capacity of the memory allocated as the first memory 1 and the second memory 2, the specifications and sizes (Bc and Bd) of the arithmetic unit, and the like. Divide into tensors.
  • the method of dividing into partial tensors and the number of divisions are not particularly limited.
  • the partial tensor is formed, for example, by dividing the input data a (x + i, y + j, c) into a (x + i, y + j, co).
  • FIG. 19 is a diagram illustrating data division and data expansion of the convolution operation.
  • the variable c in the equation 1 is divided into blocks of size Bc as shown in the equation 8.
  • the variable d in the equation 1 is divided into blocks of size Bd as shown in the equation 9.
  • co is an offset and ci is an index from 0 to (Bc-1).
  • do is the offset and di is the index from 0 to (Bd-1).
  • the size Bc and the size Bd may be the same.
  • the input data a (x + i, y + j, c) in Equation 1 is divided by the size Bc in the c-axis direction and is represented by the divided input data a (x + i, y + j, co).
  • the divided input data a is also referred to as “divided input data a”.
  • the weight w (i, j, c, d) in the equation 1 is divided by the size Bc in the c-axis direction and the size Bd in the d-axis direction, and is represented by the divided weight w (i, j, co, do). To. In the following description, the divided weight w is also referred to as a “divided weight w”.
  • the output data f (x, y, do) divided by the size Bd can be obtained by the equation 10.
  • the final output data f (x, y, d) can be calculated.
  • the software generation unit 325 expands the divided input data a and the weight w in the convolution calculation circuit 4 of the NN execution model 100.
  • the divided input data a (x + i, y + j, co) is expanded into vector data having Bc elements.
  • the element of the divided input data a is indexed by ci (0 ⁇ ci ⁇ Bc).
  • the divided input data a expanded into vector data for each i and j is also referred to as “input vector A”.
  • the input vector A has elements from the divided input data a (x + i, y + j, co ⁇ Bc) to the divided input data a (x + i, y + j, co ⁇ Bc + (Bc-1)).
  • the division weight w (i, j, co, do) is expanded into matrix data having Bc ⁇ Bd elements.
  • the element of the division weight w expanded in the matrix data is indexed by ci and di (0 ⁇ di ⁇ Bd).
  • the division weight w expanded in the matrix data for each i and j is also referred to as "weight matrix W”.
  • the weight matrix W has a division weight w (i, j, co ⁇ Bc, do ⁇ Bd) to a division weight w (i, j, co ⁇ Bc + (Bc-1), do ⁇ Bd + (Bd-1)). Make it an element.
  • Vector data is calculated by multiplying the input vector A and the weight matrix W.
  • the output data f (x, y, do) can be obtained by shaping the vector data calculated for each i, j, and co into a three-dimensional tensor. By expanding such data, the convolution operation of the convolution layer 210 can be performed by multiplying the vector data and the matrix data.
  • the size of the input data a is X ⁇ Y ⁇ C
  • the size of the weight w is K ⁇ K ⁇ C ⁇ D
  • the size of the output data f is X ⁇ Y ⁇ D.
  • the output data f (x, y, do) divided by the size Bd in the d-axis direction is divided by the input data a (x + i, y + j, co) divided by the size Bc in the c-axis direction and the sizes Bc and Bd. It can be calculated by convolving the weight w (i, j, co, do) for each i, j, co and adding them together.
  • the size of the output data f (x, y, do) divided by the size Bd in the d-axis direction is 16 ⁇ X ⁇ Y ⁇ Bd bits.
  • the size of the input data a required to calculate the output data f divided by Bd is 2, X, Y, Bc bits.
  • the size of the weight w required to calculate the output data f divided by Bd is 1 ⁇ K ⁇ K ⁇ Bc ⁇ Bd bit.
  • the software generation unit 325 calculates the input data a by the neural network hardware 600 based on the memory capacity of the memory allocated as the first memory 1 and the second memory 2, the specifications and sizes (Bc and Bd) of the arithmetic unit, and the like. Divide into easy units (partial tensors). The software generation unit 325 divides the input data a into partial tensors so that, for example, a plurality of the divided input data a (2, X, Y, Bc bits) are stored in the first memory 1. The software generation unit 325 divides the input data a for each layer.
  • the units that can be easily calculated by the neural network hardware 600 are the number of arithmetic units that can be calculated in parallel by the neural network hardware 600, the capacity and band of the first memory 1 or the second memory 2, the power consumption, and the calculation frequency. Determine based on such things as. For example, when the number of arithmetic units capable of parallel calculation is large, it is preferable that the number of divisions of the input data a is small.
  • the software generation unit 325 divides the network (layer) of the CNN 200 and maps it to the convolution calculation circuit 4 and the quantization calculation circuit 5 formed in a loop shape (network division step).
  • 20 to 23 are diagrams illustrating a network division process.
  • an example in which an operation composed of a convolution operation and a quantization operation is performed three times (layers 1 to 6 are carried out) will be described.
  • the input data a of the layer n input to the convolution calculation circuit 4 is referred to as "a [n]”.
  • the output data f of the layer n output from the convolution calculation circuit 4 is referred to as "f [n]”.
  • the output data (quantization operation output data) THERut of the quantization operation output from the quantization calculation circuit 5 is called " réelleut [n]".
  • the software generation unit 325 sets the input data a [1] of the layer 1 input to the convolution calculation circuit 4 to, for example, “first part tensor a [1] 1 ". Divide into “second part tensor a [1] 2 ".
  • the software generation unit 325 selects the data to be transferred by the DMAC 3 to the first memory 1 from the divided input data a [1].
  • the software generation unit 325 selects data that can be transferred to the unused area of the first memory 1 according to the order of the convolution operation.
  • the convolution operation for the first partial tensor a [1] 1 includes a part of the second partial tensor a [1] 2 adjacent to the first partial tensor a [1] 1 (hereinafter, "" (Also referred to as "overlapping region R (R1)”) is required. Therefore, when the convolution operation for the first partial tensor a [1] 1 is performed, the data of the overlapping area R (R1) is read out and stored in the first memory 1 together with the first partial tensor a [1] 1 . ..
  • the software generation unit 325 includes, for example, the overlapping region R (R1) in the first portion tensor a [1] 1 in a manner that facilitates memory addressing.
  • the software generation unit 325 includes, for example, the overlapping region R (R2) in the second partial tensor a [1] 2 in a manner that facilitates memory addressing.
  • the convolution operation has the property that the data size decreases each time the operation is performed. Therefore, as the number of consecutive convolution operations increases, the overlapping area R to be read in accordance with the partial tensor initially stored in the first memory 1 becomes larger. As the number of consecutive convolution operations increases, the calculation efficiency increases. On the other hand, when the overlapping area R becomes large, the data size of the overlapping area R to be read incidentally for each partial tensor increases, and the memory transfer forwarding of the overlapping data increases.
  • the software generation unit 325 determines the number of consecutive convolution operations in consideration of the amount of data in the adjacent area R that can be transferred to the unused area of the first memory 1.
  • the software generation unit 325 has selected that the operation composed of the convolution operation and the quantization operation is performed twice in succession (layer 1 to layer 4 are performed).
  • the convolution operation circuit 4 to which the first partial tensor a [1] 1 is input quantizes the output data f [1] 1 of the convolution operation of the layer 1 via the second memory 2.
  • the quantization calculation circuit 5 to which f [1] 1 is input inputs the output cremeut [2] 1 of the quantization calculation of layer 2 to the first memory 1.
  • the convolution operation circuit 4 to which the second partial tensor a [1] 2 is input quantizes the output data f [1] 2 of the convolution operation of the layer 1 via the second memory 2. It is output to the conversion circuit 5.
  • the quantization calculation circuit 5 to which f [1] 2 is input inputs the output cremeut [2] 2 of the quantization calculation of layer 2 to the first memory 1.
  • the output THERut [2] 1 of the layer 2 quantization operation and the output THERut [2] 2 of the layer 2 quantization operation are integrated into the output THERut [2] of the layer 2 quantization operation.
  • the output metreut [2] of the layer 2 quantization operation includes all the input data a [3] of the layer 3 convolution operation.
  • the overlapping regions R (R1, R2) associated with the first partial tensor a [1] 1 and the second partial tensor a [1] 2 stored in the first memory 1 are selected so that layer 1 to layer 4 can be performed. This is because it has been done.
  • the software generation unit 325 is an output effetut [2] of the quantization operation of the layer 2 based on the division unit determined in the input data division step (S17-1), and is a layer input to the convolution operation circuit 4.
  • Input data a of 3 The input data a [3] is divided into, for example, "first partial tensor a [3] 1 " and “second partial tensor a [3] 2 ".
  • the convolution operation circuit 4 to which the first partial tensor a [3] 1 is input quantizes the output data f [3] 1 of the convolution operation of the layer 3 via the second memory 2.
  • the quantization calculation circuit 5 to which f [3] 1 is input inputs the output effetut [4] 1 of the quantization calculation of the layer 4 to the first memory 1.
  • the input data a [1] 1 already exists in the memory area of the first memory 1 for storing the output Consequentlyut [4] 1 .
  • the memory area for holding the output data f is secured.
  • the memory area is released.
  • the data is saved in the external memory before the memory area is released.
  • the convolution operation circuit 4 to which the second partial tensor a [3] 2 is input quantizes the output data f [3] 2 of the convolution operation of the layer 1 via the second memory 2. It is output to the conversion circuit 5.
  • the quantization calculation circuit 5 to which f [3] 2 is input inputs the output effetut [4] 2 of the quantization calculation of the layer 4 to the first memory 1.
  • the output schreibut [4] of the layer 4 quantization operation does not include all the input data a [5] of the layer 5 convolution operation.
  • the overlapping regions R (R1, R2) associated with the first partial tensor a [1] 1 and the second partial tensor a [1] 2 stored in the first memory 1 are selected so that layer 1 to layer 4 can be performed. This is because it has been done.
  • the software generation unit 325 uses an external host CPU or the like to perform data shaping of the output schreibut [4] saved in the external memory as necessary, and generates the input data a [5] of the layer 5. Add the code to software 500.
  • the software generation unit 325 uses the input data a [5] of the layer 1 input to the convolution operation circuit 4, for example, "first part tensor a [5] 1 " and “second part tensor a [5] 2 ". Divide into and.
  • the first partial tensor a [5] 1 and the second partial tensor a [5] 2 include a superposed region R in consideration of the number of consecutive convolution operations to be performed thereafter.
  • the software generation unit 325 divides the network (layer) of the CNN200 as described above for the entire CNN200.
  • the software generation unit 325 divides the network (layer) of the CNN 200 so that the memory transfer between the first memory 1 and the external memory by the DMAC 3 is as small as possible.
  • the network (layer) is divided before the operation.
  • the operation of changing the tensor shape of the input data a includes, for example, an operation of shortening the depth direction (c-axis direction) of the input data a and expanding it in the plane direction (xy-axis direction), and integration of the tensor (data). It is an operation to be performed.
  • the network (layer) is divided after the convolution operation. This is because the data division size changes before and after the convolution operation in which the stride is larger than 1.
  • the size of the output data f of the convolution operation in the x-axis direction or the y-axis direction changes to a certain value or more (for example, 2 times or more or 0.5 times or less) as compared with the input data a of the convolution operation, the convolution is concerned. It is preferable to divide the network (layer) after the calculation.
  • the network (layer) of the CNN 200 is divided based on the capacity of the first memory 1, and the description of the division based on the capacity of the second memory 2 is omitted.
  • the software generation unit 325 divides the network (layer) of the CNN 200 based on the capacities of the first memory 1 and the second memory 2.
  • the software generation unit 325 has, for example, the first memory 1 and the second memory 2 having a sufficiently large capacity with respect to the input data a.
  • the network division step (S17-2) is complicated by performing the network (layer) division (stepwise network division) based on the capacities of the first memory 1 and the second memory 2 described above. Can be suppressed.
  • the software generation unit 325 generates software 500 for allocating and executing the divided operations to the neural network hardware 600 (allocation step).
  • the generated software 500 includes instruction command C3, instruction command C4 and instruction command C5.
  • FIG. 24 is a diagram showing a timing chart of the neural network hardware 600 to which the divided operations are assigned.
  • the software generation unit 325 allocates the divided operations to the neural network hardware 600 in the order of the network (layer) in principle.
  • the instruction command C3 for DMAC3 that transfers the input data a [1] from the external memory to the first memory 1 is generated.
  • Command command C5 for is generated (operation shown in FIG. 20).
  • Command command C5 for is generated (operation shown in FIG. 21).
  • the instruction command C4 and the instruction command C5 which are the output THERut [2] of the quantization operation of the layer 2 and perform an operation on the input data a [3] of the layer 3 input to the convolution operation circuit 4. Is generated in the same manner (operations shown in FIGS. 22 and 23).
  • the instruction command C3 for DMAC3 that transfers the output THERut [4] from the first memory 1 to the external memory is generated. Further, the instruction command C3 for DMAC3 that transfers the input data a [5] from the external memory to the first memory 1 is generated.
  • the instruction command C3, the instruction command C4, and the instruction command C5 include a command for controlling the semaphore S.
  • the software generation unit 325 divides the network (layer) of the CNN 200 so that the memory transfer between the first memory 1 and the external memory by the DMAC 3 is as small as possible. Therefore, the period in which the convolution calculation circuit 4 and the quantization calculation circuit 5 are kept waiting for the memory transfer by the DMAC 3 is shortened, and the operation efficiency of the neural network hardware 600 is improved.
  • the software 500 since the circuit is formed in a loop shape, the software 500 includes a program that appropriately updates the parameters in the convolution calculation circuit 4 and the quantization calculation circuit 5 that change in each layer.
  • the software generation unit 325 realizes each operation of the divided network (layer) by combining a plurality of commands C3, C4, and C5 according to the neural network hardware 600.
  • the convolution operation in which the size of the weight w is 3x3 is realized by combining the convolution operation in which the size of the weight w is 1x1 nine times in accordance with the neural network hardware 600.
  • the operation of the convolution operation circuit 4 and the quantization operation circuit 5 may be controlled by an instruction command that integrates the instruction commands C3 and C4. In this case, the integrated instruction command is replaced with the operation of the convolution operation circuit 4 and the quantization operation circuit 5 in the neural network hardware 600 and executed.
  • the software 500 adds a code to the software 500 that causes an external calculation device to perform a calculation that cannot be performed by the neural network hardware 600.
  • the software 500 transfers intermediate data to an external calculation device such as an external host CPU, and causes the external calculation device to perform the calculation.
  • the software 500 inputs the calculation result by the external calculation device to the first memory 1 and the second memory 2, and causes the neural network hardware 600 to restart the calculation on the calculation result by the external calculation device.
  • FIG. 25 is a timing chart showing another allocation example to the neural network hardware 600.
  • the convolution operation and the quantization operation corresponding to the first part tensor a 1 and the convolution operation and the quantization operation corresponding to the second part tensor a 2 can be performed independently. Therefore, the software generation unit 325 may allocate the divided operations to the neural network hardware 600 by changing the order of a part of the network (layer).
  • the convolution calculation circuit 4 performs a convolution operation of the layer 2M- 1 corresponding to the first partial tensor a1 (the operation shown by the layer 2M-1 (a 1 ) in FIG. 25). After that, the convolution calculation circuit 4 performs the convolution operation of the layer 2M-1 corresponding to the second partial tensor a2 (the operation shown by the layer 2M-1 ( a2 ) in FIG. 25). Further, the quantization calculation circuit 5 performs a layer 2M quantization operation (operation shown by layer 2M (a 1 ) in FIG. 25) corresponding to the first partial tensor a1. As described above, the NN execution model 100 can execute the convolution operation of the layer 2M-1 corresponding to the second partial tensor a 2 and the quantization operation of the layer 2M corresponding to the first partial tensor a 1 in parallel.
  • the convolution calculation circuit 4 performs a convolution operation of the layer 2M + 1 corresponding to the first partial tensor a 1 (the operation shown by the layer 2M + 1 (a 1 ) in FIG. 25). Further, the quantization calculation circuit 5 performs a layer 2M quantization operation (operation shown by layer 2M (a 2 ) in FIG. 25) corresponding to the second partial tensor a2. As described above, the NN execution model 100 can execute the convolution operation of the layer 2M + 1 corresponding to the first partial tensor a 1 and the quantization operation of the layer 2M corresponding to the second partial tensor a 2 in parallel.
  • the neural network hardware 600 can operate the convolution calculation circuit 4 and the quantization calculation circuit 5 in parallel. As a result, the waiting time of the convolution calculation circuit 4 and the quantization calculation circuit 5 is reduced, and the calculation processing efficiency of the neural network hardware 600 is improved.
  • the number of divisions into the partial tensor was 2, but similarly, when the number of divisions is larger than 2, the convolution arithmetic circuit 4 and the quantization arithmetic circuit 5 are arranged in parallel in the neural network hardware 600. Can be operated.
  • an example (method 1) in which the operation of the partial tensor in the same layer is performed by the convolution operation circuit 4 or the quantization operation circuit 5 and then the operation of the partial tensor in the next layer is shown. ..
  • the convolution operation of the layer 2M-1 corresponding to the first partial tensor a1 and the second partial tensor a2 in FIG. 25, the layer 2M-1 (a 1 )).
  • the operation shown by layer 2 M-1 (a 2 )) and then the convolution operation of layer 2 M + 1 corresponding to the first partial tensor a 1 and the second partial tensor a 2 (in FIG. 25, layer 2 M + 1 (a 1 ) and The operation shown by layer 2M + 1 (a 2 )) is performed.
  • the calculation method for the partial tensor is not limited to this.
  • the calculation method for the partial tensor may be a method in which the calculation of the partial tensor in the plurality of layers is performed and then the calculation of the remaining partial tensor is performed (method 2).
  • method 2 For example, in the convolution operation circuit 4, after performing the convolution operation of the layer 2M- 1 corresponding to the first partial tensor a1 and the layer 2M + 1 corresponding to the first partial tensor a1, the layer 2M corresponding to the second partial tensor a2.
  • the convolution operation of the layer 2M + 1 corresponding to -1 and the second partial tensor a 2 may be performed.
  • the calculation method for the partial tensor may be a method of calculating the partial tensor by combining the method 1 and the method 2.
  • the method 2 it is necessary to perform the operation according to the dependency on the operation order of the partial tensors.
  • the software generation unit 325 changes the order of the divided operations so that the operations using the same data stored in the first memory 1 and the second memory 2 are continuous as much as possible.
  • a neural network that can be incorporated into an embedded device such as an IoT device and can be operated with high performance can be generated. Can be controlled.
  • the software generation program according to the present embodiment it is possible to generate software 500 that operates the neural network generation device 300 with high efficiency and high speed.
  • the first memory 1 and the second memory 2 are different memories, but the embodiment of the first memory 1 and the second memory 2 is not limited to this.
  • the first memory 1 and the second memory 2 may be, for example, a first memory area and a second memory area in the same memory.
  • the data input to the NN execution model 100 or the neural network hardware 600 described in the above embodiment is not limited to a single format, and is composed of still images, moving images, sounds, characters, numerical values, and combinations thereof. It is possible to do.
  • the data input to the NN execution model 100 and the neural network hardware 600 can be mounted on an edge device provided with the neural network hardware 600, such as an optical sensor, a thermometer, a Global Positioning System (GPS) measuring instrument, and an angular velocity. It is not limited to the measurement results of physical quantity measuring instruments such as measuring instruments and anemometers.
  • Peripheral information such as base station information, vehicle / ship information, weather information, congestion status information, etc. received from peripheral devices via wired or wireless communication, and different information such as financial information and personal information may be combined.
  • the edge device provided with the neural network hardware 600 is assumed to be a communication device such as a mobile phone driven by a battery, a smart device such as a personal computer, a digital camera, a game device, a mobile device such as a robot product, and the like. Not limited. It is possible to obtain unprecedented effects by using it for products that have a high demand for peak power supply limit, reduction of product heat generation, or long-term driving by Power on Ethernet (PoE). For example, by applying it to in-vehicle cameras mounted on vehicles and ships, surveillance cameras installed in public facilities and roads, etc., it is possible not only to realize long-time shooting, but also to contribute to weight reduction and high durability. .. Further, the same effect can be obtained by applying it to display devices such as televisions and displays, medical equipment such as medical cameras and surgical robots, and work robots used at manufacturing sites and construction sites.
  • PoE Power on Ethernet
  • a computer-readable recording medium includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time.
  • It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that is a server or a client in that case.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • the present invention can be applied to the generation of neural networks.
  • Neural network generator 200 Convolutional neural network (CNN) 100 Neural network execution model (NN execution model) 400 Neural network hardware model 500 Software 600 Neural network hardware 1 First memory 2 Second memory 3 DMA controller (DMAC) 4 Convolution operation circuit 42 Multiplier 43 Accumulator circuit 5 Quantization operation circuit 52 Vector operation circuit 53 Quantization circuit 6 Controller 61 Register PM Learned parameter DS Learning data set HW Hardware information NW Network information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)

Abstract

ニューラルネットワーク生成装置は、ニューラルネットワークを演算するニューラルネットワーク実行モデルを生成するニューラルネットワーク生成装置であって、前記ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報と、前記ニューラルネットワークのネットワーク情報と、に基づいて前記ニューラルネットワーク実行モデルを生成する実行モデル生成部と、前記ニューラルネットワーク実行モデルを前記ハードウェアに実装したニューラルネットワークハードウェアを動作させるソフトウェアを生成するソフトウェア生成部と、を備える。

Description

ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
　本発明は、ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラムに関する。本願は、２０２０年１０月１９日に、日本国に出願された特願２０２０－１７５６０６号に基づき優先権を主張し、その内容をここに援用する。
　近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。畳み込みニューラルネットワークは、畳み込み層やプーリング層を有する多層構造であり、畳み込み演算等の多数の演算を必要とする。畳み込みニューラルネットワークによる演算を高速化する演算手法が様々考案されている（特許文献１など）。
日本国特開２０１８－０７７８２９号公報
　一方で、ＩｏＴ機器などの組み込み機器においても畳み込みニューラルネットワークを利用した画像認識等が使用されている。組み込み機器において畳み込みニューラルネットワークを効率的に動作させるため、組み込み機器のハードウェア構成に合わせたニューラルネットワークに係る演算を行う回路やモデルを生成することが望まれている。また、これらの回路やモデルを高効率かつ高速に動作させる制御方法が望まれている。また、これらの回路やモデルを高効率かつ高速に動作させるソフトウェアを生成するソフトウェア生成プログラムが望まれている。
　上記事情を踏まえ、本発明は、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高効率かつ高速に動作させることができるニューラルネットワークに係る演算を行う回路やモデルを生成するニューラルネットワーク生成装置、ニューラルネットワークに係る演算を行う回路やモデルを高効率かつ高速に動作させるニューラルネットワーク制御方法およびニューラルネットワークに係る演算を行う回路やモデルを高効率かつ高速に動作させるソフトウェアを生成するソフトウェア生成プログラムを提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係るニューラルネットワーク生成装置は、ニューラルネットワークを演算するニューラルネットワーク実行モデルを生成するニューラルネットワーク生成装置であって、前記ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報と、前記ニューラルネットワークのネットワーク情報と、に基づいて前記ニューラルネットワーク実行モデルを生成する実行モデル生成部と、前記ニューラルネットワーク実行モデルを前記ハードウェアに実装したニューラルネットワークハードウェアを動作させるソフトウェアを生成するソフトウェア生成部と、を備える。
　本発明の第二の態様に係るニューラルネットワーク制御方法は、ニューラルネットワークを演算するニューラルネットワークハードウェアを制御する方法であって、前記ニューラルネットワークを分割して前記ニューラルネットワークハードウェアに演算させるニューラルネットワーク制御方法。
　本発明の第三の態様に係るソフトウェア生成プログラムは、ニューラルネットワークを演算するニューラルネットワークハードウェアを制御するソフトウェアを生成するプログラムであって、前記ニューラルネットワークを分割して前記ニューラルネットワークハードウェアに演算させる前記ソフトウェアをコンピュータに生成させる。
　本発明のニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラムは、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高性能に動作させることができるニューラルネットワークを生成して制御できる。
第一実施形態に係るニューラルネットワーク生成装置を示す図である。 同ニューラルネットワーク生成装置の演算部の入出力を示す図である。 畳み込みニューラルネットワークの一例を示す図である。 同畳み込みニューラルネットワークの畳み込み層が行う畳み込み演算を説明する図である。 ニューラルネットワーク実行モデルの一例を示す図である。 同ニューラルネットワーク実行モデルの動作例を示すタイミングチャートである。 同ニューラルネットワーク生成装置の制御フローチャートである。 生成される畳み込み演算回路の内部ブロック図である。 同畳み込み演算回路の乗算器の内部ブロック図である。 同乗算器の積和演算ユニットの内部ブロック図である。 同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。 同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。 同畳み込み演算回路の制御回路のステート遷移図である。 生成される量子化演算回路の内部ブロック図である。 同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。 同ベクトル演算回路の演算ユニットのブロック図である。 同量子化回路の量子化ユニットの内部ブロック図である。 生成されるＤＭＡＣの内部ブロック図である。 同畳み込み演算のデータ分割やデータ展開を説明する図である。 ネットワーク分割工程を説明する図である。 ネットワーク分割工程を説明する図である。 ネットワーク分割工程を説明する図である。 ネットワーク分割工程を説明する図である。 分割された演算を割り当てられたニューラルネットワークハードウェアのタイミングチャートを示す図である。 ニューラルネットワークハードウェアへの他の割り当て例を示すタイミングチャートである。
（第一実施形態）
　本発明の第一実施形態について、図１から図２６を参照して説明する。
　図１は、本実施形態に係るニューラルネットワーク生成装置３００を示す図である。
［ニューラルネットワーク生成装置３００］
　ニューラルネットワーク生成装置３００は、ＩｏＴ機器などの組み込み機器に組み込み可能な学習済みのニューラルネットワーク実行モデル１００を生成する装置である。ニューラルネットワーク実行モデル１００は、畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」という）を組み込み機器において演算させるために生成されたソフトウェアやハードウェアモデルである。
　ニューラルネットワーク生成装置３００は、ＣＰＵ（Central Processing Unit）等のプロセッサとメモリ等のハードウェアを備えたプログラム実行可能な装置（コンピュータ）である。ニューラルネットワーク生成装置３００の機能は、ニューラルネットワーク生成装置３００においてニューラルネットワーク生成プログラムおよびソフトウェア生成プログラムを実行することにより実現される。ニューラルネットワーク生成装置３００は、記憶部３１０と、演算部３２０と、データ入力部３３０と、データ出力部３４０と、表示部３５０と、操作入力部３６０と、を備える。
　記憶部３１０は、ハードウェア情報ＨＷと、ネットワーク情報ＮＷと、学習データセットＤＳと、ニューラルネットワーク実行モデル１００（以下、「ＮＮ実行モデル１００」という）と、学習済みパラメータＰＭと、を記憶する。ハードウェア情報ＨＷ、学習データセットＤＳおよびネットワーク情報ＮＷは、ニューラルネットワーク生成装置３００に入力される入力データである。ＮＮ実行モデル１００および学習済みパラメータＰＭは、ニューラルネットワーク生成装置３００が出力する出力データである。なお、「学習済みのＮＮ実行モデル１００」は、ＮＮ実行モデル１００および学習済みパラメータＰＭを含む。
　ハードウェア情報ＨＷは、ＮＮ実行モデル１００を動作させる組み込み機器（以降、「動作対象ハードウェア」という）の情報である。ハードウェア情報ＨＷは、例えば、動作対象ハードウェアのデバイス種別、デバイス制約、メモリ構成、バス構成、動作周波数、消費電力、製造プロセス種別などである。デバイス種別は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などの種別である。デバイス制約は、動作対象デバイスに含まれる演算器数の上限や回路規模の上限などである。メモリ構成は、メモリ種別やメモリ個数やメモリ容量や入出力データ幅である。バス構成は、バス種類、バス幅、バス通信規格、同一バス上の接続デバイスなどである。また、ＮＮ実行モデル１００に複数のバリエーションが存在する場合、ハードウェア情報ＨＷには使用するＮＮ実行モデル１００のバリエーションに関する情報が含まれる。
　ネットワーク情報ＮＷは、ＣＮＮ２００の基本情報である。ネットワーク情報ＮＷは、例えば、ＣＮＮ２００のネットワーク構成、入力データ情報、出力データ情報、量子化情報などである。入力データ情報は、画像や音声などの入力データ種別と、入力データサイズなどである。
　学習データセットＤＳは、学習に用いる学習データＤ１と、推論テストに用いるテストデータＤ２と、を有する。
　図２は、演算部３２０の入出力を示す図である。
　演算部３２０は、実行モデル生成部３２１と、学習部３２２と、推論部３２３と、ハードウェア生成部３２４と、ソフトウェア生成部３２５と、を有する。演算部３２０に入力されるＮＮ実行モデル１００は、ニューラルネットワーク生成装置３００以外の装置で生成されたものであってもよい。
　実行モデル生成部３２１は、ハードウェア情報ＨＷおよびネットワーク情報ＮＷに基づいてＮＮ実行モデル１００を生成する。ＮＮ実行モデル１００は、ＣＮＮ２００を動作対象ハードウェアにおいて演算させるために生成されたソフトウェアやハードウェアモデルである。ソフトウェアは、ハードウェアモデルを制御するソフトウェアを含む。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。
　学習部３２２は、ＮＮ実行モデル１００および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。推論部３２３は、ＮＮ実行モデル１００およびテストデータＤ２を用いて推論テストを実施する。
　ハードウェア生成部３２４は、ハードウェア情報ＨＷおよびＮＮ実行モデル１００に基づいてニューラルネットワークハードウェアモデル４００を生成する。ニューラルネットワークハードウェアモデル４００は、動作対象ハードウェアに実装可能なハードウェアモデルである。ニューラルネットワークハードウェアモデル４００は、ハードウェア情報ＨＷに基づいて、動作対象ハードウェアに最適化されている。ニューラルネットワークハードウェアモデル４００は、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。ニューラルネットワークハードウェアモデル４００は、ＮＮ実行モデル１００をハードウェアに実装するために必要なパラメータリストやコンフィグレーションファイルであってもよい。パラメータリストやコンフィグレーションファイルは別途生成されたＮＮ実行モデル１００と組み合わせて使用される。
　以降の説明において、ニューラルネットワークハードウェアモデル４００を動作対象ハードウェアに実装したものを、「ニューラルネットワークハードウェア６００」という。
　ソフトウェア生成部３２５は、ネットワーク情報ＮＷおよびＮＮ実行モデル１００に基づいて、ニューラルネットワークハードウェア６００を動作させるソフトウェア５００を生成する。ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてニューラルネットワークハードウェア６００へ転送するソフトウェアを含む。
　データ入力部３３０には、学習済みのＮＮ実行モデル１００を生成するために必要なハードウェア情報ＨＷやネットワーク情報ＮＷ等が入力される。ハードウェア情報ＨＷやネットワーク情報ＮＷ等は、例えば所定のデータフォーマットで記載されたデータとして入力される。入力されたハードウェア情報ＨＷやネットワーク情報ＮＷ等は、記憶部３１０に記憶される。ハードウェア情報ＨＷやネットワーク情報ＮＷ等は、操作入力部３６０から使用者により入力または変更されてもよい。
　データ出力部３４０には、生成された学習済みのＮＮ実行モデル１００が出力される。例えば、生成されたＮＮ実行モデル１００と、学習済みパラメータＰＭとがデータ出力部３４０に出力される。
　表示部３５０は、ＬＣＤディスプレイ等の公知のモニタを有する。表示部３５０は、演算部３２０が生成したＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画像やコマンド等を受け付けるためのコンソール画面などを表示できる。また、演算部３２０が使用者からの情報入力を必要とする場合、表示部３５０は操作入力部３６０から情報を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示できる。
　操作入力部３６０は、使用者が演算部３２０等に対しての指示を入力する装置である。操作入力部３６０は、タッチパネル、キーボード、マウス等の公知の入力デバイスである。操作入力部３６０の入力は、演算部３２０に送信される。
　演算部３２０の機能の全部または一部は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）のような１つ以上のプロセッサがプログラムメモリに記憶されたプログラムを実行することにより実現される。ただし、演算部３２０の機能の全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等のハードウェア（例えば回路部；circuity）により実現されてもよい。また、演算部３２０の機能の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。
　演算部３２０の機能の全部または一部は、クラウドサーバ等の外部機器に設けられたＣＰＵやＧＰＵやハードウェア等の外部アクセラレータを用いて実現されてもよい。演算部３２０は、例えばクラウドサーバ上の演算性能が高いＧＰＵや専用ハードウェアを併用することで、演算部３２０の演算速度を向上させることができる。
　記憶部３１０は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、またＲＡＭ（Random Access Memory）等により実現される。記憶部３１０の全部または一部はクラウドサーバ等の外部機器に設けられ、通信回線により演算部３２０等と接続させてもよい。
［畳み込みニューラルネットワーク（ＣＮＮ）２００］
　次に、ＣＮＮ２００について説明する。図３は、ＣＮＮ２００の一例を示す図である。ＣＮＮ２００のネットワーク情報ＮＷは、以下で説明するＣＮＮ２００の構成に関する情報である。ＣＮＮ２００は、低ビットの重みｗや量子化された入力データａを用いており、組み込み機器に組み込みやすい。
　ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。
　図４は、畳み込み層２１０が行う畳み込み演算を説明する図である。
　畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。
　畳み込み層２１０への入力データａ（アクティベーションデータ、特徴マップともいう）は、画像データ等の多次元データである。本実施形態において、入力データａは、要素（ｘ，ｙ，ｃ）からなる３次元テンソルである。ＣＮＮ２００の畳み込み層２１０は、低ビットの入力データａに対して畳み込み演算を行う。本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）である。入力データａの要素は、例えば、４ビットや８ビット符号なし整数でもよい。
　ＣＮＮ２００に入力される入力データが、例えば３２ビットの浮動小数点型など、畳み込み層２１０への入力データａと形式が異なる場合、ＣＮＮ２００は畳み込み層２１０の前に型変換や量子化を行う入力層をさらに有してもよい。
　畳み込み層２１０の重みｗ（フィルタ、カーネルともいう）は、学習可能なパラメータである要素を有する多次元データである。本実施形態において、重みｗは、要素（ｉ，ｊ，ｃ，ｄ）からなる４次元テンソルである。重みｗは、要素（ｉ，ｊ，ｃ）からなる３次元テンソル（以降、「重みｗｏ」という）をｄ個有している。学習済みのＣＮＮ２００における重みｗは、学習済みのデータである。ＣＮＮ２００の畳み込み層２１０は、低ビットの重みｗを用いて畳み込み演算を行う。本実施形態において、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
　畳み込み層２１０は、式１に示す畳み込み演算を行い、出力データｆを出力する。式１において、ｓはストライドを示す。図４において点線で示された領域は、入力データａに対して重みｗｏが適用される領域ａｏ（以降、「適用領域ａｏ」という）の一つを示している。適用領域ａｏの要素は、（ｘ＋ｉ，ｙ＋ｊ，ｃ）で表される。
Figure JPOXMLDOC01-appb-M000001
　量子化演算層２２０は、畳み込み層２１０が出力する畳み込み演算の出力に対して量子化などを実施する。量子化演算層２２０は、プーリング層２２１と、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４と、を有する。
　プーリング層２２１は、畳み込み層２１０が出力する畳み込み演算の出力データｆに対して平均プーリング（式２）やＭＡＸプーリング（式３）などの演算を実施して、畳み込み層２１０の出力データｆを圧縮する。式２および式３において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、Ｔはプーリング領域の大きさを示す。式３において、ｍａｘはＴに含まれるｉとｊの組み合わせに対するｕの最大値を出力する関数である。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２は、量子化演算層２２０やプーリング層２２１の出力データに対して、例えば式４に示すような演算によりデータ分布の正規化を行う。式４において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、αはスケールを示し、βはバイアスを示す。学習済みのＣＮＮ２００において、αおよびβは学習済みの定数ベクトルである。
Figure JPOXMLDOC01-appb-M000004
　活性化関数層２２３は、量子化演算層２２０やプーリング層２２１やＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２の出力に対してＲｅＬＵ（式５）などの活性化関数の演算を行う。式５において、ｕは入力テンソルであり、ｖは出力テンソルである。式５において、ｍａｘは引数のうち最も大きい数値を出力する関数である。
Figure JPOXMLDOC01-appb-M000005
　量子化層２２４は、量子化パラメータに基づいて、プーリング層２２１や活性化関数層２２３の出力に対して例えば式６に示すような量子化を行う。式６に示す量子化は、入力テンソルｕを２ビットにビット削減している。式６において、ｑ(ｃ)は量子化パラメータのベクトルである。学習済みのＣＮＮ２００において、ｑ(ｃ)は学習済みの定数ベクトルである。式６における不等号「≦」は「＜」であってもよい。
Figure JPOXMLDOC01-appb-M000006
　出力層２３０は、恒等関数やソフトマックス関数等によりＣＮＮ２００の結果を出力する層である。出力層２３０の前段のレイヤは、畳み込み層２１０であってもよいし、量子化演算層２２０であってもよい。
　ＣＮＮ２００は、量子化された量子化層２２４の出力データが、畳み込み層２１０に入力されるため、量子化を行わない他の畳み込みニューラルネットワークと比較して、畳み込み層２１０の畳み込み演算の負荷が小さい。
［ニューラルネットワーク実行モデル１００（ＮＮ実行モデル）１００］
　次に、ＮＮ実行モデル１００について説明する。図５は、ＮＮ実行モデル１００の一例を示す図である。ＮＮ実行モデル１００は、ＣＮＮ２００を動作対象ハードウェアにおいて演算させるために生成されたソフトウェアやハードウェアモデルである。ソフトウェアは、ハードウェアモデルを制御するソフトウェアを含む。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。
　ＮＮ実行モデル１００は、第一メモリ１と、第二メモリ２と、ＤＭＡコントローラ３（以下、「ＤＭＡＣ３」ともいう）と、畳み込み演算回路４と、量子化演算回路５と、コントローラ６と、を備える。ＮＮ実行モデル１００は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。
　第一メモリ１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一メモリ１には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第一メモリ１は、畳み込み演算回路４の入力ポートと接続されており、畳み込み演算回路４は第一メモリ１からデータを読み出すことができる。また、第一メモリ１は、量子化演算回路５の出力ポートと接続されており、量子化演算回路５は第一メモリ１にデータを書き込むことができる。外部ホストＣＰＵは、第一メモリ１に対するデータの書き込みや読み出しにより、ＮＮ実行モデル１００に対するデータの入出力を行うことができる。
　第二メモリ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第二メモリ２には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第二メモリ２は、量子化演算回路５の入力ポートと接続されており、量子化演算回路５は第二メモリ２からデータを読み出すことができる。また、第二メモリ２は、畳み込み演算回路４の出力ポートと接続されており、畳み込み演算回路４は第二メモリ２にデータを書き込むことができる。外部ホストＣＰＵは、第二メモリ２に対するデータの書き込みや読み出しにより、ＮＮ実行モデル１００に対するデータの入出力を行うことができる。
　ＤＭＡＣ３は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。
　畳み込み演算回路４は、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４は、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４は、畳み込み演算の出力データｆ（以降、「畳み込み演算出力データ」ともいう）を第二メモリ２に書き込む。
　量子化演算回路５は、学習済みのＣＮＮ２００の量子化演算層２２０における量子化演算の少なくとも一部を行う回路である。量子化演算回路５は、第二メモリ２に格納された畳み込み演算の出力データｆを読み出し、畳み込み演算の出力データｆに対して量子化演算（プーリング、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数、および量子化のうち少なくとも量子化を含む演算）を行う。量子化演算回路５は、量子化演算の出力データ（以降、「量子化演算出力データ」ともいう）оｕｔを第一メモリ１に書き込む。
　コントローラ６は、外部バスＥＢに接続されており、外部のホストＣＰＵのスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１を有している。パラメータレジスタは、ＮＮ実行モデル１００の動作を制御するレジスタである。状態レジスタはセマフォＳを含むＮＮ実行モデル１００の状態を示すレジスタである。外部ホストＣＰＵは、コントローラ６を経由して、レジスタ６１にアクセスできる。
　コントローラ６は、内部バスＩＢを介して、第一メモリ１と、第二メモリ２と、ＤＭＡＣ３と、畳み込み演算回路４と、量子化演算回路５と、接続されている。外部ホストＣＰＵは、コントローラ６を経由して、各ブロックに対してアクセスできる。例えば、外部ホストＣＰＵは、コントローラ６を経由して、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５に対する命令を指示することができる。また、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５は、内部バスＩＢを介して、コントローラ６が有する状態レジスタ（セマフォＳを含む）を更新できる。状態レジスタ（セマフォＳを含む）は、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５と接続された専用配線を介して更新されるように構成されていてもよい。
　ＮＮ実行モデル１００は、第一メモリ１や第二メモリ２等を有するため、ＤＲＡＭなどの外部メモリからのＤＭＡＣ３によるデータ転送において、重複するデータのデータ転送の回数を低減できる。これにより、メモリアクセスにより発生する消費電力を大幅に低減することができる。
　図６は、ＮＮ実行モデル１００の動作例を示すタイミングチャートである。ＮＮ実行モデル１００は、複数のレイヤの多層構造であるＣＮＮ２００の演算を、ループ状に形成された回路により演算する。ＮＮ実行モデル１００は、ループ状の回路構成により、ハードウェア資源を効率的に利用できる。以下、図６に示すニューラルネットワークハードウェア６００の動作例を説明する。
　ＤＭＡＣ３は、レイヤ１（図３参照）の入力データａを第一メモリ１に格納する。ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ１（図３参照）の入力データａを読み出す。畳み込み演算回路４は、レイヤ１の入力データａに対してレイヤ１の畳み込み演算を行う。レイヤ１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　量子化演算回路５は、第二メモリ２に格納されたレイヤ１の出力データｆを読み出す。量子化演算回路５は、レイヤ１の出力データｆに対してレイヤ２の量子化演算を行う。レイヤ２の量子化演算の出力データоｕｔは、第一メモリ１に格納される。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２の量子化演算の出力データоｕｔを入力データａとしてレイヤ３の畳み込み演算を行う。レイヤ３の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍ－２（Ｍは自然数）の量子化演算の出力データоｕｔを読み出す。畳み込み演算回路４は、レイヤ２Ｍ－２の量子化演算の出力データоｕｔを入力データａとしてレイヤ２Ｍ－１の畳み込み演算を行う。レイヤ２Ｍ－１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　量子化演算回路５は、第二メモリ２に格納されたレイヤ２Ｍ－１の出力データｆを読み出す。量子化演算回路５は、２Ｍ－１レイヤの出力データｆに対してレイヤ２Ｍの量子化演算を行う。レイヤ２Ｍの量子化演算の出力データоｕｔは、第一メモリ１に格納される。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍの量子化演算の出力データоｕｔを読み出す。畳み込み演算回路４は、レイヤ２Ｍの量子化演算の出力データоｕｔを入力データａとしてレイヤ２Ｍ＋１の畳み込み演算を行う。レイヤ２Ｍ＋１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　畳み込み演算回路４と量子化演算回路５とが交互に演算を行い、図３に示すＣＮＮ２００の演算を進めていく。ＮＮ実行モデル１００は、畳み込み演算回路４が時分割によりレイヤ２Ｍ－１とレイヤ２Ｍ＋１の畳み込み演算を実施する。また、ＮＮ実行モデル１００は、量子化演算回路５が時分割によりレイヤ２Ｍ－２とレイヤ２Ｍの量子化演算を実施する。そのため、ＮＮ実行モデル１００は、レイヤごとに別々の畳み込み演算回路４と量子化演算回路５を実装する場合と比較して、回路規模が著しく小さい。
［ニューラルネットワーク生成装置３００の動作］
　次に、ニューラルネットワーク生成装置３００の動作（ニューラルネットワーク制御方法）を、図７に示すニューラルネットワーク生成装置３００の制御フローチャートに沿って説明する。ニューラルネットワーク生成装置３００は初期化処理（ステップＳ１０）を実施した後、ステップＳ１１を実行する。
＜ハードウェア情報取得工程（Ｓ１１）＞
　ステップＳ１１において、ニューラルネットワーク生成装置３００は、動作対象ハードウェアのハードウェア情報ＨＷを取得する（ハードウェア情報取得工程）。ニューラルネットワーク生成装置３００は、例えば、データ入力部３３０に入力されたハードウェア情報ＨＷを取得する。ニューラルネットワーク生成装置３００は、表示部３５０にハードウェア情報ＨＷの入力に必要なＧＵＩ画像を表示させ、使用者にハードウェア情報ＨＷを操作入力部３６０から入力させることでハードウェア情報ＨＷを取得してもよい。
　ハードウェア情報ＨＷは、具体的には、第一メモリ１および第二メモリ２として割り当てるメモリのメモリ種別やメモリ容量や入出力データ幅を有する。
　取得されたハードウェア情報ＨＷは、記憶部３１０に記憶される。次に、ニューラルネットワーク生成装置３００は、ステップＳ１２を実行する。
＜ネットワーク情報取得工程（Ｓ１２）＞
　ステップＳ１２において、ニューラルネットワーク生成装置３００は、ＣＮＮ２００のネットワーク情報ＮＷを取得する（ネットワーク情報取得工程）。ニューラルネットワーク生成装置３００は、例えば、データ入力部３３０に入力されたネットワーク情報ＮＷを取得する。ニューラルネットワーク生成装置３００は、表示部３５０にネットワーク情報ＮＷの入力に必要なＧＵＩ画像を表示させ、使用者にネットワーク情報ＮＷを操作入力部３６０から入力させることでネットワーク情報ＮＷを取得してもよい。
　ネットワーク情報ＮＷは、具体的には、入力層や出力層２３０を含むネットワーク構成と、重みｗや入力データａのビット幅を含む畳み込み層２１０の構成と、量子化情報を含む量子化演算層２２０の構成と、を有する。
　取得されたネットワーク情報ＮＷは、記憶部３１０に記憶される。次に、ニューラルネットワーク生成装置３００は、ステップＳ１３を実行する。
＜ニューラルネットワーク実行モデル生成工程（Ｓ１３）＞
　ステップＳ１３において、ニューラルネットワーク生成装置３００の実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００を生成する（ニューラルネットワーク実行モデル生成工程）。
　ニューラルネットワーク実行モデル生成工程（ＮＮ実行モデル生成工程）は、例えば、畳み込み演算回路生成工程（Ｓ１３－１）と、量子化演算回路生成工程（Ｓ１３－２）と、ＤＭＡＣ生成工程（Ｓ１３－３）と、を有する。
＜畳み込み演算回路生成工程（Ｓ１３－１）＞
　実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００の畳み込み演算回路４を生成する（畳み込み演算回路生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された重みｗや入力データａのビット幅などの情報から、畳み込み演算回路４のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成される畳み込み演算回路４のハードウェアモデルの一例を説明する。
　図８は、生成される畳み込み演算回路４の内部ブロック図である。
　畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。
　重みメモリ４１は、畳み込み演算に用いる重みｗが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、畳み込み演算に必要な重みｗを重みメモリ４１に書き込む。
　図９は、乗算器４２の内部ブロック図である。
　乗算器４２は、入力ベクトルａの各要素と重みマトリクスｗの各要素とを乗算する。入力ベクトルａの各要素は、入力データａが分割されたデータであり、Ｂｃ個の要素を持つベクトルデータである（例えば、後述する「入力ベクトルＡ」）。また、重みマトリクスｗの各要素は、重みｗが分割されたデータであり、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータである（例えば、後述する「重みマトリクスＷ」）。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニット４７を有し、入力ベクトルＡと重みマトリクスＷとを乗算を並列して実施できる。
　乗算器４２は、乗算に必要な入力ベクトルＡと重みマトリクスＷを、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を出力する。
　図１０は、積和演算ユニット４７の内部ブロック図である。
　積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）との乗算を実施する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｃｉ，ｄｉ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｃｉ＋１，ｄｉ）を出力する。ｃｉは０から(Ｂｃ－１)までのインデックスである。ｄｉは０から(Ｂｄ－１)までのインデックスである。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
　積和演算ユニット４７は、反転器（インバータ）４７ａと、セレクタ４７ｂと、加算器４７ｃと、を有する。積和演算ユニット４７は、乗算器を用いず、反転器４７ａおよびセレクタ４７ｂのみを用いて乗算を行う。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「０」の場合、要素Ａ（ｃｉ）の入力を選択する。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「１」の場合、要素Ａ（ｃｉ）を反転器により反転させた補数を選択する。要素Ｗ（ｃｉ，ｄｉ）は、加算器４７ｃのＣａｒｒｙ－ｉｎにも入力される。加算器４７ｃは、要素Ｗ（ｃｉ，ｄｉ）が「０」のとき、Ｓ（ｃｉ，ｄｉ）に要素Ａ（ｃｉ）を加算した値を出力する。加算器４７ｃは、Ｗ（ｃｉ，ｄｉ）が「１」のとき、Ｓ（ｃｉ，ｄｉ）から要素Ａ（ｃｉ）を減算した値を出力する。
　図１１は、アキュムレータ回路４３の内部ブロック図である。
　アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。
　図１２は、アキュムレータユニット４８の内部ブロック図である。
　アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。
　加算器４８ａは、加算結果を第二メモリ２の同一アドレスに書き込む。マスク部４８ｂは、初期化信号ｃｌｅａｒがアサートされた場合に、第二メモリ２からの出力をマスクし、要素Ｏ（ｄｉ）に対する加算対象をゼロにする。初期化信号ｃｌｅａｒは、第二メモリ２に途中経過の部分和が格納されていない場合にアサートされる。
　乗算器４２およびアキュムレータ回路４３による畳み込み演算が完了すると、第二メモリに、Ｂｄ個の要素を持つ出力データｆ（ｘ，ｙ，ｄｏ）が格納される。
　ステートコントローラ４４は、乗算器４２およびアキュムレータ回路４３のステートを制御する。また、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ４４は、命令キュー４５と制御回路４６とを有する。
　命令キュー４５は、畳み込み演算回路４用の命令コマンドＣ４が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー４５には、内部バスＩＢ経由で命令コマンドＣ４が書き込まれる。
　制御回路４６は、命令コマンドＣ４をデコードし、命令コマンドＣ４に基づいて乗算器４２およびアキュムレータ回路４３を制御するステートマシンである。制御回路４６は、論理回路により実装されていてもよいし、ソフトウェアによって制御されるＣＰＵによって実装されていてもよい。
　図１３は、制御回路４６のステート遷移図である。
　制御回路４６は、命令キュー４５に命令コマンドＣ４が入力されると（Ｎｏｔ　ｅｍｐｔｙ）、アイドルステートＳ１からデコードステートＳ２に遷移する。
　制御回路４６は、デコードステートＳ２において、命令キュー４５から出力される命令コマンドＣ３をデコードする。また、制御回路４６は、コントローラ６のレジスタ６１に格納されたセマフォＳを読み出し、命令コマンドＣ４において指示された乗算器４２やアキュムレータ回路４３の動作を実行可能であるかを判定する。実行不能である場合（Ｎｏｔ　ｒｅａｄｙ）、制御回路４６は実行可能となるまで待つ（Ｗａｉｔ）。実行可能である場合（ｒｅａｄｙ）、制御回路４６はデコードステートＳ２から実行ステートＳ３に遷移する。
　制御回路４６は、実行ステートＳ３において、乗算器４２やアキュムレータ回路４３を制御して、乗算器４２やアキュムレータ回路４３に命令コマンドＣ４において指示された動作を実施させる。制御回路４６は、乗算器４２やアキュムレータ回路４３の動作が終わると、命令キュー４５から実行を終えた命令コマンドＣ４を取り除くとともに、コントローラ６のレジスタ６１に格納されたセマフォＳを更新する。制御回路４６は、命令キュー４５に命令がある場合（Ｎｏｔ　ｅｍｐｔｙ）、実行ステートＳ３からデコードステートＳ２に遷移する。制御回路４６は、命令キュー４５に命令がない場合（ｅｍｐｔｙ）、実行ステートＳ３からアイドルステートＳ１に遷移する。
　実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された重みｗや入力データａのビット幅などの情報から、畳み込み演算回路４における演算器の仕様やサイズ（ＢｃやＢｄ）を決定する。ハードウェア情報ＨＷの中に生成するＮＮ実行モデル１００（ニューラルネットワークハードウェアモデル４００、ニューラルネットワークハードウェア６００）のハードウェア規模が含まれる場合、実行モデル生成部３２１は、指定された規模にあわせて畳み込み演算回路４における演算器の仕様やサイズ（ＢｃやＢｄ）を調整する。
＜量子化演算回路生成工程（Ｓ１３－２）＞
　実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００の量子化演算回路５を生成する（量子化演算回路生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された量子化情報から、量子化演算回路５のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成される量子化演算回路５のハードウェアモデルの一例を説明する。
　図１４は、生成される量子化演算回路５の内部ブロック図である。
　量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。
　量子化パラメータメモリ５１は、量子化演算に用いる量子化パラメータｑが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、量子化演算に必要な量子化パラメータｑを量子化パラメータメモリ５１に書き込む。
　図１５は、ベクトル演算回路５２と量子化回路５３の内部ブロック図である。
　ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。
　図１６は、演算ユニット５７のブロック図である。
　演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。
　ベクトル演算回路５２は、演算ユニット５７が有する演算器等を組み合わせることで、出力データｆ（ｘ，ｙ，ｄｏ）に対して、量子化演算層２２０におけるプーリング層２２１や、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２や、活性化関数層２２３の演算のうち少なくとも一つの演算を行う。
　演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより加算できる。演算ユニット５７は、ＡＬＵ５７ａによる加算結果をレジスタ５７ｄに格納できる。演算ユニット５７は、第一セレクタ５７ｂの選択によりレジスタ５７ｄに格納されたデータに代えて「０」をＡＬＵ５７ａに入力することで加算結果を初期化できる。例えばプーリング領域が２×２である場合、シフタ５７ｅはＡＬＵ５７ａの出力を２ｂｉｔ右シフトすることで加算結果の平均値を出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式２に示す平均プーリングの演算を実施できる。
　演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより比較できる。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。
　演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより減算できる。シフタ５７ｅはＡＬＵ５７ａの出力を左シフト（すなわち乗算）もしくは右シフト（すなわち除算）できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式４のＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を実施できる。
　演算ユニット５７は、第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）と第一セレクタ５７ｂにより選択された「０」とをＡＬＵ５７ａにより比較できる。演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて要素ｆ（ｄｉ）と予めレジスタ５７ｄに格納された定数値「０」のいずれかを選択して出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式５のＲｅＬＵ演算を実施できる。
　ベクトル演算回路５２は、平均プーリング、ＭＡＸプーリング、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数の演算およびこれらの演算の組み合わせを実施できる。ベクトル演算回路５２は、汎用ＳＩＭＤ演算を実施できるため、量子化演算層２２０における演算に必要な他の演算を実施してもよい。また、ベクトル演算回路５２は、量子化演算層２２０における演算以外の演算を実施してもよい。
　なお、量子化演算回路５は、ベクトル演算回路５２を有してなくてもよい。量子化演算回路５がベクトル演算回路５２を有していない場合、出力データｆ（ｘ，ｙ，ｄｏ）は量子化回路５３に入力される。
　量子化回路５３は、ベクトル演算回路５２の出力データに対して、量子化を行う。量子化回路５３は、図１５に示すように、Ｂｄ個の量子化ユニット５８を有し、ベクトル演算回路５２の出力データに対して並列に演算を行う。
　図１７は、量子化ユニット５８の内部ブロック図である。
　量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素に量子化する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。
　量子化ユニット５８は、入力ｉｎ（ｄｉ）を３つの閾値ｔｈ０，ｔｈ１，ｔｈ２と比較することにより、入力ｉｎ（ｄｉ）を４領域（例えば、ｉｎ≦ｔｈ０，ｔｈ０＜ｉｎ≦ｔｈ１，ｔｈ１＜ｉｎ≦ｔｈ２，ｔｈ２＜ｉｎ）に分類し、分類結果を２ビットにエンコードして出力する。量子化ユニット５８は、量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）の設定により、量子化と併せてＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算を行うこともできる。
　量子化ユニット５８は、閾値ｔｈ０を式４のβ(ｃ)、閾値の差（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を式４のα(ｃ)として設定して量子化を行うことで、式４に示すＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を量子化と併せて実施できる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を大きくすることでα(ｃ)を小さくできる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を小さくすることで、α(c)を大きくできる。
　量子化ユニット５８は、入力ｉｎ（ｄｉ）の量子化と併せて活性化関数のＲｅＬＵ演算を実施できる。例えば、量子化ユニット５８は、ｉｎ（ｄｉ）≦ｔｈ０およびｔｈ２＜ｉｎ（ｄｉ）となる領域では出力値を飽和させる。量子化ユニット５８は、出力が非線形となるように量子化パラメータｑを設定することで活性化関数の演算を量子化と併せて実施できる。
　ステートコントローラ５４は、ベクトル演算回路５２および量子化回路５３のステートを制御する。また、ステートコントローラ５４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ５４は、命令キュー５５と制御回路５６とを有する。
　命令キュー５５は、量子化演算回路５用の命令コマンドＣ５が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー５５には、内部バスＩＢ経由で命令コマンドＣ５が書き込まれる。
　制御回路５６は、命令コマンドＣ５をデコードし、命令コマンドＣ５に基づいてベクトル演算回路５２および量子化回路５３を制御するステートマシンである。制御回路５６は、畳み込み演算回路４のステートコントローラ４４の制御回路４６と同様の構成である。
　量子化演算回路５は、Ｂｄ個の要素を持つ量子化演算出力データを第一メモリ１に書き込む。なお、ＢｄとＢｃの好適な関係を式７に示す。式７においてｎは整数である。
Figure JPOXMLDOC01-appb-M000007
　実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された量子化情報から、量子化演算回路５における、プーリングの演算の有無および種類（平均プーリング、ＭＡＸプーリングなど）、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎの演算の有無および方式、活性化関数の演算の有無および方式（ＲｅＬＵ演算など）、量子化の方式（ビット数など）、およびその他の演算の有無を決定する。ハードウェア情報ＨＷの中に生成するＮＮ実行モデル１００（ニューラルネットワークハードウェアモデル４００、ニューラルネットワークハードウェア６００）のハードウェア規模が含まれる場合、実行モデル生成部３２１は、指定された規模にあわせて量子化演算回路５における演算器の構成を調整する。
＜ＤＭＡＣ生成工程（Ｓ１３－３）＞
　実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００のＤＭＡＣ３を生成する（ＤＭＡＣ生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された情報から、ＤＭＡＣ３のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成されるＤＭＡＣ３のハードウェアモデルの一例を説明する。
　図１８は、生成されるＤＭＡＣ３の内部ブロック図である。
　ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。
　データ転送回路３１は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。データ転送回路３１のＤＭＡチャンネル数は限定されない。例えば、第一メモリ１と第二メモリ２のそれぞれに専用のＤＭＡチャンネルを有していてもよい。
　ステートコントローラ３２は、データ転送回路３１のステートを制御する。また、ステートコントローラ３２は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ３２は、命令キュー３３と制御回路３４とを有する。
　命令キュー３３は、ＤＭＡＣ３用の命令コマンドＣ３が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー３３には、内部バスＩＢ経由で１つ以上の命令コマンドＣ３が書き込まれる。
　制御回路３４は、命令コマンドＣ３をデコードし、命令コマンドＣ３に基づいて順次データ転送回路３１を制御するステートマシンである。制御回路３４は、畳み込み演算回路４のステートコントローラ４４の制御回路４６と同様の構成である。
　実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された情報から、ＤＭＡＣ３における、ＤＭＡチャンネル数やデータバス幅などを決定する。
　例えば、実行モデル生成部３２１は、ホスト側の外部バスＥＢの仕様にあわせた仕様（データバス幅等）のＤＭＡＣ３を生成する。データバス幅やＤＭＡチャンネル数を増やすことで外部メモリと第一メモリ１や第二メモリ２とのデータ伝送速度を向上させることができる。
＜学習工程（Ｓ１４）＞
　ステップＳ１４において、ニューラルネットワーク生成装置３００の学習部３２２および推論部３２３は、学習データセットＤＳを用いて、生成されたＮＮ実行モデル１００の学習パラメータを学習する（学習工程）。学習工程（Ｓ１４）は、例えば、学習済みパラメータ生成工程（Ｓ１４－１）と、推論テスト工程（Ｓ１４－２）と、を有する。
＜学習工程：学習済みパラメータ生成工程（Ｓ１４－１）＞
　学習部３２２は、ＮＮ実行モデル１００および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。学習済みパラメータＰＭは、学習済みの重みｗおよび量子化パラメータｑ等である。
　例えば、ＮＮ実行モデル１００が画像認識を実施するＣＮＮ２００の実行モデルである場合、学習データＤ１は入力画像と教師データＴとの組み合わせである。入力画像は、ＣＮＮ２００に入力される入力データａである。教師データＴは、画像に撮像された被写体の種類や、画像における検出対象物の有無や、画像における検出対象物の座標値などである。
　学習部３２２は、公知の技術である誤差逆伝播法などによる教師あり学習によって、学習済みパラメータＰＭを生成する。学習部３２２は、入力画像に対するＮＮ実行モデル１００の出力と、入力画像に対応する教師データＴと、の差分Ｅを損失関数（誤差関数）により求め、差分Ｅが小さくなるように重みｗおよび量子化パラメータｑを更新する。
　例えば重みｗを更新する場合、重みｗに関する損失関数の勾配が用いられる。勾配は、例えば損失関数を微分することにより算出される。誤差逆伝播法を用いる場合、勾配は逆伝番（ｂａｃｋｗａｒｄ）により算出される。
　学習部３２２は、勾配を算出して重みｗを更新する際において、畳み込み演算に関連する演算を高精度化する。具体的には、ＮＮ実行モデル１００が使用する低ビットの重みｗ（例えば１ビット）より高精度な３２ビットの浮動小数点型の重みｗが学習に使用される。また、ＮＮ実行モデル１００の畳み込み演算回路４において実施する畳み込み演算が高精度化される。
　学習部３２２は、勾配を算出して重みｗを更新する際において、活性化関数に関連する演算を高精度化する。具体的には、ＮＮ実行モデル１００の量子化演算回路５において実施するＲｅＬＵ関数などの活性化関数より高精度なシグモンド関数が学習に使用される。
　一方、学習部３２２は、順伝搬（ｆоｒｗａｒｄ）により入力画像に対する出力データを算出する際においては、畳み込み演算および活性化関数に関連する演算を高精度化せず、ＮＮ実行モデル１００に基づいた演算を実施する。重みｗを更新する際に用いられた高精度な重みｗは、ルックアップテーブル等により低ビット化される。
　学習部３２２は、勾配を算出して重みｗを更新する際において、畳み込み演算および活性化関数に関連する演算を高精度化することにより、演算における中間データの精度低下を防止して、高い推論精度を実現できる学習済みパラメータＰＭを生成できる。
　一方、学習部３２２は、入力画像に対する出力データを算出する際において、順伝搬（ｆоｒｗａｒｄ）の演算を高精度化せず、ＮＮ実行モデル１００に基づいた演算を実施する。そのため、学習部３２２が算出した出力データと、生成された学習済みパラメータＰＭを用いたＮＮ実行モデル１００の出力データと、が一致する。
＜学習工程：推論テスト工程（Ｓ１４－２）＞
　推論部３２３は、学習部３２２が生成した学習済みパラメータＰＭ、ＮＮ実行モデル１００およびテストデータＤ２を用いて推論テストを実施する。例えば、ＮＮ実行モデル１００が画像認識を実施するＣＮＮ２００の実行モデルである場合、テストデータＤ２は、学習データＤ１同様に入力画像と教師データＴとの組み合わせである。
　推論部３２３は、推論テストの進捗および結果を表示部３５０に表示する。推論テストの結果は、例えばテストデータＤ２に対する正解率である。
＜確認工程（Ｓ１５）＞
　ステップＳ１５において、ニューラルネットワーク生成装置３００の推論部３２３は、操作入力部３６０から結果に関する確認を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示部３５０に表示させる。使用者は、推論テストの結果を許容するかを、操作入力部３６０から入力する。使用者が推論テストの結果を許容することを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク生成装置３００は、次にステップＳ１６を実施する。使用者が推論テストの結果を許容しないことを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク生成装置３００は、再度ステップＳ１２を実施する。なお、ニューラルネットワーク生成装置３００はステップＳ１１まで戻って、ハードウェア情報ＨＷを使用者に再入力させてもよい。
＜出力工程（Ｓ１６）＞
　ステップＳ１６において、ニューラルネットワーク生成装置３００のハードウェア生成部３２４は、ハードウェア情報ＨＷおよびＮＮ実行モデル１００に基づいてニューラルネットワークハードウェアモデル４００を生成する。
＜ソフトウェア生成工程（Ｓ１７）＞
　ステップＳ１７において、ニューラルネットワーク生成装置３００のソフトウェア生成部３２５は、ネットワーク情報ＮＷおよびＮＮ実行モデル１００などに基づいて、ニューラルネットワークハードウェア６００（ニューラルネットワークハードウェアモデル４００を動作対象ハードウェアに実装したもの）を動作させるソフトウェア５００を生成する。ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてニューラルネットワークハードウェア６００へ転送するソフトウェアを含む。
　ソフトウェア生成工程（Ｓ１７）は、例えば、入力データ分割工程（Ｓ１７－１）と、ネットワーク分割工程（Ｓ１７－２）と、アロケーション工程（Ｓ１７－３）と、を有する。
＜入力データ分割工程（Ｓ１７－１）：データ分割＞
　ソフトウェア生成部３２５は、第一メモリ１および第二メモリ２として割り当てるメモリのメモリ容量や演算器の仕様やサイズ（ＢｃやＢｄ）などに基づいて、畳み込み層２１０の畳み込み演算の入力データａを部分テンソルに分割する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。
　図１９は、畳み込み演算のデータ分割やデータ展開を説明する図である。
　畳み込み演算のデータ分割において、式１における変数ｃは、式８に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式９に示すように、サイズＢｄのブロックで分割される。式８において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式９において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　式１における入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）は、ｃ軸方向においてサイズＢｃにより分割され、分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）で表される。以降の説明において、分割された入力データａを「分割入力データａ」ともいう。
　式１における重みｗ（ｉ，ｊ，ｃ，ｄ）は、ｃ軸方向においてサイズＢｃおよびｄ軸方向においてサイズＢｄにより分割され、分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）で表される。以降の説明において、分割された重みｗを「分割重みｗ」ともいう。
　サイズＢｄにより分割された出力データｆ（ｘ，ｙ，ｄｏ）は、式１０により求まる。分割された出力データｆ（ｘ，ｙ，ｄｏ）を組み合わせることで、最終的な出力データｆ（ｘ，ｙ，ｄ）を算出できる。
Figure JPOXMLDOC01-appb-M000010
＜入力データ分割工程（Ｓ１７－１）：データ展開＞
　ソフトウェア生成部３２５は、ＮＮ実行モデル１００の畳み込み演算回路４に、分割された入力データａおよび重みｗを展開する。
　分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）は、Ｂｃ個の要素を持つベクトルデータに展開される。分割入力データａの要素は、ｃｉでインデックスされる（０≦ｃｉ＜Ｂｃ）。以降の説明において、ｉ，ｊごとにベクトルデータに展開された分割入力データａを「入力ベクトルＡ」ともいう。入力ベクトルＡは、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ×Ｂｃ）から分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１））までを要素とする。
　分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）は、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータに展開される。マトリクスデータに展開された分割重みｗの要素は、ｃｉとｄｉでインデックスされる（０≦ｄｉ＜Ｂｄ）。以降の説明において、ｉ，ｊごとにマトリクスデータに展開された分割重みｗを「重みマトリクスＷ」ともいう。重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ，ｄｏ×Ｂｄ）から分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１），ｄｏ×Ｂｄ＋（Ｂｄ－１））までを要素とする。
　入力ベクトルＡと重みマトリクスＷとを乗算することで、ベクトルデータが算出される。ｉ，ｊ，ｃｏごとに算出されたベクトルデータを３次元テンソルに整形することで、出力データｆ（ｘ，ｙ，ｄｏ）を得ることができる。このようなデータの展開を行うことで、畳み込み層２１０の畳み込み演算を、ベクトルデータとマトリクスデータとの乗算により実施できる。
　例えば、入力データａの大きさがＸ×Ｙ×Ｃであり、重みｗの大きさをＫ×Ｋ×Ｃ×Ｄであり、出力データｆの大きさがＸ×Ｙ×Ｄであるとする。ｄ軸方向にサイズＢｄで分割された出力データｆ（ｘ，ｙ，ｄｏ）は、ｃ軸方向にサイズＢｃで分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）と、サイズＢｃおよびＢｄにより分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）とを、ｉ，ｊ，ｃｏごとに畳み込み演算して、足し合わせることで算出できる。
　出力データｆの要素が１６ビットである場合、ｄ軸方向にサイズＢｄで分割された出力データｆ（ｘ，ｙ，ｄｏ）のサイズは、１６・Ｘ・Ｙ・Ｂｄビットである。一方、入力データａの要素が２ビットである場合、Ｂｄで分割された出力データｆを算出するために必要な入力データａのサイズは２・Ｘ・Ｙ・Ｂｃビットである。また、重みｗの要素が１ビットである場合、Ｂｄで分割された出力データｆを算出するために必要な重みｗのサイズは１・Ｋ・Ｋ・Ｂｃ・Ｂｄビットである。
　ソフトウェア生成部３２５は、第一メモリ１および第二メモリ２として割り当てるメモリのメモリ容量や演算器の仕様やサイズ（ＢｃやＢｄ）などに基づいて、入力データａをニューラルネットワークハードウェア６００で演算しやすい単位（部分テンソル）に分割する。ソフトウェア生成部３２５は、例えば、分割された入力データａ（２・Ｘ・Ｙ・Ｂｃビット）が第一メモリ１に複数格納されるように入力データａを部分テンソルに分割する。ソフトウェア生成部３２５は、レイヤごとに入力データａを分割する。なお、ニューラルネットワークハードウェア６００で演算しやすい単位とは、ニューラルネットワークハードウェア６００で並列演算可能な演算器の数、第一メモリ１または第二メモリ２の容量や帯域、消費電力量、演算周波数などに基づいて決定する。例えば、並列演算可能な演算器の数が多い場合、入力データａの分割数は少ないことが好ましい。
＜ネットワーク分割工程（Ｓ１７－２）＞
　ソフトウェア生成部３２５は、ＣＮＮ２００のネットワーク（レイヤ）を分割して、ループ状に形成された畳み込み演算回路４と量子化演算回路５とにマッピングする（ネットワーク分割工程）。
　図２０から図２３は、ネットワーク分割工程を説明する図である。本実施形態においては、畳み込み演算と量子化演算とで構成される演算を三回実施（レイヤ１からレイヤ６を実施）する例を説明する。以降の説明において、畳み込み演算回路４に入力されるレイヤｎの入力データａを「ａ［ｎ］」という。また、畳み込み演算回路４から出力されるレイヤｎの出力データｆを「ｆ［ｎ］」という。量子化演算回路５から出力される量子化演算の出力データ（量子化演算出力データ）оｕｔを「оｕｔ［ｎ］」という。
　ソフトウェア生成部３２５は、入力データ分割工程（Ｓ１７－１）において、畳み込み演算回路４に入力されるレイヤ１の入力データａ［１］を、例えば、「第一部分テンソルａ［１］1」と、「第二部分テンソルａ［１］2」とに分割する。
　ソフトウェア生成部３２５は、分割された入力データａ［１］のうち、ＤＭＡＣ３が第一メモリ１に転送するデータを選択する。ソフトウェア生成部３２５は、第一メモリ１の未使用領域に対して転送できるデータを、畳み込み演算の順序にあわせて選択する。
　畳み込み演算の性質上、第一部分テンソルａ［１］1に対する畳み込み演算には、第二部分テンソルａ［１］２のうち第一部分テンソルａ［１］1と隣接する一部の領域（以降、「重複領域Ｒ（Ｒ１）」ともいう）が必要となる。そのため、第一部分テンソルａ［１］1に対する畳み込み演算を実施する場合、第一部分テンソルａ［１］1と併せて重複領域Ｒ（Ｒ１）のデータも第一メモリ１に読み出されて格納される。ソフトウェア生成部３２５は、例えば、メモリアドレッシングしやすい態様で重複領域Ｒ（Ｒ１）を第一部分テンソルａ［１］1に含ませる。
　同様に、第二部分テンソルａ［１］２に対する畳み込み演算には、第一部分テンソルａ［１］１のうち第二部分テンソルａ［１］２と隣接する一部の領域（以降、「重複領域Ｒ（Ｒ２）」ともいう）が必要となる。そのため、第二部分テンソルａ［１］２に対する畳み込み演算を実施する場合、第二部分テンソルａ［１］２と併せて重複領域Ｒ（Ｒ２）のデータも第一メモリ１に読み出されて格納される。ソフトウェア生成部３２５は、例えば、メモリアドレッシングしやすい態様で重複領域Ｒ（Ｒ２）を第二部分テンソルａ［１］２に含ませる。
　畳み込み演算は、演算を実施するごとにデータサイズが小さくなる性質を有する。そのため、畳み込み演算の連続数が増えるほど、初めに第一メモリ１に格納する部分テンソルにあわせて読み出す重複領域Ｒは大きくなる。畳み込み演算の連続数が増えるほど演算効率が高くなる。一方で、重複領域Ｒが大きくなると部分テンソルごとに付随して読み出す重複領域Ｒのデータサイズが増えて、重複するデータのメモリ転送回送が増える。
　ソフトウェア生成部３２５は、第一メモリ１の未使用領域に対して転送できる隣接領域Ｒのデータ量を考慮して、畳み込み演算の連続数を決める。本実施形態においては、ソフトウェア生成部３２５は、畳み込み演算と量子化演算とで構成される演算を二回連続して実施（レイヤ１からレイヤ４を実施）すると選択した。
　図２０に示すように、第一部分テンソルａ［１］1が入力された畳み込み演算回路４は、レイヤ１の畳み込み演算の出力データｆ［１］１を、第二メモリ２を経由して量子化演算回路５に出力する。ｆ［１］１が入力された量子化演算回路５は、レイヤ２の量子化演算の出力оｕｔ［２］１を第一メモリ１に入力する。
　図２１に示すように、第二部分テンソルａ［１］２が入力された畳み込み演算回路４は、レイヤ１の畳み込み演算の出力データｆ［１］２を、第二メモリ２を経由して量子化演算回路５に出力する。ｆ［１］２が入力された量子化演算回路５は、レイヤ２の量子化演算の出力оｕｔ［２］２を第一メモリ１に入力する。
　レイヤ２の量子化演算の出力оｕｔ［２］１と、レイヤ２の量子化演算の出力оｕｔ［２］２とは、統合されてレイヤ２の量子化演算の出力оｕｔ［２］となる。
　レイヤ２の量子化演算の出力оｕｔ［２］は、レイヤ３の畳み込み演算の入力データａ［３］を全て含んでいる。第一メモリ１に格納される第一部分テンソルａ［１］1および第二部分テンソルａ［１］2に付随する重複領域Ｒ（Ｒ１、Ｒ２）が、レイヤ１からレイヤ４を実施できるように選択されているためである。
　ソフトウェア生成部３２５は、入力データ分割工程（Ｓ１７－１）において決定された分割単位に基づいて、レイヤ２の量子化演算の出力оｕｔ［２］であって、畳み込み演算回路４に入力されるレイヤ３の入力データａ入力データａ［３］を、例えば、「第一部分テンソルａ［３］1」と、「第二部分テンソルａ［３］2」とに分割する。
　図２２に示すように、第一部分テンソルａ［３］1が入力された畳み込み演算回路４は、レイヤ３の畳み込み演算の出力データｆ［３］１を、第二メモリ２を経由して量子化演算回路５に出力する。ｆ［３］１が入力された量子化演算回路５は、レイヤ４の量子化演算の出力оｕｔ［４］１を第一メモリ１に入力する。
　ここで、出力оｕｔ［４］１を記憶するための第一メモリ１のメモリ領域には、すでに入力データａ［１］1が存在する。第一メモリ１において既に使用しているメモリ領域のうち最も長い時間参照されていないメモリ領域を開放することで、出力データｆを保持するメモリ領域を確保する。本実施形態においては、入力データａ［１］1が最も長い時間参照されていないために、当該メモリ領域を開放する。また、開放されるメモリ領域に保持していたデータを別途保存する必要がある場合、当該メモリ領域の開放前に当該データを外部メモリに退避する。
　図２３に示すように、第二部分テンソルａ［３］２が入力された畳み込み演算回路４は、レイヤ１の畳み込み演算の出力データｆ［３］２を、第二メモリ２を経由して量子化演算回路５に出力する。ｆ［３］２が入力された量子化演算回路５は、レイヤ４の量子化演算の出力оｕｔ［４］２を第一メモリ１に入力する。
　レイヤ４の量子化演算の出力оｕｔ［４］は、レイヤ５の畳み込み演算の入力データａ［５］を全て含んでない。第一メモリ１に格納される第一部分テンソルａ［１］1および第二部分テンソルａ［１］2に付随する重複領域Ｒ（Ｒ１、Ｒ２）が、レイヤ１からレイヤ４を実施できるように選択されているためである。
　そこで、レイヤ４の量子化演算の出力оｕｔ［４］は、ＤＭＡＣ３を用いて外部メモリに退避される。ＣＮＮ２００のネットワーク（レイヤ）は、レイヤ４とレイヤ５との間で分割される。
　ソフトウェア生成部３２５は、外部ホストＣＰＵ等を用いて、必要に応じて外部メモリに退避された出力оｕｔ［４］のデータ整形などを実施して、レイヤ５の入力データａ［５］を生成させるコードをソフトウェア５００に追加する。
　ソフトウェア生成部３２５は、畳み込み演算回路４に入力されるレイヤ１の入力データａ［５］を、例えば、「第一部分テンソルａ［５］1」と、「第二部分テンソルａ［５］2」とに分割する。ここで、第一部分テンソルａ［５］1や第二部分テンソルａ［５］2には、以降に実施する畳み込み演算の連続数を考慮した重畳領域Ｒが含まれる。
　ソフトウェア生成部３２５は、上述したようなＣＮＮ２００のネットワーク（レイヤ）の分割を、ＣＮＮ２００全体に対して実施する。ソフトウェア生成部３２５は、ＤＭＡＣ３による第一メモリ１と外部メモリとの間のメモリ転送が可能か限り少なくなるように、ＣＮＮ２００のネットワーク（レイヤ）の分割を実施する。
　ＣＮＮ２００に入力データａのテンソル形状を変更する演算が含まれている場合も、当該演算の前においてネットワーク（レイヤ）を分割する。入力データａのテンソル形状を変更する演算とは、例えば、入力データａの深さ方向（ｃ軸方向）を短くして平面方向（ｘｙ軸方向）へ広げる演算や、テンソル（データ）の統合を行う演算などである。
　また、ＣＮＮ２００にストライドが１より大きい畳み込み演算が含まれている場合も、当該畳み込み演算の後においてネットワーク（レイヤ）を分割する。ストライドが１より大きい畳み込み演算の前後でデータの分割サイズが変わるためである。畳み込み演算の出力データｆのｘ軸方向またはｙ軸方向のサイズが、畳み込み演算の入力データａと比較して一定以上（例えば、２倍以上や０．５倍以下）に変化する場合、当該畳み込み演算の後においてネットワーク（レイヤ）を分割することが好ましい。
　上述した例において、ＣＮＮ２００のネットワーク（レイヤ）は、第一メモリ１の容量に基づいて分割されており、第二メモリ２の容量に基づく分割の説明は省略されている。ソフトウェア生成部３２５は、第一メモリ１および第二メモリ２の容量に基づいてＣＮＮ２００のネットワーク（レイヤ）を分割する。
　なお、本実施形態におけるネットワーク分割工程（Ｓ１７－２）においては、ソフトウェア生成部３２５は、例えば、第一メモリ１と第二メモリ２とが入力データａに対して十分に大きい容量を有している等の仮定を行い、ＣＮＮ２００のネットワーク（レイヤ）の大まかな分割を実施してもよい。大まかな分割は、例えば、ネットワーク（レイヤ）の分割が必要となる上述の演算の前後で実施する。大まかな分割後に、上述の第一メモリ１と第二メモリ２の容量に基づくネットワーク（レイヤ）の分割（段階的なネットワーク分割）を実施することで、ネットワーク分割工程（Ｓ１７－２）の複雑化を抑制できる。
＜アロケーション工程（Ｓ１７－３）＞
　ソフトウェア生成部３２５は、分割された演算をニューラルネットワークハードウェア６００に割り当てて実施させるソフトウェア５００を生成する（アロケーション工程）。生成されるソフトウェア５００は、命令コマンドＣ３、命令コマンドＣ４および命令コマンドＣ５を含む。
　図２４は、分割された演算を割り当てられたニューラルネットワークハードウェア６００のタイミングチャートを示す図である。ソフトウェア生成部３２５は、分割された演算を、原則ネットワーク（レイヤ）順にニューラルネットワークハードウェア６００に割り当てる。
　図２４に示す例においては、入力データａ［１］を外部メモリから第一メモリ１に転送するＤＭＡＣ３用の命令コマンドＣ３が生成される。つぎに、第一部分テンソルａ［１］1に対して畳み込み演算を実施する畳み込み演算回路４用の命令コマンドＣ４と、出力ｆ［１］1に対して量子化演算を実施する量子化演算回路５用の命令コマンドＣ５とが生成される（図２０に示す演算）。つぎに、第一部分テンソルａ［１］２に対して畳み込み演算を実施する畳み込み演算回路４用の命令コマンドＣ４と、出力ｆ［１］２に対して量子化演算を実施する量子化演算回路５用の命令コマンドＣ５とが生成される（図２１に示す演算）。
　つぎに、レイヤ２の量子化演算の出力оｕｔ［２］であって、畳み込み演算回路４に入力されるレイヤ３の入力データａ［３］に対して演算を行う命令コマンドＣ４と命令コマンドＣ５とが同様に生成される（図２２および図２３に示す演算）。
　つぎに、出力оｕｔ［４］を第一メモリ１から外部メモリに転送するＤＭＡＣ３用の命令コマンドＣ３が生成される。さらに、入力データａ［５］を外部メモリから第一メモリ１に転送するＤＭＡＣ３用の命令コマンドＣ３が生成される。
　つぎに、入力データａ［５］に対して演算を行う命令コマンドＣ４と命令コマンドＣ５とが同様に生成される。
　命令コマンドＣ３、命令コマンドＣ４および命令コマンドＣ５は、セマフォＳを制御するコマンドを含む。
　ソフトウェア生成部３２５は、ＤＭＡＣ３による第一メモリ１と外部メモリとの間のメモリ転送が可能か限り少なくなるように、ＣＮＮ２００のネットワーク（レイヤ）の分割を実施する。そのため、ＤＭＡＣ３によるメモリ転送のために畳み込み演算回路４や量子化演算回路５が待たされる期間が短くなり、ニューラルネットワークハードウェア６００の動作効率が高まる。
　ＮＮ実行モデル１００は、ループ状に回路が形成されるために、ソフトウェア５００は、各レイヤで変化する畳み込み演算回路４や量子化演算回路５におけるパラメータを必要に応じて適宜更新するプログラムを含む。
　なお、ソフトウェア生成部３２５は、分割されたネットワーク（レイヤ）の各演算を、ニューラルネットワークハードウェア６００にあわせて、複数のコマンドＣ３，Ｃ４，Ｃ５を組み合わることで実現する。例えば、重みｗのサイズが３ｘ３である畳み込み演算は、ニューラルネットワークハードウェア６００にあわせて、重みｗのサイズが１ｘ１である畳み込み演算を９回組み合わせることで実現される。また、ネットワークの分割において分割した複数の動作を一つの命令コマンドで実現することも可能である。例えば命令コマンドＣ３とＣ４を統合した命令コマンドにより、畳み込み演算回路４および量子化演算回路５の動作を制御してもよい。この場合、統合した命令コマンドは、ニューラルネットワークハードウェア６００において、畳み込み演算回路４および量子化演算回路５の動作に読み替えられて実行される。
　ＣＮＮ２００の演算にニューラルネットワークハードウェア６００により実施できない演算が含まれる場合、ソフトウェア５００は、ニューラルネットワークハードウェア６００により実施できない演算を外部演算デバイスに演算させるコードをソフトウェア５００に追加する。ソフトウェア５００は、外部ホストＣＰＵなどの外部演算デバイスに中間データを転送し、外部演算デバイスに演算を実施させる。ソフトウェア５００は、外部演算デバイスによる演算結果を第一メモリ１や第二メモリ２に入力し、ニューラルネットワークハードウェア６００に外部演算デバイスによる演算結果に対する演算を再開させる。
　図２５は、ニューラルネットワークハードウェア６００への他の割り当て例を示すタイミングチャートである。
　第一部分テンソルａ1に対応する畳み込み演算および量子化演算と、第二部分テンソルａ2に対応する畳み込み演算および量子化演算とは、図２５に示すように、独立して実施することができる。そこで、ソフトウェア生成部３２５は、分割された演算を、ネットワーク（レイヤ）の一部の順番を入れ替えて、ニューラルネットワークハードウェア６００に割り当ててもよい。
　畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算（図２５において、レイヤ２Ｍ－１（ａ1）で示す演算）を行う。その後、畳み込み演算回路４は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図２５において、レイヤ２Ｍ－１（ａ２）で示す演算）を行う。また、量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算（図２５において、レイヤ２Ｍ（ａ1）で示す演算）を行う。このように、ＮＮ実行モデル１００は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算と、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
　次に、畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算（図２５において、レイヤ２Ｍ＋１（ａ1）で示す演算）を行う。また、量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算（図２５において、レイヤ２Ｍ（ａ２）で示す演算）を行う。このように、ＮＮ実行モデル１００は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算と、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
　入力データａを部分テンソルに分割することで、ニューラルネットワークハードウェア６００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。その結果、畳み込み演算回路４と量子化演算回路５が待機する時間が削減され、ニューラルネットワークハードウェア６００の演算処理効率が向上する。図２５に示す動作例において部分テンソルへの分割数は２であったが、分割数が２より大きい場合も同様に、ニューラルネットワークハードウェア６００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。
　なお、部分テンソルに対する演算方法としては、同一レイヤにおける部分テンソルの演算を畳み込み演算回路４または量子化演算回路５で行った後に次のレイヤにおける部分テンソルの演算を行う例（方法１）を示した。例えば、図２５に示すように、畳み込み演算回路４において、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図２５において、レイヤ２Ｍ－１（ａ1）およびレイヤ２Ｍ－１（ａ２）で示す演算）を行った後に、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算（図２５において、レイヤ２Ｍ＋１（ａ1）およびレイヤ２Ｍ＋１（ａ２）で示す演算）を実施している。
　しかしながら、部分テンソルに対する演算方法はこれに限られない。部分テンソルに対する演算方法は、複数レイヤにおける一部の部分テンソルの演算をした後に残部の部分テンソルの演算を実施する方法でもよい（方法２）。例えば、畳み込み演算回路４において、第一部分テンソルａ1に対応するレイヤ２Ｍ－１および第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算を行った後に、第二部分テンソルａ２に対応するレイヤ２Ｍ－１および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算を実施してもよい。
　また、部分テンソルに対する演算方法は、方法１と方法２とを組み合わせて部分テンソルを演算する方法でもよい。ただし、方法２を用いる場合は、部分テンソルの演算順序に関する依存関係に従って演算を実施する必要がある。
　なお、上述した部分テンソルの並列演算は、部分テンソルの演算順序に関する依存関係以外にも、第一メモリ１や第二メモリ２の未使用領域に基づいても実施可否が判断される。第一メモリ１や第二メモリ２において並列演算に必要な未使用領域がない場合は、並列演算の一部の演算を並列に実施せずに時分割して実施する制御が実施される。
　例えば、同じ入力データａに対して重みｗを変えて畳み込み演算を実施する場合、同じ入力データａを用いる畳み込み演算を連続して実施する方が効率がよい。そのため、ソフトウェア生成部３２５は、可能な限り第一メモリ１や第二メモリ２に格納されている同じデータを用いる演算が連続するように、分割された演算の順番を入れ替える。
　以上説明したように、本実施形態に係るニューラルネットワーク生成装置３００およびニューラルネットワーク制御方法によれば、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高性能に動作させることができるニューラルネットワークを生成および制御できる。本実施形態に係るソフトウェア生成プログラムによれば、ニューラルネットワーク生成装置３００を高効率かつ高速に動作させるソフトウェア５００を生成できる。
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（変形例１）
　上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。
（変形例２）
　例えば、上記実施形態に記載のＮＮ実行モデル１００やニューラルネットワークハードウェア６００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ実行モデル１００やニューラルネットワークハードウェア６００に入力されるデータは、ニューラルネットワークハードウェア６００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。
（変形例３）
　ニューラルネットワークハードウェア６００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。
　上述した実施形態におけるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　本発明は、ニューラルネットワークの生成に適用することができる。
３００　ニューラルネットワーク生成装置
２００　畳み込みニューラルネットワーク（ＣＮＮ）
１００　ニューラルネットワーク実行モデル（ＮＮ実行モデル）
４００　ニューラルネットワークハードウェアモデル
５００　ソフトウェア
６００　ニューラルネットワークハードウェア
１　第一メモリ
２　第二メモリ
３　ＤＭＡコントローラ（ＤＭＡＣ）
４　畳み込み演算回路
４２　乗算器
４３　アキュムレータ回路
５　量子化演算回路
５２　ベクトル演算回路
５３　量子化回路
６　コントローラ
６１　レジスタ
ＰＭ　学習済みパラメータ
ＤＳ　学習データセット
ＨＷ　ハードウェア情報
ＮＷ　ネットワーク情報

Claims (16)

  1. 　ニューラルネットワークを演算するニューラルネットワーク実行モデルを生成するニューラルネットワーク生成装置であって、
    　前記ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報と、前記ニューラルネットワークのネットワーク情報と、に基づいて前記ニューラルネットワーク実行モデルを生成する実行モデル生成部と、
    　前記ニューラルネットワーク実行モデルを前記ハードウェアに実装したニューラルネットワークハードウェアを動作させるソフトウェアを生成するソフトウェア生成部と、
    　を備える、
    　ニューラルネットワーク生成装置。
  2. 　前記ソフトウェア生成部は、前記ニューラルネットワークを分割して前記ニューラルネットワークハードウェアに演算させる前記ソフトウェアを生成する、
    　請求項１に記載のニューラルネットワーク生成装置。
  3. 　前記ソフトウェア生成部は、前記ニューラルネットワークへの入力データを部分テンソルに分割して前記ニューラルネットワークハードウェアに演算させる前記ソフトウェアを生成する、
    　請求項２に記載のニューラルネットワーク生成装置。
  4. 　前記ソフトウェア生成部は、前記ニューラルネットワークハードウェアに実施させる連続する畳み込み演算の連続数に基づいて、前記ニューラルネットワークを分割する、
    　請求項３に記載のニューラルネットワーク生成装置。
  5. 　前記ニューラルネットワークハードウェアは、前記部分テンソルを格納するメモリを有し、
    　前記ソフトウェア生成部は、前記連続する畳み込み演算に必要なデータを、前記連続する畳み込み演算を実施する前に外部メモリから前記メモリへメモリ転送するソフトウェアを生成する、
    　請求項４に記載のニューラルネットワーク生成装置。
  6. 　前記ソフトウェア生成部は、前記メモリの未使用領域のデータ量に基づいて、前記連続する畳み込み演算の前記連続数を決定する、
    　請求項５に記載のニューラルネットワーク生成装置。
  7. 　前記ニューラルネットワークハードウェアは、前記部分テンソルを格納するメモリを有し、
    　前記ソフトウェア生成部は、前記演算に必要な前記部分テンソルが前記メモリに格納されていない場合、前記演算に必要な前記部分テンソルを、前記演算を実施する前に外部メモリから前記メモリへメモリ転送するソフトウェアを生成する、
    　請求項３に記載のニューラルネットワーク生成装置。
  8. 　前記ソフトウェア生成部は、分割された前記ニューラルネットワークの演算を、前記ニューラルネットワークハードウェアに割り当てる、
    　請求項２から請求項５のいずれか一項に記載のニューラルネットワーク生成装置。
  9. 　ニューラルネットワークを演算するニューラルネットワークハードウェアを制御する方法であって、
    　前記ニューラルネットワークを分割して前記ニューラルネットワークハードウェアに演算させる、
    　ニューラルネットワーク制御方法。
  10. 　前記ニューラルネットワークへの入力データを部分テンソルに分割することにより、前記ニューラルネットワークを分割する、
    　請求項９に記載のニューラルネットワーク制御方法。
  11. 　前記ニューラルネットワークハードウェアに実施させる畳み込み演算の連続数に基づいて、前記ニューラルネットワークを分割する、
    　請求項１０に記載のニューラルネットワーク制御方法。
  12. 　分割された前記ニューラルネットワークの演算を、前記ニューラルネットワークハードウェアに割り当てる、
    　請求項９から請求項１１のいずれか一項に記載のニューラルネットワーク制御方法。
  13. 　ニューラルネットワークを演算するニューラルネットワークハードウェアを制御するソフトウェアを生成するプログラムであって、
    　前記ニューラルネットワークを分割して前記ニューラルネットワークハードウェアに演算させる前記ソフトウェアをコンピュータに生成させる、
    　ソフトウェア生成プログラム。
  14. 　前記ニューラルネットワークへの入力データを部分テンソルに分割することにより、前記ニューラルネットワークを分割する
    　請求項１３に記載のソフトウェア生成プログラム。
  15. 　前記ニューラルネットワークハードウェアに実施させる畳み込み演算の連続数に基づいて、前記ニューラルネットワークを分割する、
    　請求項１４に記載のソフトウェア生成プログラム。
  16. 　分割された前記ニューラルネットワークの演算を、前記ニューラルネットワークハードウェアに割り当てることにより前記ソフトウェアをコンピュータに生成させる、
    　請求項１３から請求項１５のいずれか一項に記載のソフトウェア生成プログラム。
PCT/JP2021/038530 2020-10-19 2021-10-19 ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム WO2022085661A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180070438.5A CN116348883A (zh) 2020-10-19 2021-10-19 神经网络生成装置、神经网络控制方法以及软件生成程序
US18/249,316 US20240037412A1 (en) 2020-10-19 2021-10-19 Neural network generation device, neural network control method, and software generation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-175606 2020-10-19
JP2020175606A JP2022066974A (ja) 2020-10-19 2020-10-19 ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム

Publications (1)

Publication Number Publication Date
WO2022085661A1 true WO2022085661A1 (ja) 2022-04-28

Family

ID=81290555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038530 WO2022085661A1 (ja) 2020-10-19 2021-10-19 ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム

Country Status (4)

Country Link
US (1) US20240037412A1 (ja)
JP (1) JP2022066974A (ja)
CN (1) CN116348883A (ja)
WO (1) WO2022085661A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190286972A1 (en) * 2018-03-14 2019-09-19 Microsoft Technology Licensing, Llc Hardware accelerated neural network subgraphs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190286972A1 (en) * 2018-03-14 2019-09-19 Microsoft Technology Licensing, Llc Hardware accelerated neural network subgraphs

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PARK JAY H, YUN GYEONGCHAN, YI CHANG M, NGUYEN NGUYEN T, LEE SEUNGMIN, CHOI JAESIK, NOH SAM H, CHOI YOUNG-RI: "HetPipe: Enabling Large DNN Training on (Whimpy) Heterogeneous GPU Clusters through Integration of Pipelined Model Parallelism and Data Parallelism", PROCEEDINGS OF THE 2020 USENIX ANNUAL TECHNICAL CONFERENCE, USENIX ASSOCIATION, 15 July 2020 (2020-07-15) - 17 July 2020 (2020-07-17), pages 307 - 321, XP055903366 *
SONG LINGHAO; CHEN FAN; ZHUO YOUWEI; QIAN XUEHAI; LI HAI; CHEN YIRAN: "AccPar: Tensor Partitioning for Heterogeneous Deep Learning Accelerators", 2020 IEEE INTERNATIONAL SYMPOSIUM ON HIGH PERFORMANCE COMPUTER ARCHITECTURE (HPCA), IEEE, 22 February 2020 (2020-02-22), pages 342 - 355, XP033755316, DOI: 10.1109/HPCA47549.2020.00036 *

Also Published As

Publication number Publication date
CN116348883A (zh) 2023-06-27
JP2022066974A (ja) 2022-05-02
US20240037412A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
CN106228238B (zh) 现场可编程门阵列平台上加速深度学习算法的方法和系统
CN110020723B (zh) 神经网络处理单元及包括该神经网络处理单元的片上系统
KR102667790B1 (ko) 뉴럴 네트워크 회로, 에지 디바이스 및 뉴럴 네트워크 연산 방법
JP2023506343A (ja) 共有スクラッチパッドメモリを用いたベクトル縮小
WO2022163861A1 (ja) ニューラルネットワーク生成装置、ニューラルネットワーク演算装置、エッジデバイス、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
EP3709225A1 (en) System and method for efficient utilization of multipliers in neural-network computations
WO2021210527A1 (ja) ニューラルネットワーク回路の制御方法
WO2022085661A1 (ja) ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
WO2022004815A1 (ja) ニューラルネットワーク生成装置、ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラム
WO2022230906A1 (ja) ニューラルネットワーク生成装置、ニューラルネットワーク演算装置、エッジデバイス、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
JP2023154880A (ja) ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラム
WO2024038662A1 (ja) ニューラルネットワーク学習装置およびニューラルネットワーク学習方法
JP6931252B1 (ja) ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法
JP2023006509A (ja) ソフトウェア生成装置およびソフトウェア生成方法
WO2023058422A1 (ja) ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法
JP2022114698A (ja) ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
JP2022105437A (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
JP2022183833A (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
WO2024111644A1 (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
WO2023139990A1 (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
JP2024118195A (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882802

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18249316

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21882802

Country of ref document: EP

Kind code of ref document: A1