Nothing Special   »   [go: up one dir, main page]

JP5215822B2 - Energy system control device and control method - Google Patents

Energy system control device and control method Download PDF

Info

Publication number
JP5215822B2
JP5215822B2 JP2008297962A JP2008297962A JP5215822B2 JP 5215822 B2 JP5215822 B2 JP 5215822B2 JP 2008297962 A JP2008297962 A JP 2008297962A JP 2008297962 A JP2008297962 A JP 2008297962A JP 5215822 B2 JP5215822 B2 JP 5215822B2
Authority
JP
Japan
Prior art keywords
energy
operation plan
actual value
value
evaluation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008297962A
Other languages
Japanese (ja)
Other versions
JP2010124644A (en
Inventor
章 竹内
俊宏 林
泰史 色川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008297962A priority Critical patent/JP5215822B2/en
Publication of JP2010124644A publication Critical patent/JP2010124644A/en
Application granted granted Critical
Publication of JP5215822B2 publication Critical patent/JP5215822B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00Adapting or protecting infrastructure or their operation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10Energy storage using batteries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Supply And Distribution Of Alternating Current (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Secondary Cells (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、エネルギー発生装置とエネルギー貯蔵装置とエネルギー負荷とを有するエネルギーシステムの制御装置および制御方法に関する。   The present invention relates to a control device and a control method for an energy system having an energy generation device, an energy storage device, and an energy load.

分散型エネルギーシステムのエネルギーを有効に利用し低コストな運用制御を行う方法として、特許文献1に記載されている「分散型エネルギーコミュニティーシステムとその制御方法」がある。   As a method of performing low-cost operation control by effectively using the energy of the distributed energy system, there is a “distributed energy community system and its control method” described in Patent Document 1.

このシステムでは、制御センタが、分散電源システムの制御装置から通信線を介して燃料電池の発電量と蓄電池のエネルギー貯蔵量と負荷の電力消費量のデータを受信して、各分散エネルギーシステムに発電電力値および受送電電力値を指令して、電力需要の日負荷特性が異なる複数の分散エネルギーシステム間において電力線を介しての電力需給を補完制御する。   In this system, the control center receives data on the power generation amount of the fuel cell, the energy storage amount of the storage battery, and the power consumption amount of the load from the control device of the distributed power system via the communication line, and generates power to each distributed energy system The power value and the received / transmitted power value are commanded, and the power supply / demand via the power line is complementarily controlled between the plurality of distributed energy systems having different daily load characteristics of the power demand.

エネルギーシステムの制御を行うために必要なエネルギー需要を予測する技術として、回帰分析やニューラルネットワークを用いる手法がある。   As a technique for predicting the energy demand necessary for controlling the energy system, there are techniques using regression analysis and a neural network.

しかしながら、特許文献1に記載のエネルギーシステムのように、一般家庭における世帯別の電力/給湯等のエネルギー需要は、需要家の不規則な生活行動に依存するため、精度の良い予測は困難である。給湯需要は、需要が全く無い時間帯が多く、単発的に需要ピークが発生するため、さらに予測が困難である。   However, as in the energy system described in Patent Document 1, the demand for energy such as electric power / hot water supply for each household in a general household depends on the irregular living behavior of the consumer, and thus accurate prediction is difficult. . Hot water supply demand is more difficult to predict because there are many times when there is no demand at all, and demand peaks occur once.

一方、太陽光や風力等の自然エネルギーを利用した発電システムは、気温や天気等の気象予報を用いて需要・発電量の予測を行うため、その予測の精度は、気象予報の確度に大きく依存する。   On the other hand, power generation systems that use natural energy such as solar and wind power use weather forecasts such as temperature and weather to forecast demand and power generation, so the accuracy of the forecast depends greatly on the accuracy of the weather forecast. To do.

そこで、特許文献2に記載されているような、予測逸脱パターンおよびその発生確率を算出し、その算出結果に基づいてエネルギーシステムの運転計画を修正し、修正後の運転計画に基づいて運転のシミュレーションを行うことにより、予測の不確実性や予測逸脱に対応した制御動作を実行可能な最適運転計画を作成する手法がある。
特開2002−44870号公報 特開2006−304402号公報
Therefore, as described in Patent Document 2, a predicted deviation pattern and its occurrence probability are calculated, an operation plan of the energy system is corrected based on the calculation result, and an operation simulation is performed based on the corrected operation plan. There is a method of creating an optimal operation plan that can execute a control operation corresponding to the uncertainty of prediction or the deviation from the prediction.
JP 2002-44870 A JP 2006-304402 A

上記のようなエネルギーシステムにおいては、気象予報やそれを用いた需要・発電予測が外れた場合、最適な運転制御が行えなかったり、また、予測逸脱に対応した最適化には膨大な計算コストが必要となり、リアルタイムで行う制御としては、時間がかかり過ぎたりするといった課題がある。   In such an energy system, if the weather forecast and the demand / power generation forecast using it are not met, optimal operation control cannot be performed, and optimization corresponding to the deviation from the forecast has a huge calculation cost. There is a problem that control takes place in real time and takes too much time.

本発明は、上述のような問題点を鑑みてなされたものであって、従来技術における予測と最適運転計画を融合させ、予測の乖離に関わらず最適に近い運転計画を高速に算出するエネルギーシステム制御装置および制御方法を提供することを目的とする。   The present invention has been made in view of the above-described problems, and is an energy system that combines a prediction and an optimal operation plan in the prior art, and calculates an operation plan close to the optimum regardless of the deviation of the prediction at high speed. It is an object to provide a control device and a control method.

上記の目的を達成するために、本発明によるエネルギーシステム制御装置は、エネルギー発生装置と、エネルギー貯蔵装置と、エネルギー負荷と、を有するエネルギーシステムと通信可能であり、気象予報情報を用いて前記エネルギー発生装置および前記エネルギー貯蔵装置の運転計画を決定するエネルギーシステム制御装置であって、前記エネルギー発生装置によるエネルギー発生の実績値と、前記エネルギー負荷によるエネルギー需要の実績値を保存する実績データベース部と、前記エネルギー発生装置および前記エネルギー貯蔵装置の最適運転計画を、予め定められた最適化手法を用いて、前記実績データベース部内のエネルギー発生の実績値およびエネルギー需要の実績値に基づいて作成する最適スケジューリング部と、前記エネルギー発生装置および前記エネルギー貯蔵装置の状態を評価するための状態評価関数を、前記最適スケジューリング部にて作成された最適運転計画に基づいて確定する確定部と、前記確定部にて確定された状態評価関数と、前記気象予報情報と、を用いて、前記運転計画を決定する運転計画決定部と、を含み、前記確定部は、前記気象予報情報の実績値と、前記エネルギー発生の実績値と、前記エネルギー需要の実績値と、前記最適運転計画と、を格納する学習データベース部と、前記学習データベース部内のデータが学習実施条件を満たした場合に、前記状態評価関数が有する所定のパラメータの値を、予め定められた機械学習法を用いて、前記学習データベース部内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、前記最適運転計画と、に基づいて決定する評価関数学習部と、を含む。 In order to achieve the above object, an energy system control device according to the present invention can communicate with an energy system having an energy generation device, an energy storage device, and an energy load, and uses the weather forecast information to communicate the energy. An energy system controller for determining an operation plan of the generator and the energy storage device, and a result database unit for storing a result value of energy generation by the energy generator and a result value of energy demand by the energy load; Optimal scheduling unit that creates an optimal operation plan for the energy generation device and the energy storage device based on the actual value of energy generation and the actual value of energy demand in the actual database unit using a predetermined optimization method And the Enel A state determination function for determining a state evaluation function for evaluating the state of the generator and the energy storage device based on an optimal operation plan created by the optimal scheduling unit, and a state determined by the determination unit and the evaluation function, using, and the weather forecast information, see including the operation plan determination section, the determining the operation plan, the fixed portion, and the actual value of the weather forecast information, the actual value of the energy generation A learning database unit storing the actual value of the energy demand and the optimum operation plan, and when the data in the learning database unit satisfies a learning execution condition, a predetermined parameter of the state evaluation function Using a predetermined machine learning method, the actual value of the weather forecast information in the learning database unit, the actual value of energy generation, and the energy demand Including and actual value, and the optimum operation plan, and an evaluation function learning unit for determining based on.

本発明によるエネルギーシステム制御方法は、エネルギー発生装置と、エネルギー貯蔵装置と、エネルギー負荷と、を有するエネルギーシステムと通信可能であり、気象予報情報を用いて前記エネルギー発生装置および前記エネルギー貯蔵装置の運転計画を決定する、エネルギーシステム制御装置が行うエネルギーシステム制御方法であって、前記エネルギー発生装置によるエネルギー発生の実績値と、前記エネルギー負荷によるエネルギー需要の実績値を実績データベース部に保存する保存ステップと、前記エネルギー発生装置および前記エネルギー貯蔵装置の最適運転計画を、予め定められた最適化手法を用いて、前記実績データベース部内のエネルギー発生の実績値およびエネルギー需要の実績値に基づいて作成する最適スケジューリングステップと、前記エネルギー発生装置および前記エネルギー貯蔵装置の状態を評価するための状態評価関数を、前記最適運転計画に基づいて確定する確定ステップと、前記状態評価関数と、前記気象予報情報と、を用いて、前記運転計画を決定する運転計画決定ステップと、を含み、前記確定ステップは、前記気象予報情報の実績値と、前記エネルギー発生の実績値と、前記エネルギー需要の実績値と、前記最適運転計画と、を学習データベース部に格納する格納ステップと、前記学習データベース部内のデータが学習実施条件を満たした場合に、前記状態評価関数が有する所定のパラメータの値を、予め定められた機械学習法を用いて、前記学習データベース部内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、前記最適運転計画と、に基づいて決定する評価関数学習ステップと、を含む。 An energy system control method according to the present invention can communicate with an energy system having an energy generation device, an energy storage device, and an energy load, and uses the weather forecast information to operate the energy generation device and the energy storage device. An energy system control method performed by an energy system control device for determining a plan, wherein an actual value of energy generation by the energy generator and an actual value of energy demand by the energy load are stored in an actual data database unit; An optimal schedule for creating an optimal operation plan for the energy generator and the energy storage device based on the actual value of energy generation and the actual value of energy demand in the actual database unit using a predetermined optimization method. A step of determining a state evaluation function for evaluating states of the energy generation device and the energy storage device based on the optimum operation plan, the state evaluation function, and the weather forecast information. with, viewed including the operation plan determining step, the determining the operation plan, the determination step includes the actual value of the weather forecast information, and actual value of the energy generation, the actual value of the energy demand, the A storage step for storing the optimum operation plan in the learning database unit, and a predetermined parameter value of the state evaluation function when the data in the learning database unit satisfies a learning execution condition. Using the learning method, the actual value of the weather forecast information in the learning database part, the actual value of energy generation and the energy demand Including between actual value, and the optimum operation plan, the evaluation function learning step of determining, based on the.

前記学習データベース部は、所定の日時ごとに、前記最適運転計画と、前記気象予報情報の実績値と、前記エネルギー発生の実績値と、前記エネルギー需要の実績値と、前記エネルギー発生装置の出力状態と、前記エネルギー貯蔵装置の蓄積状態とを、互いに関連づけて格納することが望ましい。   The learning database unit includes, for each predetermined date and time, the optimum operation plan, the actual value of the weather forecast information, the actual value of the energy generation, the actual value of the energy demand, and the output state of the energy generator. It is desirable that the storage state of the energy storage device is stored in association with each other.

前記所定のパラメータは、前記エネルギー貯蔵装置におけるエネルギー蓄積量の評価値についての第1パラメータ、および、前記エネルギー発生装置の出力状態の評価値についての第2パラメータを含み、前記第1パラメータおよび前記第2パラメータは、前記気象予報情報に応じた値を持つことが望ましい。   The predetermined parameters include a first parameter for an evaluation value of an energy storage amount in the energy storage device, and a second parameter for an evaluation value of an output state of the energy generation device, and the first parameter and the first parameter The two parameters preferably have values according to the weather forecast information.

前記最適スケジューリング部は、運転計画での目的達成の度合いを評価するための目的関数の値が、前記最適運転計画において最適となるように、前記最適運転計画を、前記最適化手法を用いて、前記エネルギー発生の実績値および前記エネルギー需要の実績値に基づいて作成し、前記評価関数学習部は、前記機械学習法として、前記目的関数と前記状態評価関数から構成される運転評価関数を用いた機械学習法を用いて、前記所定のパラメータの値を、前記学習データベース部内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、前記最適運転計画と、に基づいて決定し、前記運転計画決定部は、前記運転評価関数と、前記気象予報情報と、を用いて、前記運転計画を決定することが望ましい。   The optimum scheduling unit uses the optimization method to optimize the operation plan so that the value of an objective function for evaluating the degree of achievement of the purpose in the operation plan is optimized in the optimum operation plan. Based on the actual value of the energy generation and the actual value of the energy demand, the evaluation function learning unit uses an operation evaluation function composed of the objective function and the state evaluation function as the machine learning method. Using a machine learning method, the value of the predetermined parameter is determined based on the actual value of weather forecast information, the actual value of energy generation and the actual value of energy demand in the learning database unit, and the optimal operation plan The operation plan determination unit preferably determines the operation plan using the operation evaluation function and the weather forecast information.

前記評価関数学習部は、前記最適運転計画と異なる他の運転計画の候補を複数作成し、前記運転計画の候補のそれぞれの運転評価関数の値が前記最適運転計画の運転評価関数の値よりも良くなる数が最小となる前記所定のパラメータ値を決定することが望ましい。   The evaluation function learning unit creates a plurality of other operation plan candidates different from the optimal operation plan, and the value of each operation evaluation function of the operation plan candidates is greater than the value of the operation evaluation function of the optimal operation plan. It is desirable to determine the predetermined parameter value that minimizes the number to be improved.

以上説明したように本発明によれば、予測の乖離に関わらず最適に近い運転計画を高速に算出することが可能になる。   As described above, according to the present invention, it is possible to calculate an operation plan close to the optimum at high speed regardless of the deviation in prediction.

例えば、従来技術における予測の入出力情報の実績値を用いた最適スケジューリング結果を教師データとして学習させるため、学習されたパラメータに予測モデルを畳み込むことができ、予測のみの演算処理が不要となる。   For example, since the optimal scheduling result using the actual value of the input / output information of prediction in the prior art is learned as teacher data, the prediction model can be convoluted with the learned parameter, and calculation processing only for prediction is unnecessary.

また、時間帯別の最適化では長期間に渡る最適化にならない要因であるエネルギー貯蔵装置の蓄積量およびエネルギー発生装置の運転状態を、予測の入力情報である気象情報(気温や天候)に応じた値を持つものとして学習させるため、予測と長期間に渡る最適化により得られる運転に近い出力を得ることができる。   In addition, depending on the weather information (temperature and weather) that is the input information for prediction, the accumulated amount of the energy storage device and the operating state of the energy generator, which are factors that do not lead to long-term optimization in the optimization by time zone, Therefore, it is possible to obtain an output close to an operation obtained by prediction and optimization over a long period of time.

また、計算コストのかかる長期間に渡る最適スケジューリングを用いた機械学習用のデータ作成処理は、実績データベース部を用いて任意の時刻に行うことができ、運転計画の決定を、例えば、短期間の最適化演算処理で行えるため、需要や発電量の変動に対して、高速に最適制御を行うことができる。   Moreover, the data creation process for machine learning using the optimal scheduling over a long period of time that requires a calculation cost can be performed at an arbitrary time using the results database unit, and the operation plan can be determined, for example, for a short period of time. Since optimization calculation processing can be performed, optimal control can be performed at high speed with respect to fluctuations in demand and power generation amount.

次に、本発明の実施の形態について図面を参照して説明する。   Next, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態によるエネルギーシステムの構成を示したブロック図である。エネルギーシステム1は、各需要家1a〜1nにて使用される各装置を含む。エネルギーシステム1は、制御装置2によって制御される。   FIG. 1 is a block diagram showing a configuration of an energy system according to an embodiment of the present invention. The energy system 1 includes devices used by the consumers 1a to 1n. The energy system 1 is controlled by the control device 2.

各需要家1a〜1nは、太陽電池11と、燃料電池12と、蓄電池13と、蓄熱装置14と、電力負荷15と、熱負荷16と、熱配管17と、を使用する。   Each consumer 1a-1n uses the solar cell 11, the fuel cell 12, the storage battery 13, the heat storage apparatus 14, the electric power load 15, the thermal load 16, and the thermal piping 17.

太陽電池11は、自然エネルギーを利用してエネルギーを発生するエネルギー発生装置として用いられる。燃料電池12は、エネルギー発生装置として用いられる。蓄電池13および蓄熱装置14は、エネルギー貯蔵装置として用いられる。電力負荷15および熱負荷16は、エネルギー負荷として用いられる。   The solar cell 11 is used as an energy generating device that generates energy using natural energy. The fuel cell 12 is used as an energy generator. The storage battery 13 and the heat storage device 14 are used as energy storage devices. The electric power load 15 and the heat load 16 are used as energy loads.

太陽電池11、燃料電池12、蓄電池13および電力負荷15は、電力線3によって系統電力(商用電力)4に接続されている。このため、複数の需要家(図1では2つの需要家のみ記載)間で相互に電力を融通することができる。また、蓄熱装置14と熱負荷16は、熱配管17によって燃料電池12に接続されている。   Solar cell 11, fuel cell 12, storage battery 13, and power load 15 are connected to system power (commercial power) 4 by power line 3. For this reason, electric power can be interchanged between a plurality of consumers (only two consumers are shown in FIG. 1). Further, the heat storage device 14 and the heat load 16 are connected to the fuel cell 12 by a heat pipe 17.

エネルギー発生装置およびエネルギー貯蔵装置は、上記に挙げたものに限定されるものではなく、需要家ごとに、他の種類のエネルギー発生装置およびエネルギー貯蔵装置を用いてもよい。   The energy generation device and the energy storage device are not limited to those described above, and other types of energy generation devices and energy storage devices may be used for each consumer.

制御装置2は、これらエネルギー発生装置、エネルギー貯蔵装置、系統電力4およびエネルギー負荷等を計測し、燃料電池12の発電量や蓄電池13の充放電量の制御を行う。制御装置2は、エネルギーシステム1と通信可能であり、気象予報情報を用いてエネルギー発生装置およびエネルギー貯蔵装置の運転計画を決定する。   The control device 2 measures the energy generation device, the energy storage device, the system power 4 and the energy load, and controls the power generation amount of the fuel cell 12 and the charge / discharge amount of the storage battery 13. The control device 2 can communicate with the energy system 1 and determines an operation plan of the energy generation device and the energy storage device using the weather forecast information.

制御装置2は、通信部21、実績データベース部22、最適スケジューリング部23、学習データベース部24、評価関数学習部25、および、最適運転算出部26を含む。学習データベース部24と評価関数学習部25は、パラメータ決定部27に含まれる。   The control device 2 includes a communication unit 21, a performance database unit 22, an optimal scheduling unit 23, a learning database unit 24, an evaluation function learning unit 25, and an optimal operation calculation unit 26. The learning database unit 24 and the evaluation function learning unit 25 are included in the parameter determination unit 27.

ここで、通信部21、実績データベース部22、最適スケジューリング部23、学習データベース部24、評価関数学習部25、最適運転算出部26、および、パラメータ決定部27についての概略を説明する。   Here, an outline of the communication unit 21, the performance database unit 22, the optimum scheduling unit 23, the learning database unit 24, the evaluation function learning unit 25, the optimum operation calculation unit 26, and the parameter determination unit 27 will be described.

通信部21は、インターネット等に接続して、気象予報情報やエネルギー価格等に関する情報を受信することができる。これらの情報は、実績データベース部22および最適運転算出部26に提供される。   The communication unit 21 can connect to the Internet or the like and receive information on weather forecast information, energy prices, and the like. These pieces of information are provided to the result database unit 22 and the optimum operation calculation unit 26.

実績データベース部22は、例えば、エネルギー負荷によるエネルギー需要の実績値と、エネルギー発生装置によるエネルギー発生の実績値と、を保存する。   The performance database unit 22 stores, for example, a performance value of energy demand due to energy load and a performance value of energy generation by the energy generator.

最適スケジューリング部23は、エネルギー発生装置およびエネルギー貯蔵装置の最適運転計画を、予め定められた最適化手法(以下、単に「最適化手法」と称する)を用いて、実績データベース部22内のエネルギー発生の実績値およびエネルギー需要の実績値に基づいて作成する。   The optimum scheduling unit 23 uses the predetermined optimization method (hereinafter, simply referred to as “optimization method”) to generate the energy in the performance database unit 22 for the optimum operation plan of the energy generation device and the energy storage device. Based on the actual value and actual value of energy demand.

例えば、最適スケジューリング部23は、運転計画での目的達成の度合いを評価するための目的関数の値が、最適運転計画において最適となるように、最適運転計画を、最適化手法を用いて、エネルギー発生の実績値およびエネルギー需要の実績値に基づいて作成する。   For example, the optimum scheduling unit 23 uses the optimization method to optimize the operation plan so that the value of the objective function for evaluating the degree of achievement of the goal in the operation plan is optimized in the optimum operation plan. Created based on the actual value of occurrence and the actual value of energy demand.

パラメータ決定部27は、確定部の一例であり、エネルギー発生装置およびエネルギー貯蔵装置の状態を評価するための状態評価関数を、最適スケジューリング部23にて作成された最適運転計画に基づいて確定する。   The parameter determination unit 27 is an example of a determination unit, and determines a state evaluation function for evaluating the states of the energy generation device and the energy storage device based on the optimum operation plan created by the optimum scheduling unit 23.

本実施形態では、パラメータ決定部27は、エネルギー発生装置およびエネルギー貯蔵装置の状態を評価するための状態評価関数が有する複数のパラメータのうち、運転計画と異なる所定のパラメータを、予め定められた機械学習法(以下、単に「機械学習法」と称する)を用いて、最適スケジューリング部23にて作成された最適運転計画に基づいて決定する。   In the present embodiment, the parameter determination unit 27 selects a predetermined parameter different from the operation plan from a plurality of parameters included in the state evaluation function for evaluating the state of the energy generation device and the energy storage device. A learning method (hereinafter simply referred to as “machine learning method”) is used to make a determination based on the optimum operation plan created by the optimum scheduling unit 23.

なお、所定のパラメータは、エネルギー貯蔵装置におけるエネルギー蓄積量の評価値についての第1パラメータ、および、エネルギー発生装置の出力状態の評価値についての第2パラメータを含む。第1パラメータおよび第2パラメータは、気象予報情報に応じた値を持つ。   The predetermined parameters include a first parameter for the evaluation value of the energy storage amount in the energy storage device and a second parameter for the evaluation value of the output state of the energy generation device. The first parameter and the second parameter have values corresponding to the weather forecast information.

学習データベース部24は、例えば、気象予報情報の実績値と、エネルギー発生の実績値と、エネルギー需要の実績値と、最適運転計画と、を格納する。   The learning database unit 24 stores, for example, the actual value of weather forecast information, the actual value of energy generation, the actual value of energy demand, and the optimum operation plan.

本実施形態では、学習データベース部24は、所定の日時ごとに、最適運転計画と、気象予報情報の実績値と、エネルギー発生の実績値と、エネルギー需要の実績値と、エネルギー発生装置の出力状態と、エネルギー貯蔵装置の蓄積状態とを、互いに関連づけて格納する。   In the present embodiment, the learning database unit 24 performs the optimum operation plan, the actual value of weather forecast information, the actual value of energy generation, the actual value of energy demand, and the output state of the energy generator for each predetermined date and time. And the storage state of the energy storage device are stored in association with each other.

評価関数学習部25は、所定のパラメータの値を、機械学習法を用いて、学習データベース部24内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、最適運転計画と、に基づいて決定する。   The evaluation function learning unit 25 uses the machine learning method to calculate the actual parameter value of the weather forecast information, the actual value of energy generation, the actual value of energy demand, and the optimum operation plan using the machine learning method. And based on the above.

本実施形態では、評価関数学習部25は、機械学習法として、目的関数と状態評価関数から構成される運転評価関数を用いた機械学習法を用いて、所定のパラメータの値を、学習データベース部24内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、最適運転計画と、に基づいて決定する。   In the present embodiment, the evaluation function learning unit 25 uses a machine learning method using a driving evaluation function composed of an objective function and a state evaluation function as a machine learning method, and calculates a value of a predetermined parameter as a learning database unit. It is determined based on the actual value of the weather forecast information in 24, the actual value of energy generation, the actual value of energy demand, and the optimum operation plan.

例えば、評価関数学習部25は、最適運転計画と異なる他の運転計画の候補を複数作成し、運転計画の候補のそれぞれの運転評価関数の値が最適運転計画の運転評価関数の値よりも良くなる数が最小となる所定のパラメータ値を決定する。   For example, the evaluation function learning unit 25 creates a plurality of other operation plan candidates different from the optimal operation plan, and the value of each operation evaluation function of the operation plan candidates is better than the value of the operation evaluation function of the optimal operation plan. The predetermined parameter value that minimizes the number is determined.

最適運転算出部26は、運転計画決定部の一例であり、パラメータ決定部27にて所定のパラメータの値が決定された状態評価関数と、気象予報情報と、を用いて、エネルギー発生装置およびエネルギー貯蔵装置の運転計画を決定する。   The optimum operation calculation unit 26 is an example of an operation plan determination unit, and uses the state evaluation function in which the value of a predetermined parameter is determined by the parameter determination unit 27 and the weather forecast information, and the energy generator and the energy Determine the operation plan of the storage device.

本実施形態では、最適運転算出部26は、運転評価関数と気象予報情報とを用いて、エネルギー発生装置およびエネルギー貯蔵装置の運転計画を決定する。   In the present embodiment, the optimum operation calculation unit 26 determines an operation plan for the energy generation device and the energy storage device using the operation evaluation function and the weather forecast information.

図2は、図1で示すシステムの制御装置2における評価関数学習の処理の流れを示すフローチャートである。   FIG. 2 is a flowchart showing the flow of the evaluation function learning process in the control device 2 of the system shown in FIG.

まず、実績データベース部22は、天気・気温等の気象予報情報に対応する実績値、電力負荷15でのエネルギー需要の実績値、熱負荷16でのエネルギー需要の実績値、および、太陽電池11の発電量の実績値(エネルギー発生の実績値)を、通信部21およびエネルギーシステム1受信すると(ステップ201)、それらを日時情報に関連づけて保存する(ステップ202)。   First, the performance database unit 22 records actual values corresponding to weather forecast information such as weather and temperature, actual values of energy demand at the power load 15, actual values of energy demand at the heat load 16, and the solar cell 11. When the communication unit 21 and the energy system 1 are received the actual value of power generation (the actual value of energy generation) (step 201), they are stored in association with the date / time information (step 202).

次に、最適スケジューリング部23の処理について説明する。   Next, the process of the optimal scheduling unit 23 will be described.

最適スケジューリングとは、制御可能なエネルギー発生装置である燃料電池12の発電、および、制御可能なエネルギー貯蔵装置である蓄電池13の充放電について、所定の期間の運転計画を作成することである。所定の期間は、一日や一週間が適切である。   The optimal scheduling is to create an operation plan for a predetermined period for power generation of the fuel cell 12 that is a controllable energy generation device and charge / discharge of the storage battery 13 that is a controllable energy storage device. One day or one week is appropriate for the predetermined period.

最適スケジューリング部23は、最適スケジューリングを、その運転計画の実行対象となる日時の前に行うのではなく、実績データベース部22に保存された、電力負荷15でのエネルギー需要の実績値、熱負荷16でのエネルギー需要の実績値、および、太陽電池11の発電量の実績値を用いて、その運転計画の実行対象となる日時の後で、最適スケジューリングを計算する。   The optimal scheduling unit 23 does not perform the optimal scheduling before the date and time when the operation plan is to be executed, but stores the actual value of the energy demand at the power load 15 and the thermal load 16 stored in the actual database unit 22. The optimal scheduling is calculated after the date and time when the operation plan is to be executed, using the actual value of the energy demand at and the actual value of the power generation amount of the solar cell 11.

最適スケジューリング部23は、それらの実績値が揃ったタイミングで、最適スケジューリングを開始する(ステップ203)。   The optimal scheduling unit 23 starts the optimal scheduling at the timing when the actual values are obtained (step 203).

なお、所定期間が一週間である場合、最適スケジューリング部23は、一日ごとに、一日分の実績値のデータを更新しながら最適スケジューリングを行うのが望ましい。   In addition, when the predetermined period is one week, it is desirable that the optimum scheduling unit 23 performs the optimum scheduling while updating the actual value data for one day every day.

最適スケジューリング部23は、最適スケジューリングの計算を行う際、コストあるいは二酸化炭素排出量を最小化する等の運転計画での目的達成の度合いを評価するための目的関数を設定し、所定の期間における目的関数の値が最良となる運転計画(具体的には、燃料電池12の運転計画と蓄電池13の運転計画との組合せ)を探索する。   When calculating the optimal scheduling, the optimal scheduling unit 23 sets an objective function for evaluating the degree of achievement of the objective in the operation plan such as minimizing the cost or the carbon dioxide emission amount. An operation plan having the best function value (specifically, a combination of the operation plan of the fuel cell 12 and the operation plan of the storage battery 13) is searched.

この探索には、タブーサーチや遺伝的アルゴリズム等のメタヒューリスティック手法が、大規模な最適化問題でも実用的な近似解を比較的高速に算出することができる点で適する。ただし、線形計画法等の数理計画法を用いることもできる。   For this search, metaheuristic methods such as tabu search and genetic algorithm are suitable in that a practical approximate solution can be calculated relatively quickly even for large-scale optimization problems. However, mathematical programming such as linear programming can also be used.

メタヒューリスティック手法は、最適化問題の解を効率的に得るための「経験則」の使い方の統一的な方法論であり、評価関数形や制約条件によらず比較的高速に大域的最適解の高精度な近似解を得ることができる。   The meta-heuristic method is a unified methodology for using “rules of thumb” to efficiently obtain solutions to optimization problems. An accurate approximate solution can be obtained.

タブーサーチ(TS:Tabu<禁忌> Search)は、人間の記憶過程にアナロジーを持つ最適化手法であり、同じ解(運転スケジュール)を巡回しないように、記憶を頼りにもっとも評価値の良い方向(悪くなる場合はもっとも勾配の緩やかな方向)を目指す。タブーサーチでは、すでに通過した解に戻ることを避けるための記憶を、タブーリストと呼ぶメモリに格納して利用する。タブーサーチでは、同じ解への後戻りや類似解への移動も禁止され、局所解から脱出できるため、大域的にも最適解を探索できる。   Tabu Search (TS: Tabu <Contraindication> Search) is an optimization method that has an analogy in human memory processes, and relies on memory so that the same solution (driving schedule) is not circulated. If it gets worse, aim for the gentlest slope. In the tabu search, a memory for avoiding returning to the already passed solution is stored in a memory called a tabu list and used. In tabu search, backtracking to the same solution or moving to a similar solution is prohibited, and it is possible to escape from the local solution, so that the optimal solution can be searched globally.

また、遺伝的アルゴリズム(GA:Genetic Algorithm)は、生物の進化の過程を模倣したアルゴリズムであり、遺伝的な法則を工学的にモデル化したものである。自然界における生物の進化の過程では、いくつかの個体の集合が形成されており、環境への適合度が高い個体が高い確率で選択され生存する。   Genetic algorithm (GA) is an algorithm that imitates the process of evolution of living organisms, and is an engineering model of genetic laws. In the process of evolution of living organisms in the natural world, a set of several individuals is formed, and individuals with high adaptability to the environment are selected with high probability and survive.

遺伝的アルゴリズムでは、複数の個体(運転スケジュール)について、目的関数値に基づいて適合度の計算を行い、その後、選択、交叉、突然変異からなる遺伝的オペレータと呼ばれる操作を行って、適合度の高い個体が生存し次世代に増殖する。これらの一連の操作周期は世代と呼ばれ、全世代の中で最大適合度の個体を最適解とする。遺伝的アルゴリズムは、多点(個体数)探索のため、大域的に最適解を探索できる。   In the genetic algorithm, the fitness is calculated for a plurality of individuals (operation schedules) based on the objective function value, and then an operation called genetic operator consisting of selection, crossover, and mutation is performed to determine the fitness. High individuals survive and proliferate to the next generation. A series of these operation cycles is called a generation, and an individual having the maximum fitness among all generations is set as an optimal solution. Since the genetic algorithm is a multipoint (number of individuals) search, an optimal solution can be searched globally.

最適スケジューリングが実施されると、最適スケジューリング部23は、その入力情報(電力負荷15でのエネルギー需要の実績値、熱負荷16の実績値、および、太陽電池11の発電量の実績値)と、出力結果である最適運転計画とを、学習データベース部24に保存する(ステップ204)。   When the optimal scheduling is performed, the optimal scheduling unit 23 receives the input information (the actual value of energy demand at the power load 15, the actual value of the heat load 16, and the actual value of the power generation amount of the solar cell 11), The optimum operation plan as an output result is stored in the learning database unit 24 (step 204).

学習データベース部24内のデータが、所定の回数分更新された等の学習実施条件を満たせば(ステップ205)、評価関数学習部25は、状態評価関数のパラメータを機械学習法を用いて決定する(ステップ206)。   If the data in the learning database unit 24 satisfies the learning execution conditions such as being updated a predetermined number of times (step 205), the evaluation function learning unit 25 determines the parameters of the state evaluation function using a machine learning method. (Step 206).

図3は、学習データベースの作成方法の一例を示す説明図である。   FIG. 3 is an explanatory diagram illustrating an example of a method for creating a learning database.

図3に示すように、最適スケジューリング部23は、最適スケジューリングされた運転計画を、所定の時間ステップごとに分割して、入力情報とともに、学習データベース部24に保存する。   As shown in FIG. 3, the optimal scheduling unit 23 divides the optimally scheduled operation plan for each predetermined time step, and stores it in the learning database unit 24 together with the input information.

入力情報として、まず、天気・気温等の気象情報がある。気象情報としては、対象の時間帯に近い将来の気象に関する実績情報を含むことが望ましい。例えば、午前中の時間帯であれば、午後の天気実績や最高気温等であり、夜の時間帯であれば、翌日の天気実績や最低気温等である。これは、最適スケジューリング結果に反映されているはずの近い将来の状況を、学習される状態評価関数にも反映させるためである。   Input information includes weather information such as weather and temperature. As the weather information, it is desirable to include performance information on future weather close to the target time zone. For example, in the morning time zone, it is the afternoon weather performance and the highest temperature, and in the evening time zone, it is the next day weather performance and the lowest temperature. This is to reflect the near future situation that should be reflected in the optimum scheduling result also in the learned state evaluation function.

その他の入力情報として、従来予測対象としている電力需要、熱需要および太陽光発電量の実績値があり、前述の近い将来の気象情報が、これらの実績に反映され、最適運転計画にも反映されているはずである。   Other input information includes actual values of power demand, heat demand, and photovoltaic power generation, which have been subject to forecasting in the past, and the above-mentioned near-term weather information is reflected in these results and reflected in the optimal operation plan. Should be.

運転計画から得られる情報としては、運転計画における各燃料電池12や蓄電池13の出力値の他、状態評価関数の要素となる時間ステップの最初における蓄電量や蓄熱量がある。   Information obtained from the operation plan includes the output value of each fuel cell 12 and storage battery 13 in the operation plan, as well as the storage amount and heat storage amount at the beginning of the time step that is an element of the state evaluation function.

図4は、評価関数学習部25における状態評価関数のパラメータの機械学習方法の一例を示した説明図である。   FIG. 4 is an explanatory diagram showing an example of a machine learning method for parameters of the state evaluation function in the evaluation function learning unit 25.

まず、状態評価関数は、燃料電池12の起動と停止に関する評価値についてのパラメータ、燃料電池12の発電状態の評価値についてのパラメータ(第2パラメータ)、蓄電池13の蓄電量の評価値についてのパラメータ(第1パラメータ)、蓄熱装置14の蓄熱量の評価値についてのパラメータ(第1パラメータ)等から構成され、それら評価値のパラメータは、時間帯や気象予報情報等に依存するものとする。   First, the state evaluation function includes a parameter for an evaluation value related to starting and stopping of the fuel cell 12, a parameter for the evaluation value of the power generation state of the fuel cell 12 (second parameter), and a parameter for the evaluation value of the storage amount of the storage battery 13. (First parameter), and a parameter (first parameter) for an evaluation value of the heat storage amount of the heat storage device 14, and the parameters of the evaluation value depend on a time zone, weather forecast information, and the like.

各評価値が時間帯や気象予報情報等に依存するとは、各評価値が、各時間帯・天気ごとに値を持つとしても良いし、時間帯や気温の関数としても良い。   The fact that each evaluation value depends on the time zone, weather forecast information, etc., may be that each evaluation value has a value for each time zone and weather, or may be a function of the time zone and temperature.

蓄電量の評価値や蓄熱量の評価値は、単価として設定するのではなく、それ自身の量にも依存させることにより、例えば、満充電が近づくと蓄電量の追加分の評価値が下がり、過充電が防止されるよう学習される。   The evaluation value of the amount of stored electricity and the evaluation value of the stored amount of heat are not set as a unit price, but by depending on the amount of itself, for example, when the full charge approaches, the evaluation value of the additional amount of stored electricity decreases, It is learned to prevent overcharging.

また、蓄電量の評価値や蓄熱量の評価値は、学習データベース部24の入力情報とした、近い将来の気象情報にも依存するものとする。   In addition, it is assumed that the evaluation value of the stored electricity amount and the evaluation value of the heat storage amount also depend on weather information in the near future, which is input information of the learning database unit 24.

例えば、蓄電量の価値は、午後晴れのときよりも雨のときのほうが、その価値は高いはずであり、夏季においては最高気温が高い方が電力負荷の増加が予測されるため、高い価値を持つはずである。   For example, the value of power storage should be higher when it is raining than when it is sunny in the afternoon, and in summer the higher maximum temperature is expected to increase the power load. Should have.

同様に、燃料電池12の起動している価値や蓄熱装置14での蓄熱量の価値は、電力負荷15だけでなく熱負荷16の予測、すなわち近い将来の気象情報に複雑に依存しているはずである。   Similarly, the starting value of the fuel cell 12 and the value of the amount of heat stored in the heat storage device 14 should depend on the prediction of not only the power load 15 but also the heat load 16, that is, weather information in the near future. It is.

このように依存要素は多数考えられ、それに応じてパラメータは膨大となり、各パラメータの値を適切な値を設定するのは難しいため、評価関数学習部25は、状態評価関数の多数のパラメータを決定する手法として、機械学習法を用いることが不可欠となる。   In this way, a large number of dependent elements are conceivable, and accordingly, the parameters become enormous and it is difficult to set an appropriate value for each parameter. Therefore, the evaluation function learning unit 25 determines a large number of parameters of the state evaluation function. It is indispensable to use machine learning as a technique to do this.

また、評価関数学習部25は、最適スケジューリングにおいて用いたコスト等の時間ステップの期間における目的関数に、状態評価関数を加味したものを運転評価関数として用いる。   Further, the evaluation function learning unit 25 uses, as a driving evaluation function, a state evaluation function added to an objective function in a time step period such as a cost used in optimal scheduling.

この例では、目的関数は一定期間のコスト等を小さくすることに価値を持つものであり、状態評価関数は多くエネルギーを蓄積していることに価値を持つものであるため、運転評価関数は、目的関数と状態評価関数の差で構成される。   In this example, the objective function is valuable for reducing the cost for a certain period, and the state evaluation function is valuable for accumulating a lot of energy. It consists of the difference between the objective function and the state evaluation function.

学習の手順として、評価関数学習部25は、まず最適スケジューリング部23で計算された所定期間毎の最適運転計画とは異なる運転パターン(運転計画の候補)を複数作成する。   As a learning procedure, the evaluation function learning unit 25 first creates a plurality of operation patterns (operation plan candidates) different from the optimal operation plan for each predetermined period calculated by the optimal scheduling unit 23.

例えば、運転計画の候補は、最適運転計画を基準として、燃料電池12の出力を増加させたり、蓄電池13の放電電力を減少させたりした運転パターンであり、様々な組合せが有り得る。したがって、評価関数学習部25は、それら運転パターンの候補の中から運転評価関数が良いものを選別する等により、運転パターンの候補を絞り込み、運転パターンの候補の集合を時間ステップごとに作成する。   For example, the operation plan candidate is an operation pattern in which the output of the fuel cell 12 is increased or the discharge power of the storage battery 13 is decreased on the basis of the optimum operation plan, and various combinations are possible. Therefore, the evaluation function learning unit 25 narrows down the driving pattern candidates by selecting, for example, those having good driving evaluation functions from the driving pattern candidates, and creates a set of driving pattern candidates for each time step.

次に、評価関数学習部25は、学習用目的関数として、最適運転計画における各時間ステップの運転パターンの運転評価関数の値と、各運転パターン候補の運転評価関数値との差のシグモイド関数の総和とする関数を用いる。   Next, the evaluation function learning unit 25 uses, as the learning objective function, a sigmoid function of the difference between the driving evaluation function value of the driving pattern at each time step in the optimal driving plan and the driving evaluation function value of each driving pattern candidate. Use the summation function.

シグモイド関数を用いたのは、学習用目的関数を滑らかにするとともに、最適運転パターンに評価値が比較的近い運転パターン候補に対して、最適運転パターンをできるだけ優位にするよう学習させるためである。   The reason why the sigmoid function is used is to make the learning objective function smooth and to make the learning to make the optimum driving pattern as advantageous as possible with respect to the driving pattern candidate whose evaluation value is relatively close to the optimum driving pattern.

評価関数学習部25は、この学習用目的関数が最小となるように、具体的には、運転計画の候補のそれぞれの運転評価関数の値が最適運転計画の運転評価関数の値よりも良くなる数が最小となるように、状態評価関数のパラメータ(運転計画は除く)を、最急降下法や共役勾配法等を用いて求める。   Specifically, the evaluation function learning unit 25 makes the value of each operation evaluation function of the operation plan candidate better than the value of the operation evaluation function of the optimal operation plan so that the objective function for learning is minimized. The parameters of the state evaluation function (excluding the operation plan) are obtained by using the steepest descent method, the conjugate gradient method, or the like so that the number is minimized.

以上、状態評価関数のパラメータの機械学習方法を説明したが、評価関数学習部25は、ニューラルネットワークや各種回帰分析、その他の手法を、機械学習方法と組合せて実施しても良い。   Although the machine learning method for the parameters of the state evaluation function has been described above, the evaluation function learning unit 25 may implement a neural network, various regression analysis, and other methods in combination with the machine learning method.

図5は、図1で示す制御装置2内の最適運転算出部26の処理の流れを示したフローチャートである。   FIG. 5 is a flowchart showing a process flow of the optimum operation calculation unit 26 in the control device 2 shown in FIG.

まず、最適運転算出部26は、通信部21から、気象予報情報等を受信する(ステップ501)。   First, the optimum driving calculation unit 26 receives weather forecast information and the like from the communication unit 21 (step 501).

続いて、最適運転算出部26は、運転の評価に必要な情報を揃えた後、最初に評価する初期運転計画を作成する(ステップ502)。   Subsequently, the optimum operation calculation unit 26 prepares an initial operation plan to be evaluated first after arranging information necessary for the evaluation of the operation (step 502).

ただし、この運転計画は、最適スケジューリング部23が計算したような長期間に渡るものではなく、学習データベース作成時における時間ステップの1〜数倍が望ましい。   However, this operation plan does not extend over a long period of time as calculated by the optimal scheduling unit 23, and is preferably 1 to several times the time step when the learning database is created.

初期運転計画の候補としては、現状の運転をそのまま継続する運転計画等で良い。   The candidate for the initial operation plan may be an operation plan that continues the current operation as it is.

次に、最適運転算出部26は、初期運転計画について目的関数値を計算する(ステップ503)。   Next, the optimum operation calculation unit 26 calculates an objective function value for the initial operation plan (step 503).

この計算において、対象期間が短いため、最適運転算出部26は、電力需要、熱需要や太陽光発電量等を、現状の値および近い過去のトレンドにより求める。   In this calculation, since the target period is short, the optimum operation calculation unit 26 obtains the power demand, the heat demand, the amount of photovoltaic power generation, and the like based on the current values and the past trends.

最適運転算出部26は、この計算により、期間終了後の蓄電量・蓄熱量等の状態も計算する。最適運転算出部26は、期間終了後の蓄電量・蓄熱量等の状態も用いて、期間終了後における状態評価関数を、学習された最新のパラメータを用いて計算する(ステップ504)。   By this calculation, the optimum operation calculation unit 26 also calculates the state such as the amount of stored electricity and the amount of stored heat after the end of the period. The optimum operation calculating unit 26 calculates the state evaluation function after the end of the period by using the latest learned parameters, using the state of the amount of stored electricity and the amount of heat storage after the end of the period (step 504).

最適運転算出部26は、状態評価関数の依存要素である近い将来の気象情報として、受信した最新の気象予報情報を用いることにより、従来技術における需要等の予測が、状態評価関数の計算に畳み込まれ、状態評価関数の計算結果に反映される。   The optimal operation calculation unit 26 uses the latest received weather forecast information received as near-term weather information that is a dependent element of the state evaluation function, so that the demand prediction in the prior art is folded into the calculation of the state evaluation function. And reflected in the calculation result of the state evaluation function.

最適運転算出部26は、こうして計算された目的関数値および状態評価関数値から計算される運転評価関数値により、初期運転計画を評価する。   The optimum operation calculation unit 26 evaluates the initial operation plan based on the operation evaluation function value calculated from the objective function value and the state evaluation function value thus calculated.

最適運転算出部26は、様々な運転計画について、この評価を行い(ステップ505、506)、最も良い評価を持つ運転計画を決定し、その運転計画に基づいて運転指令値を決定する(ステップ507)。   The optimum operation calculation unit 26 performs this evaluation on various operation plans (steps 505 and 506), determines an operation plan having the best evaluation, and determines an operation command value based on the operation plan (step 507). ).

最適運転算出部26は、この最適計算に、最適スケジューリング部23が用いたメタヒューリスティック手法を用いても良いし、他の最適化手法を用いても良いが、対象期間が短いため比較的短時間で最適化することができる。   The optimal operation calculation unit 26 may use the metaheuristic method used by the optimal scheduling unit 23 or other optimization methods for this optimal calculation, but the target period is short, so that it is relatively short. Can be optimized.

なお、以上説明した制御装置2の機能は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、CD−ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの(伝送媒体もしくは伝送波)、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。   The function of the control device 2 described above is executed by recording a program for realizing the function on a computer-readable recording medium, causing the computer to read the program recorded on the recording medium, and executing the program. It may be. The computer-readable recording medium refers to a recording medium such as a flexible disk, a magneto-optical disk, and a CD-ROM, and a storage device such as a hard disk device built in a computer system. Further, the computer-readable recording medium is a medium that dynamically holds the program for a short time (transmission medium or transmission wave) as in the case of transmitting the program via the Internet, and in the computer serving as a server in that case Such as a volatile memory that holds a program for a certain period of time.

本発明の一実施形態によるエネルギーシステムの構成を示したブロック図である。It is the block diagram which showed the structure of the energy system by one Embodiment of this invention. 評価関数学習の処理を示すフローチャートである。It is a flowchart which shows the process of evaluation function learning. 最適スケジューリング結果から学習データベースを作成する方法の一例を示す説明図である。It is explanatory drawing which shows an example of the method of producing a learning database from the optimal scheduling result. 状態評価関数のパラメータの機械学習方法の一例を示した説明図である。It is explanatory drawing which showed an example of the machine learning method of the parameter of a state evaluation function. 最適運転算出部26の処理の流れを示したフローチャートである。3 is a flowchart showing a process flow of an optimum operation calculation unit 26.

符号の説明Explanation of symbols

1 エネルギーシステム
1a〜1n 需要家
11 太陽電池
12 燃料電池
13 蓄電池
14 蓄熱装置
15 電力負荷
16 熱負荷
17 熱配管
2 制御装置
21 通信部
22 実績データベース部
23 最適スケジューリング部
24 学習データベース部
25 評価関数学習部
26 最適運転算出部
27 パラメータ決定部
3 電力線
4 系統電力
DESCRIPTION OF SYMBOLS 1 Energy system 1a-1n Consumer 11 Solar cell 12 Fuel cell 13 Storage battery 14 Thermal storage device 15 Electric power load 16 Thermal load 17 Thermal piping 2 Controller 21 Communication part 22 Performance database part 23 Optimal scheduling part 24 Learning database part 25 Evaluation function learning Unit 26 Optimal operation calculation unit 27 Parameter determination unit 3 Power line 4 System power

Claims (10)

エネルギー発生装置と、エネルギー貯蔵装置と、エネルギー負荷と、を有するエネルギーシステムと通信可能であり、気象予報情報を用いて前記エネルギー発生装置および前記エネルギー貯蔵装置の運転計画を決定するエネルギーシステム制御装置であって、
前記エネルギー発生装置によるエネルギー発生の実績値と、前記エネルギー負荷によるエネルギー需要の実績値を保存する実績データベース部と、
前記エネルギー発生装置および前記エネルギー貯蔵装置の最適運転計画を、予め定められた最適化手法を用いて、前記実績データベース部内のエネルギー発生の実績値およびエネルギー需要の実績値に基づいて作成する最適スケジューリング部と、
前記エネルギー発生装置および前記エネルギー貯蔵装置の状態を評価するための状態評価関数を、前記最適スケジューリング部にて作成された最適運転計画に基づいて確定する確定部と、
前記確定部にて確定された状態評価関数と、前記気象予報情報と、を用いて、前記運転計画を決定する運転計画決定部と、
を含み、
前記確定部は、
前記気象予報情報の実績値と、前記エネルギー発生の実績値と、前記エネルギー需要の実績値と、前記最適運転計画と、を格納する学習データベース部と、
前記学習データベース部内のデータが学習実施条件を満たした場合に、前記状態評価関数が有する所定のパラメータの値を、予め定められた機械学習法を用いて、前記学習データベース部内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、前記最適運転計画と、に基づいて決定する評価関数学習部と、を含む、エネルギーシステム制御装置。
An energy system control device capable of communicating with an energy system having an energy generation device, an energy storage device, and an energy load, and determining an operation plan of the energy generation device and the energy storage device using weather forecast information There,
An actual value database for storing the actual value of energy generation by the energy generator and the actual value of energy demand by the energy load;
Optimal scheduling unit that creates an optimal operation plan for the energy generation device and the energy storage device based on the actual value of energy generation and the actual value of energy demand in the actual database unit using a predetermined optimization method When,
A determination unit for determining a state evaluation function for evaluating a state of the energy generation device and the energy storage device based on an optimal operation plan created by the optimal scheduling unit;
An operation plan determination unit that determines the operation plan using the state evaluation function determined by the determination unit and the weather forecast information;
Only including,
The determination unit is
A learning database unit for storing the actual value of the weather forecast information, the actual value of the energy generation, the actual value of the energy demand, and the optimum operation plan;
When the data in the learning database unit satisfies the learning implementation conditions, the value of the predetermined parameter of the state evaluation function is used to determine the actual weather forecast information in the learning database unit using a predetermined machine learning method. An energy system control device comprising: an evaluation function learning unit that is determined based on the value, the actual value of energy generation, the actual value of energy demand, and the optimum operation plan .
前記学習データベース部は、所定の日時ごとに、前記最適運転計画と、前記気象予報情報の実績値と、前記エネルギー発生の実績値と、前記エネルギー需要の実績値と、前記エネルギー発生装置の出力状態と、前記エネルギー貯蔵装置の蓄積状態とを、互いに関連づけて格納する、請求項に記載のエネルギーシステム制御装置。 The learning database unit includes, for each predetermined date and time, the optimum operation plan, the actual value of the weather forecast information, the actual value of the energy generation, the actual value of the energy demand, and the output state of the energy generator. When, a storage state of the energy storage device, and stores in association with each other, energy system control device according to claim 1. 前記所定のパラメータは、前記エネルギー貯蔵装置におけるエネルギー蓄積量の評価値についての第1パラメータ、および、前記エネルギー発生装置の出力状態の評価値についての第2パラメータを含み、
前記第1パラメータおよび前記第2パラメータは、前記気象予報情報に応じた値を持つ、請求項またはに記載のエネルギーシステム制御装置。
The predetermined parameters include a first parameter for an evaluation value of an energy storage amount in the energy storage device, and a second parameter for an evaluation value of an output state of the energy generation device,
The energy system control device according to claim 1 or 2 , wherein the first parameter and the second parameter have values corresponding to the weather forecast information.
前記最適スケジューリング部は、運転計画での目的達成の度合いを評価するための目的関数の値が、前記最適運転計画において最適となるように、前記最適運転計画を、前記最適化手法を用いて、前記エネルギー発生の実績値および前記エネルギー需要の実績値に基づいて作成し、
前記評価関数学習部は、前記機械学習法として、前記目的関数と前記状態評価関数から構成される運転評価関数を用いた機械学習法を用いて、前記所定のパラメータの値を、前記学習データベース部内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、前記最適運転計画と、に基づいて決定し、
前記運転計画決定部は、前記運転評価関数と、前記気象予報情報と、を用いて、前記運転計画を決定する、請求項からのいずれか1項に記載のエネルギーシステム制御装置。
The optimum scheduling unit uses the optimization method to optimize the operation plan so that the value of an objective function for evaluating the degree of achievement of the purpose in the operation plan is optimized in the optimum operation plan. Create based on the actual value of the energy generation and the actual value of the energy demand,
The evaluation function learning unit uses a machine learning method using an operation evaluation function composed of the objective function and the state evaluation function as the machine learning method, and calculates the value of the predetermined parameter in the learning database unit. Determined based on the actual value of the weather forecast information, the actual value of energy generation and the actual value of energy demand, and the optimum operation plan,
The operation plan determination unit includes: the driving evaluation function, the using the weather forecast information, and to determine the operation plan, the energy system control apparatus according to any one of claims 1 to 3.
前記評価関数学習部は、前記最適運転計画と異なる他の運転計画の候補を複数作成し、前記運転計画の候補のそれぞれの運転評価関数の値が前記最適運転計画の運転評価関数の値よりも良くなる数が最小となる前記所定のパラメータ値を決定する、請求項に記載のエネルギーシステム制御装置。 The evaluation function learning unit creates a plurality of other operation plan candidates different from the optimal operation plan, and the value of each operation evaluation function of the operation plan candidates is greater than the value of the operation evaluation function of the optimal operation plan. The energy system controller according to claim 4 , wherein the predetermined parameter value that minimizes the number to be improved is determined. エネルギー発生装置と、エネルギー貯蔵装置と、エネルギー負荷と、を有するエネルギーシステムと通信可能であり、気象予報情報を用いて前記エネルギー発生装置および前記エネルギー貯蔵装置の運転計画を決定する、エネルギーシステム制御装置が行うエネルギーシステム制御方法であって、
前記エネルギー発生装置によるエネルギー発生の実績値と、前記エネルギー負荷によるエネルギー需要の実績値を実績データベース部に保存する保存ステップと、
前記エネルギー発生装置および前記エネルギー貯蔵装置の最適運転計画を、予め定められた最適化手法を用いて、前記実績データベース部内のエネルギー発生の実績値およびエネルギー需要の実績値に基づいて作成する最適スケジューリングステップと、
前記エネルギー発生装置および前記エネルギー貯蔵装置の状態を評価するための状態評価関数を、前記最適運転計画に基づいて確定する確定ステップと、
前記状態評価関数と、前記気象予報情報と、を用いて、前記運転計画を決定する運転計画決定ステップと、
を含み、
前記確定ステップは、
前記気象予報情報の実績値と、前記エネルギー発生の実績値と、前記エネルギー需要の実績値と、前記最適運転計画と、を学習データベース部に格納する格納ステップと、
前記学習データベース部内のデータが学習実施条件を満たした場合に、前記状態評価関数が有する所定のパラメータの値を、予め定められた機械学習法を用いて、前記学習データベース部内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、前記最適運転計画と、に基づいて決定する評価関数学習ステップと、を含む、エネルギーシステム制御方法。
An energy system control device capable of communicating with an energy system having an energy generation device, an energy storage device, and an energy load, and determining an operation plan of the energy generation device and the energy storage device using weather forecast information Is an energy system control method performed by
A storage step of storing the actual value of energy generation by the energy generator and the actual value of energy demand due to the energy load in the actual database unit;
Optimal scheduling step of creating an optimal operation plan of the energy generator and the energy storage device based on the actual value of energy generation and the actual value of energy demand in the actual database unit using a predetermined optimization method When,
A determination step for determining a state evaluation function for evaluating a state of the energy generation device and the energy storage device based on the optimum operation plan;
An operation plan determination step for determining the operation plan using the state evaluation function and the weather forecast information;
Only including,
The confirmation step includes
A storage step of storing the actual value of the weather forecast information, the actual value of the energy generation, the actual value of the energy demand, and the optimum operation plan in a learning database unit;
When the data in the learning database unit satisfies the learning implementation conditions, the value of the predetermined parameter of the state evaluation function is used to determine the actual weather forecast information in the learning database unit using a predetermined machine learning method. An energy system control method comprising: an evaluation function learning step that is determined based on the value, the actual value of energy generation, the actual value of energy demand, and the optimum operation plan .
前記格納ステップでは、所定の日時ごとに、前記最適運転計画と、前記気象予報情報の実績値と、前記エネルギー発生の実績値と、前記エネルギー需要の実績値と、前記エネルギー発生装置の出力状態と、前記エネルギー貯蔵装置の蓄積状態とを、互いに関連づけて前記学習データベース部に格納する、請求項に記載のエネルギーシステム制御方法。 In the storing step, for each predetermined date and time, the optimum operation plan, the actual value of the weather forecast information, the actual value of the energy generation, the actual value of the energy demand, and the output state of the energy generator, The energy system control method according to claim 6 , wherein the accumulated state of the energy storage device is stored in the learning database unit in association with each other. 前記所定のパラメータは、前記エネルギー貯蔵装置におけるエネルギー蓄積量の評価値についての第1パラメータ、および、前記エネルギー発生装置の出力状態の評価値についての第2パラメータを含み、
前記第1パラメータおよび前記第2パラメータは、前記気象予報情報に応じた値を持つ、請求項またはに記載のエネルギーシステム制御方法。
The predetermined parameters include a first parameter for an evaluation value of an energy storage amount in the energy storage device, and a second parameter for an evaluation value of an output state of the energy generation device,
The energy system control method according to claim 6 or 7 , wherein the first parameter and the second parameter have values corresponding to the weather forecast information.
前記最適スケジューリングステップでは、運転計画での目的達成の度合いを評価するための目的関数の値が、前記最適運転計画において最適となるように、前記最適運転計画を、前記最適化手法を用いて、前記エネルギー発生の実績値および前記エネルギー需要の実績値に基づいて作成し、
前記評価関数学習ステップでは、前記機械学習法として、前記目的関数と前記状態評価関数から構成される運転評価関数を用いた機械学習法を用いて、前記所定のパラメータの値を、前記学習データベース部内の気象予報情報の実績値、エネルギー発生の実績値およびエネルギー需要の実績値と、前記最適運転計画と、に基づいて決定し、
前記運転計画決定ステップでは、前記運転評価関数と、前記気象予報情報と、を用いて、前記運転計画を決定する、請求項からのいずれか1項に記載のエネルギーシステム制御方法。
In the optimal scheduling step, the optimal operation plan is optimized using the optimization method so that the value of the objective function for evaluating the degree of achievement of the objective in the operation plan is optimal in the optimal operation plan, Create based on the actual value of the energy generation and the actual value of the energy demand,
In the evaluation function learning step, a machine learning method using an operation evaluation function composed of the objective function and the state evaluation function is used as the machine learning method, and the value of the predetermined parameter is stored in the learning database unit. Determined based on the actual value of the weather forecast information, the actual value of energy generation and the actual value of energy demand, and the optimum operation plan,
The energy system control method according to any one of claims 6 to 8 , wherein, in the operation plan determination step, the operation plan is determined using the operation evaluation function and the weather forecast information.
前記評価関数学習ステップでは、前記最適運転計画と異なる他の運転計画の候補を複数作成し、前記運転計画の候補のそれぞれの運転評価関数の値が前記最適運転計画の運転評価関数の値よりも良くなる数が最小となる前記所定のパラメータ値を決定する、請求項に記載のエネルギーシステム制御方法。 In the evaluation function learning step, a plurality of other operation plan candidates different from the optimum operation plan are created, and the value of each operation evaluation function of the operation plan candidates is greater than the value of the operation evaluation function of the optimum operation plan. The energy system control method according to claim 9 , wherein the predetermined parameter value that minimizes the number to be improved is determined.
JP2008297962A 2008-11-21 2008-11-21 Energy system control device and control method Expired - Fee Related JP5215822B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008297962A JP5215822B2 (en) 2008-11-21 2008-11-21 Energy system control device and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008297962A JP5215822B2 (en) 2008-11-21 2008-11-21 Energy system control device and control method

Publications (2)

Publication Number Publication Date
JP2010124644A JP2010124644A (en) 2010-06-03
JP5215822B2 true JP5215822B2 (en) 2013-06-19

Family

ID=42325473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008297962A Expired - Fee Related JP5215822B2 (en) 2008-11-21 2008-11-21 Energy system control device and control method

Country Status (1)

Country Link
JP (1) JP5215822B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101778599B1 (en) * 2016-11-09 2017-09-26 청운대학교 인천캠퍼스 산학협력단 Optimization design method of solar thermal system

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026573A1 (en) * 2010-08-27 2012-03-01 三洋電機株式会社 Electrical power management device
JP4643759B1 (en) * 2010-10-13 2011-03-02 株式会社フィールドロジック Power generation simulation apparatus, power generation simulation method, and program
JP5660863B2 (en) * 2010-11-22 2015-01-28 京セラ株式会社 Control apparatus and control method
JP5670774B2 (en) * 2011-01-17 2015-02-18 株式会社 Jcサービス Multi-site power saving control system
JP5537478B2 (en) * 2011-03-28 2014-07-02 株式会社東芝 Composite battery energy management system and method
JP5578124B2 (en) * 2011-03-29 2014-08-27 株式会社デンソー Power supply system
JP5681070B2 (en) * 2011-08-31 2015-03-04 ニチコン株式会社 Multi-power conditioner system
JP5468590B2 (en) 2011-09-27 2014-04-09 株式会社東芝 Data collection apparatus and method
JP5843572B2 (en) 2011-11-10 2016-01-13 株式会社東芝 Operation planning system and operation plan creation method
JP5780989B2 (en) * 2012-03-16 2015-09-16 三菱電機株式会社 Equipment controller and distributed power supply system
JP5813544B2 (en) * 2012-03-22 2015-11-17 株式会社東芝 ENERGY MANAGEMENT DEVICE, ITS MANAGEMENT METHOD, AND ENERGY MANAGEMENT PROGRAM
US9535474B2 (en) 2012-03-22 2017-01-03 Kabushiki Kaisha Toshiba Renewable energy management using weighted load patterns
JP6178045B2 (en) * 2012-04-16 2017-08-09 株式会社東芝 Energy management system, energy management method, program, and server device
JP5882156B2 (en) * 2012-07-23 2016-03-09 株式会社デンソー Power control device
WO2014034391A1 (en) 2012-09-03 2014-03-06 株式会社 東芝 Energy control system, server, energy control method and storage medium
JP5921390B2 (en) * 2012-09-03 2016-05-24 株式会社東芝 Energy management system, energy management method, program, and server device
KR101478791B1 (en) * 2012-11-27 2015-01-02 에스케이씨앤씨 주식회사 Method and System for Power Management
JP2017108560A (en) * 2015-12-10 2017-06-15 株式会社Nttドコモ Control apparatus and control program for power accommodation system
US20190181680A1 (en) * 2016-08-09 2019-06-13 Yanmar Co., Ltd. Control device optimizing evaluation of energy management in in-plant energy network
KR101972828B1 (en) * 2017-11-14 2019-04-26 동신대학교 산학협력단 Thermoelectric composite grid system with V2G and its operation method
KR101972830B1 (en) * 2017-11-14 2019-04-26 동신대학교 산학협력단 Thermoelectric composite grid system with Photovoltaic Thermal and its operation method
KR101965328B1 (en) * 2017-11-14 2019-04-03 동신대학교 산학협력단 Thermoelectric composite grid system with DC nanogrid and its operation method
KR101965336B1 (en) * 2017-11-14 2019-04-03 동신대학교 산학협력단 Tjhermoelectric Composite Grid System
JP7053299B2 (en) * 2018-02-15 2022-04-12 株式会社日立製作所 Operation plan generation device and operation plan generation method
JP7049911B2 (en) * 2018-05-17 2022-04-07 大成建設株式会社 Equipment operation system and equipment operation method
JP7178478B2 (en) * 2018-07-05 2022-11-25 ヒタチ・エナジー・スウィツァーランド・アクチェンゲゼルシャフト Techniques for optimizing power grids with distributed prediction
JP7058254B2 (en) * 2019-10-11 2022-04-21 京セラ株式会社 Information processing equipment, information processing methods, and programs
JP7083008B2 (en) * 2020-08-31 2022-06-09 三菱重工サーマルシステムズ株式会社 Planning system, planning method and program
KR102618054B1 (en) * 2022-05-27 2023-12-27 (주)누리플렉스 Method and apparatus for operating distributed power in building

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202406A (en) * 1995-01-23 1996-08-09 Hitachi Ltd Operation schedule planning method for energy supply plant
JP2002230099A (en) * 2001-01-31 2002-08-16 Mitsubishi Electric Corp Facility optimal operation service system
JP2005304118A (en) * 2004-04-07 2005-10-27 Nippon Telegr & Teleph Corp <Ntt> Controller and control method of distributed energy system
JP4245583B2 (en) * 2005-04-15 2009-03-25 日本電信電話株式会社 Control device, control method, program, and recording medium of distributed energy system
JP2008141918A (en) * 2006-12-05 2008-06-19 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for evaluating photovoltaic power generation system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101778599B1 (en) * 2016-11-09 2017-09-26 청운대학교 인천캠퍼스 산학협력단 Optimization design method of solar thermal system

Also Published As

Publication number Publication date
JP2010124644A (en) 2010-06-03

Similar Documents

Publication Publication Date Title
JP5215822B2 (en) Energy system control device and control method
US10921760B2 (en) Predictive control loops using time-based simulation and building-automation systems thereof
Reynolds et al. Operational supply and demand optimisation of a multi-vector district energy system using artificial neural networks and a genetic algorithm
Reynolds et al. A zone-level, building energy optimisation combining an artificial neural network, a genetic algorithm, and model predictive control
JP4245583B2 (en) Control device, control method, program, and recording medium of distributed energy system
Silvente et al. A rolling horizon optimization framework for the simultaneous energy supply and demand planning in microgrids
JP2013529879A (en) Method for scheduling operation of a generator
JP7053299B2 (en) Operation plan generation device and operation plan generation method
Pandey et al. Applications of artificial intelligence in power system operation, control and planning: a review
CN111245024B (en) Comprehensive energy system robust optimization operation method based on model predictive control
De Ridder et al. A trading strategy for industrial CHPs on multiple power markets
Zhang et al. A review of recent advances on reinforcement learning for smart home energy management
Pan et al. Impacts of optimization interval on home energy scheduling for thermostatically controlled appliances
JP2005304118A (en) Controller and control method of distributed energy system
Schellenberg et al. Operational optimisation of a heat pump system with sensible thermal energy storage using genetic algorithm
Sarkar et al. Concurrent carbon footprint reduction (c2fr) reinforcement learning approach for sustainable data center digital twin
Raju et al. Reinforcement learning in adaptive control of power system generation
CN113723793A (en) Method, device, equipment and medium for realizing park comprehensive energy system
Navarro-Caceres et al. An evaluation of a metaheuristic artificial immune system for household energy optimization
Pappala et al. Unit commitment under wind power and demand uncertainties
Zhan et al. Comparing model predictive control and reinforcement learning for the optimal operation of building-PV-battery systems
Zhu et al. Memetic algorithm for solving monthly unit commitment problem considering uncertain wind power
Molderink et al. On the effects of MPC on a domestic energy efficiency optimization methodology
Hu et al. Energy Management for isolated renewable-powered microgrids using reinforcement learning and game theory
Xiong et al. Optimizing electricity demand scheduling in microgrids using deep reinforcement learning for cost‐efficiency

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101217

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130301

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees