JP7538280B1 - Air traffic control support device, air traffic control support method, and air traffic control support program - Google Patents
Air traffic control support device, air traffic control support method, and air traffic control support program Download PDFInfo
- Publication number
- JP7538280B1 JP7538280B1 JP2023061053A JP2023061053A JP7538280B1 JP 7538280 B1 JP7538280 B1 JP 7538280B1 JP 2023061053 A JP2023061053 A JP 2023061053A JP 2023061053 A JP2023061053 A JP 2023061053A JP 7538280 B1 JP7538280 B1 JP 7538280B1
- Authority
- JP
- Japan
- Prior art keywords
- range
- line
- sight
- gaze
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000011156 evaluation Methods 0.000 claims abstract description 187
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 23
- 238000012854 evaluation process Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 11
- 208000034953 Twin anemia-polycythemia sequence Diseases 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】管制官が表示装置に表示されている内容を読み間違えることに起因した、意図せぬ管制指示を防止可能な構成を実現できるようにする。【解決手段】視線取得部３４は、移動体を映した表示装置における管制官が見ている視線位置を示す視線情報を取得する。視線評価部３５は、管制対象の移動体に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における管制対象の移動体が表示された位置と、視線情報が示す前記視線位置とから、管制対象の移動体に対する視線評価値を計算する。【選択図】図１[Problem] To realize a configuration capable of preventing unintended control instructions caused by a controller misreading the contents displayed on a display device. [Solution] A line-of-sight acquisition unit 34 acquires line-of-sight information indicating the line-of-sight position of the controller on a display device showing a moving object. A line-of-sight evaluation unit 35 calculates a line-of-sight evaluation value for the moving object to be controlled from the position where the moving object to be controlled is displayed in the display area of the display device and the line-of-sight position indicated by the line-of-sight information during a reference period based on the time when an instruction was given to the moving object to be controlled. [Selected Figure] Figure 1
Description
本開示は、空港における管制業務を支援する技術に関する。 This disclosure relates to technology that supports air traffic control operations at airports.
空港において航空機の管制業務を行う管制官は、表示装置に表示されている空域及び空港内飛行場の航空機の運航状況と外部要因とをもとに、無線通信によってパイロットに管制指示を送っている。外部要因としては、天候、他の空港及び空域の運用状態、パイロットからの要求に対する応答等がある。
この際、管制官が表示装置に表示されている内容を読み間違える又は言い間違えることにより、意図せぬ管制指示をパイロットに伝えてしまうことがある。この対策としてパイロットは指示内容を復唱確認する。しかし、管制官の認識が改善されないまま、パイロットが指示に従い、事故回避のための運航状況の乱れによる運航遅延につながる可能性がある。
Air traffic controllers at airports send control instructions to pilots via radio communication based on the airspace and aircraft operating status at the airport that are displayed on display devices, as well as external factors such as weather, the operational status of other airports and airspace, and responses to requests from pilots.
In this case, the controller may misread or mispronounce the contents displayed on the display screen, resulting in unintended control instructions being conveyed to the pilot. As a countermeasure, the pilot repeats the contents of the instructions to confirm. However, if the controller's understanding is not improved and the pilot follows the instructions, there is a possibility that flight delays will occur due to disruptions to flight conditions to avoid accidents.
特許文献１には、訓練管制官がパイロットの援助無しに訓練を行うための管制官訓練装置についての記載がある。この管制官訓練装置は、訓練管制官の指示音声を認識し、認識した音声に基づきパイロットからの応答用の音声を生成する。また、この管制官訓練装置は、指示音声に従うと航空機間の間隔が安全確保できない間隔になってしまう場合にアラームを発する。
特許文献１に記載された技術では、管制官が表示装置に表示されている内容を読み間違えることに起因した、意図せぬ管制指示を防止することは難しい。
本開示は、管制官が表示装置に表示されている内容を読み間違えることに起因した、意図せぬ管制指示を防止可能な構成を実現できるようにすることを目的とする。
With the technology described in
An object of the present disclosure is to realize a configuration capable of preventing unintended control instructions caused by a controller misreading the content displayed on a display device.
本開示に係る管制支援装置は、
航空機を映した表示装置における管制官が見ている視線位置を示す視線情報を取得する視線取得部と、
管制対象の航空機に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における前記管制対象の航空機が表示された位置と、前記視線取得部によって取得された前記視線情報が示す前記視線位置とから、前記管制対象の航空機に対する視線評価値を計算する視線評価部と
を備える。
The air traffic control assistance device according to the present disclosure includes:
a line-of-sight acquisition unit that acquires line-of-sight information indicating a line-of-sight position of a controller on a display device showing an aircraft;
The system is equipped with a gaze evaluation unit that calculates a gaze evaluation value for the aircraft to be controlled from the position at which the aircraft to be controlled is displayed in the display area of the display device during a reference period based on the time when instructions were given to the aircraft to be controlled, and the gaze position indicated by the gaze information acquired by the gaze acquisition unit.
本開示では、基準期間における管制官の視線位置と管制対象の航空機が表示された位置とから視線評価値を計算する。これにより、誤った航空機を見ているといった管制対象の航空機を十分に見ていない状態を特定することができる。これを利用することにより、表示装置に表示されている内容を読み間違えることに起因した、意図せぬ管制指示を防止可能な構成を実現することができる。 In the present disclosure, a gaze evaluation value is calculated from the gaze position of the controller during a reference period and the position where the aircraft to be controlled is displayed. This makes it possible to identify a state in which the controller is not looking sufficiently at the aircraft to be controlled, such as when the controller is looking at the wrong aircraft. By utilizing this, it is possible to realize a configuration that can prevent unintended control instructions caused by misreading the content displayed on the display device.
実施の形態１．
＊＊＊構成の説明＊＊＊
実施の形態１では、管制対象の移動体は航空機であるとして説明する。しかし、管制対象の移動体は、航空機に限らず、ドローン、小型飛行機、船舶といった他の種別の移動体であってもよい。実施の形態１では、管制対象の移動体が航空機であるため、管制対象の航空機の操縦者をパイロットと呼ぶ。
***Configuration Description***
In the first embodiment, the mobile object to be controlled is described as an aircraft. However, the mobile object to be controlled is not limited to an aircraft, and may be other types of mobile objects such as a drone, a small plane, or a ship. In the first embodiment, since the mobile object to be controlled is an aircraft, the operator of the aircraft to be controlled is called a pilot.
図１を参照して、実施の形態１に係る管制支援装置１０の構成を説明する。
管制支援装置１０は、機能構成要素として、管制指示処理部２１と、視線処理部２２と、総合評価部２３とを備える。管制指示処理部２１は、管制官の音声による航空機への指示を評価する。視線処理部２２は、音声による航空機への指示の際の管制官の視線を評価する。総合評価部２３は、管制指示を総合的に評価する。
The configuration of a traffic
The air traffic
管制指示処理部２１は、音声取得部３１と、音声解析部３２と、音声評価部３３との機能を備える。管制指示処理部２１は、無線情報４１を入力とし、内部の入出力情報として、指示音声４２と、復唱音声４３と、音声解釈情報４４とを利用する。
The air traffic control
視線処理部２２は、視線取得部３４と、視線評価部３５との機能を備える。視線評価部３５は、範囲特定部３６と、評価値計算部３７との機能を備える。視線処理部２２は、視線情報４５を入力とし、内部の入出力情報として、計算用パラメータ４６と、視線評価値４７とを利用する。また、視線処理部２２は、ＴＡＰＳに記憶された航空機位置情報５１及び範囲情報５２を利用する。ＴＡＰＳは、空港管制処理システムであり、Ｔｒａｊｅｃｔｏｒｉｚｅｄ Ａｉｒｐｏｒｔ Ｔｒａｆｆｉｃ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍの略である。
The line of
総合評価部２３は、管制評価部３８の機能を備える。総合評価部２３は、音声解釈情報４４と視線評価値４７とを入力とし、管制評価情報４８を出力する。また、総合評価部２３は、ＴＡＰＳに記憶された管制指示情報５３を利用する。管制評価情報４８は、例えば、ＴＡＰＳに書き込まれる。
The
図２を参照して、実施の形態１に係る管制支援装置１０のハードウェア構成を説明する。
管制支援装置１０は、コンピュータである。
管制支援装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
The hardware configuration of the air traffic
The air traffic
The air traffic
プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
The
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。
The
管制支援装置１０の各機能はソフトウェアにより実現される。ストレージ１３には、管制支援装置１０の各機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、管制支援装置１０の各機能構成要素の機能が実現される。
Each function of the air traffic
ストレージ１３には、管制支援装置１０の内部の入出力情報が記憶される。なお、管制支援装置１０の内部の入出力情報は、ストレージ１３ではなく、管制支援装置１０の外部の記憶装置に書き込まれてもよい。
The
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
In FIG. 1, only one
＊＊＊動作の説明＊＊＊
図３から図１１を参照して、実施の形態１に係る管制支援装置１０の動作を説明する。
実施の形態１に係る管制支援装置１０の動作手順は、実施の形態１に係る管制支援方法に相当する。また、実施の形態１に係る管制支援装置１０の動作を実現するプログラムは、実施の形態１に係る管制支援プログラムに相当する。
*** Operation Description ***
The operation of the air traffic
The operation procedure of the air traffic
図３を参照して、ＴＡＰＳを用いた管制指示の流れを説明する。
（１）管制官がＴＡＰＳの表示装置における管制対象の航空機を目視で識別する。
（２）管制対象の航空機が飛行する空域と要求する管制業務によって定められた周波数に接続し、管制官に管制指示を仰ぐ。管制官は、管制対象の航空機のパイロットに指示内容を音声で伝える。
（３）管制対象の航空機のパイロットが指示内容を復唱する。管制官は、復唱された内容により、指示内容がパイロットに正しく伝わっていることを確認する。
（４）管制官が指示内容をＴＡＰＳに入力する。
（５）管制官が他システムに指示内容が正しく反映されたことを確認する。
（６）管制官が管制対象の航空機が指示に従って移動することを確認する。
その後、（１）に戻る。
The flow of control instructions using TAPS will be described with reference to FIG.
(1) The controller visually identifies the aircraft to be controlled on the TAPS display.
(2) The aircraft connects to a frequency determined by the airspace it flies in and the control services it requires, and asks the controller for control instructions. The controller then verbally transmits the instructions to the pilot of the aircraft.
(3) The pilot of the controlled aircraft repeats back the instructions. The controller uses the repeat to verify that the instructions were correctly conveyed to the pilot.
(4) The controller enters the instructions into TAPS.
(5) The controller verifies that the instructions have been correctly reflected in other systems.
(6) The controller verifies that the aircraft under control is moving in accordance with instructions.
Then, return to (1).
図４を参照して、実施の形態１に係る管制支援装置１０の全体的な処理の流れを説明する。
（ステップＳ１：管制指示処理）
管制指示処理部２１は、管制対象の航空機に対して管制官が発話による指示をした指示音声４２と、指示音声４２に対してパイロットが発話した復唱音声４３とを分析する。指示音声４２は、図３における（２）の音声である。復唱音声４３は、図３における（３）の音声である。これにより、管制指示処理部２１は、管制官の音声による航空機への指示を評価する。
The overall process flow of the air traffic
(Step S1: Air traffic control instruction processing)
The air traffic control
（ステップＳ２：視線処理）
視線処理部２２は、航空機を映した表示装置における管制官が見ている視線位置と、表示装置の表示領域における管制対象の航空機が表示された位置との間の関係を分析する。これにより、視線処理部２２は、音声による航空機への指示の際の管制官の視線を評価する。
(Step S2: Gaze Processing)
The line-of-
（ステップＳ３：総合評価処理）
総合評価部２３は、ステップＳ１の処理結果と、ステップＳ２の処理結果と、ＴＡＰＳに入力された管制指示情報５３とから、管制指示を総合的に評価する。総合評価部２３は、必要に応じて、管制官に通知を行い、注意を喚起する。ＴＡＰＳに入力された管制指示情報５３は、図３における（４）で入力された指示内容である。
(Step S3: Overall evaluation process)
The
図５を参照して、実施の形態１に係る管制指示処理（図４のステップＳ１）を説明する。
（ステップＳ１１：音声取得処理）
音声取得部３１は、無線情報４１を取得する。無線情報４１は、管制官と、管制対象の航空機のパイロットとの音声情報である。
図３における（２）で管制官は、管制対象の航空機の識別情報と、指示内容とを音声でパイロットに伝える。図３における（３）でパイロットは、管制官の指示内容を認識した後で、内容確認のために航空機の識別情報と指示内容とを復唱する。無線情報４１には、図３における（２）で管制対象の航空機に対して管制官が発話による指示をした指示音声４２と、図３における（３）で指示音声４２に対してパイロットが発話した復唱音声４３とが含まれる。
The air traffic control instruction process (step S1 in FIG. 4) according to the first embodiment will be described with reference to FIG.
(Step S11: Audio acquisition process)
The
In (2) of Fig. 3, the controller verbally communicates the identification information of the aircraft to be controlled and the instructions to the pilot. In (3) of Fig. 3, the pilot, after recognizing the instructions of the controller, repeats the identification information of the aircraft and the instructions to confirm the contents. The
（ステップＳ１２：音声解析処理）
音声解析部３２は、無線情報４１から指示音声４２と復唱音声４３とをそれぞれ抽出する。音声解析部３２は、指示音声４２と復唱音声４３とのそれぞれから、航空機の識別情報と、指示内容とを特定する。例えば、音声解析部３２は、ニューラルネットワークを用いた学習済モデルに対して、指示音声４２と復唱音声４３とのそれぞれを入力することにより、航空機の識別情報と、指示内容とを特定する。
(Step S12: Voice analysis process)
The
（ステップＳ１３：音声評価処理）
音声評価部３３は、ステップＳ１２で抽出された指示音声４２と復唱音声４３との内容の一致度を評価する。
具体的には、音声評価部３３は、指示音声４２から特定される航空機及び指示内容と、復唱音声４３から特定される航空機及び指示内容との一致度を評価する。つまり、音声評価部３３は、ステップＳ１２で指示音声４２から特定された航空機と、ステップＳ１２で復唱音声４３から特定された航空機とが一致しているか否かを判定する。また、音声評価部３３は、ステップＳ１２で指示音声４２から特定された指示内容と、ステップＳ１２で復唱音声４３から特定された指示内容とが一致しているか否かを判定する。音声評価部３３は、指示音声４２と復唱音声４３との間で、航空機が一致したか否かと、指示内容が一致したか否かとを示す音声解釈情報４４を生成する。
(Step S13: Audio evaluation process)
The
Specifically, the
（ステップＳ１４：注意喚起処理）
音声評価部３３は、指示音声４２と復唱音声４３との間で、航空機と指示内容との少なくともいずれかが不一致である場合には、管制官に対して通知を行い、注意を喚起する。例えば、音声評価部３３は、航空機が不一致である場合には、航空機が不一致であることを示す情報を表示装置に表示する。同様に、音声評価部３３は、指示内容が不一致である場合には、指示内容が不一致であることを示す情報を表示装置に表示する。
(Step S14: Attention calling process)
The
図６を参照して、実施の形態１に係る視線処理（図４のステップＳ２）を説明する。
（ステップＳ２１：視線取得処理）
視線取得部３４は、航空機を映した表示装置における管制官が見ている視線位置を示す視線情報４５を取得する。図７に示すように、表示装置の付近に設置されたカメラによって管制官を撮影することにより、管制官が見ている視線位置を特定することが可能である。
具体的には、視線取得部３４は、管制対象の航空機に対して指示をした時点を基準とする基準期間における視線位置の履歴を示す視線情報４５を取得する。つまり、視線情報４５には、基準期間における単位時間毎の視線位置が含まれる。ここで、単位時間は、例えば０．１秒といった短い時間である。
基準期間は、管制対象の航空機に対して指示をする前の指示前期間と、指示をしている指示中期間と、指示をした後の指示後期間とを含む。指示中期間は、管制官と管制対象の航空機のパイロットとが無線通信により会話している期間である。つまり、指示中期間は、管制官が指示内容を発話し、パイロットが指示内容を復唱している期間である。指示前期間は、指示中期間の前の一定時間（例えば６０秒）である。指示後期間は、指示中期間の後の一定時間（例えば６０秒）である。
The line-of-sight processing (step S2 in FIG. 4) according to the first embodiment will be described with reference to FIG.
(Step S21: line of sight acquisition process)
The line-of-sight acquisition unit 34 acquires line-of-
Specifically, the line-of-sight acquisition unit 34 acquires line-of-
The reference period includes a pre-instruction period before instructions are given to the controlled aircraft, an instruction period during which instructions are given, and a post-instruction period after instructions are given. The instruction period is a period during which the controller and the pilot of the controlled aircraft are conversing via radio communication. In other words, the instruction period is a period during which the controller speaks instructions and the pilot repeats them. The pre-instruction period is a fixed time (e.g., 60 seconds) before the instruction period. The post-instruction period is a fixed time (e.g., 60 seconds) after the instruction period.
ステップＳ２２及びステップＳ２３で、視線評価部３５は、管制対象の航空機に対する視線評価値を計算する。視線評価部３５は、管制対象の航空機に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における管制対象の航空機が表示された位置と、視線情報４５が示す視線位置とから、管制対象の航空機に対する視線評価値を計算する。
In steps S22 and S23, the line-of-
（ステップＳ２２：範囲特定処理）
範囲特定部３６は、基準期間において、ステップＳ２１で取得された視線情報４５が示す視線位置が、管制対象の航空機が表示された位置に対してどの範囲にあったかを特定する。図８及び図９を参照して具体的に説明する。
(Step S22: Range Identification Processing)
The range specifying unit 36 specifies the range in which the line-of-sight position indicated by the line-of-
図８に示すように、表示装置の表示領域が複数の分割領域に分割される。図８では、表示領域が格子状に複数の分割領域に分割されている。そして、管制対象の航空機が表示された位置に基づき、複数の分割領域が識別範囲６１と視線範囲６２と外部範囲６３との３つに分類される。
識別範囲６１は、管制対象の航空機が表示された位置を含む分割領域である。識別範囲６１は、その範囲に視線位置があれば、管制対象の航空機を識別可能と考えられる範囲である。視線範囲６２は、識別範囲の周囲の分割領域である。視線範囲６２は、その範囲に視線位置があれば、管制対象の航空機が見えていると考えられる範囲である。外部範囲６３は、識別範囲６１及び視線範囲６２以外の分割領域である。
識別範囲６１には範囲重みＥａ、視線範囲６２には範囲重みＥｂ、外部範囲６３には範囲重みＥｃが割り当てられており、計算用パラメータ４６に設定されている。ここで、範囲重みＥａ＞範囲重みＥｂ＞範囲重みＥｃである。
The display area of the display device is divided into a plurality of divided areas as shown in Fig. 8. In Fig. 8, the display area is divided into a plurality of divided areas in a lattice pattern. Then, the plurality of divided areas are classified into three areas, an
The
A range weight Ea is assigned to the
図９に示すように、範囲特定部３６は、航空機位置情報５１及び範囲情報５２を参照して、基準期間における単位時間毎に、識別範囲６１と視線範囲６２と外部範囲６３とを設定する。航空機位置情報５１は、管制対象の航空機の表示領域における座標を示す。範囲情報５２は、各分割領域の座標範囲を示す。範囲特定部３６は、範囲情報５２を参照して、航空機位置情報５１が示す座標を含む分割領域を識別範囲６１に設定する。範囲特定部３６は、識別範囲６１の周囲の分割領域を視線範囲６２に設定する。範囲特定部３６は、その他の分割領域を外部範囲６３に設定する。
時間の経過とともに、管制対象の航空機の表示領域における座標は変化する。そのため、どの分割領域が識別範囲６１と視線範囲６２と外部範囲６３とになるかも変化する。
As shown in FIG. 9 , the range identification unit 36 refers to the
As time passes, the coordinates in the display area of the aircraft to be controlled change, and therefore which divided areas become the
範囲特定部３６は、基準期間における単位時間毎に、視線情報４５が示す視線位置が識別範囲６１と視線範囲６２と外部範囲６３とのどの範囲にあるかを特定する。これにより、範囲特定部３６は、指示前期間と指示中期間と指示後期間とのそれぞれについて、識別範囲６１と視線範囲６２と外部範囲６３とのそれぞれに視線位置があった割合を特定する。
ここでは、指示前期間に視線位置が識別範囲６１にあった割合をＥα１とする。指示前期間に視線位置が視線範囲６２にあった割合をＥβ１とする。指示前期間に視線位置が外部範囲６３にあった割合をＥγ１とする。指示中期間に視線位置が識別範囲６１にあった割合をＥα２とする。指示中期間に視線位置が視線範囲６２にあった割合をＥβ２とする。指示中期間に視線位置が外部範囲６３にあった割合をＥγ２とする。指示後期間に視線位置が識別範囲６１にあった割合をＥα３とする。指示後期間に視線位置が視線範囲６２にあった割合をＥβ３とする。指示後期間に視線位置が外部範囲６３にあった割合をＥγ３とする。
Range specifying unit 36 specifies, for each unit time in the reference period, in which of
Here, the percentage of the gaze position that was in the
（ステップＳ２３：評価値計算処理）
評価値計算部３７は、ステップＳ２２で特定された範囲から、視線評価値４７を計算する。ここでは、評価値計算部３７は、ステップＳ２２で特定された、指示前期間と指示中期間と指示後期間とのそれぞれについての識別範囲６１と視線範囲６２と外部範囲６３とのそれぞれに視線位置があった割合から、視線評価値４７を計算する。
(Step S23: Evaluation value calculation process)
Evaluation
具体的には、評価値計算部３７は次のように視線評価値４７を計算する。
指示前期間と指示中期間と指示後期間とのそれぞれに期間重みが割り当てられており、計算用パラメータ４６に設定されている。ここでは、指示前期間に割り当てられた期間重みをＴａ、指示中期間に割り当てられた期間重みをＴｂ、指示後期間に割り当てられた期間重みをＴｃとする。
そして、評価値計算部３７は、数１に示すように、指示前期間についての評価値Ｖａ１と、指示中期間についての評価値Ｖａ２と、指示後期間についての評価値Ｖａ３とを計算する。数１で指示前期間は、時刻ｔ１から時刻ｔ２までである。指示中期間は、時刻ｔ２から時刻ｔ３までである。指示後期間は、時刻ｔ３から時刻ｔ４までである。評価値計算部３７は、数２に示すように、評価値Ｖａ１と評価値Ｖａ２と評価値Ｖａ３との和を、視線評価値４７（＝Ｖａ）として計算する。
A period weight is assigned to each of the pre-instruction period, the mid-instruction period, and the post-instruction period, and is set in the
Then, evaluation
つまり、評価値計算部３７は、以下のように評価値Ｖａ１を計算する。
まず、評価値計算部３７は、指示前期間において視線位置が識別範囲６１にあった割合Ｅα１に、識別範囲６１の重みＥａを乗じた値ｖ１１を計算する。評価値計算部３７は、指示前期間において視線位置が視線範囲６２にあった割合Ｅβ１に、視線範囲の重みＥｂを乗じた値ｖ１２を計算する。評価値計算部３７は、指示前期間において視線位置が外部範囲６３にあった割合Ｅγ１に、視線範囲の重みＥｃを乗じた値ｖ１３を計算する。そして、評価値計算部３７は、値ｖ１１と値ｖ１２と値ｖ１３との合計値に対して、指示前期間の重みである期間重みＴａを乗じて、指示前期間分積分することにより、指示前評価値Ｖａ１を計算する。
That is, the evaluation
First, evaluation
同様に、評価値計算部３７は、以下のように評価値Ｖａ２を計算する。
まず、評価値計算部３７は、指示中期間において視線位置が識別範囲６１にあった割合Ｅα２に、識別範囲６１の重みＥａを乗じた値ｖ２１を計算する。評価値計算部３７は、指示中期間において視線位置が視線範囲６２にあった割合Ｅβ２に、視線範囲の重みＥｂを乗じた値ｖ２２を計算する。評価値計算部３７は、指示中期間において視線位置が外部範囲６３にあった割合Ｅγ２に、視線範囲の重みＥｃを乗じた値ｖ２３を計算する。そして、評価値計算部３７は、値ｖ２１と値ｖ２２と値ｖ２３との合計値に対して、指示中期間の重みである期間重みＴｂを乗じて、指示中期間分積分することにより、指示中評価値Ｖａ２を計算する。
Similarly, the evaluation
First, evaluation
同様に、評価値計算部３７は、以下のように評価値Ｖａ３を計算する。
まず、評価値計算部３７は、指示後期間において視線位置が識別範囲６１にあった割合Ｅα３に、識別範囲６１の重みＥａを乗じた値ｖ３１を計算する。評価値計算部３７は、指示後期間において視線位置が視線範囲６２にあった割合Ｅβ３に、視線範囲の重みＥｂを乗じた値ｖ３２を計算する。評価値計算部３７は、指示後期間において視線位置が外部範囲６３にあった割合Ｅγ３に、視線範囲の重みＥｃを乗じた値ｖ３３を計算する。そして、評価値計算部３７は、値ｖ３１と値ｖ３２と値ｖ３３との合計値に対して、指示後期間の重みである期間重みＴｃを乗じて、指示後期間分積分することにより、指示後評価値Ｖａ３を計算する。
Similarly, the evaluation
First, evaluation
なお、積分を行うのは、期間の長さを評価値に反映するためである。指示中期間については、毎回期間が異なる。そのため、期間の長さに応じて適切に視線評価値４７を計算するために、期間の長さ分の積分を行っている。積分を行うことに代えて、期間の長さに応じた係数を乗じるようにしてもよい。 The reason for performing the integration is to reflect the length of the period in the evaluation value. The duration of the indication period is different each time. Therefore, in order to calculate the gaze evaluation value 47 appropriately according to the length of the period, an integration is performed for the length of the period. Instead of performing the integration, it is also possible to multiply by a coefficient according to the length of the period.
ここで、視線処理部２２は、指示の瞬間における視線位置ではなく、指示中期間の前後を含む基準期間における視線位置を用いて、視線評価値４７を計算した。
これは、管制官は、複数の航空機間の調整を行うため、複数の航空機に対して並行して指示を行うという管制官の業務の特性を考慮したためである。つまり、管制官と航空機との関係が１対１にならない可能性があるためである。例えば、ある航空機に対して指示しているときに、その航空機との関係を調整する他の航空機を見ているような場合も想定されるためである。
Here, the
This is because it takes into consideration the nature of the controller's work, which involves giving instructions to multiple aircraft in parallel in order to coordinate between them. In other words, the relationship between the controller and the aircraft may not be one-to-one. For example, it is possible that while giving instructions to a certain aircraft, the controller may be looking at another aircraft that is coordinating its relationship with that aircraft.
このように、管制官は複数の航空機を同時に管制する。そのため、図１０に示すように、指示前期間と指示中期間と指示後期間とは航空機毎に定められる。指示前期間と指示中期間と指示後期間とからなる基準期間は、航空機間で重複している場合もある。 In this way, the controller controls multiple aircraft simultaneously. Therefore, as shown in FIG. 10, the pre-instruction period, the mid-instruction period, and the post-instruction period are determined for each aircraft. The reference period consisting of the pre-instruction period, the mid-instruction period, and the post-instruction period may overlap between aircraft.
図１１を参照して、実施の形態１に係る総合評価処理（図４のステップＳ３）を説明する。
（ステップＳ３１：情報取得処理）
管制評価部３８は、ステップＳ１で生成された音声解釈情報４４と、ステップＳ２で計算された視線評価値４７とを取得する。また、管制評価部３８は、管制指示情報５３を読み出す。
The overall evaluation process (step S3 in FIG. 4) according to the first embodiment will be described with reference to FIG.
(Step S31: Information acquisition process)
The
（ステップＳ３２：音声判定処理）
管制評価部３８は、指示音声４２と復唱音声４３との間で、航空機及び指示内容が一致したことを音声解釈情報４４が示しているか否かを判定する。
管制評価部３８は、一致したことを音声解釈情報４４が示す場合には、処理をステップＳ３３に進める。一方、管制評価部３８は、一致したことを音声解釈情報４４が示していない場合には、処理を終了する。
(Step S32: Voice determination process)
The
If the
（ステップＳ３３：管制評価処理）
管制評価部３８は、視線評価値４７と管制指示情報５３との組合せに応じて、管制対象の航空機に対する管制業務を評価する。具体的には、管制評価部３８は、以下の（ａ）から（ｄ）の４ケースのいずれに該当するかを特定することにより、管制業務を評価する。
(Step S33: Control evaluation process)
The
（ａ）視線評価値４７が基準値以下、かつ、指示後指定時間内に管制対象の航空機に対する操作指示が管制指示情報５３に登録されていない。
（ｂ）視線評価値４７が基準値以下、かつ、指示後指定時間内に管制対象の航空機に対する操作指示が管制指示情報５３に登録された。
（ｃ）視線評価値４７が基準値より高い、かつ、指示後指定時間内に管制対象の航空機に対する操作指示が管制指示情報５３に登録されていない。
（ｄ）視線評価値４７が基準値より高い、かつ、指示後指定時間内に管制対象の航空機に対する操作指示が管制指示情報５３に登録された。
(a) The line of sight evaluation value 47 is below the reference value, and no operational instructions for the controlled aircraft are registered in the
(b) The line of sight evaluation value 47 is equal to or less than the reference value, and an operational instruction for an aircraft to be controlled is registered in the air traffic
(c) The line of sight evaluation value 47 is higher than the reference value, and no operational instructions for the controlled aircraft are registered in the
(d) The line of sight evaluation value 47 is higher than the reference value, and an operational instruction for a controlled aircraft is registered in the air traffic
（ａ）及び（ｂ）の場合には、視線評価値４７が低く、管制対象の航空機を十分に目視していないと認められる。そのため、管制評価部３８は、管制対象の航空機を誤っている可能性があると判定する。そして、管制評価部３８は、管制官に対して、管制対象の航空機を誤っている可能性があることを通知する。例えば、管制評価部３８は、視線の向きと管制対象の航空機の位置とが一致しないことを通知してもよい。
（ｃ）の場合には、視線評価値４７は高いものの、管制指示情報５３に登録がない。そのため、管制評価部３８は、操作漏れの可能性が有ると判定する。そして、管制評価部３８は、管制官に対して、操作漏れの可能性が有ることを通知する。
（ｄ）の場合には、管制業務が正常に実行されていると認められる。そのため、管制評価部３８は、管制業務は正常であると判定し、通知は行わない。
In the cases of (a) and (b), the line of sight evaluation value 47 is low, and it is recognized that the target aircraft is not visually observed sufficiently. Therefore, the
In the case of (c), although the line-of-sight evaluation value 47 is high, there is no record in the air traffic
In the case of (d), it is recognized that the control operation is being performed normally. Therefore, the
管制評価部３８は、さらに（ｅ）のケースを特定してもよい。
（ｅ）管制対象の航空機に対する操作指示が管制指示情報５３に登録されていないにも関わらず、指示後指定時間内に他の航空機に対する操作指示が管制指示情報５３に登録された。
（ｅ）の場合には、管制評価部３８は、操作対象の航空機を誤っている可能性があると判定する。操作対象の航空機とは、操作指示を出した航空機である。そして、管制評価部３８は、管制官に対して、操作対象の航空機を誤っている可能性があることを通知する。
The
(e) Although an operational instruction for an aircraft to be controlled is not registered in the air traffic
In the case of (e), the
なお、以上の通知方法としては、表示装置に警告表示する等が考えられる。 Note that possible notification methods include displaying a warning on a display device.
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る管制支援装置１０は、基準期間における管制官の視線位置と管制対象の航空機が表示された位置とから視線評価値４７を計算する。これにより、誤った航空機を見ているといった管制対象の航空機を十分に見ていない状態を特定することができる。これを利用することにより、表示装置に表示されている内容を読み間違えることに起因した、意図せぬ管制指示を防止可能な構成を実現することができる。
***Advantages of First Embodiment***
As described above, the air traffic
特に、実施の形態１に係る管制支援装置１０は、指示の瞬間における視線位置ではなく、指示中期間の前後を含む基準期間における視線位置を用いて、視線評価値４７を計算する。これにより、管制業務の特性を考慮した適切な視線評価値４７を計算することができる。
In particular, the air traffic
また、実施の形態１に係る管制支援装置１０は、視線評価値４７だけでなく、操作指示が登録されたかも考慮して、管制業務を評価する。これにより、さらに細かく管制業務を評価することができる。
The air traffic
また、実施の形態１に係る管制支援装置１０は、指示音声４２と復唱音声４３との一致度に基づき、管制業務を評価する。これにより、より適切に管制業務を評価することができる。
The air traffic
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、評価値計算部３７は、数１により視線評価値４７を計算した。評価値計算部３７は、数１に代えて、学習済モデルを利用して視線評価値４７を計算してもよい。
学習済モデルは、以下の（１）から（３）の情報を入力とし、視線評価値４７を出力するモデルである。（１）基準期間における単位時間毎の視線位置を示す視線情報４５。（２）基準期間における、表示装置の表示領域における管制対象の航空機が表示された位置。（３）指示前期間の時間（開始時刻及び終了時刻）と、指示中期間の時間（開始時刻及び終了時刻）と、指示後期間の時間（開始時刻及び終了時刻）。なお、基準期間には、指示前期間と指示中期間と指示後期間とが含まれる。
***Other configurations***
<
In the first embodiment, the evaluation
The trained model is a model that takes the following information (1) to (3) as input and outputs a gaze evaluation value 47: (1)
＜変形例２＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例２として、各機能構成要素はハードウェアで実現されてもよい。この変形例２について、実施の形態１と異なる点を説明する。
<
In the first embodiment, each functional component is realized by software. However, as a second modification, each functional component may be realized by hardware. The following describes the second modification, focusing on the differences from the first embodiment.
各機能構成要素がハードウェアで実現される場合には、管制支援装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
When each functional component is realized by hardware, the air traffic
電子回路としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
The electronic circuits may be a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an ASIC, or an FPGA. GA is an abbreviation for Gate Array. ASIC is an abbreviation for Application Specific Integrated Circuit. FPGA is an abbreviation for Field-Programmable Gate Array.
Each functional component may be realized by one electronic circuit, or each functional component may be realized by distributing it among a plurality of electronic circuits.
＜変形例３＞
変形例３として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<
As a third modification, some of the functional components may be realized by hardware, and other functional components may be realized by software.
プロセッサ１１とメモリ１２とストレージ１３と電子回路とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
The
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 In addition, the word "part" in the above description may be interpreted as "circuit," "process," "procedure," "processing," or "processing circuit."
以下、本開示の諸態様を付記としてまとめて記載する。
（付記１）
移動体を映した表示装置における管制官が見ている視線位置を示す視線情報を取得する視線取得部と、
管制対象の移動体に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線取得部によって取得された前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算する視線評価部と
を備える管制支援装置。
（付記２）
前記基準期間は、前記管制対象の移動体に対して指示をする前の指示前期間と、前記指示をしている指示中期間と、前記指示をした後の指示後期間とを含む
付記１に記載の管制支援装置。
（付記３）
前記視線評価部は、
前記表示装置の表示領域を分割した複数の分割領域のうち、前記管制対象の移動体が表示された位置を含む分割領域を識別範囲とし、前記識別範囲の周囲の分割領域を視線範囲とし、前記識別範囲及び前記視線範囲以外の分割領域を外部範囲として、前記基準期間において、前記視線情報が示す前記視線位置が前記識別範囲と前記視線範囲と前記外部範囲のどの範囲にあるかを特定する範囲特定部と、
前記範囲特定部によって特定された前記範囲から前記視線評価値を計算する評価値計算部と
を備える付記１又は２に記載の管制支援装置。
（付記４）
前記範囲特定部は、前記基準期間において、前記視線情報が示す前記視線位置が前記識別範囲と前記視線範囲とそれぞれにあった割合を特定し、
前記評価値計算部は、前記割合から前記視線評価値を計算する
付記３に記載の管制支援装置。
（付記５）
前記基準期間は、前記管制対象の移動体に対して指示をする前の指示前期間と、前記指示をしている指示中期間と、前記指示をした後の指示後期間とを含み、
前記評価値計算部は、前記指示前期間における前記割合から計算される指示前評価値と、前記指示中期間における前記割合から計算される指示中評価値と、前記指示後期間における前記割合から計算される指示後評価値とから、前記視線評価値を計算する
付記４に記載の管制支援装置。
（付記６）
前記評価値計算部は、
前記指示前期間において前記視線位置が前記識別範囲にあった割合Ｅα１に、前記識別範囲の重みＥａを乗じた値と、前記指示前期間において前記視線位置が前記視線範囲にあった割合Ｅβ１に、前記視線範囲の重みＥｂを乗じた値と、前記指示前期間において前記視線位置が前記外部範囲にあった割合Ｅγ１に、前記視線範囲の重みＥｃを乗じた値との合計値に対して、前記指示前期間の重みＴａを乗じて、前記指示前評価値を計算し、
前記指示中期間において前記視線位置が前記識別範囲にあった割合Ｅα２に、前記識別範囲の重みＥａを乗じた値と、前記指示中期間において前記視線位置が前記視線範囲にあった割合Ｅβ２に、前記視線範囲の重みＥｂを乗じた値と、前記指示中期間において前記視線位置が前記外部範囲にあった割合Ｅγ２に、前記視線範囲の重みＥｃを乗じた値との合計値に対して、前記指示中期間の重みＴｂを乗じて、前記指示中評価値を計算し、
前記指示後期間において前記視線位置が前記識別範囲にあった割合Ｅα３に、前記識別範囲の重みＥａを乗じた値と、前記指示後期間において前記視線位置が前記視線範囲にあった割合Ｅβ３に、前記視線範囲の重みＥｂを乗じた値と、前記指示後期間において前記視線位置が前記外部範囲にあった割合Ｅγ３に、前記視線範囲の重みＥｃを乗じた値との合計値に対して、前記指示後期間の重みＴｃを乗じて、前記指示後評価値を計算する
付記５に記載の管制支援装置。
（付記７）
前記管制支援装置は、さらに、
前記視線評価部によって計算された前記視線評価値に基づき、前記管制対象の移動体を誤っている可能性があるか否かを判定する管制評価部
を備える付記１から６までのいずれか１項に記載の管制支援装置。
（付記８）
前記管制支援装置は、さらに、
前記管制対象の移動体に対して管制官が発話による指示をした指示音声と、前記指示音声に対して前記管制対象の移動体の操縦者が発話した復唱音声との内容の一致度を評価する音声評価部
を備え、
前記管制評価部は、前記音声評価部によって評価された前記一致度が基準値以上である場合に、前記管制対象の移動体を誤っている可能性があるか否かを判定する
付記７に記載の管制支援装置。
（付記９）
前記音声評価部は、前記指示音声から特定される移動体及び指示内容と、前記復唱音声から特定される移動体及び指示内容との一致度を評価する
付記８に記載の管制支援装置。
（付記１０）
前記管制評価部は、前記視線評価値が基準値以下である場合には、前記管制対象の移動体を誤っている可能性があると判定する
付記７から９までのいずれか１項に記載の管制支援装置。
（付記１１）
前記管制評価部は、前記管制対象の移動体について制限時間内に操作入力されていない場合には、前記操作漏れの可能性があると判定する
付記１０に記載の管制支援装置。
（付記１２）
前記管制評価部は、前記管制対象の移動体とは異なる移動体について制限時間内に操作入力された場合には、前記操作対象の移動体の誤りの可能性があると判定する
付記１０又は１１に記載の管制支援装置。
（付記１３）
前記管制評価部は、前記管制対象の移動体を誤っている可能性があると判定した場合には、前記管制官に対して通知する
付記７から１２までのいずれか１項に記載の管制支援装置。
（付記１４）
コンピュータが、移動体を映した表示装置における管制官が見ている視線位置を示す視線情報を取得し、
コンピュータが、管制対象の移動体に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算する管制支援方法。
（付記１５）
移動体を映した表示装置における管制官が見ている視線位置を示す視線情報を取得する視線取得処理と、
管制対象の移動体に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線取得処理によって取得された前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算する視線評価処理と
を行う管制支援装置としてコンピュータを機能させる管制支援プログラム。
Various aspects of the present disclosure are summarized below as appendices.
(Appendix 1)
a line-of-sight acquisition unit that acquires line-of-sight information indicating a line-of-sight position of an air traffic controller on a display device showing a moving object;
A control support device comprising: a gaze evaluation unit that calculates a gaze evaluation value for a moving object to be controlled from the position at which the moving object to be controlled is displayed in a display area of a display device during a reference period based on the time when instructions were given to the moving object to be controlled, and the gaze position indicated by the gaze information acquired by the gaze acquisition unit.
(Appendix 2)
The control support device of
(Appendix 3)
The gaze evaluation unit is
a range specification unit which specifies, among a plurality of divided regions obtained by dividing a display region of the display device, a divided region including a position where the moving object to be controlled is displayed, as an identification range, a divided region around the identification range as a line of sight range, and a divided region other than the identification range and the line of sight range as an external range, and specifies in which range of the identification range, the line of sight range, or the external range the line of sight position indicated by the line of sight information is located during the reference period;
and an evaluation value calculation unit that calculates the line-of-sight evaluation value from the range identified by the range identification unit.
(Appendix 4)
the range specification unit specifies a ratio of the gaze position indicated by the gaze information being within the identification range and the gaze range during the reference period;
4. The air traffic control assistance device according to
(Appendix 5)
the reference period includes a pre-instruction period before an instruction is given to the moving object to be controlled, an instruction period during which the instruction is given, and a post-instruction period after the instruction is given,
The control support device described in
(Appendix 6)
The evaluation value calculation unit
calculate the pre-pointing evaluation value by multiplying a weight Ea of the identification range by a proportion Eα1 of the gaze position during the pre-pointing period, a weight Ea of the identification range by a weight Eb of the gaze range by a weight Eb of the gaze range by a weight Ec of the gaze range by a weight Eγ1 of the gaze position during the pre-pointing period, and a total value of the weight Ta of the pre-pointing period by a weight Ta of the gaze range by the proportion Eα1 of the gaze position during the pre-pointing period that was within the identification range by a weight Ea of the gaze range by the weight Eb of the gaze range by the weight Ec of the gaze range by the weight Ta of the pre-pointing period;
calculate the during-pointing evaluation value by multiplying a weight Ea of the identification range by a proportion Eα2 of the gaze position that was within the identification range during the during pointing period, a weight Ea of the gaze range by a weight Eb of the gaze range by a proportion Eβ2 of the gaze position that was within the gaze range during the during pointing period, and a weight Ec of the gaze range by a weight Tb of the during-pointing period;
The air traffic control support device according to
(Appendix 7)
The air traffic control assistance device further comprises:
A control support device as described in any one of
(Appendix 8)
The air traffic control assistance device further comprises:
a voice evaluation unit that evaluates a degree of agreement between a command voice given by an air traffic controller to the mobile object to be controlled and a repeat voice spoken by a pilot of the mobile object to be controlled in response to the command voice,
The control support device described in Appendix 7, wherein the control evaluation unit determines whether or not there is a possibility that the moving object to be controlled is incorrect when the degree of similarity evaluated by the voice evaluation unit is equal to or greater than a reference value.
(Appendix 9)
The control support device according to claim 8, wherein the voice evaluation unit evaluates the degree of agreement between the moving object and instruction content identified from the instruction voice and the moving object and instruction content identified from the recited voice.
(Appendix 10)
A control support device as described in any one of appendices 7 to 9, wherein the control evaluation unit determines that the moving object to be controlled may be incorrect if the line of sight evaluation value is below a reference value.
(Appendix 11)
The control support device according to
(Appendix 12)
The control support device according to claim 10 or 11, wherein the control evaluation unit determines that there is a possibility that the moving object to be operated is an error when an operation input is made within a time limit for a moving object other than the moving object to be controlled.
(Appendix 13)
A control support device as described in any one of Appendices 7 to 12, in which the control evaluation unit notifies the controller when it determines that the moving object to be controlled may be incorrect.
(Appendix 14)
The computer acquires line-of-sight information indicating the line-of-sight position of the air traffic controller on a display device showing the moving object,
A control support method in which a computer calculates a gaze evaluation value for a moving object to be controlled from the position at which the moving object to be controlled is displayed in the display area of a display device and the gaze position indicated by the gaze information during a reference period based on the time when the computer gave instructions to the moving object to be controlled.
(Appendix 15)
A line-of-sight acquisition process for acquiring line-of-sight information indicating a line-of-sight position of an air traffic controller on a display device showing a moving object;
A control support program that causes a computer to function as a control support device that performs a gaze evaluation process that calculates a gaze evaluation value for a mobile object to be controlled from the position at which the mobile object to be controlled is displayed in the display area of a display device during a reference period based on the time when instructions were given to the mobile object to be controlled, and the gaze position indicated by the gaze information acquired by the gaze acquisition process.
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The above describes the embodiments and modifications of the present disclosure. Some of these embodiments and modifications may be combined and implemented. Also, one or some of them may be implemented partially. Note that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.
１０ 管制支援装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、２１ 管制指示処理部、２２ 視線処理部、２３ 総合評価部、３１
音声取得部、３２ 音声解析部、３３ 音声評価部、３４ 視線取得部、３５ 視線評価部、３６ 範囲特定部、３７ 評価値計算部、３８ 管制評価部、４１ 無線情報、４２ 指示音声、４３ 復唱音声、４４ 音声解釈情報、４５ 視線情報、４６ 計算用パラメータ、４７ 視線評価値、４８ 管制評価情報、５１ 航空機位置情報、５２ 範囲情報、５３ 管制指示情報、６１ 識別範囲、６２ 視線範囲、６３ 外部範囲。
10 Air traffic control support device, 11 Processor, 12 Memory, 13 Storage, 14 Communication interface, 21 Air traffic control instruction processing unit, 22 Line of sight processing unit, 23 Overall evaluation unit, 31
Voice acquisition unit, 32 voice analysis unit, 33 voice evaluation unit, 34 line of sight acquisition unit, 35 line of sight evaluation unit, 36 range identification unit, 37 evaluation value calculation unit, 38 control evaluation unit, 41 radio information, 42 instruction voice, 43 repeated voice, 44 voice interpretation information, 45 line of sight information, 46 calculation parameters, 47 line of sight evaluation value, 48 control evaluation information, 51 aircraft position information, 52 range information, 53 control instruction information, 61 identification range, 62 line of sight range, 63 external range.
Claims (17)
管制対象の移動体に対して指示をする前の指示前期間と、前記指示をしている指示中期間と、前記指示をした後の指示後期間とを含む基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線取得部によって取得された前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算する視線評価部と
を備える管制支援装置。 a line-of-sight acquisition unit that acquires line-of-sight information indicating a line-of-sight position of an air traffic controller on a display device showing a moving object;
A control support device comprising: a gaze evaluation unit that calculates a gaze evaluation value for a moving object to be controlled from a position where the moving object to be controlled is displayed in a display area of a display device during a reference period including a pre-instruction period before instructions are given to the moving object to be controlled, an instruction period during which the instructions are given , and a post-instruction period after the instructions are given, and from the gaze position indicated by the gaze information acquired by the gaze acquisition unit.
前記表示装置の表示領域を分割した複数の分割領域のうち、前記管制対象の移動体が表示された位置を含む分割領域を識別範囲とし、前記識別範囲の周囲の分割領域を視線範囲とし、前記識別範囲及び前記視線範囲以外の分割領域を外部範囲として、前記基準期間において、前記視線情報が示す前記視線位置が前記識別範囲と前記視線範囲と前記外部範囲のどの範囲にあるかを特定する範囲特定部と、
前記範囲特定部によって特定された前記範囲から前記視線評価値を計算する評価値計算部と
を備える請求項１に記載の管制支援装置。 The gaze evaluation unit is
a range specification unit which specifies, among a plurality of divided regions obtained by dividing a display region of the display device, a divided region including a position where the moving object to be controlled is displayed, as an identification range, a divided region around the identification range as a line of sight range, and a divided region other than the identification range and the line of sight range as an external range, and specifies in which range of the identification range, the line of sight range, or the external range the line of sight position indicated by the line of sight information is located during the reference period;
The air traffic control assistance device according to claim 1 , further comprising an evaluation value calculation unit that calculates the line-of-sight evaluation value from the range specified by the range specification unit.
管制対象の移動体に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線取得部によって取得された前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算する視線評価部と
を備え、
前記視線評価部は、
前記表示装置の表示領域を分割した複数の分割領域のうち、前記管制対象の移動体が表示された位置を含む分割領域を識別範囲とし、前記識別範囲の周囲の分割領域を視線範囲とし、前記識別範囲及び前記視線範囲以外の分割領域を外部範囲として、前記基準期間において、前記視線情報が示す前記視線位置が前記識別範囲と前記視線範囲と前記外部範囲のどの範囲にあるかを特定する範囲特定部と、
前記範囲特定部によって特定された前記範囲から前記視線評価値を計算する評価値計算部と
を備える管制支援装置。 a line-of-sight acquisition unit that acquires line-of-sight information indicating a line-of-sight position of an air traffic controller on a display device showing a moving object;
a line-of-sight evaluation unit that calculates a line-of-sight evaluation value for the moving object to be controlled from a position where the moving object to be controlled is displayed in a display area of a display device during a reference period based on a time point when an instruction is given to the moving object to be controlled, and the line-of-sight position indicated by the line-of-sight information acquired by the line-of-sight acquisition unit ,
The gaze evaluation unit is
a range specification unit which specifies, among a plurality of divided regions obtained by dividing a display region of the display device, a divided region including a position where the moving object to be controlled is displayed, as an identification range, a divided region around the identification range as a line of sight range, and a divided region other than the identification range and the line of sight range as an external range, and specifies in which range of the identification range, the line of sight range, or the external range the line of sight position indicated by the line of sight information is located during the reference period;
an evaluation value calculation unit that calculates the gaze evaluation value from the range specified by the range specification unit;
A control support device comprising :
前記評価値計算部は、前記割合から前記視線評価値を計算する
請求項２又は３に記載の管制支援装置。 the range specification unit specifies a proportion of the gaze position indicated by the gaze information that was within the identification range, the gaze range, and the external range during the reference period;
The air traffic control assistance device according to claim 2 or 3, wherein the evaluation value calculation unit calculates the line-of-sight evaluation value from the ratio.
前記評価値計算部は、前記指示前期間における前記割合から計算される指示前評価値と、前記指示中期間における前記割合から計算される指示中評価値と、前記指示後期間における前記割合から計算される指示後評価値とから、前記視線評価値を計算する
請求項４に記載の管制支援装置。 the reference period includes a pre-instruction period before an instruction is given to the moving object to be controlled, an instruction period during which the instruction is given, and a post-instruction period after the instruction is given,
The control assistance device according to claim 4, wherein the evaluation value calculation unit calculates the gaze evaluation value from a pre-instruction evaluation value calculated from the ratio in the pre-instruction period, a during-instruction evaluation value calculated from the ratio in the during-instruction period, and a post-instruction evaluation value calculated from the ratio in the post-instruction period.
前記指示前期間において前記視線位置が前記識別範囲にあった割合Ｅα１に、前記識別範囲の重みＥａを乗じた値と、前記指示前期間において前記視線位置が前記視線範囲にあった割合Ｅβ１に、前記視線範囲の重みＥｂを乗じた値と、前記指示前期間において前記視線位置が前記外部範囲にあった割合Ｅγ１に、前記視線範囲の重みＥｃを乗じた値との合計値に対して、前記指示前期間の重みＴａを乗じて、前記指示前評価値を計算し、
前記指示中期間において前記視線位置が前記識別範囲にあった割合Ｅα２に、前記識別範囲の重みＥａを乗じた値と、前記指示中期間において前記視線位置が前記視線範囲にあった割合Ｅβ２に、前記視線範囲の重みＥｂを乗じた値と、前記指示中期間において前記視線位置が前記外部範囲にあった割合Ｅγ２に、前記視線範囲の重みＥｃを乗じた値との合計値に対して、前記指示中期間の重みＴｂを乗じて、前記指示中評価値を計算し、
前記指示後期間において前記視線位置が前記識別範囲にあった割合Ｅα３に、前記識別範囲の重みＥａを乗じた値と、前記指示後期間において前記視線位置が前記視線範囲にあった割合Ｅβ３に、前記視線範囲の重みＥｂを乗じた値と、前記指示後期間において前記視線位置が前記外部範囲にあった割合Ｅγ３に、前記視線範囲の重みＥｃを乗じた値との合計値に対して、前記指示後期間の重みＴｃを乗じて、前記指示後評価値を計算する
請求項５に記載の管制支援装置。 The evaluation value calculation unit
calculate the pre-pointing evaluation value by multiplying a weight Ea of the identification range by a proportion Eα1 of the gaze position during the pre-pointing period, a weight Ea of the identification range by a weight Eb of the gaze range by a weight Eb of the gaze range by a weight Ec of the gaze range by a weight Eγ1 of the gaze position during the pre-pointing period, and a total value of the weight Ta of the pre-pointing period by a weight Ta of the gaze range by the proportion Eα1 of the gaze position during the pre-pointing period that was within the identification range by a weight Ea of the gaze range by the weight Eb of the gaze range by the weight Ec of the gaze range by the weight Ta of the pre-pointing period;
calculate the during-pointing evaluation value by multiplying a weight Ea of the identification range by a proportion Eα2 of the gaze position that was within the identification range during the during pointing period, a weight Ea of the gaze range by a weight Eb of the gaze range by a proportion Eβ2 of the gaze position that was within the gaze range during the during pointing period, and a weight Ec of the gaze range by a weight Tb of the during-pointing period;
6. The air traffic control support device according to claim 5, wherein the post-instruction evaluation value is calculated by multiplying a weight Ea of the identification range by a proportion Eα3 of the gaze position within the post-instruction period, a weight Ea of the identification range, a weight Eb of the gaze range by a proportion Eβ3 of the gaze position within the post-instruction period, and a weight Ec of the gaze range by a weight Tc of the post-instruction period.
前記視線評価部によって計算された前記視線評価値に基づき、前記管制対象の移動体を誤っている可能性があるか否かを判定する管制評価部
を備える請求項１に記載の管制支援装置。 The air traffic control assistance device further comprises:
The control assistance device according to claim 1 , further comprising a control evaluation unit that determines whether or not there is a possibility that the moving object to be controlled is incorrect, based on the line-of-sight evaluation value calculated by the line-of-sight evaluation unit.
前記管制対象の移動体に対して管制官が発話による指示をした指示音声と、前記指示音声に対して前記管制対象の移動体の操縦者が発話した復唱音声との内容の一致度を評価する音声評価部
を備え、
前記管制評価部は、前記音声評価部によって評価された前記一致度が基準値以上である場合に、前記管制対象の移動体を誤っている可能性があるか否かを判定する
請求項７に記載の管制支援装置。 The air traffic control assistance device further comprises:
a voice evaluation unit that evaluates a degree of agreement between a command voice given by an air traffic controller to the mobile object to be controlled and a repeat voice spoken by a pilot of the mobile object to be controlled in response to the command voice,
The control assistance device according to claim 7 , wherein the control evaluation unit determines whether or not there is a possibility that the moving object to be controlled is incorrect when the degree of coincidence evaluated by the voice evaluation unit is equal to or greater than a reference value.
請求項８に記載の管制支援装置。 The air traffic control support device according to claim 8 , wherein the voice evaluation unit evaluates a degree of agreement between a moving object and an instruction content specified from the instruction voice and a moving object and an instruction content specified from the recited voice.
請求項７に記載の管制支援装置。 The control assistance device according to claim 7 , wherein the control evaluation unit determines that the moving object to be controlled may be incorrect when the line-of-sight evaluation value is equal to or smaller than a reference value.
請求項１０に記載の管制支援装置。 The control support device according to claim 10, wherein the control evaluation unit determines that there is a possibility of an operation being missed when the gaze evaluation value is higher than a reference value and no operation input is made for the moving object to be controlled within a time limit.
請求項１０に記載の管制支援装置。 The control assistance device of claim 10, wherein the control evaluation unit determines that the moving object to be operated may be incorrect when an operation input is made within a time limit for a moving object other than the moving object to be controlled, regardless of the value of the gaze evaluation value.
請求項７に記載の管制支援装置。 The air traffic control support device according to claim 7 , wherein the control evaluation unit notifies the air traffic controller when it determines that the moving object to be controlled may be incorrect.
コンピュータが、管制対象の移動体に対して指示をする前の指示前期間と、前記指示をしている指示中期間と、前記指示をした後の指示後期間とを含む基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算する管制支援方法。 The computer acquires line-of-sight information indicating the line-of-sight position of the air traffic controller on a display device showing the moving object,
A control support method in which a computer calculates a gaze evaluation value for a moving object to be controlled from the position at which the moving object to be controlled is displayed in the display area of a display device and the gaze position indicated by the gaze information during a reference period including a pre-instruction period before instructions are given to the moving object to be controlled, an instruction period during which the instructions are given, and a post-instruction period after the instructions are given.
コンピュータが、管制対象の移動体に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算し、
コンピュータが、前記表示装置の表示領域を分割した複数の分割領域のうち、前記管制対象の移動体が表示された位置を含む分割領域を識別範囲とし、前記識別範囲の周囲の分割領域を視線範囲とし、前記識別範囲及び前記視線範囲以外の分割領域を外部範囲として、前記基準期間において、前記視線情報が示す前記視線位置が前記識別範囲と前記視線範囲と前記外部範囲のどの範囲にあるかを特定し、
コンピュータが、前記範囲から前記視線評価値を計算する管制支援方法。 The computer acquires line-of-sight information indicating the line-of-sight position of the air traffic controller on a display device showing the moving object,
the computer calculates a line-of-sight evaluation value for the moving object to be controlled from a position where the moving object to be controlled is displayed in a display area of a display device and the line-of-sight position indicated by the line-of-sight information during a reference period based on a time point when the computer issues an instruction to the moving object to be controlled;
the computer defines, among a plurality of divided regions obtained by dividing a display region of the display device, a divided region including a position where the moving object to be controlled is displayed as an identification range, defines divided regions around the identification range as a line of sight range, and defines divided regions other than the identification range and the line of sight range as an external range, and specifies in which range of the identification range, the line of sight range, or the external range the line of sight position indicated by the line of sight information is located during the reference period;
A control support method in which a computer calculates the line-of-sight evaluation value from the range .
管制対象の移動体に対して指示をする前の指示前期間と、前記指示をしている指示中期間と、前記指示をした後の指示後期間とを含む基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線取得処理によって取得された前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線評価値を計算する視線評価処理と
を行う管制支援装置としてコンピュータを機能させる管制支援プログラム。 A line-of-sight acquisition process for acquiring line-of-sight information indicating a line-of-sight position of an air traffic controller on a display device showing a moving object;
A control support program that causes a computer to function as a control support device that performs a gaze evaluation process that calculates a gaze evaluation value for a moving object to be controlled from the position where the moving object to be controlled is displayed in the display area of a display device during a reference period that includes a pre-instruction period before instructions are given to the moving object to be controlled, an instruction period during which the instructions are given, and a post-instruction period after the instructions are given, and the gaze position indicated by the gaze information acquired by the gaze acquisition process.
管制対象の移動体に対して指示をした時点を基準とする基準期間における、表示装置の表示領域における前記管制対象の移動体が表示された位置と、前記視線取得処理によって取得された前記視線情報が示す前記視線位置とから、前記管制対象の移動体に対する視線
評価値を計算する視線評価処理と
を行う管制支援装置としてコンピュータを機能させ、
前記視線評価処理は、
前記表示装置の表示領域を分割した複数の分割領域のうち、前記管制対象の移動体が表示された位置を含む分割領域を識別範囲とし、前記識別範囲の周囲の分割領域を視線範囲とし、前記識別範囲及び前記視線範囲以外の分割領域を外部範囲として、前記基準期間において、前記視線情報が示す前記視線位置が前記識別範囲と前記視線範囲と前記外部範囲のどの範囲にあるかを特定する範囲特定処理と、
前記範囲特定処理によって特定された前記範囲から前記視線評価値を計算する評価値計算処理と
を行う管制支援プログラム。 A line-of-sight acquisition process for acquiring line-of-sight information indicating a line-of-sight position of an air traffic controller on a display device showing a moving object;
a computer is caused to function as a control support device that performs a gaze evaluation process that calculates a gaze evaluation value for a moving object to be controlled from a position where the moving object to be controlled is displayed in a display area of a display device during a reference period based on a time point at which an instruction is given to the moving object to be controlled and the gaze position indicated by the gaze information acquired by the gaze acquisition process ;
The gaze evaluation process includes:
a range specification process for specifying, among a plurality of divided regions obtained by dividing a display region of the display device, a divided region including a position where the moving object to be controlled is displayed, as an identification range, a divided region around the identification range as a line of sight range, and a divided region other than the identification range and the line of sight range as an external range, and specifying in which range of the identification range, the line of sight range, or the external range the line of sight position indicated by the line of sight information is located during the reference period;
an evaluation value calculation process for calculating the gaze evaluation value from the range specified by the range specification process;
A control support program that performs the following :
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023061053A JP7538280B1 (en) | 2023-04-05 | 2023-04-05 | Air traffic control support device, air traffic control support method, and air traffic control support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023061053A JP7538280B1 (en) | 2023-04-05 | 2023-04-05 | Air traffic control support device, air traffic control support method, and air traffic control support program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7538280B1 true JP7538280B1 (en) | 2024-08-21 |
| JP2024148183A JP2024148183A (en) | 2024-10-18 |
Family
ID=92419310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023061053A Active JP7538280B1 (en) | 2023-04-05 | 2023-04-05 | Air traffic control support device, air traffic control support method, and air traffic control support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7538280B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160009411A1 (en) | 2014-07-09 | 2016-01-14 | Honeywell International Inc. | Visual search assistance for an occupant of a vehicle |
| JP2020501227A (en) | 2016-11-07 | 2020-01-16 | ナウト, インコーポレイテッドNauto, Inc. | System and method for driver distraction determination |
| JP2022513192A (en) | 2018-12-11 | 2022-02-07 | エッジ ケース リサーチ，インコーポレイテッド | Human monitoring Methods and devices for monitoring the performance and safety of autonomous systems |
| JP2023129877A (en) | 2022-03-07 | 2023-09-20 | 沖電気工業株式会社 | Information processing device, information processing method, program, presentation control device and system |
| WO2023248776A1 (en) | 2022-06-22 | 2023-12-28 | 株式会社デンソー | Remote support device, remote support method, and remote support program |
-
2023
- 2023-04-05 JP JP2023061053A patent/JP7538280B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160009411A1 (en) | 2014-07-09 | 2016-01-14 | Honeywell International Inc. | Visual search assistance for an occupant of a vehicle |
| JP2020501227A (en) | 2016-11-07 | 2020-01-16 | ナウト, インコーポレイテッドNauto, Inc. | System and method for driver distraction determination |
| JP2022513192A (en) | 2018-12-11 | 2022-02-07 | エッジ ケース リサーチ，インコーポレイテッド | Human monitoring Methods and devices for monitoring the performance and safety of autonomous systems |
| JP2023129877A (en) | 2022-03-07 | 2023-09-20 | 沖電気工業株式会社 | Information processing device, information processing method, program, presentation control device and system |
| WO2023248776A1 (en) | 2022-06-22 | 2023-12-28 | 株式会社デンソー | Remote support device, remote support method, and remote support program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024148183A (en) | 2024-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10503996B2 (en) | Context-aware display of objects in mixed environments | |
| US20230138650A1 (en) | Test method for automatic driving, and electronic device | |
| US20130093612A1 (en) | Automatic Monitoring Of Flight Related Radio Communications | |
| US20140248588A1 (en) | Portable device to control simulated aircraft in air traffic control training system | |
| WO2013049876A1 (en) | Portable device to manage and control an air traffic control training system | |
| CN113378835A (en) | Labeling model training method, sample labeling method and related device | |
| CN112331197A (en) | Response method and response device of electronic equipment, computer system and storage medium | |
| CN112306447A (en) | Interface navigation method, device, terminal and storage medium | |
| JP7538280B1 (en) | Air traffic control support device, air traffic control support method, and air traffic control support program | |
| CN114355879A (en) | Unmanned ship and formation keeping control method for formation of unmanned ship | |
| KR101461486B1 (en) | Flight simulator apparatus providing formation flight tranining function | |
| US11104329B2 (en) | Parking control method and apparatus, and storage medium | |
| JP2010128288A (en) | Radar control simulator device, and control state take-over method | |
| US20210043097A1 (en) | Determining a runway exit for landing an aircraft | |
| CN113946729B (en) | Data processing method and device for vehicle, electronic equipment and medium | |
| US20160155343A1 (en) | Traffic control training scenario generation apparatus, traffic control training apparatus, and traffic control training scenerio generation program | |
| US20160163207A1 (en) | Apparatus and method for playing video based on real-time data | |
| CN115061762A (en) | Page display method and device, electronic equipment and medium | |
| CN113380246A (en) | Instruction execution method, related device and computer program product | |
| CN106895850B (en) | Situation display method supporting multi-source target screening | |
| JP3660083B2 (en) | Task margin analysis device, task margin analysis method, and recording medium storing task margin analysis program | |
| CN114511694B (en) | Image recognition method, device, electronic equipment and medium | |
| CN117970930A (en) | Control method, device, equipment and storage medium of navigation equipment | |
| US10402730B2 (en) | Method and system for determining whether, when, and how an unmanned agent interrupts a human | |
| JP7160077B2 (en) | Speech processing device, speech processing method, system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240716 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240808 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7538280 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |