JP7273129B2 - 車線検出方法、装置、電子機器、記憶媒体及び車両 - Google Patents

Description

本願は、コンピュータ技術及び画像処理技術に関し、特に、人工知能、自動運転、スマート交通、及び深度学習に適用できる車線検出方法、装置、電子機器、記憶媒体、プログラム製品及び車両に関する。

車両の普及及び車両自動化技術の発展に伴い、車両走行の安全性と信頼性を向上させることは、車両プロバイダー及び車両ユーザの共通の追求であり、車線検出は、車両走行の安全性と信頼性を実現する重要な要素の１つである。

従来技術では、一般的に用いられる車線検出方法は次の通りであり、訓練プロセスでは、訓練サンプルを収集し、且つ訓練サンプルに基づいて基本ネットワークモデルを訓練し、車線検出モデルを得、適用プロセスでは、収集された各フレームの画像に対して、いずれも訓練された車線検出モデルに基づいて各フレームの画像の特徴マップを決定し、且つ車線検出モデルに基づいて特徴マップに対して車線検出を行うことができる。

しかしながら、各フレームの画像に対していずれも車線検出モデルにより特徴マップを決定する必要があるため、検出の効率が低く、またコストが高いという問題を引き起こす可能性がある。

本願は、車線検出の効率を向上させるための車線検出方法、装置、電子機器、記憶媒体、プログラム製品及び車両を提供する。

本願の一態様によれば、車線検出方法を提供し、
車線を含むビデオストリームを取得し、且つ前記ビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出し、隣接するキーフレーム画像間を非キーフレーム画像として使用することと、
前記キーフレーム画像に対して、前記キーフレーム画像の特徴マップに基づいて車線検出を行い、前記非キーフレーム画像に対して、前記非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び前記非キーフレーム画像に基づいて車線検出を行うことと、を含む。

本願の他の態様によれば、車線検出装置を提供し、
車線を含むビデオストリームを取得するための取得モジュールと、
抽出モジュールであって、前記ビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出するために使用され、隣接するキーフレーム画像間を非キーフレーム画像として使用する抽出モジュールと、
前記キーフレーム画像に対して、前記キーフレーム画像の特徴マップに基づいて車線検出を行い、前記非キーフレーム画像に対して、前記非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び前記非キーフレーム画像に基づいて車線検出を行うための検出モジュールと、を含む。

本願の他の態様によれば、電子機器を提供し、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、ここで、
前記メモリに前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが上記の実施例に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

本願の他の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体を提供し、ここで、前記コンピュータ命令はコンピュータに上記の実施例に記載の方法を実行させるために使用される。

本願の他の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、プロセッサによって実行される時、上記の実施例に記載の方法を実現する。

本願の他の態様によれば、画像収集装置及び上記の実施例に記載の車線検出装置を含む車両を提供し、ここで、前記画像収集装置は、車線を含むビデオストリームを収集するために使用される。

なお、この部分に記載されている内容は、本願の実施例の肝心な又は重要な特徴を示すことを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の明細書を通じて容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本願の実施例１による模式図である。 本願の実施例２による模式図である。 本願の実施例３による模式図である。 本願の実施例による車線検出の原理を示す模式図である。 本願の実施例４による模式図である。 本願の実施例５による模式図である。 本願の実施例６による模式図である。 本願の実施例７による模式図である。 本願の実施例８による模式図である。 本願の実施例９による模式図である。 本願の実施例１０による模式図である。 本願の実施例１１による模式図である。

以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするために、その中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

図１は本願の実施例１による模式図であり、図１に示すような車線検出方法の適用シーンでは、車両１０１は道路１０２を走行し、車両１０１は、走行中に走行の安全性と信頼性などを確保するために、道路１０２の車線１０３を検出することができる。

関連技術では、一般的には２つの方法で車線に対する検出を実現し、１つの方法は次の通りであり、車両１０１に画像収集装置（図示せず、且つ画像収集装置はカメラやレーダーなどであってもよい）が設けられてもよく、画像収集装置により車線を含む画像を収集し、車両１０１は、車線に対する検出を実現するために車線を含む画像に対して座標計算を行うことができる。

もう１つの方法は次の通りであり、車両１０１は車線検出モデルを予め訓練して記憶し、同様に、車両１０１に画像収集装置（図示せず、且つ画像収集装置はカメラやレーダーなどであってもよい）が設けられてもよく、画像収集装置により車線を含む画像を収集し、車両１０１は、車線検出モデルに基づいて車線を含む画像に対して車線検出の操作を行うことができる。

しかしながら、第１の方法を用いて車線を検出する場合、一方では、計算量が相対的に大きく、プロセスが比較的面倒であり、且つ精度が低く、第２の方法を用いて車線を検出する場合、収集された各画像に対して、いずれも車線検出モデルにより特徴抽出と畳み込みなどの処理を行う必要があるため、検出効率が低いという問題を引き起こす可能性がある。

本願の発明者は創造的な労働をした後得られた本願の発明構想は次の通りであり、車線を含むビデオストリームはキーフレーム画像及び非キーフレーム画像を含むことができ、キーフレーム画像は所定の間隔のフレーム数に基づいて抽出され、非キーフレーム画像に対して、キーフレーム画像の特徴マップと合わせて車線検出を実現することができる。

上記の発明構想に基づいて、本願は、コンピュータ技術及び画像処理技術における自動運転、スマート交通、及び深度学習の技術分野に適用される車線検出方法、装置、電子機器、記憶媒体、プログラム製品及び車両を提供し、車線検出の効率を向上させるという技術的効果を達成する。

図２は本願の実施例２による模式図であり、図２に示すように、本願の実施例による車線検出方法は、ステップＳ２０１～Ｓ２０３を含む。

Ｓ２０１において、車線を含むビデオストリームを取得し、且つビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出し、隣接するキーフレーム画像間を非キーフレーム画像として使用する。

例として、本実施例の実行主体は、車線検出装置であってもよく、且つ車線検出装置が車両であってもよく、具体的には、車両に設けられたコンピュータ、サーバー、プロセッサ、車載端末、及びチップ（例えば車両のインターネットチップ）などであってもよく、本実施例はこれについて限定しない。

いくつかの実施例において、車線検出装置は、車線を含むビデオストリームを取得した後、ビデオストリーム内の各フレームの画像を抽出することができ、それにより、抽出された各フレームの画像に基づいて車線検出を行い、具体的には、所定の間隔のフレーム数を予め配置し、且つ所定の間隔のフレーム数に基づいて抽出された画像をキーフレーム画像として呼び、抽出された他の画像を非キーフレーム画像として呼ぶことができる。

例えば、所定の間隔のフレーム数は１０フレームである場合、車線検出装置により１０フレームごとに抽出された画像は即ちキーフレーム画像である。

なお、上記の例における所定の間隔のフレーム数は、例示的に説明することのみに使用され、所定の間隔のフレーム数を限定するものとして理解されることができず、所定の間隔のフレーム数は車線検出装置によりニーズ、履歴記録、及び試験などに応じて設定でき、本実施例はこれについて限定しない。

以下、本実施例の車線検出方法を図１に示すような適用シーンに適用し、また、車線検出装置が車両に設置された車載端末であることを例として、当該ステップについて次のように説明する。

車両にカメラ（その他の画像収集装置であってもよい）が設けられ、カメラは、車線を含むビデオストリームを収集し、ビデオストリームを車載端末に伝送し、車載端末は所定の間隔のフレーム数（例えば１０フレーム）ごとにビデオストリームからキーフレーム画像を抽出し、且つ抽出された他の画像を非キーフレーム画像として使用し、つまり、隣接するキーフレーム画像との間のものは即ち非キーフレームである。

Ｓ２０２において、キーフレーム画像に対して、キーフレーム画像の特徴マップに基づいて車線検出を行う。

Ｓ２０３において、非キーフレーム画像に対して、非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び非キーフレーム画像に基づいて車線検出を行う。

本実施例において、画像を２つの異なるタイプの画像に分けることができ、１つのタイプはキーフレーム画像であり、もう１つのタイプは非キーフレーム画像である。また、異なるタイプの画像に対して、車線検出装置は異なる方法で実現することができ、即ち、キーフレーム画像に対して１つの方法で車線検出を行い、非キーフレーム画像に対してもう１つの方法で車線検出を行う。

例えば、キーフレーム画像に対して、車線検出装置は、キーフレーム画像の特徴マップに基づいて車線検出を行うことができる。

具体的には、車線検出装置はキーフレーム画像の特徴マップを決定することができ、キーフレーム画像の特徴マップは、キーフレーム画像の色特徴、テクスチャ特徴、形状特徴及び空間関係特徴を特徴づけるために使用される。

非キーフレーム画像に対して、車線検出装置は非キーフレーム画像の前のフレームのキーフレーム画像を決定し、且つ前のフレームのキーフレーム画像の特徴マップを決定し、また、非キーフレーム画像と前のフレームのキーフレーム画像の特徴マップに基づいて車線検出を行うことができる。

上記の分析から分かるように、本実施例において、２つの異なる方法で２つの異なるタイプの画像に対して車線検出を行い、具体的には、キーフレーム画像に対して、キーフレーム画像の特徴マップに基づいて車線検出を行い、非キーフレーム画像に対して、前のフレームのキーフレーム画像の特徴マップと非キーフレーム画像に基づいて車線検出を行い、上記の関連技術の車線検出の計算量が大きく、効率が低いという問題を避け、車線検出の柔軟性と多様性を実現し、また、前のフレームのキーフレーム画像の特徴マップを組み合わせて車線検出を行うことにより、各フレームの画像はいずれも車線検出モデルにより対応する特徴抽出と畳み込み計算を行うことを避け、車線検出の効率を向上させるという技術的効果を達成する。

図３は本願の実施例３による模式図であり、図３に示すように、本願の実施例による車線検出方法は、ステップＳ３０１～Ｓ３０４を含む。

Ｓ３０１において、車線を含むビデオストリームを取得し、且つビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出し、隣接するキーフレーム画像間を非キーフレーム画像として使用する。

例として、Ｓ３０１についての説明はＳ２０１を参照でき、ここでは繰り返しない。

Ｓ３０２において、キーフレーム画像に対して、キーフレーム画像の特徴マップに基づいて車線検出を行う。

例として、Ｓ３０２についての説明は、上記の例における車線検出装置によるキーフレーム画像に対する検出を参照でき、ここでは繰り返しない。

図４は本願の実施例による車線検出の原理を示す模式図であり、図４に示すように、本実施例において、ビデオストリームには２つのタイプの画像が含まれ、１つのタイプはキーフレーム画像であり、もう１つのタイプは非キーフレーム画像であり、キーフレーム画像に対して、車線検出装置はキーフレーム画像に基づいてキーフレーム画像の特徴マップを決定し、且つキーフレーム画像の特徴マップを決定した後、キーフレーム画像の特徴マップに基づいて車線検出を行うことができる。

また、図４に示すような原理図では、車線の確率予測の方法に基づいて、キーフレーム画像を組み合わせて車線に対する検出を実現することができる。

Ｓ３０３において、非キーフレーム画像に対して、前のフレームのキーフレーム画像と非キーフレーム画像との間の位置変化情報を決定する。

いくつかの実施例において、位置変化情報には、各ピクセルの位置移動情報が含まれ、Ｓ３０３は、前のフレームのキーフレーム画像と非キーフレーム画像をオプティカルフロー推定ネットワークモデルに入力し、前のフレームのキーフレーム画像と非キーフレーム画像との間のオプティカルフロー図を得ることを含むことができる。

ここで、オプティカルフロー図は、前のキーフレーム画像に対する非キーフレーム画像の各ピクセルの位置移動情報を特徴づける。

例えば、上記の例と図４に示すような原理図を組み合わせることで、車線検出装置は非キーフレーム画像と前のフレームのキーフレーム画像との間のオプティカルフロー図を計算することができ、また、具体的には、訓練により生成されたオプティカルフロー推定ネットワークモデルに基づいて実現することができる。

本実施例において、オプティカルフロー図を決定し、オプティカルフロー図により各ピクセルの位置移動情報を特徴づけることにより、決定された位置変化情報の信頼性と精度を向上させるという技術的効果を達成することができる。

いくつかの実施例において、オプティカルフロー推定ネットワークモデルを生成する方法は、ステップ１及びステップ２を含む。

ステップ１において、訓練サンプルセットを収集し、訓練サンプルセットに車線の相対変位が存在する第１のサンプル画像と第２のサンプル画像が含まれる。

訓練サンプルセットは、基本ネットワークモデルを訓練してオプティカルフロー推定ネットワークモデルを生成するために使用される。また、訓練サンプルセットにサンプル画像が含まれ、サンプル画像に第１のサンプル画像と第２のサンプル画像が含まれてもよく、第１のサンプル画像と第２のサンプル画像は両方とも車線を含む画像であり、第１のサンプル画像における車線と第２のサンプル画像における車線には相対変位が存在する。

なお、本実施例は第１のサンプル画像と第２のサンプル画像の数を限定せず、具体的には、車線検出装置により、ニーズ、履歴記録及び試験などに応じて設定できる。また、いくつかの実施例において、オプティカルフロー推定ネットワークモデルを訓練して生成する実行主体は、クラウドサーバーなど、車線検出装置以外の他の装置であってもよい。

ステップ２において、訓練サンプルセット、及び第１のサンプル画像と第２のサンプル画像との間のオプティカルフローフィールドに基づいて訓練ラベルとして、基本ネットワークモデルを訓練してオプティカルフロー推定ネットワークモデルを得る。

例として、オプティカルフローフィールドは、画像におけるすべてのピクセルで構成される２次元の瞬間速度フィールドを特徴づけ、即ち、オプティカルフローフィールドには、ピクセルが第１のサンプル画像から第２のサンプル画像に移動する時の運動情報など、画像における各ピクセルの運動情報を含む。

当該ステップ２は、具体的には、第１のサンプル画像と第２のサンプル画像の両方を基本ネットワークモデルに入力し、基本ネットワークモデルにより第１のサンプル画像と第２のサンプル画像との間の予測運動情報を出力し、予測運動情報とオプティカルフローフィールド（予め設定された標準値に相当する）との間の損失関数を決定し、損失関数に基づいて基本ネットワークモデルのパラメータを調整し、例えば、損失関数が予め設定されたニーズを満たす、或いは、反復回数が予め設定された反復回数閾値に達するオプティカルフロー推定ネットワークモデルを得るまで、基本ネットワークモデルの畳み込みカーネルの係数を調整するように理解されることができる。

なお、本実施例において、車線を含む第１のサンプル画像と第２のサンプル画像に基づいて訓練してオプティカルフロー推定ネットワークモデルを得ることにより、オプティカルフロー推定ネットワークモデルに基づいて位置変化情報を決定する時、位置変化情報決定の効率と信頼性を向上させるという技術的効果を達成することができる。

Ｓ３０４において、位置変化情報と前のフレームのキーフレーム画像の特徴マップに基づいて、非キーフレーム画像の特徴マップを決定し、且つ非キーフレーム画像の特徴マップに基づいて車線検出を行う。

上記の例と図４に示すような原理図を組み合わせて、車線検出装置は、オプティカルフロー図と前のフレームのキーフレーム画像の特徴マップに基づいて非キーフレーム画像の特徴マップを得、且つ非キーフレーム画像の特徴マップを決定した後、非キーフレーム画像の特徴マップに基づいて車線検出を行うことができる。

また、図４に示すような原理図では、車線の確率予測の方法に基づいて、非キーフレーム画像を組み合わせて車線に対する検出を実現することができる。

なお、上記の関連技術の説明を組み合わせて分かるように、関連技術において、各フレームの画像に対して、いずれも車線検出モデルを介して、車線検出により各フレームの画像に対して特徴抽出、畳み込み計算などの操作を行う必要があるため、したがって、車線検出の効率が低いという問題を引き起こす可能性があり、本実施例において、ネットワーク推定を組み合わせる方法で非キーフレーム画像の特徴マップを得ることで、時間を節約し、それにより、非キーフレーム画像の特徴マップを決定する効率を向上させ、さらに車線検出の効率を向上させるという技術的効果を達成する。

いくつかの実施例において、Ｓ３０４は、ステップ１及びステップ２を含むことができる。

ステップ１において、位置変化情報に基づいて、非キーフレーム画像の特徴マップ上の前のフレームのキーフレーム画像の各ピクセルの位置情報を決定する。

例として、位置変化情報は横座標の位置変化情報（ｕｘ）と縦座標の位置変化情報（ｕｙ）を含み、前のキーフレーム画像の特徴マップ上の各ピクセルの横座標は（ｘ１）で、縦座標は（ｙ１）である場合、非キーフレーム画像の特徴マップ上の各ピクセルの横座標は（ｘ２＝ｘ１＋ｕｘ）であり、縦座標は（ｙ２＝ｙ１＋ｕｙ）である。

ここで、上記の座標は画像の座標系を基礎とする。

ステップ２において、位置情報と前のフレームのキーフレーム画像の特徴マップに基づいて、非キーフレーム画像の特徴マップを生成する。

例として、位置情報、即ち横座標（ｘ２＝ｘ１＋ｕｘ）、縦座標（ｙ２＝ｙ１＋ｕｙ）を決定した後、車線検出装置は当該位置情報と前のフレームのキーフレーム画像の特徴マップに基づいて、当該位置情報に対応する特徴マップ（即ち非キーフレーム画像の特徴マップである）を決定することができる。

本実施例において、位置変化情報に基づいて位置情報を決定し、且つ位置情報に基づいて非キーフレーム画像の特徴マップを決定することにより、非キーフレーム画像の特徴マップを決定する効率を向上させ、計算コストを節約し、さらに車線検出の効率を向上させるという技術的効果を達成する。

図５は本願の実施例４による模式図であり、図５に示すように、本願の実施例による車線検出方法は、ステップＳ５０１～Ｓ５０３を含む。

Ｓ５０１において、車線を含むビデオストリームを取得し、且つビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出し、隣接するキーフレーム画像間を非キーフレーム画像として使用する。

例として、Ｓ５０１についての説明はＳ２０１を参照でき、ここでは繰り返しない。

Ｓ５０２において、キーフレーム画像を予め設定された車線検出モデルに入力し、キーフレーム画像の特徴マップを得、且つキーフレーム画像の特徴マップに基づいて車線検出を行う。

ここで、車線検出モデルは、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像に基づいて知識蒸留処理を行うことで生成されたものである。

本実施例において、車線検出モデルは車線検出モデルに基づいてキーフレーム画像に対して車線検出を行い、また、本実施例において、車線検出モデルと関連技術の車線検出モデルには本質的な違いがある。

例えば、関連技術において、車線検出モデルはサンプル画像に基づいて基本ネットワークモデルを訓練して生成されたものであり、本実施例において、一方では、サンプル画像自体を改善し、具体的には、収集されたサンプル画像には、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像が含まれ、昼間シーンの車線サンプル画像は、車線を含む昼間のサンプル画像であり、夜間シーンの車線サンプル画像は、車線を含む夜間のサンプル画像である。

いくつかの実施例において、夜間シーンの車線サンプル画像を得る方法は、以下のステップを含むことができる。

車線検出モデルは訓練時の昼間シーンの車線サンプル画像に基づいて生成的敵対的ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ、ＧＡＮ）を訓練し、昼間シーンから夜間シーンへのスタイル移行の生成的敵対的ネットワークを生成し、且つ収集された昼間シーンの車線サンプル図と昼間シーンから夜間シーンへのスタイル移行の生成的敵対的ネットワークに基づいて、夜間シーンの車線サンプル画像を生成する。

本実施例において、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像に基づいて車線検出モデルを訓練して生成することにより、異なるシーンに対する車線検出モデルの車線検出を達成し、それにより、車線検出の精度と信頼性を向上させるという技術的効果を達成することができる。

他方では、本実施例における車線検出モデルは知識蒸留処理によって得られ、即ち大型モデルによって小型モデルを指導して学習及び訓練させる方法で車線検出モデルを得、それにより、車線検出モデルの検出効率を向上させるという技術的効果を達成することができる。

いくつかの実施例において、車線検出装置は知識蒸留処理に基づいて車線検出モデルを得る方法はステップ１及びステップ２を含むことができる。

ステップ１において、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像の両方を知識蒸留処理用の残差ネットワークモデルと軽量ネットワークモデルにそれぞれ入力し、残差ネットワークモデルによって出力された第１の車線認識結果、及び軽量ネットワークモデルによって出力された第２の車線認識結果を得る。

当該ステップは、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像の両方を残差ネットワークモデルに入力し、第１の車線認識結果を得、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像の両方を軽量ネットワークモデルに入力し、第２の車線認識結果を得るように理解されることができる。

上記の例を組み合わせて、残差ネットワークモデルは知識蒸留処理のための大型ネットワークモデルとして理解されることができ、軽量ネットワークモデルは、知識蒸留処理のための小型ネットワークモデルとして理解されることができ、残差ネットワークモデルによって小型軽量ネットワークモデルを指導して学習及び訓練させる。

いくつかの実施例において、残差ネットワークモデルはｒｅｓｎｅｔ５０であってもよく、軽量ネットワークモデルはｓｈｕｆｆｌｅｎｅｔであってもよい。

ステップ２において、第１の車線認識結果と第２の車線認識結果に基づいて、軽量ネットワークモデルを反復して車線検出モデルを得る。

第１の車線認識結果と第２の車線認識結果を得た後、２つの結果に基づいて軽量ネットワークモデルを反復することができ、例えば、ｓｈｕｆｆｌｅｎｅｔを反復することにより、軽量ネットワークモデルを基本ネットワークモデルとしての車線検出モデルを得、それにより、適用プロセスにおける車線検出モデルの効率を向上させ、即ち車線検出モデルに基づいて車線を検出する効率を向上させるという技術的効果を達成する。

いくつかの実施例において、第１の車線認識結果は、車線の確率分布を特徴づけ、第２の車線認識結果は、車線の確率分布を特徴づけ、ステップ２はサブステップ１～３を含むことができる。

サブステップ１において、第１の車線認識結果と第２の車線認識結果との間の相対エントロピー情報を決定する。

ここで、相対エントロピー情報は車線の確率分布の間の差異の非対称性測定情報を特徴づける。

例として、車線検出装置は、第１の車線認識結果に対応する確率分布（第２の車線認識結果に対応する確率分布と区別するために、以下、第１の確率分布と呼ばれる）と第２の車線認識結果に対応する確率分布（同様に、第１の車線認識結果に対応する確率分布と区別するために、以下、第２の確率分布と呼ばれる）との間のＫＬ（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）発散を計算することができ、当該ＫＬ発散は、第１の確率分布と第２の確率分布との間の差の非対称性測定情報を特徴づける。

例として、車線検出装置は式１に基づいて相対エントロピー情報ＬＯＳＳ_１を計算することができ、
（式１）ＬＯＳＳ_１＝ｐ（ｘ）＊ｌｏｇ（ｐ（ｘ））－ｐ（ｘ）＊ｌｏｇ（ｑ（ｘ））
ここで、ｐ（ｘ）は残差ネットワークモデルによって出力された第１の確率分布であり、ｑ（ｘ）は軽量ネットワークモデルによって出力された第２の確率分布である。

サブステップ２において、第１の車線認識結果と第２の車線認識結果との間の損失情報を決定する。

ここで、損失情報は、車線の確率分布の間の距離情報を特徴づける。

例として、車線検出装置は第１の確率分布と第２の確率分布との間の損失情報（Ｗａｓｓｅｒｓｔｅｉｎ ｌｏｓｓ）を計算することができ、当該Ｗａｓｓｅｒｓｔｅｉｎ ｌｏｓｓは第１の確率分布と第２の確率分布との間の距離情報を特徴づける。

例として、車線検出装置は、式２に基づいて相対エントロピー情報ＬＯＳＳ_２を計算することができ、

ここで、

は軽量ネットワークモデルによって出力された第２の確率分布オベイ分布Ｐ_Ｇであり、Ｄ（ｘ）は軽量ネットワークモデルの予測値（即ち第２の確率分布）と実際の値（予め設定された値）との間の差分情報である。

サブステップ３において、相対エントロピー情報と損失情報に基づいて、軽量ネットワークモデルを反復して車線検出モデルを得る。

例として、車線検出装置は相対エントロピー情報と損失情報に基づいて軽量ネットワークモデルを調整するための調整範囲を決定し、且つ調整範囲に基づいて軽量ネットワークモデルを調整し、具体的には、軽量ネットワークモデルの畳み込みカーネルの係数などを調整し、車線検出モデルを得ることができる。

なお、本実施例において、相対エントロピー情報と損失情報を決定し、当該２つの次元の情報に基づいて軽量ネットワークモデルを最適化反復し、車線検出モデルを得ることにより、車線検出モデルの精度と信頼性を向上させることができ、且つ車線検出モデルに基づいて車線検出を行う場合の効率を向上させるという技術的効果を達成する。

Ｓ５０３において、非キーフレーム画像に対して、非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び非キーフレーム画像に基づいて車線検出を行う。

例として、Ｓ５０３についての説明はＳ２０３の説明を参照でき、或いは、Ｓ３０３とＳ３０４の説明を参照でき、ここでは繰り返しない。

なお、いくつかの実施例において、車線確率予測は、車線検出モデルの一部であってもよく、したがって、キーフレーム画像に対して、車線検出装置はキーフレーム画像を車線検出モデルに入力し、且つ車線検出モデルに基づいて特徴抽出を行い、キーフレーム画像の特徴マップを得ることができ、且つキーフレーム画像の車線検出を実現するようにキーフレーム画像の特徴マップに対して車線確率予測を行い、非キーフレーム画像に対して、キーフレーム画像と非キーフレーム画像に基づいてオプティカルフロー図を決定し、且つキーフレーム画像の特徴マップとオプティカルフロー図に基づいて非キーフレーム画像の特徴マップを決定し、且つ車線検出モデルにおける車線確率予測に基づいて非キーフレーム画像の特徴マップに対して車線検出を行うことができる。

一例では、車線検出装置は、ビデオストリームに対して車線検出を行い、車線検出結果を得た後、車線検出結果に基づいて車両走行を制御することができる。

他の例では、車線検出装置は、ビデオストリームに対して車線検出を行い、車線検出結果を得た後、車線検出結果を車両に設けられた制御装置に伝送し、且つ制御装置により車線検出結果に基づいて車両走行を制御することができる。

図６は本願の実施例５による模式図であり、図６に示すように、本願の実施例による車線検出装置６００は、
車線を含むビデオストリームを取得するための取得モジュール６０１と、
抽出モジュール６０２であって、ビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出するために使用され、隣接するキーフレーム画像間を非キーフレーム画像として使用する抽出モジュール６０２と、
キーフレーム画像に対して、キーフレーム画像の特徴マップに基づいて車線検出を行い、非キーフレーム画像に対して、非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び非キーフレーム画像に基づいて車線検出を行うための検出モジュール６０３と、を含む。

図７は本願の実施例６による模式図であり、図７に示すように、実施例５の上で、検出モジュール６０３は、
前のフレームのキーフレーム画像と非キーフレーム画像との間の位置変化情報を決定するための位置決定サブモジュール６０３１と、
位置変化情報と前のフレームのキーフレーム画像の特徴マップに基づいて、非キーフレーム画像の特徴マップを決定するための第１の特徴マップ決定サブモジュール６０３２と、
非キーフレーム画像の特徴マップに基づいて車線検出を行うための第１の検出サブモジュール６０３３と、を含む。

いくつかの実施例において、位置変化情報は各ピクセルの位置移動情報を含み、位置決定サブモジュール６０３１は、前のフレームのキーフレーム画像と非キーフレーム画像をオプティカルフロー推定ネットワークモデルに入力し、前のフレームのキーフレーム画像と前記非キーフレーム画像との間のオプティカルフロー図を得るために使用され、ここで、オプティカルフロー図は、前のキーフレーム画像に対する非キーフレーム画像の各ピクセルの位置移動情報を特徴づける。

図８は、本願の実施例７による模式図であり、図８に示すように、実施例６の上で、車線検出装置６００は、
車線の相対変位が存在する第１のサンプル画像と第２のサンプル画像を含む訓練サンプルセットを収集するための収集モジュール６０４と、
訓練サンプルセット、及び第１のサンプル画像と第２のサンプル画像との間のオプティカルフローフィールドに基づいて訓練ラベルとして、基本ネットワークモデルを訓練してオプティカルフロー推定ネットワークモデルを得るための第１の訓練モジュール６０５と、をさらに含む。

いくつかの実施例において、第１の特徴マップ決定サブモジュール６０３２は、位置変化情報に基づいて、非キーフレーム画像の特徴マップ上の前のフレームのキーフレーム画像の各ピクセルの位置情報を決定し、且つ位置情報と前のフレームのキーフレーム画像の特徴マップに基づいて、非キーフレーム画像の特徴マップを生成するために使用される。

図９は本願の実施例８による模式図であり、図９に示すように、実施例５の上で、検出モジュール６０３は、
キーフレーム画像を予め設定された車線検出モデルに入力し、キーフレーム画像の特徴マップを得るための第２の特徴マップ決定サブモジュール６０３４と、
キーフレーム画像の特徴マップに基づいて車線検出を行うための第２の検出サブモジュール６０３５と、を含み、
ここで、車線検出モデルは、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像に基づいて知識蒸留処理を行うことで生成されたものである。

図１０は本願の実施例９による模式図であり、図１０に示すように、実施例８の上で、車線検出装置６００は、
昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像の両方を知識蒸留処理用の残差ネットワークモデルと軽量ネットワークモデルにそれぞれ入力し、残差ネットワークモデルによって出力された第１の車線認識結果、及び軽量ネットワークモデルによって出力された第２の車線認識結果を得るための入力モジュール６０６と、
第１の車線認識結果と第２の車線認識結果に基づいて、軽量ネットワークモデルを反復して車線検出モデルを得るための第２の訓練モジュール６０７と、をさらに含む。

図１１は本願の実施例１０による模式図であり、図１１に示すように、実施例９の上で、第１の車線認識結果は、車線の確率分布を特徴づけ、第２の車線認識結果は、車線の確率分布を特徴づけ、第２の訓練モジュール６０７は、
差異決定サブモジュール６０７１であって、第１の車線認識結果と第２の車線認識結果との間の相対エントロピー情報を決定し、且つ第１の車線認識結果と第２の車線認識結果との間の損失情報を決定するために使用され、ここで、相対エントロピー情報は、車線の確率分布の間の差異の非対称性測定情報を特徴づけ、損失情報は、車線の確率分布の間の距離情報を特徴づける差異決定サブモジュール６０７１と、
相対エントロピー情報と損失情報に基づいて、軽量ネットワークモデルを反復して車線検出モデルを得るための反復サブモジュール６０７２と、を含む。

本願の実施例によれば、本願は電子機器及び可読記憶媒体をさらに提供する。

図１２は、本願の実施例を実施できる例示的な電子機器１２００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、セルラ電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本開示の実現を限定することを意図したものではない。

図１２に示すように、電子機器１２００は、読み取り専用メモリ（ＲＯＭ）１２０２に記憶されるコンピュータプログラム又は記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作と処理を実行できる計算ユニット１２０１を含む。ＲＡＭ１２０３は、機器１２００の操作に必要な様々プログラムとデータをさらに記憶することができる。計算ユニット１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３はバス１２０４を介して相互に接続される。入力／出力（Ｉ／Ｏ）インタフェース１２０５もバス１２０４に接続される。

キーボード、マウスなどの入力ユニット１２０６と、様々なタイプのディスプレイ、スピーカーなどの出力ユニット１２０７と、ディスク、ＣＤなどの記憶ユニット１２０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット１２０９と、を含む機器１２００の複数のコンポーネントはＩ／Ｏインタフェース１２０５に接続される。通信ユニット１２０９は、機器１２００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを許可する。

計算ユニット１２０１は、処理と計算能力を含む様々な汎用及び／又は専用処理コンポーネントであってもよい。計算ユニット１２０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット１２０１は、車線検出方法のような上記の各方法と処理を実行する。例えば、いくつかの実施例において、車線検出方法は、記憶ユニット１２０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されることができる。いくつかの実施例において、コンピュータプログラムの一部又は全部はＲＯＭ１２０２及び／又は通信ユニット１２０９を介して機器１２００にロード及び／又はインストールされることができる。コンピュータプログラムがＲＡＭ１２０３にロードされ、且つ計算ユニット１２０１により実行される場合、上記の車線検出方法の１つ又は複数のステップを実行することができる。選択可能に、他の実施例において、計算ユニット１２０１は、他の任意の適切な方式（例えば、ファームウェア）によって車線検出方法を実行するように配置されることができる。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け（ＡＳＩＣ）、専用標準品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は以下の内容を含み、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、且つデータ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサ又はコントローラに提供されることができ、プログラムコードはプロセッサ又はコントローラにより実行される場合、フローチャート及び／又はブロック図で規定される機能／操作が実施されるようにする。プログラムコードは、完全に機器で、一部が機器で実行されることができ、独立したソフトウェアパッケージとして、一部が機器で実行するとともに、一部がリモート機器で実行又は完全にリモート機器又はサーバーで実行されることができる。

本開示の文脈において、機械可読媒体は、命令実行システム、装置又は機器に使用されるか、命令実行システム、装置又は機器を組み合わせて使用するためのプログラムを含むか又は記憶することができる有形媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のワイヤに基づいた電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記の内容の任意の適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報をディスプレイするためのディスプレイデバイス（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置さらに、ユーザとのインタラクションを提供するために使用でき、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、また、任意の形態（音響入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバーとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションを行う）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット及びブロックチェーンネットワークを含む。

コンピュータシステムは、クライアント及びサーバーを含むことができる。クライアントとサーバーは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションを行う。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバーの関係を有するコンピュータプログラムによって、クライアントとサーバーとの関係が生成される。サーバーはクラウドサーバーであってもよく、クラウドコンピューティングサーバー又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムのホスト製品であり、従来の物理ホスト及び仮想プライベートサーバ（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、或いは「ＶＰＳ」と略称する）に存在している管理の難しさが大きく、サービススケーラビリティが弱いという欠陥を解決する。サーバーは、分散システムのサーバー、又はブロックチェーンを組み合わせたサーバーであってもよい。

本願の実施例の他の態様によれば、本願の実施例は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムは、プロセッサによって実行される時、上記のいずれかの実施例に記載の方法、例えば図２、図３、及び図５のいずれかの実施例に示す方法を実現する。

本願の実施例の他の態様によれば、本願の実施例は、画像収集装置及び上記のいずれかの実施例に記載の車線検出装置を含む（図６～図１１のいずれかの実施例に示すような車線検出装置を含む）車両をさらに提供し、ここで、画像収集装置は、車線を含むビデオストリームを収集するために使用される。

例として、車両には車線検出装置と画像収集装置が設けられることができ、画像収集は車線を含むビデオストリームを収集し、且つビデオストリームを車線検出装置に伝送し、車線検出装置は、車線に対する検出を実現するために、上記のいずれかの実施例に記載の車線検出方法（図２、図３及び図５のいずれかの実施例に示すような車線検出方法を実行するために使用される）を実行するために使用される。

いくつかの実施例において、車両にコントローラが設けられることができ、車線検出装置は、車線検出結果をコントローラに伝送し、コントローラは車線検出結果に基づいて車両走行を制御することができる。

理解すべきものとして、上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現できる限り、本明細書はここで限定しない。

上記の具体的な実施形態は、本願の保護範囲を限定するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (18)

1. 車線検出方法であって、
   車線を含むビデオストリームを取得することと、
   前記ビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出し、隣接するキーフレーム画像間を非キーフレーム画像として使用することと、
   前記キーフレーム画像に対して、前記キーフレーム画像の特徴マップに基づいて車線検出を行うことと、
   前記非キーフレーム画像に対して、前記非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び前記非キーフレーム画像に基づいて車線検出を行うことと、を含み、
   前記キーフレーム画像に対して、前記キーフレーム画像の特徴マップに基づいて車線検出を行うことは、
   前記キーフレーム画像を予め設定された車線検出モデルに入力し、前記キーフレーム画像の特徴マップを得、且つ前記キーフレーム画像の特徴マップに基づいて車線検出を行うことを含み、
   ここで、前記車線検出モデルは、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像に基づいて知識蒸留処理を行うことで生成されたものであり、大型モデルによって小型モデルを指導して学習及び訓練させる方法で得られたものである車線検出方法。
2. 前記非キーフレーム画像に対して、前記非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び前記非キーフレーム画像に基づいて車線検出を行うことは、
   前記前のフレームのキーフレーム画像と前記非キーフレーム画像との間の位置変化情報を決定することと、
   前記位置変化情報と前記前のフレームのキーフレーム画像の特徴マップに基づいて、前記非キーフレーム画像の特徴マップを決定し、且つ前記非キーフレーム画像の特徴マップに基づいて車線検出を行うことと、を含む請求項１に記載の方法。
3. 前記位置変化情報は各ピクセルの位置移動情報を含み、前記前のフレームのキーフレーム画像と前記非キーフレーム画像との間の位置変化情報を決定することは、
   前記前のフレームのキーフレーム画像と前記非キーフレーム画像をオプティカルフロー推定ネットワークモデルに入力し、前記前のフレームのキーフレーム画像と前記非キーフレーム画像との間のオプティカルフロー図を得、ここで、前記オプティカルフロー図は前記前のキーフレーム画像に対する前記非キーフレーム画像の各ピクセルの位置移動情報を特徴づけること、を含む請求項２に記載の方法。
4. 車線の相対変位が存在する第１のサンプル画像と第２のサンプル画像を含む訓練サンプルセットを収集することと、
   前記訓練サンプルセット、及び前記第１のサンプル画像と前記第２のサンプル画像との間のオプティカルフローフィールドに基づいて訓練ラベルとして、基本ネットワークモデルを訓練して前記オプティカルフロー推定ネットワークモデルを得ることと、をさらに含む請求項３に記載の方法。
5. 前記位置変化情報と前記前のフレームのキーフレーム画像の特徴マップに基づいて、前記非キーフレーム画像の特徴マップを決定することは、
   前記位置変化情報に基づいて、前記非キーフレーム画像の特徴マップ上の前記前のフレームのキーフレーム画像の各ピクセルの位置情報を決定することと、
   前記位置情報と前記前のフレームのキーフレーム画像の特徴マップに基づいて、前記非キーフレーム画像の特徴マップを生成することと、を含む請求項２に記載の方法。
6. 前記キーフレーム画像を予め設定された車線検出モデルに入力し、前記キーフレーム画像の特徴マップを得、且つ前記キーフレーム画像の特徴マップに基づいて車線検出を行う前に、前記方法は、
   前記昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像の両方を、知識蒸留処理用の残差ネットワークモデルと軽量ネットワークモデルにそれぞれ入力し、前記残差ネットワークモデルによって出力された第１の車線認識結果、及び前記軽量ネットワークモデルによって出力された第２の車線認識結果を得ることと、
   前記第１の車線認識結果と前記第２の車線認識結果に基づいて、前記軽量ネットワークモデルを反復して前記車線検出モデルを得ることと、をさらに含む請求項１に記載の方法。
7. 前記第１の車線認識結果は、車線の確率分布を特徴づけ、前記第２の車線認識結果は、車線の確率分布を特徴づけ、前記第１の車線認識結果と前記第２の車線認識結果に基づいて、前記軽量ネットワークモデルを反復して前記車線検出モデルを得ることは、
   前記第１の車線認識結果と前記第２の車線認識結果との間の相対エントロピー情報を決定し、且つ前記第１の車線認識結果と前記第２の車線認識結果との間の損失情報を決定し、ここで、前記相対エントロピー情報は、車線の確率分布の間の差異の非対称性測定情報を特徴づけ、前記損失情報は、車線の確率分布の間の距離情報を特徴づけることと、
   前記相対エントロピー情報と前記損失情報に基づいて、前記軽量ネットワークモデルを反復して前記車線検出モデルを得ることと、を含む請求項６に記載の方法。
8. 車線検出装置であって、
   車線を含むビデオストリームを取得するための取得モジュールと、
   前記ビデオストリームにおいて所定の間隔のフレーム数でキーフレーム画像を抽出し、隣接するキーフレーム画像間を非キーフレーム画像として使用するための抽出モジュールと、
   前記キーフレーム画像に対して、前記キーフレーム画像の特徴マップに基づいて車線検出を行い、前記非キーフレーム画像に対して、前記非キーフレーム画像の前のフレームのキーフレーム画像の特徴マップ及び前記非キーフレーム画像に基づいて車線検出を行うための検出モジュールと、を含み、
   前記検出モジュールは、
   前記キーフレーム画像を予め設定された車線検出モデルに入力し、前記キーフレーム画像の特徴マップを得るための第２の特徴マップ決定サブモジュールと、
   前記キーフレーム画像の特徴マップに基づいて車線検出を行うための第２の検出サブモジュールと、を含み、
   ここで、前記車線検出モデルは、昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像に基づいて知識蒸留処理を行うことで生成されたものであり、大型モデルによって小型モデルを指導して学習及び訓練させる方法で得られたものである車線検出装置。
9. 前記検出モジュールは、
   前記前のフレームのキーフレーム画像と前記非キーフレーム画像との間の位置変化情報を決定するための位置決定サブモジュールと、
   前記位置変化情報と前記前のフレームのキーフレーム画像の特徴マップに基づいて、前記非キーフレーム画像の特徴マップを決定するための第１の特徴マップ決定サブモジュールと、
   前記非キーフレーム画像の特徴マップに基づいて車線検出を行うための第１の検出サブモジュールと、を含む請求項８に記載の装置。
10. 前記位置変化情報は各ピクセルの位置移動情報を含み、前記位置決定サブモジュールは、前記前のフレームのキーフレーム画像と前記非キーフレーム画像をオプティカルフロー推定ネットワークモデルに入力し、前記前のフレームのキーフレーム画像と前記非キーフレーム画像との間のオプティカルフロー図を得るために使用され、ここで、前記オプティカルフロー図は前記前のキーフレーム画像に対する前記非キーフレーム画像の各ピクセルの位置移動情報を特徴づける請求項９に記載の装置。
11. 車線の相対変位が存在する第１のサンプル画像と第２のサンプル画像を含む訓練サンプルセットを収集するための収集モジュールと、
    前記訓練サンプルセット、及び前記第１のサンプル画像と前記第２のサンプル画像との間のオプティカルフローフィールドに基づいて訓練ラベルとして、基本ネットワークモデルを訓練して前記オプティカルフロー推定ネットワークモデルを得るための第１の訓練モジュールと、をさらに含む請求項１０に記載の装置。
12. 前記第１の特徴マップ決定サブモジュールは、前記位置変化情報に基づいて、前記非キーフレーム画像の特徴マップ上の前記前のフレームのキーフレーム画像の各ピクセルの位置情報を決定し、且つ前記位置情報と前記前のフレームのキーフレーム画像の特徴マップに基づいて、前記非キーフレーム画像の特徴マップを生成するために使用される請求項９に記載の装置。
13. 前記昼間シーンの車線サンプル画像と夜間シーンの車線サンプル画像の両方を、知識蒸留処理用の残差ネットワークモデルと軽量ネットワークモデルにそれぞれ入力し、前記残差ネットワークモデルによって出力された第１の車線認識結果、及び前記軽量ネットワークモデルによって出力された第２の車線認識結果を得るための入力モジュールと、
    前記第１の車線認識結果と前記第２の車線認識結果に基づいて、前記軽量ネットワークモデルを反復して前記車線検出モデルを得るための第２の訓練モジュールと、をさらに含む請求項８に記載の装置。
14. 前記第１の車線認識結果は、車線の確率分布を特徴づけ、前記第２の車線認識結果は、車線の確率分布を特徴づけ、前記第２の訓練モジュールは、
    差異決定サブモジュールであって、前記第１の車線認識結果と前記第２の車線認識結果との間の相対エントロピー情報を決定し、且つ前記第１の車線認識結果と前記第２の車線認識結果との間の損失情報を決定するために使用され、ここで、前記相対エントロピー情報は、車線の確率分布の間の差異の非対称性測定情報を特徴づけ、前記損失情報は、車線の確率分布の間の距離情報を特徴づける差異決定サブモジュールと、
    前記相対エントロピー情報と前記損失情報に基づいて、前記軽量ネットワークモデルを反復して前記車線検出モデルを得るための反復サブモジュールと、を含む請求項１３に記載の装置。
15. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、ここで、
    前記メモリに前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれか１項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される電子機器。
16. コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令はコンピュータに請求項１～７のいずれか１項に記載の方法を実行させるために使用される非一時的なコンピュータ可読記憶媒体。
17. コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサによって実行される時、請求項１～７のいずれか１項に記載の方法を実現するコンピュータプログラム。
18. 画像収集装置及び請求項８～１４のいずれか１項に記載の車線検出装置を含む車両であって、
    前記画像収集装置は、車線を含むビデオストリームを収集するために使用される車両。

Images