Nothing Special   »   [go: up one dir, main page]

JP6471244B2 - Sdnに支援されたシームレスなranアプリマイグレーション - Google Patents

Sdnに支援されたシームレスなranアプリマイグレーション Download PDF

Info

Publication number
JP6471244B2
JP6471244B2 JP2017553242A JP2017553242A JP6471244B2 JP 6471244 B2 JP6471244 B2 JP 6471244B2 JP 2017553242 A JP2017553242 A JP 2017553242A JP 2017553242 A JP2017553242 A JP 2017553242A JP 6471244 B2 JP6471244 B2 JP 6471244B2
Authority
JP
Japan
Prior art keywords
cran
physical computing
host
ran
instance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017553242A
Other languages
English (en)
Other versions
JP2018513641A (ja
Inventor
エクスナー、シモン
Original Assignee
エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー
エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー, エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー filed Critical エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー
Publication of JP2018513641A publication Critical patent/JP2018513641A/ja
Application granted granted Critical
Publication of JP6471244B2 publication Critical patent/JP6471244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/0247Traffic management, e.g. flow control or congestion control based on conditions of the access network or the infrastructure network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/0005Control or signalling for completing the hand-off
    • H04W36/0011Control or signalling for completing the hand-off for data sessions of end-to-end connection
    • H04W36/0033Control or signalling for completing the hand-off for data sessions of end-to-end connection with transfer of context information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/16Performing reselection for specific purposes
    • H04W36/22Performing reselection for specific purposes for handling the traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45562Creating, deleting, cloning virtual machine instances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45583Memory management, e.g. access or allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/08Load balancing or load distribution
    • H04W28/086Load balancing or load distribution among access entities
    • H04W28/0861Load balancing or load distribution among access entities between base stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、一般的に、集中型無線アクセスネットワーク(centralized radio access network, CRAN)におけるCRANプロセスマイグレーションを実行する方法に関する。前記CRANは、複数のリモート無線アクセスポイントと、RAN機能の少なくとも一部を実行する複数の物理計算ホストを有する集中型処理センタとを備える。
また、本発明は、複数のリモート無線アクセスポイントと、RAN機能の少なくとも一部を実行するように構成された複数の物理計算ホストを有する集中型処理センタとを備えた集中型無線アクセスネットワーク(CRAN)に関する。
今後の無線アクセスネットワーク(radio access network, RAN)は、少なくとも部分的には、今日のRANよりも集中化しつつある。すなわち、無線アクセスポイントはRANプロトコルスタックの一部のみを実行する一方、主要な部分は集中的に実行される(図1参照)。これは、リモート無線アクセスポイントがRAN機能のレイヤ1−3の一部のみを実行する一方、残りの機能は中央プロセッサで実行されることを意味する。この中央プロセッサは、例えば非特許文献1あるいは2に記載されているように、クラウドコンピューティングプラットフォームの上で実行される仮想的なBSプールであってもよい。
集中型RAN(CRAN)環境で考慮されるデータレートは、基礎となる機能の分割とパラメータのとり方に応じて大幅に変わり得る。100個の基地局に対して、期待されるトラフィックは、非常に下位レイヤでの集中化の場合の数百Gbpsから、ユーザ単位の集中化の場合の数十Gbps、およびレイヤ2集中化の場合の数Gbpsまでにわたり得る。レイテンシ要求は、下位レイヤ分割の場合の数百ミリ秒から、ユーザ単位の集中化およびレイヤ2集中化の場合の数ミリ秒までにわたることになる。
本発明の実施形態は、RANアプリ(すなわち、個別のユーザ端末に対してすべての集中化されたRAN機能を実行するソフトウェアインスタンス)のマイグレーション(移行)を扱う。CRANの重要な提案の1つは、ユーザに対する処理(例えば符号化および復号)をデータセンタで行うことができるため、仮想化によって提供される規模の経済および作業負荷の統合の利益が得られることである。しかし、データセンタ処理のこれらの利点は、データセンタにおけるインスタンスが最適化アルゴリズムによる要求に応じて自由に移行され得る場合にのみ十分に活用することができる。ユーザ処理のマイグレーションを引き起こすする理由は、仮想化環境において例えばリソース利用率の改善、空き物理ホストの停止、あるいはネットワークトラフィックの低減のために行われる通常の動作であってよい。さらに、マイグレーションは、例えばRANアプリ機能を基地局のより近くに、またはサービスチェーンのより良好なネットワーク経路上に配置することによって、レイテンシやその他のサービス品質パラメータを改善するために必要となる場合もある。もう1つの理由として、復号機能における協働処理の機会を活用するために、同じセル内のユーザまたは物理的に相互に近いユーザに対するRANアプリをコロケートする(同じ場所に配置する)ことが挙げられる。
RAN環境におけるタイミング制約は非常にきついので、このようなマイグレーションは高速に行われる必要がある。従来のVM(仮想マシン)マイグレーション手法は、「ブレークビフォアメーク(break-before-make)」手法に基づいている。すなわち、旧インスタンスから新インスタンスへの実際の切替は通常、新たなインスタンスがバックグラウンドで準備される間に、旧インスタンスが短時間中断され、新インスタンスが起動され、必要な新しいルートのトラフィックがネットワークに通知されることを意味し、すなわち接続のない短いウィンドウ期間があることになる。これは従来の仮想化環境では十分高速に(すなわち、良好なネットワーク条件下では1秒弱の時間フレームで)行われることが可能であるが、1ミリ秒の時間フレームが適用されるCRANの場合は十分高速とならない可能性がある。いずれにしてもこの遅延は、旧インスタンスと新インスタンスとの間のシグナリング遅延に関する下限を有する。
"C-RAN The Road Towards Green RAN", White Paper v2.5, Oct. 2011, CMCC P. Rost, C.J. Bernardos, A. De Domenico, M. Di Girolamo, M. Lalam, A. Maeder, D. Sabella, and D. Wubben, "Cloud technologies for flexible 5G radio access networks", IEEE Communications Magazine, vol. 52, no. 5, May 2014 C. Chen and J. Huang, "Suggestions on potential solutions to C-RAN by NGMN alliance," NGMN Alliance, Tech. Rep., January 2013
本発明の目的は、上記のような集中型無線アクセスネットワーク(CRAN)におけるCRANプロセスマイグレーションを実行する方法および集中型無線アクセスネットワークにおいて、CRANプロセスマイグレーションがシームレスに実行可能となるような改良およびさらなる展開を行うことである。
本発明によれば、上記の目的は、以下のことを特徴とする上記のような方法によって達成される。すなわち、本方法は、
前記物理計算ホストのうちの第1の物理計算ホスト上でCRANプロセスを実行し、前記物理計算ホストのうちの第2の物理計算ホスト上で前記CRANプロセスの新たなインスタンスを開始するステップと、
前記CRANプロセス宛のトラフィックを前記CRANプロセスの両方のインスタンスに二重化するステップと、
第1の時間間隔中に、前記第1および前記第2の物理計算ホスト上で並列にトラフィックを処理し、前記第2の物理計算ホストの出力を抑制するステップと、
前記第2の物理計算ホストが前記CRANプロセスに関して前記第1の物理計算ホストと同じ状態に達したとき、両方のインスタンスからの二重の出力を上位レイヤに転送するステップとを備える。
また、上記の目的は、以下のことを特徴とする上記のような集中型無線アクセスネットワークによって達成される。すなわち、本ネットワークはさらに、
CRANプロセスが前記物理計算ホストのうちの第1の物理計算ホスト上で実行されている間に、前記物理計算ホストのうちの第2の物理計算ホスト上で前記CRANプロセスの新たなインスタンスを開始し、前記CRANプロセス宛のトラフィックを前記CRANプロセスの両方のインスタンスに二重化することをトリガするように構成されたCRANプロセススケジューラコンポーネントを備え、
前記第1および前記第2の物理計算ホストは、第1の時間間隔中に、受信したトラフィックを並列に処理し、前記第2の物理計算ホストの出力を抑制するとともに、前記第2の物理計算ホストが前記CRANプロセスに関して前記第1の物理計算ホストと同じ状態に達したとき、両方のインスタンスからの二重の出力を上位レイヤに転送するように構成される。
本発明によって認識されたこととして、特定のCRANプロセスの第2のインスタンスを別の物理計算ホスト上で元のCRANプロセスと並列に実行することによって、および、トラフィック二重化を利用することによって、CRAN処理のシームレスなマイグレーションを達成することができる。さらに、本発明は、第2のインスタンスがCRANプロセスに関して元の第1のインスタンスと同じ状態に達するまでの間のウォームアップ期間とみなすことが可能な時間間隔を備えている。結果として、本発明によれば、短時間サービスを中断するのではなくシームレスにRAN処理マイグレーションを提供することが可能になるため、マイグレーションはエンドユーザ接続の視点から透過的になる。本発明は、短期記憶を有する機能、特に、それ自体が短い状態記憶を有する復号/符号化アプリケーションを移行するために最も好適に適用され得る。
また、本発明の実施形態は、SDNコントローラとネットワーキング要素との間のネットワークループと、ネットワーク要素自体での処理に対する制御の欠如とにより、ネットワーキング要素上でのSDNルールのインストールおよび起動を正確な時刻に合わせることができないという問題を回避する。換言すれば、転送ルールがネットワーク要素上でいつアクティブになるかに対する完全な制御がないという実際の問題が回避される。
注意すべき点であるが、本発明の応用はRAN処理には限定されない。一般的に、当業者には理解されるように、本発明は類似の技術分野にも適用可能であり、特に接続エンドポイントがステートレスであるか、または短期記憶を有する場合や(CRANアプリケーションにおけるリモート無線アクセスポイント(remote access point, RAP)など)、二重化された機能/アプリケーションの応答がウォームアップ期間後に同一となる場合に適用可能である。
好ましい実施形態によれば、CRANプロセスは必ずしも、仮想マシン(VM)の意味で完全なインスタンスを有していなくてもよく、より細かい粒度レベルであってもよい。例えば、CRANプロセスは、例えば個別のユーザの処理スレッドおよび/または機能、特にユーザ復号/符号化機能の形態で、専用のソフトウェアインスタンスを含んでもよい。一般的に、以下ではCRANプロセスを略して「RANアプリ」と呼ぶことがある。
好ましい実施形態によれば、CRANプロセスの新たなインスタンスは、開始された後、基本設定で初期化されてもよい。この基本設定は、例えば、チャネル特性の定義を含んでもよい。
好ましい実施形態によれば、第1の時間間隔が、使用されるRANプロトコル、フレーム継続時間および/またはSDNルールインストール時間に基づいて規定されてもよいし、使用事例のドメイン(例えばRANアプリあるいは動画トランスコーディング)から導出されてもよい。実施形態によれば、時間間隔の長さは、利用可能なドメイン固有の情報を利用してそれぞれのRANアプリ自体によって設定されてもよい。別法として、両方のインスタンスの出力が別のエンティティ経由でルーティングされ、このエンティティがパケットの対応するペアを識別し、生成された出力が実際に同一であることを確認することができるようになっていてもよい。その場合、このエンティティが第1の時間間隔の終了を決定することができる。
好ましい実施形態によれば、CRANプロセスの新たなインスタンスを開始した後の第1の時間間隔中に、第2の物理計算ホストが高められたエラー耐性で動作してもよい。換言すれば、ウォームアップ期間中に、第2の物理計算ホスト上の欠如状態によって引き起こされるエラーは、通常動作よりも高い耐性で処理されてもよい。
好ましい実施形態によれば、両方のインスタンスからの二重の出力が、周知のパケット二重化解除技術を適用することによって上位レイヤで解決されてもよい。
好ましい実施形態によれば、第1の物理計算ホスト上で実行されるCRANプロセスのインスタンスの出力を上位レイヤに転送することが、第1の時間間隔に続く第2の所定の時間間隔後に停止される。特に、第1の物理計算ホスト上で実行されるCRANプロセスのインスタンスが、この第2の所定の時間後にシャットダウンされるようにしてもよい。
好ましい実施形態によれば、第2の時間間隔の長さが、第1および第2の物理計算ホストによって処理されるべきトラフィックを転送することに関与するネットワーク要素上で転送ルールを更新するのに必要な推定時間に基づいて決定されてもよい。一般的に、本明細書に記載されるような並列処理を有する期間を使用することによって、トラフィック再ルーティングの正確な起動に対する制御がないという問題は回避される。したがって、従来のVMマイグレーションとは異なり、新たなインスタンスへの切替はサービスを中断することを必要とせずに可能となる。
好ましい実施形態によれば、CRANプロセス宛のトラフィックの二重化が、トラフィック源から第1の物理計算ホストへ向かう経路上のネットワーク要素上のSDN(Software Defined Networking)ルールによって達成される。CRANプロセスマイグレーション手続きが、物理計算ホスト上にCRANプロセスを配置することを担当するCRANプロセススケジューラコンポーネントによってトリガされるようにしてもよい。その場合、SDNコントローラが、CRANプロセススケジューラコンポーネントからトリガメッセージを受信した後、RANから第1の物理計算ホストへの経路がRANから第2の物理計算ホストへの経路から分岐するスイッチの間の経路上のすべてのスイッチに新たな転送ルールをインストールしてもよい。
本発明を好ましい態様で実施するにはいくつもの可能性がある。このためには、一方で請求項1に従属する諸請求項を参照しつつ、他方で図面により例示された本発明の好ましい実施形態についての以下の説明を参照されたい。図面を用いて本発明の好ましい実施形態を説明する際には、本発明の教示による好ましい実施形態一般およびその変形例について説明する。
クラウドRANアーキテクチャの基本原理を例示する模式図である。 本発明の実施形態によるRANアプリマイグレーションを例示する模式図である。 本発明の実施形態によるRANアプリマイグレーションの相異なる時間段階を例示する模式図である。
図1は、現在検討されているような集中化CRANアーキテクチャの可能な選択肢を例示する模式図である。このアーキテクチャにおいて、本発明の実施形態は好適に適用可能である。図1に示すように、CRANアーキテクチャ(全体的に参照符号1で表す)において、基地局機能の機能分割が、分散されたアクセスポイントと集中化されたアクセスコントローラとの間で実現される。すなわち、アクセスポイント(集中化の度合にある程度依存する従来技術の用語法によれば、無線機能ユニット、リモート無線ヘッド(remote radio head, RRH)、あるいはリモート無線アクセスポイント(RAP)2とも呼ばれる)は、基地局のアクセスコントローラ3(ディジタル機能ユニットあるいはベースバンドユニット(baseband unit, BBU)とも称する)から、RAP2とアクセスコントローラ3との間のバックホールリンク4により分離される。集中化RAN技術の出現により、データの集中化処理を実現する可能性が与えられている。
前述のように、集中化無線アクセスネットワーク(CRAN)において、基地局処理は処理センタ5に集中化される。この(集中化された)処理センタ5は、(リモートの)基地局で従来実行されていた処理(すなわち、アナログ・ディジタル変換(「Radio over Fiber(光ファイバ無線)」の場合)およびディジタルベースバンド処理(「リモート無線ヘッド」)の一部または全部を実行する(非特許文献3参照)。
CRANシステムは、基地局と同じ処理アーキテクチャを配備する専用ハードウェア(いわゆるベースバンドプール)上で動作してもよく、あるいは、標準化されたITハードウェアが配備された商用ハードウェア上で動作してもよい。いずれの場合でも、しかし特に後者の場合には、基地局が仮想マシンで動作するような仮想化された環境を提供することが可能であり、その場合には各仮想マシンがデータセンタリソースの一部にアクセスする。実際に提供されるリソースの量ではなく、仮想化された表現のみが仮想マシンに示されてもよい。仮想マシンを配備する主要な利点は、(処理負荷に関する)負荷変動を複数の基地局にわたって、および時間にわたって、分散させることができることにある。
しかし、仮想化環境では、ある特定の状況において、特定のプロセスを(または基地局全部をも)別の仮想マシンまたは少なくとも別の物理計算ホストに再割当することが必要になる場合がある。相異なる仮想マシン間あるいは相異なる物理計算ホスト間で基地局処理を移動する主な理由としては、ハードウェアおよび/またはソフトウェアの保守や、最大リソース占有量の超過が挙げられる。
上記に鑑み、本発明の実施形態は所定の時間の間だけ二重化された入力を通じて、新たにインスタンス化されたステートレスな機能または限定された周知の状態記憶を有する機能を用意することによって、インスタンス間で状態を移行する。この時間は、使用事例のドメイン(例えばRANアプリまたは動画トランスコーディング)から導出されてもよい。RANアプリの使用事例では、符号化/復号されるべきユーザトラフィックの複製を新たな別個のRANアプリインスタンスへ送って既存のインスタンスと同じ状態にすることにより、復号/符号化アプリケーションの短い状態記憶を活用する(ソフト/ソフタハンドオーバの場合のように同じエンドポイントへ異なる可能性のある符号化で2回以上トラフィックを送信するのとは異なる)。
図2は、本発明の実施形態によるシームレスなRANアプリマイグレーションの方法を例示する模式図である。一般的に、本実施形態によれば、ネットワーク装置上のSDNルールによるインバウンドトラフィックの二重化と、移行先のノード上で所定の状態で処理を開始するためのデータフローに対するガード間隔を利用することにより、CRAN処理のシームレスなマイグレーションが達成される。さらに、ウォームアップ期間がRANアプリケーションロジックに組み込まれる。
例示した実施形態は、RANアプリがCRANデータセンタ5内の物理計算ホスト6(計算リソースノードA)で動作しているという基本的な状況を仮定する。当該RANアプリに属するパケットをノードAへ転送するために、パケットフロールールがデータセンタ5内の(およびおそらくは、基地局8からデータセンタ5への経路上の)スイッチ7にインストールされる。負荷状況の変化により、あるいは、協働処理機会が生じたことにより、プロセスは、同じデータセンタ5内または異なるデータセンタ内の別の物理計算ホスト6(計算リソースノードB)に移行されることになる。
当業者には理解されるように、マイグレーション自体は必ずしも、仮想マシン(VM)の意味で完全なインスタンスではなく、より細かい粒度レベル(すなわち、より大きなVMあるいはコンテナ内の個別のユーザの処理スレッドまたは機能)であってもよい。実際に移行されるのは、ユーザ復号/符号化機能の状態である。これは、本手法の一般性を減じない。というのは、個別のユーザ処理を移動させる可能性により、ユーザプロセスのセットを含む完全なVMのマイグレーションも可能となるからである。
ここで図2をより詳細に参照すると、この図は、最初に物理ホストA上で動作しているRANアプリにおける処理(符号化/復号)を移行する実施形態を示している。第1のステップで、RANアプリの新たなインスタンスが物理ホストB上で、おそらくは与えられた基本設定(例えばチャネル特性)で開始される。例えば、RANアプリのこの新インスタンスの開始は、CRANオーケストレータ9(一般的に、プロセスをスケジューリングしそれをコンピュータリソース上に配置することを担当する)によってトリガされてもよい。
ノードAからノードBへ移行されるべきRANアプリ宛のトラフィックが、ソースからノードAへの経路上のネットワーク要素7上で二重化され、二重化されたトラフィックがBへ転送されて、ノードAおよびBの両方が(例えば、RANプロトコルおよびフレーム継続時間や、SDNルールインストール時間に基づく)所定の時間の間だけ並列にそのトラフィックを受信するようにされる。
ノードBは、ノードAによって実行されているRANアプリのインスタンスと同じ状態に達するまで、受信されるトラフィックのペイロードの処理を開始する。これは、RAN処理の場合には可能である。というのは、処理に関するRANアプリの「記憶」はほんの数フレームの長さ(基本的にHARQ(Hybrid Automatic Repeat Request)に相当)しか有しないからである。そこで、ガードまたはウォームアップ間隔tWUを規定することができる(これについては図3に関して以下でさらに詳細に説明する)。ウォームアップ間隔tWUは、この間隔の後に新RANアプリインスタンスが旧RANアプリインスタンスと同じ出力を生成するような間隔である。このウォームアップ期間tWU中に、新RANアプリインスタンスがウォームアップされたこと、すなわち、パケットを処理する際にエラーに対して別様に(すなわち、より高い耐性で)反応すべきことが、新RANアプリインスタンスに通知されると有益である。また、このウォームアップ期間tWU中、新RANアプリインスタンスの出力はそのまま捨てられる。これはネットワークで実施することも可能である。
2つのRANアプリインスタンス上で同じ状態に到達した後、すなわち、間隔tWUの後、新インスタンスは自己を「生きている」とみなす。すなわち、新インスタンスは、エラーに対する反応を含めて、通常動作モードでフレームを処理する。そして新RANアプリの出力は(ノードA上で実行される元のRANアプリインスタンスの出力とともに)次の上位レイヤへ(例えばCRANオーケストレータ9へ)転送され、そこでパケット二重化解除の既知の技術によって二重化(一方は旧インスタンスから、一方は新インスタンスから)は解消され、または除去されることが可能である。
別のガード間隔tDOの後、旧インスタンスからの出力は転送されなくなり、そのまま捨てられるとともに、新たなコンテンツは旧インスタンスへ転送されなくなる。この第2の間隔の長さは、パケットの損失を回避するために、関連するスイッチ上でルールを更新する推定時間に基づく。その後、旧インスタンスをシャットダウンすることができ、マイグレーションは完了する。
上記の手続きは、CRANで想定されるようなステートレスな接続や接続エンドポイントに対して最も好適に適用することができる。それが可能であるのは、RANアプリの場合には二重の応答トラフィックが上位レイヤによってフィルタリングされることが可能なためである。上記の実施形態の顕著な利点として、入力パケットの照合および転送を行うスイッチにインストールされたルールのない時間間隔が存在しないため、パケットフローは(いったん開始すれば)ノードAおよびノードBのいずれの視点からも中断されないことである。新ルールが適用される正確な時点を100%の正確さで決定することはできないが、これはパケットフローに何ら有害な影響を及ぼさない。というのは、パケットが二重化される重複期間が十分に長い場合には順序のみが重要だからである。
本手法のもう1つの重要な利点は、「重複」すなわち二重化処理の行われる間隔により、正確にいつトラフィックが新インスタンスに再ルーティングされるかに対する制御の欠如は問題にならない。ルート変更の特定の時刻を判定すること、およびそれをネットワーク要素上で実施することの実際的な問題が回避される。トラフィックのミドルボックスバッファリングは不要である。
以下、再び図2を参照して、(例えばOpenFlowで規定されるような)優先度付きのSDN転送ルールを用いて二重化および解除を実施する具体的実施形態について説明する。
1.第1のステップで、計算リソース上にプロセスを配置することを担当するスケジューラ(例えば図2に示したCRANオーケストレータ9)が、RANアプリを(もしまだ起動されていなければ)実行するために物理計算ホストB上でVM/アプリケーションを起動する。
2.SDNコントローラ10は、VM/アプリが起動され実行されると、ノースバウンドインタフェース経由で通知される。
3.SDNコントローラ10は、RANからホストAへの経路がRANからホストB(これは通常、集中化された処理/データセンタ5内にある)への経路から分岐するスイッチ7の間の経路上のすべてのスイッチに、およびホストB自体に新たなルールをインストールする。これらのルールは、以前はホストAのみにルーティングされていた、ホストBへルーティングされることになるすべてのパケットに一致する。
4.特に、SDNコントローラ10は、RANからホストAへの経路がRANからホストBへの経路から分岐するスイッチ7に新たな(OpenFlow)ルールをインストールする。上記で既に言及したように、このスイッチ7は、ホストAおよびホストBが同じデータセンタ5内に配置されている場合にはデータセンタ5内にあるはずであり、そうでない場合には、基地局8からホストAおよびBが配置されているそれぞれのデータセンタ5までのネットワーク内にあるはずである。このルールは、以前はホストAのみにルーティングされていた、ホストBへルーティングされることになるすべてのパケットに一致するルールであり、そのアクションとして、ホストAおよびホストBへ一致した入力パケットを転送する。このルールには、ホストAへトラフィックを送信するいかなるルールに割り当てられた優先度よりも高い優先度が割り当てられている。例えば、ホストAへトラフィックを転送するルールに割り当てられる優先度をp1で表す場合、ホストAおよびホストBへトラフィックを転送する新ルールの優先度をp3(ただしp1<p3)で表してもよい。この新ルールは、ホストB上のインスタンスに対するウォームアップ間隔と、ホストA上のインスタンスへの接続の破棄に対するガード間隔の和(すなわちtWU+tDO)に等しいハードタイムアウトを有する。
5.さらに、ステップ3が正常に完了した後にのみ、SDNコントローラは、同じ一致基準であるがp1<p2<p3となる優先度p2を有し「Bへパケットを転送する」というアクションを有するルールをインストールする。
6.ステップ4および5と同様に、ホストBから、ホストB上の新インスタンスの出力である符号化/復号データの受信側へトラフィックを転送する新ルールがインストールされる。より高い優先度を有するルールは単にパケットを破棄し、経路上の最初のネットワーク要素のみにインストールされればよい。このルールもまた、Bのウォームアップ期間の継続時間tWUに等しいハードタイムアウトを有する。より低い優先度を有するルールは、経路上のすべてのネットワーク要素にインストールされ、マイグレーション後に使用される永続的ルールとなる。
7.ホストBは、復号可能な最初の完全なフレームが受信されると、パケットの処理を開始する(デコーダは、例えばCPRIが使用されるときに、これらのパケットに一致するように既に実装されている)。ウォームアップ期間中、ホストB上の欠如状態によって引き起こされるエラーは適切に処理される。
8.ステップ4からの二重化・転送ルールがタイムアウトした後、ホストAはパケットを受信しなくなり、そのバッファが空になったときに処理を停止することになる。このバッファは限定されているため、この間隔に対する上限が計算可能であるので、ホストAは、この短い猶予期間後に再スケジューリングまたはシャットダウンされることが可能である。こうしてマイグレーションは完了する。
図3は、本発明の実施形態によるRANアプリマイグレーションの相異なる時間段階を例示する模式図である。最初に、CRANプロセスが第1の物理計算ホスト(すなわちホストA)上で実行される。その結果、ホストAのみが、処理されるべき対応するデータを受信し、ユーザ接続の上位プロトコルレイヤを処理する1つまたは複数のノードへ出力データを送信する(ただし「上位プロトコルレイヤ」とは、プロトコルスタック内で復号/符号化よりも上位のレイヤを指す)。
図3の左側の縦の破線で示されるある時点で、ホストA上で実行されているCRANプロセスの第2のインスタンスが、異なる物理計算ホスト(すなわちホストB)上で開始される。処理されるべきトラフィックが二重化され、ホストAおよびBの両方によって並列に受信されるようになる。しかし、最初は、両方のインスタンスの出力はまだ同一でない。したがって、ホストBからの出力は抑制される。
WUで示されるウォームアップ期間が、その後に両方の出力が同一となることが保証されるような、または少なくとも同一であると仮定できるような長さを有するように指定される。したがって、この時間間隔の後、両方のインスタンスの出力が並列に上位レイヤへ送信される(そこでそれらは解決される)。さらに、tDOで示される別の時間間隔が開始される。これを使用して、パケットの損失を回避するために、関連するスイッチ上でルールを更新することができる。このガード間隔tDOの後、旧インスタンス(すなわちホストA)からの出力は転送されなくなり、そのまま捨てられるとともに、新たなコンテンツは旧インスタンスへ転送されなくなる。
ウォームアップ間隔tWUに関して1つの選択肢は、この値が、利用可能なドメイン固有の情報を利用して処理アプリ自体によって、おそらくはCRANオーケストレータを通じて、SDNコントローラで設定されるようにすることである。より一般的な別法として、両方のインスタンスの出力を別のエンティティ経由でルーティングし、このエンティティがパケットの対応するペアを識別し、生成された出力が実際に同一であることを確認することができるようになっていてもよい。その場合、このエンティティが、自動化タイマの代わりに、次の期間(すなわちガード間隔tDO)をトリガすることができる。
上記の説明および添付図面の記載に基づいて、当業者は本発明の多くの変形例および他の実施形態に想到し得るであろう。したがって、本発明は、開示した具体的実施形態に限定されるものではなく、変形例および他の実施形態も、添付の特許請求の範囲内に含まれるものと解すべきである。本明細書では特定の用語を用いているが、それらは総称的・説明的意味でのみ用いられており、限定を目的としたものではない。

Claims (15)

  1. 集中型無線アクセスネットワーク(CRAN)におけるCRANプロセスマイグレーションを実行する方法において、前記CRANは、複数のリモート無線アクセスポイントと、RAN機能の少なくとも一部を実行する複数の物理計算ホストを有する集中型処理センタとを備え、該方法が、
    前記物理計算ホストのうちの第1の物理計算ホスト上でCRANプロセスの第1のインスタンスを実行し、前記物理計算ホストのうちの第2の物理計算ホスト上で前記CRANプロセスの第2のインスタンスを開始するステップと、
    前記CRANプロセス宛のトラフィックを前記CRANプロセスの前記第1および第2の両方のインスタンスに二重化するステップと、
    第1の時間間隔中に、前記第1および前記第2の物理計算ホスト上で並列にトラフィックを処理し、前記第2の物理計算ホストの出力を抑制するステップと、
    前記第2の物理計算ホストが前記CRANプロセスに関して前記第1の物理計算ホストと同じ状態に達したとき、前記両方のインスタンスからの二重の出力を上位レイヤに転送するステップと
    を備えたことを特徴とする、CRANプロセスマイグレーションを実行する方法。
  2. 前記CRANプロセスが、個別のユーザの処理スレッドおよび/または機能、特にユーザ復号/符号化機能を含むことを特徴とする請求項1に記載の方法。
  3. 前記CRANプロセスの前記第2のインスタンスは、開始された後、基本設定で初期化されることを特徴とする請求項1または2に記載の方法。
  4. 前記第1の時間間隔が、使用されるRANプロトコル、フレーム継続時間および/またはSDNルールインストール時間に基づいて規定されることを特徴とする請求項1ないし3のいずれか1項に記載の方法。
  5. 前記CRANプロセスの前記第2のインスタンスを開始した後の第1の時間間隔中に、前記第2の物理計算ホストが高められたエラー耐性で動作することを特徴とする請求項1ないし4のいずれか1項に記載の方法。
  6. 両方のインスタンスからの前記二重の出力が、パケット二重化解除技術を適用することによって前記上位レイヤで解決されることを特徴とする請求項1ないし5のいずれか1項に記載の方法。
  7. 前記第1の物理計算ホスト上で実行される前記CRANプロセスの前記第1のインスタンスの出力を上位レイヤに転送することが、前記第1の時間間隔に続く第2の所定の時間間隔後に停止されることを特徴とする請求項1ないし6のいずれか1項に記載の方法。
  8. 前記第1の物理計算ホスト上で実行される前記CRANプロセスの前記第1のインスタンスが、前記第1の時間間隔に続く第2の所定の時間間隔後にシャットダウンされることを特徴とする請求項1ないし7のいずれか1項に記載の方法。
  9. 前記第2の時間間隔の長さが、前記第1および前記第2の物理計算ホストによって処理されるべきトラフィックを転送することに関与するネットワーク要素上で転送ルールを更新するのに必要な推定時間に基づいて決定されることを特徴とする請求項7または8に記載の方法。
  10. 前記CRANプロセス宛のトラフィックの二重化が、トラフィック源から前記第1の物理計算ホストへ向かう経路上のネットワーク要素上のSDN(Software Defined Networking)ルールによって達成されることを特徴とする請求項1ないし9のいずれか1項に記載の方法。
  11. CRANプロセスマイグレーション手続きが、物理計算ホスト上にCRANプロセスを配置することを担当するCRANプロセススケジューラコンポーネントによってトリガされることを特徴とする請求項1ないし10のいずれか1項に記載の方法。
  12. SDNコントローラが、CRANプロセススケジューラコンポーネントからトリガメッセージを受信した後、RANから前記第1の物理計算ホストへの経路がRANから前記第2の物理計算ホストへの経路から分岐するスイッチの間の経路上のすべてのスイッチに新たな転送ルールをインストールすることを特徴とする請求項1ないし11のいずれか1項に記載の方法。
  13. 集中型無線アクセスネットワーク(CRAN)、特に請求項1ないし12のいずれか1項に記載の方法を実行する集中型無線アクセスネットワーク(CRAN)において、該ネットワークが、
    複数のリモート無線アクセスポイントと、
    RAN機能の少なくとも一部を実行するように構成された複数の物理計算ホストを有する集中型処理センタと
    を備え、該ネットワークがさらに、
    CRANプロセスの第1のインスタンスが前記物理計算ホストのうちの第1の物理計算ホスト上で実行されている間に、前記物理計算ホストのうちの第2の物理計算ホスト上で前記CRANプロセスの第2のインスタンスを開始し、前記CRANプロセス宛のトラフィックを前記CRANプロセスの前記第1および第2の両方のインスタンスに二重化することをトリガするように構成されたCRANプロセススケジューラコンポーネントを備え、
    前記第1および前記第2の物理計算ホストは、第1の時間間隔中に、受信したトラフィックを並列に処理し、前記第2の物理計算ホストの出力を抑制するとともに、前記第2の物理計算ホストが前記CRANプロセスに関して前記第1の物理計算ホストと同じ状態に達したとき、前記両方のインスタンスからの二重の出力を上位レイヤに転送するように構成されたことを特徴とする集中型無線アクセスネットワーク。
  14. 前記CRANプロセススケジューラコンポーネントからトリガメッセージを受信した後、RANから前記第1の物理計算ホストへの経路がRANから前記第2の物理計算ホストへの経路から分岐するスイッチの間の経路上のすべてのスイッチに新たな転送ルールをインストールするように構成されたSDNコントローラをさらに備えたことを特徴とする請求項13に記載のネットワーク。
  15. 前記第1の物理計算ホストが、前記第1の時間間隔に続く第2の所定の時間間隔後に前記CRANプロセスの前記第1のインスタンスを終了させるように構成されたことを特徴とする請求項13または14に記載のネットワーク。
JP2017553242A 2015-11-20 2015-11-20 Sdnに支援されたシームレスなranアプリマイグレーション Active JP6471244B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/077290 WO2017084726A1 (en) 2015-11-20 2015-11-20 Seamless sdn-supported ran-app migration

Publications (2)

Publication Number Publication Date
JP2018513641A JP2018513641A (ja) 2018-05-24
JP6471244B2 true JP6471244B2 (ja) 2019-02-13

Family

ID=54979623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017553242A Active JP6471244B2 (ja) 2015-11-20 2015-11-20 Sdnに支援されたシームレスなranアプリマイグレーション

Country Status (4)

Country Link
US (1) US10191767B2 (ja)
EP (1) EP3248099B1 (ja)
JP (1) JP6471244B2 (ja)
WO (1) WO2017084726A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10938688B2 (en) * 2018-07-23 2021-03-02 Vmware, Inc. Network costs for hyper-converged infrastructures
US20210392562A1 (en) * 2018-10-08 2021-12-16 Samsung Electronics Co., Ltd. Method and system for forwarding data packets in a service function path of a network
US11240686B2 (en) * 2018-11-17 2022-02-01 Commscope Technologies Llc Dynamic sectorization in a system with multiple cloud radio access networks
WO2022058868A1 (en) * 2020-09-18 2022-03-24 Nokia Solutions And Networks Oy Improved allocation of computing resources for radio access networks
US11606137B2 (en) * 2020-12-24 2023-03-14 Hughes Network Systems, Llc Beam switching user data outage reduction in a spot beam satellite system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1657862B1 (en) * 2002-11-16 2007-08-15 Siemens S.p.A. Centralized dynamical resource reservation method based on the exchange of service specific capacity settings in a multi-RAT network
CN100426897C (zh) * 2005-01-12 2008-10-15 华为技术有限公司 分体式基站系统及其组网方法和基带单元
US7477914B2 (en) * 2005-12-22 2009-01-13 Rehan Jalil Real-time spectrum management to increase frequency reuse
WO2011039985A1 (ja) * 2009-09-30 2011-04-07 パナソニック株式会社 パケット回復方法、パケット回復システム、その方法で用いられる移動端末及び中間装置
US8239609B2 (en) * 2009-10-23 2012-08-07 Sap Ag Leveraging memory similarity during live migrations
US8924560B2 (en) * 2010-11-29 2014-12-30 At&T Intellectual Property I, L.P. Optimized game server relocation environment
JP5614274B2 (ja) * 2010-12-21 2014-10-29 富士通株式会社 無線通信システム
CN102907167B (zh) * 2011-05-17 2016-01-20 华为技术有限公司 通信系统及其管理方法
US8725079B2 (en) * 2011-06-07 2014-05-13 Telefonaktiebolaget L M Ericsson (Publ) System and method for determining the severity of interference in different areas of a cellular radio network and coordinating radio resource management features in response
CN104067689A (zh) * 2011-11-24 2014-09-24 瑞典爱立信有限公司 将基带资源分配给服务小区的无线电单元
US9125047B2 (en) * 2012-07-26 2015-09-01 Nec Laboratories America, Inc. Cloud-based radio access network for small cells
JP6082592B2 (ja) * 2012-12-27 2017-02-15 Kddi株式会社 C−ranシステム、rrh装置、通信制御方法、およびコンピュータプログラム
JP5967715B2 (ja) * 2013-02-20 2016-08-10 日本電信電話株式会社 無線アクセス網における冗長化システム及び方法
EP2962485B1 (en) * 2013-03-01 2019-08-21 Intel IP Corporation Wireless local area network (wlan) traffic offloading
US9459902B2 (en) * 2013-08-16 2016-10-04 Red Hat Israel, Ltd. Memory duplication by destination host in virtual machine live migration
US10244507B2 (en) * 2013-09-24 2019-03-26 Andrew Wireless Systems Gmbh Distributed processing in a centralized radio access network
US20170055163A1 (en) * 2014-02-14 2017-02-23 Nec Corporation Network control apparatus, communication apparatus, control method, communication method, and program
TWI531908B (zh) * 2014-04-24 2016-05-01 A method of supporting virtual machine migration with Software Defined Network (SDN)

Also Published As

Publication number Publication date
US10191767B2 (en) 2019-01-29
EP3248099B1 (en) 2018-06-13
WO2017084726A1 (en) 2017-05-26
JP2018513641A (ja) 2018-05-24
EP3248099A1 (en) 2017-11-29
US20180095787A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
JP6471244B2 (ja) Sdnに支援されたシームレスなranアプリマイグレーション
CN112136294B (zh) 应用功能影响业务路由的消息和系统
US10455412B2 (en) Method, apparatus, and system for migrating virtual network function instance
JP7109148B2 (ja) スケーラブルな進化したパケットコア
US9100274B1 (en) Enhanced virtual router redundancy protocol having inherit groups and advertisement count
EP3031175B1 (en) Extending virtual station interface discovery protocol (vdp) and vdp-like protocols for dual-homed deployments in data center environments
US9438534B2 (en) Method and system for data set migration over a circuit switching network
US20170371692A1 (en) Optimized virtual network function service chaining with hardware acceleration
US9396022B2 (en) Information processing system
CN108306777B (zh) 基于sdn控制器的虚拟网关主备切换方法及装置
US10855557B2 (en) Method and device for upgrading virtual switch
US20160380801A1 (en) Switch, device and method for constructing aggregated link
WO2010132719A1 (en) Systems and methods for fractional routing redundancy
US20140208049A1 (en) Apparatus and method for migrating virtual machines
US20140064082A1 (en) Congestion mitigation and avoidance
WO2020001514A1 (zh) 业务处理
US20240049102A1 (en) State pooling for stateful re-homing in a disaggregated radio access network
US11303701B2 (en) Handling failure at logical routers
CN105022658A (zh) 一种虚拟机迁移方法、系统及相关装置
US20120163398A1 (en) Communication apparatus, relay apparatus, and network system
CN112073980B (zh) 一种移动边缘计算的服务迁移方法和系统
US20200084158A1 (en) Methods and apparatus for path computation in a telecommunications network
Zhang et al. Scalable and Robust East-West Forwarding Framework for Hyperscale Clouds
US20240243846A1 (en) System, method, and computer program for managing data packets transmission between network nodes based on pre-defined configuration and dynamic configuration
WO2022215125A1 (ja) 通信システム、送信装置及び通信方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181212

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181212

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R150 Certificate of patent or registration of utility model

Ref document number: 6471244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250