JP6347510B2 - Communication behavior analysis apparatus and user experience quality estimation method - Google Patents
Communication behavior analysis apparatus and user experience quality estimation method Download PDFInfo
- Publication number
- JP6347510B2 JP6347510B2 JP2014073091A JP2014073091A JP6347510B2 JP 6347510 B2 JP6347510 B2 JP 6347510B2 JP 2014073091 A JP2014073091 A JP 2014073091A JP 2014073091 A JP2014073091 A JP 2014073091A JP 6347510 B2 JP6347510 B2 JP 6347510B2
- Authority
- JP
- Japan
- Prior art keywords
- bulk
- communication
- session
- quality
- behavior analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 143
- 238000004458 analytical method Methods 0.000 title claims description 45
- 238000000034 method Methods 0.000 title claims description 24
- 230000002776 aggregation Effects 0.000 claims description 38
- 238000004220 aggregation Methods 0.000 claims description 38
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 18
- 230000004044 response Effects 0.000 description 18
- 238000005259 measurement Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Description
本発明は、通信ユーザの行動を分析して体感品質と対応付ける通信行動分析装置およびユーザ体感品質推定方法に係り、特に、ネットワーク上でパッシブに計測した通信トラヒックに基づいて通信ユーザの通信行動を分析する通信行動分析装置およびユーザ体感品質推定方法に関する。 The present invention relates to a communication behavior analysis apparatus and a user experience quality estimation method for analyzing a communication user's behavior and associating it with a quality of experience, and in particular, analyzing a communication user's communication behavior based on communication traffic measured passively on a network. The present invention relates to a communication behavior analysis apparatus and a user experience quality estimation method .
特許文献1には、Active計測によるTCP品質推定方式として、RTTやパケット損失率などをActive計測した情報を基に品質を推定する技術が開示されている。 Patent Document 1 discloses a technique for estimating quality based on information obtained by active measurement of RTT, packet loss rate, and the like as a TCP quality estimation method based on active measurement.
特許文献2には、測定用エージェントが間欠的にパケットを送信視して、通信網の品質をActiveに計測するシステムが開示されている。 Patent Document 2 discloses a system in which a measurement agent intermittently transmits packets and measures the quality of a communication network to Active.
特許文献3には、ユーザの通信行動をネットワークの中間GWノードにおいて分析する装置が開示されている。 Patent Document 3 discloses an apparatus that analyzes a user's communication behavior at an intermediate GW node of a network.
特許文献4には、ユーザ・端末の移動のモデル化および移動後にどのように通信を実施したかをモデル化するシステムが開示されている。 Patent Document 4 discloses a system for modeling the movement of a user / terminal and how the communication is performed after the movement.
特許文献1,2は、通信トラヒックをActive計測しているため、測定に伴って余計なトラヒックや負荷が発生する。また、測定に伴う負荷やスケーラビリティの問題がある。さらに、通信品質と通信行動とを紐付けて分析することができない。 Since Patent Documents 1 and 2 perform active measurement of communication traffic, extra traffic and a load are generated along with the measurement. In addition, there are load and scalability problems associated with measurement. Furthermore, communication quality and communication behavior cannot be linked and analyzed.
特許文献3は、セキュリティ対策のための通信行動分析を対象とし、品質と行動との関係性を分析するものではない。特許文献4は、通信品質と通信行動とを紐付けて分析することができない。 Patent Document 3 is intended for communication behavior analysis for security measures, and does not analyze the relationship between quality and behavior. Patent Document 4 cannot analyze communication quality and communication behavior in association with each other.
一方、上記の特許文献とは別に、従来から通信品質と通信行動との関係や、体感品質を分析する手法として、端末側に特殊なモニタ機能を仕込む手法や、主観品質評価的な実験、アンケート等を実施する方法があった。しかしながら、このような手法はいずれも処理が煩雑であり、大規模調査が困難であるという問題がある。 On the other hand, apart from the above-mentioned patent documents, as a method for analyzing the relationship between communication quality and communication behavior and the quality of experience, a method for preparing a special monitor function on the terminal side, a subjective quality evaluation experiment, a questionnaire And so on. However, all of these methods have a problem that the processing is complicated and it is difficult to conduct a large-scale survey.
本発明の目的は、上記の技術課題を解決し、ユーザ単位でセッションの集約状況を分析した結果でユーザの通信行動を代表し、セッションの集約状況と通信品質との関係を分析して対応関係を求めることにより、ユーザが満足する通信品質条件の推定を可能にする通信行動分析置を提供することにある。 The object of the present invention is to solve the above technical problems and represent the user's communication behavior as a result of analyzing the session aggregation status in units of users, and analyze the relationship between the session aggregation status and communication quality It is an object of the present invention to provide a communication behavior analysis device that makes it possible to estimate a communication quality condition that satisfies a user.
上記の目的を達成するために、本発明の通信行動分析装置およびユーザ体感品質推定方法は、通信トラヒックをネットワーク上でパッシブにキャプチャして送信元が同一の各セッションをその生起間隔に基づいて時系列で複数に集約する手段と、集約された各セッションの通信品質の分析結果および集約の状況に基づいて、通信ユーザの通信行動と当該ユーザの体感通信品質との関係を分析する手段と、この分析結果を出力する手段とを具備した。 In order to achieve the above object, the communication behavior analysis apparatus and the user experience quality estimation method according to the present invention captures communication traffic passively on a network and determines each session having the same transmission source based on the occurrence interval. A means for aggregating a plurality of groups, a means for analyzing a relationship between a communication user's communication behavior and the user's perceived communication quality based on the analysis result of the communication quality of each aggregated session and the state of aggregation; and And a means for outputting an analysis result.
本発明によれば、以下のような効果が達成される。
(1)パッシブにキャプチャした大量の通信トラヒックに基づいて、セッションを所定の規則で集約した時の集約状況と通信品質との関係を分析できる。そして、セッションの集約状況は通信ユーザの通信行動を代表できるので、通信ユーザの体感品質と通信行動との関係を正確に分析できるようになる。
According to the present invention, the following effects are achieved.
(1) Based on a large amount of passively captured communication traffic, it is possible to analyze the relationship between the aggregation status and communication quality when sessions are aggregated according to a predetermined rule. Since the session aggregation status can represent the communication behavior of the communication user, the relationship between the quality of experience of the communication user and the communication behavior can be accurately analyzed.
(2)ユーザ毎あるいはユーザ単位の体感品質または主観品質を、ユーザに直接問い合わせたりアンケート調査を実施したりすることなく分析し、把握できるようになる。 (2) The perceived quality or subjective quality of each user or user can be analyzed and grasped without directly inquiring the user or conducting a questionnaire survey.
以下、図面を参照して本発明の実施形態について詳細に説明する。ここでは初めに、本発明の概要について説明し、次いで、その具体的な実施形態について説明する。なお、以下の説明では基本的に、トランスポート層(第4層)での接続を「コネクション」と表現し、これよりも上位層での接続を「(HTTP)セッション」と表現することで両者を区別しているが、両者を「(TCP/HTTP)セッション」で代表する場合もある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Here, first, an outline of the present invention will be described, and then a specific embodiment thereof will be described. In the following explanation, the connection at the transport layer (4th layer) is basically expressed as “connection”, and the connection at the higher layer is expressed as “(HTTP) session”. However, there are cases where both are represented by “(TCP / HTTP) session”.
本発明では、通信ユーザが自身の通信端末を操作して通信を発生させる行動(通信行動)を、その通信トラヒックをパッシブにキャプチャすることでスケーラブルに分析して通信品質と通信行動とを関連付ける。さらには、通信トラヒックから推定される通信行動から当該ユーザの通信に関する体感品質を推定する。通信行動としては、特に通信アプリケーションを起動させてから終了させるまでの間に当該通信アプリケーション上で通信端末を操作して通信を発生させる通信行動に注目する。 In the present invention, an action (communication action) in which a communication user operates his / her communication terminal to generate communication (communication action) is analyzed in a scalable manner by passively capturing the communication traffic, and the communication quality and the communication action are associated with each other. Furthermore, the quality of experience related to the communication of the user is estimated from the communication behavior estimated from the communication traffic. As the communication behavior, attention is particularly paid to the communication behavior that causes communication to be performed by operating the communication terminal on the communication application from when the communication application is activated to when it is terminated.
そこで、本発明ではキャプチャした通信トラヒックからセッションを識別し、多数のセッションを、その生起時刻に基づいてバルク単位で時系列に集約する。 Therefore, in the present invention, sessions are identified from the captured communication traffic, and a large number of sessions are aggregated in time series in bulk units based on their occurrence times.
図3は、セッション(コネクション)の集約方法を模式的に表現した図であり、送信元が同一のセッションごとに、最先のセッションの生起時刻を基準時刻として、この基準時刻とその後の各セッションの生起時刻との時間差Δτが計算される。本実施形態では、送信元の同一性が送信元アドレス情報に基づいて判断される。そして、セッション生起間隔Δτが所定の第1バルク閾値Δτbulk1以下のセッションは全て同一バルク#iに集約される一方、生起間隔Δτが前記第1バルク閾値Δτbulk1よりも大きいセッションは次以降の各バルク#i+1,バルク#i+2…に集約される[同図(a)]。 FIG. 3 is a diagram schematically showing a session (connection) aggregation method. For each session with the same transmission source, the occurrence time of the earliest session is set as a reference time, and this reference time and each subsequent session are shown. A time difference Δτ from the occurrence time of is calculated. In this embodiment, the identity of the transmission source is determined based on the transmission source address information. All sessions whose session occurrence interval Δτ is equal to or less than a predetermined first bulk threshold Δτbulk1 are aggregated into the same bulk #i, while sessions whose occurrence interval Δτ is greater than the first bulk threshold Δτbulk1 i + 1, bulk # i + 2 ... [Figure (a)].
また、時系列で隣接するi番目のバルク#iに集約されたセッションの最終の終了時刻とi+1番目のバルク#i+1に集約されたセッションの最初の生起時刻とが比較され、両者の時間差ΔTが所定のコール閾値Δτcall以下であれば各バルクが同一コール#jに集約される一方、時間差ΔTが所定のコール閾値Δτcallよりも大きければ次のコール#j+1に集約される[同図(b)]。 In addition, the final end time of the session aggregated in the i-th bulk #i adjacent in time series is compared with the first occurrence time of the session aggregated in the i + 1-th bulk # i + 1. If the time difference ΔT is equal to or less than the predetermined call threshold Δτcall, the bulks are aggregated into the same call #j, whereas if the time difference ΔT is greater than the predetermined call threshold Δτcall, the bulk is aggregated into the next call # j + 1 [ (B)].
ここで、同一バルク内の各セッションについて、アプリケーションがユーザの通信操作に由来するものなのか、あるいはユーザの通信操作とは無関係にバックグラウンド等で行われるものなのかを識別した後、ユーザ由来の通信動作のみの分析するようにしても良い。また、コールやバルク内の各セッションについて、同一アプリケーション上でのユーザ操作に起因した通信セッションだけを識別した後、同一アプリケーション由来の通信動作のみ分析するようにしても良い。これらを分析することで、例えば、アプリケーション毎に、ユーザの通信に関する体感品質と当該ユーザの通信行動とを対応付け、ひいては任意の通信行動から当該通信ユーザの体感品質を推定しても良い。 Here, for each session in the same bulk, after identifying whether the application is derived from the user's communication operation or performed in the background regardless of the user's communication operation, Only the communication operation may be analyzed. Further, for each session in a call or bulk, after identifying only a communication session caused by a user operation on the same application, only a communication operation derived from the same application may be analyzed. By analyzing these, for example, for each application, the experience quality related to the user's communication may be associated with the communication behavior of the user, and the experience quality of the communication user may be estimated from any communication behavior.
なお、各セッションのバルク集約方法は上記に限定されるものではなく、図3(c)に示したように、送信元アドレス情報が同一のセッションごとに、n番目のセッションの生起時刻とn+1番目のセッションの生起時刻との間隔(セッション生起間隔)Δτを逐次計算し、このセッション生起間隔Δτが所定の第2バルク閾値Δτbulk2以下のセッションは全て同一バルク#iに集約し、前記第2バルク閾値Δτbulk2よりも大きいセッションは次以降の各バルク#i+1,バルク#i+2…に集約するようにしても良い。 Note that the bulk aggregation method for each session is not limited to the above, and as shown in FIG. 3C, for each session having the same source address information, the occurrence time of the nth session and n + An interval (session occurrence interval) Δτ with the occurrence time of the first session is sequentially calculated, and all sessions whose session occurrence interval Δτ is equal to or less than a predetermined second bulk threshold Δτbulk2 are aggregated into the same bulk #i, Sessions larger than the bulk threshold Δτbulk2 may be aggregated into the following bulk # i + 1, bulk # i + 2,.
図1は、本発明の通信行動分析方法が適用されるネットワークの主要部の構成を示したブロック図である。 FIG. 1 is a block diagram showing the configuration of the main part of a network to which the communication behavior analysis method of the present invention is applied.
サービス提供範囲の各エリアには無線基地局BSが設置され、当該エリア内のクライアント(本実施形態では、無線移動端末MH)は前記各無線基地局BSに収容される。各無線基地局BSは無線アクセス網RANに接続され、前記無線アクセス網RANはコア網のゲートウェイ(GW)に接続される。前記コア網はインターネットエクスチェンジ(IX)においてインターネットと接続される。 A radio base station BS is installed in each area of the service providing range, and a client (radio mobile terminal MH in this embodiment) in the area is accommodated in each radio base station BS. Each radio base station BS is connected to a radio access network RAN, and the radio access network RAN is connected to a gateway (GW) of the core network. The core network is connected to the Internet at the Internet Exchange (IX).
前記インターネットには、MHからの要求に応答してサービスを提供する各種のサーバが接続されている。本実施形態では、各MHと各サーバとの間のトラヒックを集約できる回線として、無線アクセス網RANとコア網とを接続する回線Lに、通信品質測定装置としてのキャプチャ装置1が接続されている。 Various servers that provide services in response to requests from the MH are connected to the Internet. In the present embodiment, a capture device 1 as a communication quality measuring device is connected to a line L that connects the radio access network RAN and the core network as a line that can aggregate traffic between each MH and each server. .
図2は、前記キャプチャ装置1の第1実施形態の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。本実施形態では、キャプチャ装置1が通信行動分析装置としての機能を備える。 FIG. 2 is a functional block diagram showing the configuration of the first embodiment of the capture device 1. Here, the configuration unnecessary for the description of the present invention is omitted. In the present embodiment, the capture device 1 has a function as a communication behavior analysis device.
パケットキャプチャ部10は、前記回線L上でIP(TCPやUDPなど)パケットを選択的にキャプチャする。ログ情報管理部20には、前記キャプチャされたパケットの少なくとも種別、送信元アドレス情報、到着時刻およびパケットサイズ(データ量)がログ情報として記録、管理される。 The packet capture unit 10 selectively captures IP (TCP, UDP, etc.) packets on the line L. The log information management unit 20 records and manages at least the type of the captured packet, source address information, arrival time, and packet size (data amount) as log information.
トラヒック集約部30は、バルク集約部301およびコール集約部302を含み、図3に示したように、キャプチャされたトラヒックの各セッションをその生起間隔Δτに基づいて送信元アドレスごとに集約する。 The traffic aggregating unit 30 includes a bulk aggregating unit 301 and a call aggregating unit 302, and aggregates each session of captured traffic for each source address based on the occurrence interval Δτ, as shown in FIG.
前記バルク集約部301は、図3(a)に示したように、送信元アドレス情報が同一のセッション集合について、生起間隔Δτが所定のバルク閾値Δτbulk以下のセッションを同一バルクに集約する。 As shown in FIG. 3A, the bulk aggregating unit 301 aggregates sessions having an occurrence interval Δτ equal to or smaller than a predetermined bulk threshold Δτbulk into the same bulk for a session set having the same source address information.
コール集約部302は、図3(b)に示したように、時系列で隣接する#番目のバルクに集約された最後のセッションの終了時刻と#+1番目のバルクに集約された最初のセッションの生起時刻とを比較し、両者の時間間隔ΔTが所定のコール閾値Δτcall以下であれば各バルクを同一コールに集約し、コール閾値Δτcallよりも大きければ別の(次の)のコールに集約する。通信品質計算部40は、各バルクに集約された各トラヒックの通信品質を所定の品質項目ごとに計算する。 As shown in FIG. 3 (b), the call aggregating unit 302 sets the end time of the last session aggregated in the #th bulk adjacent in time series and the first session aggregated in the # + 1st bulk. When the time interval ΔT between the two is less than or equal to a predetermined call threshold Δτcall, the bulks are aggregated into the same call, and when they are larger than the call threshold Δτcall, they are aggregated into another (next) call. . The communication quality calculation unit 40 calculates the communication quality of each traffic aggregated in each bulk for each predetermined quality item.
分析部50において、通信品質分析部501は、通信品質の計算結果を統計的に処理して通信品質の特性を計算する。集約状況分析部502は、各セッションのバルク集約状況を分析する。対応関係分析部60は、前記通信品質およびバルク集約状況の分析結果に基づいて、各バルクにおけるセッションの集約状況と当該セッションの通信品質との対応関係を分析する。 In the analysis unit 50, the communication quality analysis unit 501 statistically processes the communication quality calculation result to calculate the communication quality characteristic. The aggregation status analysis unit 502 analyzes the bulk aggregation status of each session. The correspondence analysis unit 60 analyzes the correspondence between the session aggregation status and the communication quality of the session in each bulk based on the analysis result of the communication quality and the bulk aggregation status.
図4は、前記通信品質計算部40による通信品質の計算方法を説明するための図である。ここでは、TCPコネクションの確立時にクライアント/サーバ間で実行されるTCP_3wayハンドシェークのSYNパケットからキャプチャできたコネクションについて、遅延特性を測定する方法について説明する。 FIG. 4 is a diagram for explaining a communication quality calculation method by the communication quality calculation unit 40. Here, a method for measuring the delay characteristics of a connection that can be captured from a SYN packet of a TCP_3way handshake executed between a client and a server when a TCP connection is established will be described.
この場合、端末MHからサーバへ最初に送信されたSYNパケットの到着時刻(コネクション生起時刻)t1と、サーバから端末MHへ返信されたSYN+ACKパケットの到着時刻t2との差分(t2-t1)に基づいてサーバ側RTT(往復)遅延が算出される。 In this case, the difference between the arrival time (connection occurrence time) t1 of the SYN packet first transmitted from the terminal MH to the server and the arrival time t2 of the SYN + ACK packet returned from the server to the terminal MH (t2-t1) Based on the above, the server side RTT (round trip) delay is calculated.
また、前記SYN+ACKパケットの到着時刻t2と端末MHからサーバへ最後に送信されたACKパケットの到着時刻t3との差分(t3-t2)に基づいて、クライアント側RTT遅延が算出される。 The client-side RTT delay is calculated based on the difference (t3-t2) between the arrival time t2 of the SYN + ACK packet and the arrival time t3 of the ACK packet last transmitted from the terminal MH to the server.
さらに、前記最初のSYNパケットの到着時刻t1と前記3wayハンドシェーク後に端末MHからサーバへ最初に送信されデータパケットの到着時刻t4との差分(t4-t1)に基づいて、TCP接続遅延が算出される。 Further, the TCP connection delay is calculated based on the difference (t4-t1) between the arrival time t1 of the first SYN packet and the arrival time t4 of the data packet first transmitted from the terminal MH to the server after the 3-way handshake. .
さらに、3wayハンドシェーク後に端末MHから最初に送信されるデータの到着時刻t1からFINまたはRSTパケットの到着時刻t5までの差分(t5-t1)、および当該差分時間内にキャプチャされた送受信データ量に基づいて、TCPコネクションのスループット特性が算出される。 Furthermore, based on the difference (t5-t1) from the arrival time t1 of the first data transmitted from the terminal MH after the 3-way handshake to the arrival time t5 of the FIN or RST packet, and the amount of transmitted / received data captured within the difference time Thus, the throughput characteristic of the TCP connection is calculated.
なお、パケットのキャプチャがコネクションの途中から開始されているような場合には、得られた到着時刻から可能な分析のみが選択的に行われる。すなわち、キャプチャがSYN+ACKパケットから開始されていれば、その到着時刻t2からACKパケットの到着時刻t3までの差分(t3-t2)に基づいて、クライアント側RTT遅延のみが算出される。 When packet capture is started from the middle of the connection, only possible analysis is selectively performed from the obtained arrival time. That is, if the capture is started from the SYN + ACK packet, only the client-side RTT delay is calculated based on the difference (t3-t2) from the arrival time t2 to the arrival time t3 of the ACK packet.
また、前記TCPコネクションのスループット特性やTCP接続所要時間は、クライアント側の遅延のみならずサーバが側の遅延にも依存するので、サーバ側遅延が大きいときに算出されたこれらの特性等は、クライアント側の通信品質を正確に代表できない。したがって、前記サーバ側RTT遅延が所定の閾値を超えているとき、あるいはサーバ側遅延を代表できるデータやACKなどのパケット到着間隔が所定の閾値を越えているときに算出されたスループット特性やTCP接続所要時間は、品質分析の対象から除外することが望ましい。 Further, the throughput characteristics and TCP connection time required for the TCP connection depend not only on the client side delay but also on the server side delay, so these characteristics calculated when the server side delay is large are Cannot accurately represent the communication quality on the other side. Therefore, when the server-side RTT delay exceeds a predetermined threshold, or when the packet arrival interval such as data or ACK that can represent the server-side delay exceeds a predetermined threshold, TCP characteristics and TCP connection It is desirable to exclude the time required from quality analysis.
図5は、HTTPセッションを対象とした品質特性の測定方法を説明するためのシーケンスフローであり、HTTPリクエスト(#1)パケットの到着時刻t1と、このリクエストに対して返信されるHTTPレスポンス(#1)パケットの到着時刻t2との時間差(t2-t1)がHTTPレスポンス遅延とされる。 FIG. 5 is a sequence flow for explaining a method for measuring quality characteristics for an HTTP session. An HTTP request (# 1) packet arrival time t1 and an HTTP response (# 1) The time difference (t2−t1) from the arrival time t2 of the packet is regarded as the HTTP response delay.
また、最初のHTTPリクエスト(#1)パケットの到着時刻t1と最後のHTTPレスポンス(#1)パケットの到着時刻t3との時間差(t3-t1)がHTTP保留時間とされる。 Further, the time difference (t3−t1) between the arrival time t1 of the first HTTP request (# 1) packet and the arrival time t3 of the last HTTP response (# 1) packet is set as the HTTP hold time.
さらに、最初のHTTPレスポンス(#1)パケットの到着時刻t2と最後のHTTPレスポンス(#1)パケットの到着時刻t3との時間差(t2-t1)がHTTPレスポンス保留時間とされ、その間にダウンロードされた総データ量がHTTP通信データ量とされる。 Furthermore, the time difference (t2-t1) between the arrival time t2 of the first HTTP response (# 1) packet and the arrival time t3 of the last HTTP response (# 1) packet is set as the HTTP response hold time and downloaded during that time. The total data amount is the HTTP communication data amount.
さらに、最初のHTTPリクエスト(#2)パケットの到着時刻t4と最後のHTTPリクエスト(#2)パケットの到着時刻t5との時間差(t5-t4)がHTTPリクエスト保留時間とされ、その間のデータ量がHTTPリクエストデータ量とされる。 Furthermore, the time difference (t5-t4) between the arrival time t4 of the first HTTP request (# 2) packet and the arrival time t5 of the last HTTP request (# 2) packet is the HTTP request hold time, and the amount of data between them is The amount of HTTP request data.
本実施形態では、以上のようにして各品質値が求まると、前記通信品質分析部501において、「1.遅延特性」、「2.スループット特性」および「3.終了(諦め)特性」の3項目について、以下の各統計値が算出される。 In the present embodiment, when the respective quality values are obtained as described above, the communication quality analysis unit 501 performs “1. delay characteristics”, “2. throughput characteristics”, and “3. end (giving) characteristics”. The following statistical values are calculated for the items.
1.遅延特性
(1)サーバ/端末側RTTの平均値、標準偏差、最大値、最小値、X%ile値
(2)クライアント/RAN側RTTの平均値、標準偏差、最大値、最小値、X%ile値
(3)TCP接続遅延の平均値、標準偏差、最大値、最小値、X%ile値
(4)HTTPレスポンス遅延の平均値、標準偏差、最大値、最小値、X%ile値
(5)HTTP保留時間の平均値、標準偏差、最大値、最小値、X%ile値
1. Delay characteristics
(1) Server / terminal RTT average, standard deviation, maximum, minimum, X% ile value
(2) Average value, standard deviation, maximum value, minimum value, X% ile value of client / RAN side RTT
(3) TCP connection delay average value, standard deviation, maximum value, minimum value, X% ile value
(4) Average value, standard deviation, maximum value, minimum value, X% ile value of HTTP response delay
(5) Average value, standard deviation, maximum value, minimum value, X% ile value of HTTP hold time
2.スループット特性
(1)ダウンロード(Res)スループット
(2)アップロード(Req)スループット
(3)HTTPセッションのバルク単位でのスループット(HTTPセッションをバルクに集約し、合計データ量÷合計保留時間で算出される。ただし、HTTPセッション毎の生起および終了時刻を基に重複時間を省く処理を実施する。すなわち、実時間の保留時間が算出される)
2. Throughput characteristics
(1) Download (Res) throughput
(2) Upload (Req) throughput
(3) Throughput in bulk of HTTP sessions (calculated by totaling HTTP sessions in bulk and total data divided by total hold time. (That is, the real time hold time is calculated)
3.終了(諦め)特性
(1)リセット発生率(コール・バルク内のTCP Reset(RST)発生数の合計÷集約したTCPコネクション数で算出)
(2)タイムアウト発生率(コール・バルク内のTimeout発生数の合計÷集約したTCPコネクション数で算出)
3. Termination characteristics
(1) Reset occurrence rate (calculated by the total number of TCP Reset (RST) occurrences in the call bulk divided by the total number of TCP connections)
(2) Timeout occurrence rate (calculated as the total number of timeout occurrences in the call bulk divided by the number of aggregated TCP connections)
図6は、前記集約状況分析部502によるバルク集約状況の分析方法を示した図であり、送信元アドレス情報が同一のセッショを対象に、「バルク遷移継続」、「バルク継続回数」、「バルク継続時間」、「コール継続回数」および「コール継続時間」などが求められる。 FIG. 6 is a diagram illustrating a method of analyzing the bulk aggregation status by the aggregation status analysis unit 502. For a session with the same source address information, “bulk transition continuation”, “bulk continuation count”, “bulk” The duration, the number of call durations, the call duration, etc. are required.
「バルク遷移継続」は、コールごとにあるバルクを基点として、次のバルクが同一コール内か否かで決まるフラグ値である。すなわち、各コール内の各バルクに集約されたセッションのうち終了時刻が最も遅いセッションの当該終了時刻と、次のバルクに集約されたセッションのうち開始時刻が最も早いセッションの当該開始時刻との時間差分ΔTが、コール閾値ΔτCall以下であるか否かで決まるフラグ値である。本実施形態では、次のバルクが同一コール内であれば「継続有(=1)」、同一コール内でなければ「継続無(=0)」に設定される。 “Bulk transition continuation” is a flag value determined by whether or not the next bulk is in the same call, with the bulk for each call as a base point. That is, the time between the end time of the session with the latest end time among the sessions aggregated in each bulk in each call and the start time of the session with the earliest start time among the sessions aggregated into the next bulk This is a flag value determined by whether or not the difference ΔT is equal to or less than the call threshold value ΔτCall. In the present embodiment, if the next bulk is in the same call, “continuation is present (= 1)” is set, and if it is not in the same call, “not continued (= 0)” is set.
「バルク継続回数」は、各コール内での各バルクの発生順序を表す序数であり、例えば、あるコール内に10個のバルクが存在する場合、各バルクに対して時系列順で1〜10までの各序数がバルク継続回数として設定される。 “Bulk continuation count” is an ordinal number indicating the order of occurrence of each bulk in each call. For example, when 10 bulks exist in a call, 1 to 10 in time series order for each bulk. Each ordinal number up to is set as the number of bulk continuations.
「バルク継続時間」とは、各コール内での各バルクの発生順の経過時間であり、例えば、あるコール内に10個のバルクが存在する場合、1番目=最初のバルクの開始時刻を基準時刻として、2番目以降に発生した各バルクの開始時刻との差分になる。なお、バルクの発生順番は時系列順なので、それぞれのバルク順番に応じた経過時間は単調増加の時間幅になる。 “Bulk duration” is the elapsed time in the order of occurrence of each bulk within each call. For example, if there are 10 bulks in a call, the first = the start time of the first bulk The time is the difference from the start time of each bulk generated after the second time. Since the generation order of the bulk is chronological order, the elapsed time corresponding to each bulk order has a monotonically increasing time width.
次いで、前記対応関係分析部60による各バルクの集約状況と通信品質との対応付けについて説明する。 Next, the correspondence between the aggregation status of each bulk and the communication quality by the correspondence analysis unit 60 will be described.
本実施形態では、収集された各セッションの通信ログが、通信品質の項目ごとに、その品質値に基づいてグルーピングされ、グループ毎にバルクの集約状況に関する分析結果と対応付けられる。 In the present embodiment, the collected communication logs of each session are grouped for each item of communication quality based on the quality value, and each group is associated with an analysis result regarding the bulk aggregation status.
例えば、通信品質の項目としてWebブラウジング(HTTPセッション)におけるダウンロード(DL)のスループットに着目した場合、全ての通信ログを、そのDLスループットに注目して10kbps程度のレンジでグルーピングする。その結果、例えばスループットが150kbps〜160kbpsの各通信ログは同一グループにグルーピングされ、160kbps〜170kbpsの各通信ログは他の同一グループにグルーピングされる。 For example, when attention is paid to download (DL) throughput in Web browsing (HTTP session) as an item of communication quality, all communication logs are grouped in a range of about 10 kbps, focusing on the DL throughput. As a result, for example, each communication log with a throughput of 150 kbps to 160 kbps is grouped into the same group, and each communication log with 160 kbps to 170 kbps is grouped into another same group.
そして、例えば150kbps〜160kbpsのグループに関して、グループ内のログ数が100個であり、そのうちバルク遷移継続が「1」のログが85個、「0」のログが15個であれば、バルク継続率は0.85とされ、これがスループット150kbps〜160kbps(品質値)に対応したバルク継続率(バルクの集約状況)とされる。 For example, for a group of 150 kbps to 160 kbps, if the number of logs in the group is 100, of which 85 are “1” and 15 are “0”, the bulk continuation rate Is 0.85, and this is the bulk continuation rate (bulk aggregation status) corresponding to the throughput of 150 kbps to 160 kbps (quality value).
そして、このような品質値とバルク集約状況との対応付けを各グループに対して繰り返すことで、図7に示したように、DLスループットとバルク継続率との対応関係が得られる。 Then, by repeating the association between the quality value and the bulk aggregation status for each group, the correspondence between the DL throughput and the bulk continuation rate can be obtained as shown in FIG.
図7によれば、DLスループットとバルク継続率とが有意な相関を示し、DLスループットが190〜200kbpsを示すあたりでバルク継続率が急激に低下している。このことから、ユーザはダウンロード時の通信品質に関して、DLスループットについては190〜200kbpsで反応し、その結果、バルク継続率が低下していることが分かる。 According to FIG. 7, the DL throughput and the bulk continuity rate have a significant correlation, and the bulk continuity rate is drastically decreased at the DL throughput of 190 to 200 kbps. From this, it can be seen that the user responds with DL throughput of 190 to 200 kbps regarding the communication quality at the time of download, and as a result, the bulk continuation rate is reduced.
なお、DLスループットに対してバルク継続率が上記のように特異的に変化するタイミング、すなわち各バルクにおけるセッションの集約状況と当該セッションの通信品質との対応関係が特異的に変化する特異点は、セッションの集約状況(バルク継続率)の一次微分値や二次微分値に基づいて検知できる。 Note that the singular point where the correspondence between the session aggregation status in each bulk and the communication quality of the session specifically changes is as follows. It can be detected based on the first and second derivative values of the session aggregation status (bulk continuation rate).
したがって、WebブラウジングにおけるDLスループットに関しては、約190〜200kbpsがユーザの許容通信品質の閾値、すなわち不満が出始める体感品質の限界値であると推定できる。したがって、通信設備の新設や増設に際しては、DLスループットが190〜200kbpsを下回らないことを条件とすることが望ましいことが判る。 Therefore, with regard to DL throughput in web browsing, it can be estimated that about 190 to 200 kbps is the threshold value of the allowable communication quality of the user, that is, the limit value of the quality of experience at which dissatisfaction starts. Therefore, it can be seen that it is desirable that the DL throughput is not lower than 190 to 200 kbps when newly establishing or adding a communication facility.
なお、図8はWebブラウジングにおけるコンテンツのDLスループットとMOS(平均オピニオン評点:mean opinion score)との関係を示した図であり、ここでも200kbps以下でMOS値が特異的に低下していることから、コンテンツ種別がWebブラウジングのコンテンツであれば、バルク継続率がユーザの主観的な体感品質を代表できていることが判る。換言すれば、図7,8の分析結果およびその相関関係の相似性から、ユーザはDLスループットが190〜200kbpsまで低下すると通信品質に不満を感じ始め、それがユーザの通信行動に反映されて、バルク継続率の低下として客観的に観測できるようになることが判る。 Fig. 8 is a diagram showing the relationship between DL throughput of content and MOS (mean opinion score) in Web browsing. Again, the MOS value is specifically reduced below 200kbps. If the content type is Web browsing content, it can be seen that the bulk continuation rate can represent the subjective experience quality of the user. In other words, from the analysis results of FIGS. 7 and 8 and the similarity of the correlation, the user starts to feel dissatisfied with the communication quality when the DL throughput is reduced to 190 to 200 kbps, which is reflected in the communication behavior of the user, It turns out that it becomes possible to observe objectively as a decrease in the bulk continuation rate.
図9は、ビデオコンテンツのストリーミング再生におけるDLスループットとバルク継続率との対応関係を示した図であり、全ての通信ログを前記と同様に、DLスループットに基づいて所定のレンジごとにグルーピングし、グルーブごとにバルク継続率との関係をプロットして構成されている。 FIG. 9 is a diagram showing a correspondence relationship between DL throughput and bulk continuation rate in streaming playback of video content , and in the same manner as described above, all communication logs are grouped for each predetermined range based on DL throughput, It is configured by plotting the relationship with the bulk continuation rate for each groove.
図9によれば、DLスループットとバルク継続率とが有意な相関を示し、DLスループットが450kbps近傍でバルク継続率が急激に低下しており、ユーザがダウンロードの通信品質に対して不満を感じ始めている様子が読み取れる。したがって、コンテンツ種別がビデオコンテンツであるストリーミング再生におけるDLスループットに関しては450kbps辺りがユーザの許容通信品質の閾値であると推定できる。 According to FIG. 9, the DL throughput and the bulk continuity rate showed a significant correlation, and the DL continuation rate rapidly decreased when the DL throughput was around 450 kbps, and the user began to feel dissatisfied with the communication quality of the download. You can read how you are. Accordingly, it can be estimated that around 450 kbps is the threshold of the allowable communication quality of the user with respect to the DL throughput in streaming playback whose content type is video content .
図10は、HTTPによるWebブラウザ通信(ダウンロード)時のバルク継続回数とHTTP応答遅延との関係を示した図であり、図11は、HTTPによるビデオ配信(ダウンロード)時のバルク継続回数とHTTP応答遅延との関係を示した図である。いずれの図でも、通信品質が良好(HTTP応答遅延が小さい)でなければ、統計的にバルク継続回数が大きくならないことが判る。 FIG. 10 is a diagram showing the relationship between the number of bulk continuations during HTTP Web browser communication (download) and HTTP response delay, and FIG. 11 is the number of bulk continuations during HTTP video distribution (download) and HTTP responses. It is the figure which showed the relationship with a delay. In any of the figures, it can be seen that if the communication quality is not good (HTTP response delay is small), the number of bulk continuations is not statistically increased.
すなわち、図10,11は、通信品質(HTTP応答遅延)が良好な場合は、ユーザの通信行動であるバルク継続回数も増大する一方、通信品質(HTTP応答遅延)が劣悪な場合は、ユーザの通信行動であるバルク継続回数がそれほど大きくならない、ということを示しており、このような結果からも、バルク継続回数と通信品質との関係を分析することにより、ユーザの通信行動が変化するポイントであるユーザの主観的な体感品質を、客観的に分析可能になることが判る。 That is, FIGS. 10 and 11 show that when the communication quality (HTTP response delay) is good, the number of bulk continuations as the user's communication behavior increases, while when the communication quality (HTTP response delay) is poor, It shows that the number of bulk continuations, which is a communication action, does not increase so much, and from these results, it is also possible to analyze the relationship between the number of bulk continuations and the communication quality to change the user's communication behavior. It turns out that the subjective quality of experience of a user can be objectively analyzed.
図12は、Webブライジング(HTTP)におけるTCPコネクションのリセット発生率およびタイムアウト発生率の和とHTTP応答遅延との関係を示した図である。HTTP応答遅延が増加すると各リセット発生率の和も増加していることから、品質が劣化すると通信の途中で発生する「諦め」も増えることが判る。このような結果からも、諦め特性と通信品質との関係を分析することにより、ユーザの通信行動が変化するポイントであるユーザの主観的な体感品質を、客観的に分析可能になることが判る。 FIG. 12 is a diagram showing the relationship between the sum of the TCP connection reset occurrence rate and timeout occurrence rate and HTTP response delay in Web browsing (HTTP). As the HTTP response delay increases, the sum of the reset occurrence rates also increases, so it can be seen that if the quality deteriorates, the “praise” that occurs in the middle of communication also increases. From these results, it can be seen that by analyzing the relationship between compliment characteristics and communication quality, it is possible to objectively analyze the user's subjective experience quality, which is the point at which the user's communication behavior changes. .
次いで、前記図3(a)に関して説明したセッションの集約方法における第1バルク閾値(sec)の設定方法について説明する。 Next, a method for setting the first bulk threshold (sec) in the session aggregation method described with reference to FIG.
図13は、前記第1バルク閾値Δτbulk1ごとに、バルク内HTTPセッション数と分布関数(CDF)との関係を示した図である。図14は、第1バルク閾値Δτbulk1とバルク内HTTPセッション数の平均値との関係を示した図である。図15は、第1バルク閾値とΔτbulk1バルク内HTTPセッション数の平均値の一次微分値および二次微分値との関係を示した図である。 FIG. 13 is a diagram illustrating the relationship between the number of HTTP sessions in the bulk and the distribution function (CDF) for each first bulk threshold Δτbulk1. FIG. 14 is a diagram showing a relationship between the first bulk threshold Δτbulk1 and the average value of the number of HTTP sessions in the bulk. FIG. 15 is a diagram illustrating the relationship between the first bulk threshold and the first and second derivative values of the average value of the number of HTTP sessions in Δτbulk1 bulk.
図16は、前記第1バルク閾値Δτbulk1ごとに、バルク内のHTTPセッション当たりの送受信データサイズとCDFとの関係を示した図である。図17は、第1バルク閾値Δτbulk1とバルク内のHTTPセッション当たりの送受信データサイズの平均値との関係を示した図である。図18は、第1バルク閾値Δτbulk1に対するバルク内のHTTPセッション当たりの送受信データサイズの平均値の一次微分値および二次微分値との関係を示した図である。 FIG. 16 is a diagram showing the relationship between the CDF and the transmission / reception data size per HTTP session in the bulk for each first bulk threshold value Δτbulk1. FIG. 17 is a diagram showing the relationship between the first bulk threshold Δτbulk1 and the average value of the transmission / reception data size per HTTP session in the bulk. FIG. 18 is a diagram illustrating the relationship between the first and second derivative values of the average value of the transmission / reception data size per HTTP session in the bulk with respect to the first bulk threshold Δτbulk1.
図13〜18によれば、第1バルク閾値Δτbulk1の増加に伴う特性増加の傾向が3〜5sec前後で線形性を示して落ち付いており、第1バルク閾値としては3〜5secの範囲が好適であることが判る。ただし、第1バルク閾値Δτbulk1は固定的に設定する必要は必ずしもなく、第1バルク閾値Δτbulk1の増加に伴う特性増加の傾向を適宜に検出し、線形性を示す範囲内で第1バルク閾値Δτbulk1が動的に設定されるようにしても良い。 According to FIGS. 13-18, the tendency of the characteristic increase accompanying increase of 1st bulk threshold value (DELTA) (tau) bulk1 has settled linearly around 3-5 seconds, and the range of 3-5 seconds is suitable as 1st bulk threshold value It turns out that it is. However, the first bulk threshold value Δτbulk1 does not necessarily need to be fixedly set. The tendency of an increase in characteristics accompanying the increase in the first bulk threshold value Δτbulk1 is appropriately detected, and the first bulk threshold value Δτbulk1 is within a range showing linearity. It may be set dynamically.
1…キャプチャ装置,10…パケットキャプチャ部,20…ログ情報管理部,30…トラヒック集約部,40…通信品質計算部,50…分析部,60…対応関係分析部,301…バルク集約部,302…コール集約部,501…通信品質分析部,502…集約状況分析部 DESCRIPTION OF SYMBOLS 1 ... Capture apparatus, 10 ... Packet capture part, 20 ... Log information management part, 30 ... Traffic aggregation part, 40 ... Communication quality calculation part, 50 ... Analysis part, 60 ... Correspondence analysis part, 301 ... Bulk aggregation part, 302 ... Call aggregation unit, 501 ... Communication quality analysis unit, 502 ... Aggregation status analysis unit
Claims (15)
通信端末のトラヒックをネットワーク上でパッシブにキャプチャする手段と、
前記キャプチャされたトラヒックに基づいて、送信元が同一の各セッションをその生起間隔に基づいて時系列で複数のバルクに集約する手段と、
各バルクにおけるセッションの集約状況を分析する手段と、
各バルクに集約されたセッションの通信品質を分析する手段と、
各バルクにおけるセッションの集約状況と当該セッションの通信品質との対応関係を分析する手段と、
前記対応関係の分析の結果を出力する手段とを具備したことを特徴とする通信行動分析装置。 In a communication behavior analysis device that analyzes the relationship between user communication behavior and communication quality with respect to a communication terminal,
Means for passively capturing traffic of communication terminals on the network;
Based on the captured traffic, means for aggregating each session having the same transmission source into a plurality of bulks in time series based on the occurrence interval;
A means of analyzing session aggregation in each bulk;
A means to analyze the communication quality of each bulk aggregated session;
A means for analyzing the correspondence between session aggregation status and communication quality of each session in each bulk;
A communication behavior analysis apparatus comprising: means for outputting a result of the analysis of the correspondence relationship.
前記集約する手段は、ユーザ由来のセッションのみを集約することを特徴とする請求項1ないし8のいずれかに記載の通信行動分析装置。 Further comprising means for determining whether each session is from a user;
The communication behavior analysis apparatus according to claim 1, wherein the aggregation unit aggregates only user-derived sessions.
通信端末のトラヒックをネットワーク上でパッシブにキャプチャし、
前記キャプチャされたトラヒックに基づいて、送信元が同一の各セッションをその生起間隔に基づいて時系列で複数のバルクに集約し、
各バルクにおけるセッションの集約状況を分析し、
各バルクに集約されたセッションの通信品質を分析し、
各バルクにおけるセッションの集約状況と当該セッションの通信品質との対応関係を分析し、
前記対応関係の分析の結果に基づいて、ユーザが許容できる体感品質の限界値を推定することを特徴とするユーザ体感品質推定方法。 In the user experience quality estimation method for analyzing the relationship between the communication behavior of the user with respect to the communication terminal and the communication quality by a computer and estimating the experience quality related to the communication of the user,
Passively capture traffic of communication terminals on the network,
Based on the captured traffic, each session with the same source is aggregated into multiple bulks in time series based on the occurrence interval,
Analyzing the aggregation status of sessions in each bulk,
Analyzing the communication quality of sessions aggregated into each bulk,
Analyzing the correspondence between session aggregation status and communication quality of each session in each bulk,
A user experience quality estimation method characterized by estimating a limit value of the experience quality that a user can accept based on the analysis result of the correspondence relationship.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014073091A JP6347510B2 (en) | 2014-03-31 | 2014-03-31 | Communication behavior analysis apparatus and user experience quality estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014073091A JP6347510B2 (en) | 2014-03-31 | 2014-03-31 | Communication behavior analysis apparatus and user experience quality estimation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015195530A JP2015195530A (en) | 2015-11-05 |
JP6347510B2 true JP6347510B2 (en) | 2018-06-27 |
Family
ID=54434205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014073091A Active JP6347510B2 (en) | 2014-03-31 | 2014-03-31 | Communication behavior analysis apparatus and user experience quality estimation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6347510B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333639B2 (en) * | 2014-06-23 | 2018-05-30 | Kddi株式会社 | Communication behavior analyzer |
JP5944040B1 (en) * | 2015-11-06 | 2016-07-05 | ソフトバンク株式会社 | Relay station classification device, response time deriving device, program, and communication management system |
JP7003909B2 (en) * | 2016-03-16 | 2022-01-21 | 日本電気株式会社 | Communication analysis device, communication analysis method and computer program |
WO2018092698A1 (en) * | 2016-11-15 | 2018-05-24 | 日本電気株式会社 | Communication session log analysis device, method and recording medium |
JP6845187B2 (en) * | 2018-06-18 | 2021-03-17 | 日本電信電話株式会社 | Quality estimation device, quality estimation method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4927180B2 (en) * | 2010-01-06 | 2012-05-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | User waiting time estimation apparatus, user waiting time estimation method, and program |
US8972568B2 (en) * | 2012-02-21 | 2015-03-03 | Telefonaktiebolaget L M Ericsson (Publ) | Quantifying user quality of experience by passive monitoring |
EP2838022B1 (en) * | 2012-03-30 | 2019-12-25 | Nippon Telegraph And Telephone Corporation | User sensory quality estimation device, terminal bottleneck determination device, similar operation extraction device, and methods and programs therefor |
-
2014
- 2014-03-31 JP JP2014073091A patent/JP6347510B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015195530A (en) | 2015-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Flach et al. | An internet-wide analysis of traffic policing | |
CN102752792B (en) | Method, equipment and system for monitoring internet access service quality of mobile terminal | |
EP2530870A1 (en) | Systems and methods for measuring quality of expeience for media streaming | |
JP6347510B2 (en) | Communication behavior analysis apparatus and user experience quality estimation method | |
CN107624233B (en) | VPN transmission tunnel scheduling method and device and VPN client server | |
CN114422451A (en) | A kind of network traffic identification method and related equipment | |
US11159561B2 (en) | Method, apparatus and system for quantifying defense result | |
EP1681799B1 (en) | System and method for measuring end-to-end network delay and user-perspective delay | |
CN106454437B (en) | A kind of streaming media service rate prediction method and device | |
Pan et al. | QoE assessment of encrypted YouTube adaptive streaming for energy saving in Smart Cities | |
Sundaresan et al. | TCP congestion signatures | |
JP5593944B2 (en) | Determination apparatus, determination method, and computer program | |
JP2016127359A (en) | Communication control device | |
JP6033058B2 (en) | Communication path identification device | |
Collange et al. | User impatience and network performance | |
JP6033069B2 (en) | Communication quality estimation device | |
JP5725616B2 (en) | Communication quality measuring method and apparatus | |
JP2013038749A (en) | Method and device of measuring communication quality | |
KR100737678B1 (en) | Latency Analysis Method for Multimedia Streaming Service | |
Koto et al. | Users' reaction to network quality during web browsing on smartphones | |
JP6333639B2 (en) | Communication behavior analyzer | |
JP6508812B2 (en) | Communication behavior analyzer | |
CN104703198B (en) | A kind of determination method and device of end to end network service time delay | |
TW201828660A (en) | Method, apparatus and system for quantifying defense result indicating that the defense result is more accurate since an evaluation and an evaluation index for calculating the defense result of this invention are relatively comprehensive | |
EP3580892B1 (en) | Transport layer monitoring and performance assessment for ott services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160729 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160822 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170705 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6347510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |