CN115119331A - 用于多接入通信量管理的强化学习 - Google Patents
用于多接入通信量管理的强化学习 Download PDFInfo
- Publication number
- CN115119331A CN115119331A CN202210163603.8A CN202210163603A CN115119331A CN 115119331 A CN115119331 A CN 115119331A CN 202210163603 A CN202210163603 A CN 202210163603A CN 115119331 A CN115119331 A CN 115119331A
- Authority
- CN
- China
- Prior art keywords
- network
- edge
- mec
- access
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 224
- 238000010801 machine learning Methods 0.000 claims abstract description 131
- 230000009471 action Effects 0.000 claims description 260
- 230000006870 function Effects 0.000 claims description 256
- 238000005259 measurement Methods 0.000 claims description 177
- 238000004891 communication Methods 0.000 claims description 147
- 230000015654 memory Effects 0.000 claims description 91
- 239000003795 chemical substances by application Substances 0.000 claims description 86
- 238000012549 training Methods 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 67
- 238000009826 distribution Methods 0.000 claims description 62
- 238000004422 calculation algorithm Methods 0.000 claims description 59
- 230000003542 behavioural effect Effects 0.000 claims description 36
- 239000000872 buffer Substances 0.000 claims description 34
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 230000001934 delay Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000015556 catabolic process Effects 0.000 claims description 8
- 238000006731 degradation reaction Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000035508 accumulation Effects 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 35
- 238000007726 management method Methods 0.000 description 201
- 238000003860 storage Methods 0.000 description 82
- 238000012545 processing Methods 0.000 description 77
- 238000005516 engineering process Methods 0.000 description 65
- 230000007246 mechanism Effects 0.000 description 62
- 210000004027 cell Anatomy 0.000 description 61
- 239000008186 active pharmaceutical agent Substances 0.000 description 58
- 230000005540 biological transmission Effects 0.000 description 43
- 230000002776 aggregation Effects 0.000 description 40
- 238000004220 aggregation Methods 0.000 description 40
- 230000001413 cellular effect Effects 0.000 description 30
- 239000013256 coordination polymer Substances 0.000 description 29
- 230000004044 response Effects 0.000 description 28
- 238000012546 transfer Methods 0.000 description 23
- 238000003780 insertion Methods 0.000 description 20
- 230000037431 insertion Effects 0.000 description 20
- 230000009977 dual effect Effects 0.000 description 19
- 238000013507 mapping Methods 0.000 description 19
- 230000006855 networking Effects 0.000 description 19
- 230000006399 behavior Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 17
- 238000013500 data storage Methods 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 17
- 230000000977 initiatory effect Effects 0.000 description 16
- 210000002569 neuron Anatomy 0.000 description 16
- 238000012384 transportation and delivery Methods 0.000 description 15
- 238000001152 differential interference contrast microscopy Methods 0.000 description 14
- 230000032258 transport Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 14
- 238000005192 partition Methods 0.000 description 13
- 230000003993 interaction Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000013468 resource allocation Methods 0.000 description 12
- 230000001960 triggered effect Effects 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 230000018109 developmental process Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 9
- 230000007774 longterm Effects 0.000 description 9
- 230000005012 migration Effects 0.000 description 9
- 238000013508 migration Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002085 persistent effect Effects 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 230000008093 supporting effect Effects 0.000 description 6
- 101150071746 Pbsn gene Proteins 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000013515 script Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005538 encapsulation Methods 0.000 description 4
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000003334 potential effect Effects 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 230000027455 binding Effects 0.000 description 3
- 238000009739 binding Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001816 cooling Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 229920003087 methylethyl cellulose Polymers 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000002747 voluntary effect Effects 0.000 description 3
- 101100408383 Mus musculus Piwil1 gene Proteins 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 206010048669 Terminal state Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000009849 deactivation Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004549 pulsed laser deposition Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000005067 remediation Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- XHSQDZXAVJRBMX-UHFFFAOYSA-N 2-(5,6-dichlorobenzimidazol-1-yl)-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound OC1C(O)C(CO)OC1N1C2=CC(Cl)=C(Cl)C=C2N=C1 XHSQDZXAVJRBMX-UHFFFAOYSA-N 0.000 description 1
- 240000001436 Antirrhinum majus Species 0.000 description 1
- 101000878581 Aplysia californica Feeding circuit activating peptides Proteins 0.000 description 1
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 101100240462 Homo sapiens RASAL2 gene Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000233805 Phoenix Species 0.000 description 1
- 102100035410 Ras GTPase-activating protein nGAP Human genes 0.000 description 1
- 101100328105 Sus scrofa CLCA1 gene Proteins 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000000454 anti-cipatory effect Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000005387 chalcogenide glass Substances 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- JHIVVAPYMSGYDF-UHFFFAOYSA-N cyclohexanone Chemical compound O=C1CCCCC1 JHIVVAPYMSGYDF-UHFFFAOYSA-N 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 208000018334 ectodermal dysplasia, ectrodactyly, and macular dystrophy syndrome Diseases 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012994 industrial processing Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 239000002070 nanowire Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0268—Traffic management, e.g. flow control or congestion control using specific QoS parameters for wireless networks, e.g. QoS class identifier [QCI] or guaranteed bit rate [GBR]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W74/00—Wireless channel access
- H04W74/08—Non-scheduled access, e.g. ALOHA
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0247—Traffic management, e.g. flow control or congestion control based on conditions of the access network or the infrastructure network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
- H04W28/24—Negotiating SLA [Service Level Agreement]; Negotiating QoS [Quality of Service]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及边缘计算环境中的多接入通信量管理，并且具体地涉及用于多接入通信量管理的人工智能(AI)和/或机器学习(ML)技术。提供了用于多接入通信量管理的可缩放的AI/ML架构。还提供了强化学习(RL)和/或深度RL(DRL)方法，这些方法通过与环境进行交互来学习通信量管理和/或分发多接入通信量的策略和/或参数。还提供了用于边缘网络的智能通信量管理的深度情境老虎机RL技术。可描述和/或要求保护其他实施例。
Description
相关申请
本申请要求2021年3月22日提交的美国临时申请第63/164,440号 (“[AD2644-Z]”)、2021年3月23日提交的美国临时申请第63/165,011 (“[AD2794-Z]”)和2021年3月23日提交的美国临时申请第63/165,015 (“[AD5127-Z]”)的优先权，这些临时申请中的每一临时申请的内容通过引用 以其整体合并于此。
技术领域
本文描述的实施例总体上涉及边缘计算、网络通信、通信系统实现 方式以及人工智能(AI)和机器学习(ML)，并且具体地涉及用于管理多接入 通信网络中的通信量的AI/ML技术。
背景技术
多接入技术涉及，例如具有多于一个的无线电接口的用户装备(UE)， 该无线电接口可接入实现不同无线电接入技术(RAT)的多个无线电接入网络 (RAN)。然而，目前缺少的是用于高效管理多接入通信量以满足各种应用的 不同服务质量(QoS)要求的策略。
附图说明
在附图中(这些附图不一定是按比例绘制的)，同样的数字可描述 不同视图中的类似组件。具有不同的字母后缀的相同的数字可表示类似组件的 不同实例。在所附附图的图中通过示例的方式而非限制性地图示出一些实施例， 其中：
图1a、图1b和图1c示出用于多接入通信量管理(DRL-MTM)架构 的示例无模型深度强化学习框架。图2描述了示例协作式多代理DRL。图3示 出示例单个代理DRL架构。
图4描绘了示例基于边缘的多接入通信量管理框架。图5描绘了强 化学习架构的示例性能保证。
图6描绘了智能多接入通信量管理架构。图7描绘了完整的强化学 习和情境老虎机(bandit)范例。图8描绘了深度情境老虎机强化学习框架。 图9描述了示例系统架构。图10a和图10b描述了示例深度情境老虎机强化学 习系统的性能结果。
图11图示出示例边缘计算环境。图12图示出用于边缘计算的边缘 云配置的概览。图13图示出端点、边缘云和云计算环境之间的操作层。图14 图示出用于边缘计算系统中的联网和服务的示例方式。图15图示出在多个边 缘节点和多个租户之间操作的边缘计算系统中的虚拟边缘配置的部署。图16 图示出在边缘计算系统中部署容器的各种计算布置。图17图示出涉及对边缘 计算系统中的应用的移动接入的计算和通信用例。图18图示出MEC系统参考 架构。图19图示出示例MEC服务架构。图20描绘了开放式RAN(O-RAN)系 统架构。图21描绘了图20的O-RAN系统架构的逻辑架构。图22图示出包括 近RT RIC接口的O-RAN架构。图23描绘了用于添加第三方xApp的O-RAN架 构/框架。图24描绘了近RT RIC内部架构。
图25图示出示例软件分发平台。图26和图27描绘了(多个)边 缘计算系统中的各种计算节点的示例组件。
具体实施方式
下列实施例总体上涉及数据处理、服务管理、资源分配、计算管理、 网络通信、应用分区、以及通信系统实现方式，并且具体地涉及用于调整各种 边缘计算设备和实体以动态地支持分布式边缘计算环境中的多种实体(例如， 多个租户、用户、利益相关方、服务实例、应用等)的技术和配置。
1.用于多接入通信量管理的架构
多接入技术被视为第五代(5G)和新兴边缘计算技术的关键。随着 新应用的延迟要求变得更加严格，边缘网络(参见例如图11的边缘网络1135 和/或图12的边缘云1210)将移动成更靠近于无线接入网络(RAN)(参见例 如图11的包括一个或多个NAN 1131-1133的RAN)。许多用户装备(UE)(例 如，图11的UE 1121、1111)可以具有多于一个的无线电接口，并且可以使用 多种类型的RAT(例如，5G/NR、LTE、WiFi等)接入多个RAN。因此，在边缘 计算节点(例如，图11的边缘计算节点1136)处开发智能多接入通信量管理 策略以满足多样化的UE服务质量(QoS)要求(参见例如图11)是至关重要的。
本公开通过利用AI/ML技术的最新发展，为多接入通信量管理提供 可扩展的人工智能(AI)/机器学习(ML)架构实施例和实现方式。关于多接 入通信量管理的先前/现有的解决方案聚已焦于基于模型的解决方案或预定义 的策略。例如，TCP层或应用层方法事先指定诸如多路径TCP(MP-TCP)和快 速UDP(QUIC)的策略。其他解决方案(诸如在2020年12月23日提交的英 特尔的申请第PCT/US2020/066969号(“[AC6833PCT]”)，该申请通过引用 整体结合于此)基于网络效用最大化，网络效用最大化需要RAN知识、通信量 信息等。然而，先前/现有的解决方案依赖于准确的数学模型或预先定义的控 制策略。相比之下，本文讨论的实现方式利用AI/ML的最新发展来开发一种仅 仅通过与环境交互和收集运行时的统计信息来学习最佳策略，而不依赖于任何 优化模型或预先定义的策略的无模型的方法。此外，一些现有技术涉及预定的 通信量路由规则，这些规则不依赖于RAN观察(例如，由3GPP定义的基于优 先级和主动待机的接入通信量定向、切换和拆分(ATSSS)规则)。在本公开中，RAN观察(以及UE 101和NF观察)被并入通信量管理决策过程。
在本公开中，为一个或多个边缘计算节点处的多接入通信量管理提 供了深度强化学习(DRL)架构。具体而言，本文讨论了用于解决DRL的可扩 展性问题，以处置网络中任意数量的活动的多接入UE或流的两种不同的架构。 这两种架构包括具有长短期记忆(LSTM)的单代理DRL和多代理DRL。下文还 讨论了一种检测机制，该机制用于触发特定的边缘节点(例如，图11的UE 1111、 1121等)以使用DRL框架执行通信量定向/拆分更新。
本文讨论的AI/ML通信量管理技术可用于实现可潜在地提供前所未 有的QoS改善和增强的边缘/云RAN智能。本文实施例的具体实现方式可以由 各种标准和/或规范(诸如3GPP、ETSI MEC、开放RAN(O-RAN)联盟、OpenNESS 等)提供。例如，边缘/云服务器与RAN节点之间的消息格式和消息交换信令 可以在此类标准/规范中指定。
图1a、图1b和图1c描绘了用于多接入通信量管理(DRL-MTM)100 的无模型深度强化学习框架。在图1a中，边缘计算节点140充当或操作DRL-MTM 代理，边缘计算节点140在本文中可称为“代理140”。边缘计算节点140操 作智能多接入通信量管理实体/元件(iMTM)114，以用于执行本文讨论的各种 多接入管理任务/操作。边缘计算节点140可以与图11的边缘计算节点1136 相对应。作为示例，边缘计算节点140可以是多接入边缘计算(MEC)服务器/主 机(例如，图18的MEC主机1802)、O-RAN RAN智能控制器(RIC)(例如，图20 的非RTRIC 2012和/或近RT RIC 2014等)，和/或一些其他边缘计算节点(诸 如本文讨论的那些边缘计算节点)。
代理140与之交互的环境是多接入网络100x，其中存在具有多个无 线电接口的UE101能够与多个RAN连接，多个RAN包括具有相应的覆盖区域 133-1、133-2和133-3(统称为“覆盖区域133”或“覆盖区域133”)的一个 或多个RAN节点130-1、130-2和130-3(统称为“RAN节点130”或“RAN 130”)， 这些RAN节点中的一个或多个利用不同无线电接入技术(RAT)。图1a中的RAN 节点130可以与下文讨论的图11的NAN 1131-1133中的一个或多个相对应， 并且UE 101可以与图11的UE 1121a和1121b和/或IoT设备1110相对应。
对于RL，在一事件内，代理140面临其环境100x的状态s。基于 环境100x的当前状态s，代理140选择动作a。在选择动作a之后，代理140 获得新的(下一个)状态s'。下一个状态s'取决于所选择的动作a和基于所执 行的动作a的对环境100x的观察。动作a是代理140的方法、操作、任务等， 其允许代理140与环境100x交互并改变环境100x，并且因此在状态s之间转 移。在图1a中，代理140基于来自UE 101和/或RAN/RAN节点130的关于环 境100x的观察来获得或标识状态s，并基于状态s来确定动作a。例如，代理 140将基于各种测量和/或情境数据来获得观察数据，基于所获得的观察数据来 确定环境的状态(状态s)，并且随后基于状态s来选择/确定操作参数和/或通 信量管理策略(动作a)。在实现和/或执行动作a之后，代理140将获得新的观 察数据(下一状态s')，并且随后选择新的操作参数和/或流量管理策略(例 如，下一动作a')。在一些实现方式中，在初始状态期间，常规的预定规则可用于通信量管理，并且RL模型可在稍后阶段被应用(例如，在收集到初始的 一批观察数据之后)。
在图1a的示例中，示出了代理140从一个或多个RAN/RAN节点130 和一个或多个UE101收集观察数据。附加地或替代地，核心网络功能可向代 理140提供性能指标，该性能指标可用于确定环境100x的状态。除了从UE 101、 RAN/RAN节点130和核心网络功能收集观察数据之外，代理140可以从与其他RAN/RAN节点130(未被图1a示出)位于同一位置的其他边缘计算节点140收集 观察数据以扩大通信量管理学习的覆盖区域。此类收集对于多个边缘计算节点 140之间的更广泛覆盖区域的联合通信量管理可能是有用的，其中每个参与的边缘计算节点140可以再次共享其观察数据以用于RL学习/推断确定的未来事 件、时期或迭代。在这些实现方式中，代理140和/或表示网络(例如，图3的 表示网络301、图9的表示网络901等)可以利用从其他UE 101、RAN/RAN节点 130和由其他边缘计算节点140覆盖/服务的核心网络功能获得的观察数据来 进行训练。附加地或替代地，各种边缘计算节点140可以共享来自其代理140 和/或表示网络(例如，图3的表示网络301、图9的表示网络901等)的特征输 出，并且可以训练全局代理或表示网络以提取来自由不同边缘计算节点140服 务的相应UE 101、RAN/RAN节点130等的影响。
附加地，环境100x中每个元件/实体的行为(例如，通信量管理策 略、操作等)是代理140学习导航的环境100x的一部分。为了改善其性能， 将关于代理140是否实现其目标(例如，改善网络状况、节约网络和/或计算 资源等)的反馈提供给代理140；该反馈是以奖励r的形式，该奖励r是表示 达到目标的数字得分。由代理140执行的每个动作都会得到奖励r。代理140 改变其行为以增加其积累的奖励量。一个或多个状态、一个或多个动作以及一 个或多个奖励的集合可被称为经验数据。单个数据结构可以用来包含经验数据 (例如，诸如下文讨论的经验缓冲器或重放缓冲器)。
在一些实现方式中，选择哪种动作的决策是基于策略π，策略π提 供关于在某个状态下采取(多个)最优动作的指导，其目的在于使总奖励最大 化。每个状态均与价值函数V(s)相关联，该价值函数V(s)预测了在给定状态下 通过采取对应的策略可以接收到的预期未来奖励量。动作的“回报”是代理在 执行该动作之后可能获得的未来奖励。未来奖励或回报可以被计算为在未来折 扣奖励的总和。最优价值函数产生最大的回报，并且最优策略实现了最优价值 函数。在一些实现方式中，策略π是从状态s到给定该状态s的情况下选择每个可能动作a的一个或多个概率的映射。奖励r是由代理140从环境中接收的、 作为对代理140的动作a的直接响应的数字值。代理140试图最大化其在某一 时期或事件(事件是初始状态与终端状态之间的所有状态)期间接收到的总奖 励，并且因此奖励r是代理140以期望的方式进行动作所需的动机。所有动作 都会得到奖励r，这些奖励大致可以分为三种类型，包括强调所期望的动作的 正奖励、不强调特定动作的负奖励，以及指示中立动作的零奖励。
动作a的执行涉及指示UE 101和/或RAN/RAN节点130执行各种动 作/任务/操作。基于这些动作/任务/操作，由UE 101和/或RAN/RAN节点130 向代理140提供基于观察的新状态s’。观察可以是各种类型的数据，诸如网 络相关数据、信号测量等，和/或诸如本文讨论的各种数据。
参考图1b，代理140(或iMTM 114)负责基于从环境100x(状态s)收 集到的观察来决定多接入环境100x中的各个多接入UE 101和/或RAN/RAN节 点130的通信量定向/拆分策略(例如，动作a)。在执行由代理140推荐的通信 量定向/拆分策略(例如，动作a)之后，可以从环境100x中收集新的观察(状态 s或状态s')，并且可以根据设计的奖励函数来计算奖励r。在一些实现方式中， 奖励函数可以是目标函数。在一些实施例中，奖励函数可以使用奖励机器(RM) 生成(RM将环境的抽象描述作为输入，并输出一个或多个奖励函数)。奖励r 可以由来自环境100x的一个或多个网络元件提供，由边缘计算节点140生成， 和/或由一些其他元件/实体提供。
深度神经网络(DNN)100b可被用作代理140(或iMTM 114)的人 工大脑，以处置非常大的和复杂的观察空间。DNN 100b确定各个多接入UE 101 和/或RAN/RAN节点130的通信量定向/拆分策略(例如，动作a)。DRL-MTM 100(或DNN 100b)根据运行时的统计信息并在不依赖于任何优化模型或预定义 的策略的情况下学习选择最佳或最优的通信量管理策略。通信量管理相关的动 作空间a的示例可以包括通信量定向(例如，选择通过其来路由通信量的RAT)、 通信量拆分(例如，跨多个RAT拆分通信量)和/或通信量共享(例如，通过 同一链路/信道发送来自多个不同流的通信量)。在一些实现方式中，通信量 共享策略可能涉及将一个无线电链路定义为默认链路/连接，以支持多个用户 和多个不同通信量流。在一些实现方式中，(例如，用于提供奖励r的)奖励函 数可以被实现为网络QoS目标(例如，网络吞吐量、分组延迟、抖动、α-公平 等)的效用函数。在此，假定代理140使用合适的(或最优的)策略π进行动作， 效用函数产生一效用值，该效用值表示在某个状态s中采取动作a的预期即时 奖励r，加上在代理140寿命的其余部分内的长期奖励的总和。在一个实现方 式中，奖励被计算为来自所有UE 101的QoS测量的函数，该函数可以使用奖 励函数(RF1)来表示，并且在时间t的用户i的每个用户效用函数U(i,t)的示例 可以被表示为效用函数(UF1)：
rt＝U(i，t) (RF1)
长期奖励可以通过将一段时间内(或整个事件)产生的所有奖励进 行求和来计算。附加地或替代地，对于观察到的状态s指示较差通信量性能的 情况，可以定义当前ML模型的性能阈值。例如，如果观察到的性能低于阈值， 可将提供相对良好性能的先前的ML模型或基于模型的通信量管理算法交换成 用于当前的ML模型。下文将讨论DRL-MTM架构100a中的观察空间、动作空间 和(多个)奖励。
图1c图示出可与图1b的DNN 100b相对应的示例人工神经网络(ANN) 100c。附加地或替代地，ANN 100c可以适于由本文讨论的各种实现方式的由硬 件加速器等部分地实现的计算系统(或子系统)中的一者或多者使用。ANN 100c 可以是多层前馈神经网络(FNN)，包括输入层Lx、一个或多个隐藏层La、Lb和 Lc，以及输出层Ly(其中a、b、c、x和y可以是数字)。附加地或替代地，ANN 100c可以是其他类型的拓扑(或拓扑的组合)，诸如卷积NN(CNN)、循环NN(RNN)、 长短期记忆(LSTM)算法、深度CNN(DCN)、去卷积NN(DNN)、门控循环单元(GRU)、深度信念NN、前馈NN(FFN)、深度FNN(DFF)、深度堆叠网络、马尔可夫链、感 知NN、贝叶斯网络(BN)、动态BN(DBN)、线性动态系统(LDS)、切换LDS(SLDS) 等。在一个示例实现方式中，ANN 100c是DRL代理的神经网络(例如，DNN 100b 和/或iMTM 114)，该神经网络被用作一个或多个函数近似器。
每个层L包括一个或多个神经元110c(注意，为了简洁起见，图 lc中未标注所有神经元110c)。神经元110c也可以被称为节点110c、处理元 件(PE)110c等。每个神经元110c具有一个或多个输入，并产生单个输出， 该单个输出可以被发送到其他多个神经元110c(输入和输出可以被称为“信 号”)。输入可以是外部数据样本的特征值(例如，输入变量xi)，或者它们 可以是其他神经元110c的输出。最终输出神经元110c的输出(例如，输出变 量yj)完成所期望的/所配置的任务。神经元110c和边缘也可以具有随着学习 进行而调整的权重。权重增加或减少连接处的信号强度。神经元110c具有阈 值，使得仅当聚合信号超过该阈值时，才会发送信号。神经元110c可以聚合 或分组成一个或多个层L，其中不同的层L可以对其输入执行不同的变换。
信号可能在多次遍历层La、Lb和Lc之后从第一层(输入层L1)) 行进到最后层(输出层Ly)。在图1c中，输入层La接收输入变量xi的数据(其 中i＝1,…,p，其中p是数字)。隐藏层La、Lb和Lc处理输入xi，并且最终， 输出层Ly提供输出变量yj(其中1,…,p'，其中p'是与p相同或不同的数字)。 在图1c的示例中，为了简化说明，在ANN100c中仅存在三个隐藏层La、Lb和 Lc，然而，ANN100c可以包括比所示出的更多(或更少)的隐藏层La、Lb和Lc。 输出变量yj可以是确定、推断、预测和/或评定的形式。输入变量xi可以设置 为包含相关数据(例如，观察值、ML特征等)的向量。附加地或替代地，输出 变量yj可以被设置为包含相关数据的向量(例如，确定、推断、预测、评定等)。
通常，神经网络具有固定的输入和输出维度。在多接入网络中，具 有(多个)活动传输的UE 101的数量和/或用于不同QoS要求的通信量流的数 量会随时间变化。如果DRL-MTM被实现为神经网络，该神经网络的输入和输出 维度取决于活动UE 101或流的数量，那么当活动UE 101或流的数量改变时， 针对特定数量的活动UE 101或流设计的神经网络不能被使用。在此类情况下， 将必须以完全不同的尺寸从头开始重新训练神经网络，或者可以针对大量的UE 101或流设计神经网络，并且如果UE 101或流的实际数量小于神经网络尺寸， 则可以对输入进行零填充。然而，这些策略不太能缩放以处理不同的无线网络 尺寸。下文讨论了两种可缩放的DRL-MTM架构，以适应现实世界的动态用户/UE 101移动以及通信量流建立和终止。这些可缩放的DRL-MTM架构包括协作式多 代理DRL(参见例如，图2)和单个代理DRL(参见例如，图3)。这些架构中 的任何一个均可以使用前面讨论的ANN 100c的一些或所有方面。
1.1.协作式多代理DRL
图2示出根据各个实施例的示例协作式多代理DRL架构200。在架 构200中，每个多接入UE 101被配置为代理，并且在该实现方式中，这些代 理中的每一个代理可以被称为“多代理101”。一些或所有多代理101与环境100x交互，以收集观察数据和/或运行时的统计信息。在一些实现方式中，单 个多代理101确定环境100x的状态。在其他实现方式中，观察和/或运行时统 计信息被发送到确定环境100x的状态的协调方实体210。协调方实体210被用作一个或多个边缘计算节点和/或RIC(例如，边缘计算节点140)处的集中 式训练引擎或主机。网络参数215(例如，来自核心网络或一个或多个网络功能 (NF))也可由协调方210用于环境100x的状态。网络参数215可以是各种性能 指标，诸如本文所讨论的那些性能指标。这些状态被聚集在中央训练引擎210 处，并且奖励在多代理101之间被共享。
在跨所有参与的多代理101共享团队奖励的情况下，协调方210可 以集中地训练公共模型(例如，ANN 100c)并将其部署到一个或多个多代理101。 然后，多代理101通过根据其来自与环境100x交互的各个观察独立地预测通 信量定向或拆分比率，基于所部署的模型来导出动作。中央训练引擎210将训 练模型(例如，更新权重)，并且经训练的模型将被部署到参与的多代理101。 在状态由各个多代理101确定的情况下，所以每个多代理101仅能基于其自己 的所观察的状态使用部署的模型来确定动作。此类架构200允许集中式训练和 分布式推断。
图2还示出了示例协作式多代理DRL过程220，该过程从操作221 处开始，在操作221处，每个UE 101从环境中收集观察，这些观察被用于RL 代理的状态输入和奖励计算。在操作222处，各个UE 101向中央协调方210 报告它们的观察和其采取的动作。在操作223处，中央协调方210基于由UE 101 的一些或所有UE 101报告的观察和动作来执行集中式训练。对于RL模型更新， 由协调方210基于收集到的观察来计算集中式奖励。在操作224处，协调方210 可以将经更新的AI/ML模型部署到一些代理或所有代理(例如，UE 101)。在 一些实现方式中，一旦经更新的模型通过某些验证/测试标准，就部署经更新 模型。在操作225处，UE 101将其本地模型更新为由协调方210部署的最新 AI/ML模型。UE 101根据由AI/ML模型基于(多个)当前观察计算的策略执行 通信量定向/拆分动作。在操作225之后，可以通过循环回到操作221而重复 该过程。
在一些实现方式中，协作式多代理DRL机制允许代理彼此协作，而 每个代理140仅确定针对一个UE 101的通信量管理策略。在一些实现方式中， 多个代理可以共同位于一个UE 101或一个边缘计算节点140处，以确定针对 多于一个UE 101的通信量管理策略。
1.2.具有可变输入维度的单个代理DRL
图3示出示例单个代理DRL架构300。在该实施例中，单个代理140 由边缘计算节点和/或RIC(例如，边缘计算节点140)实现。代理140从RAN 节点130和/或直接从一个或多个UE 101收集RAN观察。为了克服前面讨论的 固定神经网络输入维度问题，本文的实施例利用RNN采取具有可变尺寸的输入 来学习一些或所有活动的UE 101和/或流及其动态的表示。RNN具有可以表示 情境信息的内部状态。RNN将与过去输入有关的信息保留长达某个时间量，该 时间量不是先验固定的，而是取决于RNN的权重和输入数据。
在该示例中，RNN包括表示网络301(也被称为“特征提取网络301”， “特征学习网络301”等)，行为方网络303，和评论方网络305。表示网络 301从原始数据(例如，收集到的观察数据)中发现特征检测或分类所需的表 示。行为方网络303和评论方网络305实现行为方-评论方学习。行为方-评论 方学习是其中代理140同时学习策略函数(行为方网络303)和价值函数(评 论方网络305)的RL技术。策略函数(行为方网络303)是具有一个或多个可调整参数的决策实体，并且价值函数(评论方网络305)评估所确定的动作a， 以产生反馈来帮助改善策略函数(行为方网络303)的训练过程。在DRL中， 策略函数和/或价值函数由相应的多层神经网络计算。DNN的独立层结构(参见 例如，图1c的ANN 100c)允许通过反向传播进行梯度计算。在RL的情境中， 反向传播是指链式规则的计算实现方式，其中算法借助于后向传递来确定相关 的偏导数。在实施例中，网络301、303和305中的每一者均可以是神经网络， 诸如图1c的ANN 100c。
行为方网络303和评论方网络305两者都计算当前状态的动作预测， 并每个时间步长生成时间差(TD)误差信号。行为方网络303的输入是当前状 态(其是由表示网络301产生的表示)，并且行为方网络303输出表示从动作空 间(例如，要采取的潜在动作集合)选择的动作的值。对评论方网络305的输入 是当前状态(其是由表示网络301产生的表示)，并且评论方网络305输出反 馈或预测动作的近似。该反馈可以是等级、排名、程度、评级、质量或指示所 预测的动作相对于其他潜在动作的适当性或优越性的一些其他值。该反馈可以 是来自状态值函数(例如，V(s))的状态值或来自Q值函数(例如，Q(s,a))的 质量值(“Q值”或“动作值”)。附加地或替代地，评论方网络305输出各种动 作上的概率分布，以及来自当前位置的预期回报。附加地或替代地，评论方网 络305输出每个状态-动作对的一个或多个值。在任何一种情况下，行为方网 络303进而试图基于由评论方网络305提供的近似来改善其策略。换句话说， 行为方网络303确定动作a，并且评论方网络305评估动作a并确定在动作确 定/学习过程中要做出的调整。
在一些实现方式中，行为方网络303和/或评论方网络305的学习 方法是策略梯度学习方法，诸如，例如交叉熵损失函数、蒙特卡洛策略梯度、 有限水平线MDP、无限水平线平均奖励、无限水平线折扣奖励、确定性策略梯 度(DPG)、深度DPG(DDPG)、双延迟DPG(TD3)等。附加地或替代地，评 论方网络305使用函数近似或量化技术执行Q-学习或深度Q-学习。当评论方 网络305充当函数近似器时，它试图对由行为方网络303使用的策略的价值函 数进行近似。当评论方网络305使用量化技术时，它预测使用特定策略产生的 奖励值。
在图3的示例中，RNN包括一个或多个长短期记忆(LSTM)网络。 LSTM是一种能够学习序列预测问题中的顺序依赖关系的RNN。表示网络301 中的LSTM层(也称为“LSTM层301”)用作抽象出由活动的UE 101和/或单 个流贡献的影响的特征提取层。LSTM层301包括LSTM-1到LSTM-N(其中N是 数字)，这些LSTM层中的每一个LSTM层将状态作为输入(例如，状态
到状态 
其中
是时间t的状态)，并输出相应的特征(例如，特征
到特征
其中
是时间t的特征和/或在状态
下选择动作
的学习的偏好)。LSTM 层301的输出(例如，特征
到
)被输入到策略梯度RL框架中的行为方网 络303和评论方网络305。
(多个)附加的RNN层(例如，(多个)LSTM层)可以被添加到行 为方网络303和评论方网络305中，以供策略梯度RL框架学习测量序列相关 性并将其并入以用于决策。例如，所学习的测量序列相关性可以被行为方网 络303用来更好地确定动作，并且所学习的测量序列相关性可以被评论方网络 305用来更好地确定反馈。策略梯度方法涉及直接建模和优化策略π。策略梯 度方法提供了用于估计移动一个或多个权重的方向，以便使代理140更好地执 行其(多个)任务的方案。作为随机地移动每个权重的替代，经验数据被分析 以猜测是增加还是减少特定的权重将会更好。在该情况下，策略梯度可以指示 是否调整分配给某些通信量管理策略的权重，例如，针对特定类型的数据(或 QoS要求)等增加或减少分配给各个链路的权重。
在一些实现方式中，行为方网络303的LSTM(也被称为“LSTM层303”) 基于状态(包括状态s1至sx，其中x是数字)和/或来自表示网络301的表示来 确定动作A(包括动作A1至Ay，其中y是数字)。在一些实现方式中，评论方网 络305的LSTM(也被称为“LSTM层305”)基于使用状态(包括状态s1到sx)和动 作(包括动作a1到az，其中z是数字)作为输入的Q函数(例如，Q(s,a))来确 定质量值(或“Q值”)。Q值是对假设代理140处于状态s并执行动作a，并且 随后遵循某个策略π(也被称为“一个决策规则π”或“多个决策规则π”)继 续进行直到事件结束的情况下的总预期奖励r的测量。评论方网络305可以使 用函数近似或量化技术执行Q-学习或深度Q-学习。LSTM层305基于Q值产生 策略梯度，并将策略梯度提供给行为方网络303，然后将其用于产生未来动作。
在图3中，在每个事件或时期中，仅一个目标UE 101(或目标流) 被触发以得到动作更新。活动的UE 101(或流)的观察信息被用于LSTM层301， 以学习当前环境动态的表示。代理140将所学习的表示和目标UE 101的(或 目标流的)观察组合为到行为方网络303和评论方网络305的输入，使用策略 梯度框架来训练神经网络303和305，以及得出动作并且针对目标UE 101(或 目标流)更新通信量定向/(多个)拆分规则。
附加地或替代地，RL模型和/或代理140可以分布在多个边缘计算 节点140之间，以用于分布式训练和/或推断确定。例如，训练的第一部分可 以在第一边缘计算节点140上完成，训练的第二部分可以在第二边缘计算节点 140上完成，依此类推。三种类型的分布式训练可以部署在多个边缘计算节点 140之间。第一分布式训练实现方式涉及使数据分区和/或并行化，并在相应的 边缘计算节点140之间分发不同的经分区的/经并行化的数据集合，并且RL模 型被托管在单个边缘计算节点140中。例如，从不同的UE 101、RAN节点130 等收集到的观察数据可以被分区成数据踪迹子集，并且一个边缘计算节点140 基于其数据踪迹集来更新ML模型；然后，由边缘计算节点140实现的一个中 央训练引擎可以从多个边缘计算节点140聚集经更新的模型或梯度更新以执行 全局模型更新。第二分布式训练实现方式涉及使RL模型并行化和在不同的边 缘计算节点140之间分布经并行化的RL模型。例如，RL模型的不同阶段可以 在不同的边缘计算节点140中运行。第三分布式训练实现方式是一种混合方法， 该方法包括第一分布式训练实现方式和第二分布式训练实现方式两者。此外， 如果训练是在多个边缘计算节点140之间完成的，那么在设计数据和/或模型 并行/分区方案时应该考虑潜在的等待时间。
1.3.观察数据和用于模型更新的触发机制
如前所述，在图1a-3中，代理140基于来自UE 101和/或RAN/RAN 节点130的观察来获得或确定状态s，并基于状态s来确定动作a。从环境100x 发送到(例如，由一个或多个边缘计算节点140和/或云计算系统/服务操作的) 训练引擎的观察(例如，图1a-图3中的状态s、s’)的示例可以包括一个或多 个其他测量，诸如以下各项中的任一项：本文讨论的那些测量、应用需求、操 作参数(例如，UE 101和/或RAN 130的操作信息)、情境信息、UE 101和/或RAN 130的硬件配置、资源使用(在特定设备和/或网络/无线电资源处)， 和/或任何其他合适的观察或方面。
对于架构200和300，可以采用用于触发某些UE 101的通信量管理 策略更新的机制。可以使用各种观察和/或测量来检测需要被触发用于策略更 新的UE 101。这些检测技术可以在边缘计算节点140或在NAN 130处完成，以 触发合格的和/或所选择的UE 101的通信量管理策略更新。
在一些实施例中，出于这些目的使用两种测量反馈：每个UE测量/ 反馈、每个NAN测量/反馈(例如，中央单元(CU)、分布式单元(DU)、远程单元 (RU)(或远程单元(RRU))、基站(例如，eNB、gNB等)、接入点等)。
每个UE测量/反馈的示例包括：各种类型的延迟(例如，分组延迟 等)，包括平均延迟、延迟变化等；分组丢失率；分组丢弃率；PHY速率；有 效吞吐量(goodput)；UE吞吐量(例如，NAN 130中的平均DL UE吞吐量、 NAN 130中的平均UL UE吞吐量、NAN 130中的DL UE吞吐量分布、NAN 130 中的UL UE吞吐量分布、NAN 130中不受限制的DL UE数据量百分比、NAN130 中不受限制的UL UE数据量百分比等)；抖动；α公平性(“α公平性”)； 信道质量指标(CQI)相关测量；调制编码方案(MCS)相关测量；等等。基于 每个UE的测量，如果QoS目标在某个时间段内没有相对一致地被满足(例如， 某个UE 101的分组延迟在10s时段内违反要求)，则UE 101将被触发以用于 通信量管理策略更新。该更新规则还可以计及多个度量，诸如高延迟、高分组 丢失率等。
每个NAN测量的示例包括物理资源块(PRB)利用率、单元吞吐量、 每个NAN的无线电利用率水平(例如物理无线电资源利用率等)、分组延迟、数 据量测量、CQI相关测量、MCS相关测量等。以基于NAN的测量为基础，如果 NAN 130(例如DU等)持续经历特定状况(诸如，例如高PRB利用水平、低吞吐 量等)，则可以触发属于同一NAN 130(例如DU等)(或由同一NAN 130服务) 的一组UE 101以用于策略更新。
每个UE和/或每个NAN测量的分组延迟的示例包括延迟DL空中接 口的分布(例如，在下行链路方向上通过空中接口进行分组传输所花费的时间 的分布)；空中接口上的平均延迟UL(例如，上行链路上的平均(算术平均) 空中分组延迟)；UL中的平均RLC分组延迟(例如，上行链路上的平均(算术 平均)RLC分组延迟，其可能是gNB-DU内的延迟)；UL中的平均PDCP重排序 延迟(例如，上行链路上的平均(算术平均)PDCP重排序延迟，其可能是 gNB-CU-UP内的延迟)；NG-RAN与UE之间的DL延迟的分布(例如，NG-RAN 与UE之间的DL分组延迟的分布，该延迟是在NG-RAN中产生的延迟(包括在 gNB-CU-UP处、在F1-U上和在gNB-DU上的延迟)和Uu接口上的延迟)；NG-RAN 与UE之间的UL延迟的分布(例如，NG-RAN与UE之间的UL分组延迟的分布， 该延迟是在NG-RAN中产生的延迟(包括在CU-UP处、在F1-U上和在DU上的延迟)和Uu接口上的延迟)；NG-RAN和PDU会话锚(PSA)UPF之间的DL分 组延迟；CU-UP中的平均延迟DL(例如，对于所有PDCP分组，在gNB-CU-UP 内下行链路上的平均(算术平均)PDCPSDU延迟)；F1-U上的平均延迟DL(例 如，F1-U接口上的平均(算术平均)GTP分组延迟DL)；gNB-DU上的平均延 迟DL(例如，对于所有RLC分组的初始传输，在gNB-DU内下行链路上的平均 (算术平均)RLC SDU延迟)；CU-UP中的延迟DL的分布(例如，对于所有PDCP 分组，在gNB-CU-UP内下行链路上的PDCP SDU延迟的分布)；F1-U上的延迟 DL的分布(例如，在F1-U接口上的GTP分组延迟DL的分布)；在gNB-DU中 的延迟DL的分布(例如，对于所有RLC分组的初始传输，在gNB-DU内的下行 链路上的RLC SDU延迟的分布)；等等。
每个UE和/或每个NAN测量的分组丢失率测量的示例包括UL PDCP SDU丢失率(例如,在gNB-CU-UP处未成功接收到的PDCP SDU分组的一小部分； UL分组丢失的测量，包括空中接口中、gNB-CU中和F1-U接口上的任何分组丢 失)；UL F1-U分组丢失率(例如，在gNB-CU-UP处未成功接收到的PDCP SDU 分组的一小部分。它是对F1-U接口上的UL分组丢失率的测量；DL F1-U分组 丢失率(例如，在gNB-DU处未成功接收到的PDCP SDU分组的部分)；等等。
每个UE和/或每个NAN测量的分组丢弃率测量的示例包括 gNB-CU-UP中的DL PDCPSDU丢弃率(例如，由于gNB-CU-UP中的高通信量负 荷、通信量管理等而在下行链路上被丢弃的PDCP SDU分组的一小部分)；gNB-DU 中的DL分组丢弃率(例如，由于gNB-DU中的高通信量负荷、通信量管理等而 在下行链路上被丢弃的RLC SDU分组的一小部分)；等等。
每个UE和/或每个NAN测量的数据量测量的示例包括DL PDCP PDU 数据量(例如，在DL中从CU递送到DU的数据量(PDCP PDU位的量))；UL PDCP PDU数据量(例如，在UL中从DU递送到CU的数据量(PDCP PDU位的量))； DL PDCP SDU数据量(例如，在DL中被递送到PDCP层的数据量(PDCP-SDU位 的量)；和/或每个接口的UL PDCP SDU数据量(例如，在UL中从DU(F1-U 接口)、从外部CU-UP(Xn-U接口)和从外部eNB(X2-U接口)递送到CU-UP 的数据量(PDCP SDU位的量)。
每个UE和/或每个NAN测量的CQI相关测量的示例包括宽带CQI分 布(例如，由蜂窝小区133中的UE 101报告的宽带CQI的分布)。由UE 101 报告的CQI的测量是反映RF信号质量和服务质量的有用度量。每个UE和/或 每个NAN测量的MCS相关测量的示例包括物理下行链路共享信道(PDSCH) 中的MCS分布(例如，由NG-RAN为PDSCH RB调度的MCS的分布)；物 理上行链路共享信道(PUSCH)中的MCS分布(例如，由NG-RAN为PUSCH RB调度的MCS的分布)；用于MU-MIMO的PDSCH MCS分布(例如，由 MU-MIMO场景中NG-RAN为PDSCH RB调度的MCS的分布)；和/或用于 MU-MIMO的PUSCH MCS分布(例如，由MU-MIMO场景中的NG-RAN为 PUSCH RB调度的MCS的分布)。附加地或替代地，可以报告其他信道状态 信息(CSI)(诸如，例如CQI、预编码矩阵指标(PMI)、CSI-RS资源指标(CRI)、 SS/PBCH块资源指标(SSBRI)、层指标(LI)、排名指标(RI)、L1-RSRP和 /或L1-SINR。
附加地或者替代地，用于观察和/或策略更新触发的测量可以包括 以下测量中的一个或多个测量：与数据无线电承载(DRB)相关的测量(例如， 尝试建立的DRB的数量、成功建立的DRB的数量、释放的活动DRB的数量、DRB 的会话内活动时间、尝试恢复的DRB的数量、成功恢复的DRB的数量等)；与 无线电资源控制(RRC)相关的测量(例如，RRC连接的平均数，RRC连接的最 大数，存储的非活动RRC连接的平均数，存储的非活动RRC连接的最大数，尝试的、成功的和/或失败的RRC连接建立的数量等)；与UE情境相关的测量 (UECNTX)；与无线电资源利用率(RRU)相关的测量(例如，DL总PRB使用 率、UL总PRB使用率、DL总PRB使用率的分布、UL总PRB使用的分布、用于 数据通信量的DL PRB、用于数据通信量的UL PRB、DL总可用PRB、UL总可用 PRB等)；与注册管理(RM)相关的测量；与会话管理(SM)相关的测量(例如，请求建立的PDU会话的数量；成功建立的PDU会话的数量；失败建立的PDU 会话的数量等)；与GTP管理(GTP)相关的测量；与IP管理(IP)相关的测 量；与策略关联(PA)相关的测量；与移动性管理(MM)相关的测量(例如， 针对RAT间、RAT内和/或频率内/频率间切换和/或条件切换：请求的、成功的 和/或失败的切换准备的数量；请求的、成功的和/或失败的切换资源分配的数 量；请求的、成功的和/或失败的切换执行的数量；请求的切换执行的平均时 间和/或最大时间；每个波束对成功和/或失败的切换执行的数量等)；与虚拟 化资源(VR)相关的测量；与载波(CARR)相关的测量；与QoS流(QF)相关 的测量(例如，释放的活动QoS流的数量、尝试释放的QoS流的数量、QoS流 的会话内活动时间、UE 101的会话内活动时间、尝试建立的QoS流的数量、成 功建立的QoS流的数量、建立失败的QoS流的数量、尝试建立的初始QoS流的 数量、成功建立的初始QoS流的数量、建立失败的初始QoS流的数量、尝试修 改的QoS流的数量、成功修改的QoS流的数量、修改失败的QoS流的数量等)； 与应用触发(AT)相关的测量；与短消息服务(SMS)相关的测量；与电源、 能源和环境(PEE)相关的测量；与NF服务(NFS)相关的测量；与分组流描 述(PFD)相关的测量；与随机接入信道(RACH)相关的测量；与测量报告(MR) 相关的测量；与层1测量(L1M)相关的测量；与网络切片选择(NSS)相关的 测量；与寻呼(PAG)相关的测量；与非IP数据递送(NIDD)相关的测量；与 外部参数预设(EPP)相关的测量；与通信量影响(TI)相关的测量；与连接 建立(CE)相关的测量；与服务参数预设(SPP)相关的测量；与后台数据传 输策略(BDTP)相关的测量；与数据管理(DM)相关的测量；和/或如[TS28552] 中讨论的任何其他性能测量。
附加地或替代地，训练引擎和/或代理140可以将来自核心网络(或 各个NF)的性能指标用作观察数据的一部分(例如，用于确定适当动作和/或 用于策略更新触发的状态数据)。性能指标包括在一组NF上聚合的性能数据， 诸如例如，沿网络切片的平均等待时间。性能指标可以从在属于该组的特定NF 处收集到的性能测量中推导出。聚合方法在性能指标定义中被标识。网络切 片子网级别的性能指标可以从在属于网络切片子网或组成网络切片子网的NF 处收集的性能测量中推导出来。网络切片子网级别的性能指标可经由网络切片 子网的相对应的性能管理服务提供。网络切片级别的性能指标可以从组成网络 切片子网和/或NF处收集的网络切片子网级别性能指标中推导出来。网络切片 级别性能指标可经由网络切片的相对应的性能管理服务提供。
附加地或替代地，在来自一个或多个UE 101、一个或多个RAN节点 130和/或核心网络NF的观察数据不一致的情况下(例如，缺失报告、错误数 据等)，可以执行简单的插补来补充所获得的观察数据，诸如例如，替换来自 以前报告和/或历史数据的值、应用外推过滤器等。附加地或替代地，可以预 定或配置观察数据的可接受界限。例如，CQI和MCS测量可被配置为仅在由合 适的3GPP标准定义的范围内。在报告的数据值没有意义的情况下(例如，该 值超过可接受的范围/界限等)，可针对当前学习/训练事件或时期丢弃此类值。 例如，可以定义或配置分组递送延迟界限，并且可以丢弃被确定为在分组递送 延迟界限之后接收的分组。
在本文讨论的任何实施例中，可使用任何合适的数据收集和/或(多 个)测量机制来收集观察数据。例如，数据标记(例如，序列编号等)、分组 跟踪、信号测量、数据采样和/或时间戳技术可用于确定上述任何度量/观察。 数据的收集可以基于触发数据收集的事件的发生。附加地或替代地，数据收集 可在事件开始或结束时进行。数据采集可以是连续的、不连续的和/或有开始 和停止时间。数据收集技术/机制可以是特定于硬件(HW)配置/实现方式的或 非HW特定，或可基于各种软件参数(例如，操作系统类型和版本等)。可以 使用各种配置来定义上述任何数据收集参数。此类配置可以由合适的规范/标 准定义，诸如3GPP、ETSI和/或O-RAN标准。
2.用于多接入通信量管理服务中的强化学习的性能保证
随着越来越多的客户端设备(例如，图11的UE 1111、1121)配备 有多个无线电接口，人们对在多无线电设备(例如，多接入UE)与多接入网络 (例如，图11的NAN 1131-1133)之间建立多个并发连接以获得增强的带宽和 可靠性越来越感兴趣。边缘计算的出现激发了一种新的多接入通信量汇聚模型： 在边缘处利用智能通信量管理器来对多接入通信量进行汇聚，该通信量管理器 跨多个路径上分发分组以实现更好的QoS。新兴的数据驱动的AI/ML技术可用 于开发多接入通信量分发策略。
本公开考虑了强化学习(RL)方法，该方法学习用于通信量管理的 和/或用于通过与环境互动来分发多接入通信量的策略和/或参数。然而，在线 RL的探索和早期训练阶段期间的不良动作可能导致严重的性能降级。在蜂窝网 络中，可能的后果是无法满足服务水平协议，或损害用户体验，诸如连接中断 和中断。本公开提供了用于多接入通信量管理的人工智能(AI)和/或机器学 习(ML)技术。本公开提供了用于增强/改善和/或确保性能，同时应用RL进 行多接入通信量管理的各种机制
现有的解决方案包括[AC6833PCT]，其描绘了基于针对多接入通信 量分发的网络效用优化的基于模型的解决方案。多接入通信量管理的其他先前 /现有的解决方案需要预定义的策略。例如，TCP层或应用层方法事先指定诸如 多路径TCP(MP-TCP)和快速UDP(QUIC)的策略。还没有将基于RL的方法用 于多接入通信量分发问题或解决方案，以在将RL应用于无线网络问题时缓解 探索期间的潜在性能降级的其他解决方案。基于模型的解决方案的性能高度依 赖于模型本身的准确性。而且，此类解决方案需要来自环境的准确的和广泛的 观察以实现良好的性能。这在许多网络部署环境中可能是不切实际的。
本公开提供了性能(网络性能)保证，同时将强化学习用于多接入 通信量管理的机制。具体而言，RL和/或DRL被用于确定多接入通信量管理的 通信量分发策略。本公开讨论了(1)所引导的探索，(2)执行安全性动作空 间，(3)性能监测，以及(4)机会探索测试流。数据驱动的AI/ML技术具有 更好地适于不同的无线电环境并改善性能的可能性。本文的实施例使在线学习 期间性能降级的风险最小化，从而改善网络资源消耗效率。
本文讨论的AI/ML通信量管理技术可用于实现可潜在地提供前所未 有的QoS改善和增强的边缘/云RAN智能。本文实施例的特定实现方式可以由 各种标准和/或规范(诸如ETSI、3GPP、O-RAN联盟、开放RAN、开放网络 边缘服务软件(OpenNESS)等)提供。例如，边缘/云服务器与RAN节点之 间的代码/API、消息格式和消息交换信令可以在此类标准/规范中指定。
图4描绘了示例基于边缘的多接入通信量管理框架400。在该示例 中，具有多个无线电接口的UE 401可以同时将到边缘网络的多于一个的连接 (包括异构无线电接入技术(RAT)(例如，LTE、5G/NR、WiFi等))建立为 最后一跳连接性。UE 401可以与先前讨论的UE101和/或下文讨论的UE 1111、 1112相同或相似。
对无线数据和设备的急剧增加的需求，导致对峰值速率和区域频谱 效率两者的越来越多的要求。这进而又导致无线基础设施的越来越密集和异 构的部署，其中所部署的网络在各种特征上是不同的，各种特征诸如接入技术 (RAT)、每个接入网络节点的覆盖区域、所部署的频段和带宽以及回程能力。 因此，密集无线网络中的大多数UE 401通常位于不同RAT的多个接入网络节 点的重叠覆盖区域。具有对来自多个无线链路或RAT(例如5G、LTE、WLAN、 WiMAX、
等)通信量进行聚合的能力的UE 401可以利用多链路聚合来提高其吞吐量和QoS。具有混合拓扑和不同RAT的异构无线网络(HetNet)部署 以及具有常见的多个无线电接口的UE 401的出现，为通过对来自多个RAT的 通信量进行传送和聚合来增加网络吞吐量和可靠性开辟机会。
边缘计算技术可以通过将分布式计算和存储资源放置在数据提供 方和消耗方附近来支持具有低等待时间要求和/或高QoS要求的应用(例如， AR/VR、云游戏等)。一个此类新兴边缘计算技术是多接入边缘计算(MEC)(参 见例如，[MEC003])。示例边缘网络400由图4示出，并且可以与图12的边 缘云1210和/或图11-图24中描述的边缘计算系统配置相对应。
框架400包括UE 401，UE 401是边缘计算网络400内的、将计算 工作负荷/任务迁移到边缘计算节点436，或者以其他方式从边缘计算网络和/ 或云系统(参见例如，图11的云1144)获得服务的计算系统/设备。边缘网络包 括边缘计算节点436(或边缘服务器436)，该边缘计算节点436(或边缘服务器 436)是计算节点401从其中消费服务的一个或多个计算系统或服务器。边缘服 务器436可以与一个或多个NAN 433a、433b或433c(统称为“NAN433”或“NAN 433”)共处一地，该一个或多个NAN 433a、433b或433c可以与先前讨论的NAN130和/或图11的NAN 1131、1132、1133中的任一者相同或类似。相应的连接 415可以将边缘计算节点436与一个或多个NAN 433连接或通信地耦合。此外， 计算节点401可以经由核心网络(包括(多个)核心网络(CN)服务器)的许可接 入或非许可接入从云系统获得服务。许可接入由组成相应路径的一系列连接/ 链路表示，并且非许可证接入由组成相应路径的一系列连接/链路表示。一些 信道/连接可用于许可接入或非许可接入。
边缘计算节点436是可以包括边缘平台和/或虚拟化基础设施，并 向边缘计算应用提供计算、存储和网络资源的(多个)物理计算机系统。边缘 服务器436被设置在对应的接入网络(例如，由单个NAN 433提供的网络)的边 缘处，并在网络订户(例如，计算节点401也被称为“UE”、“边缘用户”等) 的相对近的接近度内提供计算资源和/或各种服务(例如，计算任务和/或工作 负荷迁移、云计算能力、IT服务以及本文讨论的其他类似资源和/或服务)。边 缘服务器436的虚拟化基础设施(VI)为边缘主机(例如，边缘服务器436)提 供虚拟化环境和虚拟化资源，并且边缘计算应用可作为VI之上的VM和/或应 用容器来运行。边缘计算节点436可以与图11的边缘系统/网络1135内的图 11的边缘计算节点1136相对应。
边缘系统/网络400的一个示例实现方式是多接入边缘计算(MEC)系 统/框架，其中边缘服务器436根据MEC架构(参见例如，下文讨论的图18-图 19和/或于2020年4月1日提交的美国临时申请第63/003,834号(“[AC6833Z]”) 的图25至图41，该申请的内容通过引用以其整体结合于此)被实现为MEC主 机。MEC是允许在蜂窝网络的边缘处执行云计算能力和计算服务(包括应用计 算迁移)的网络架构。MEC提供允许应用被运行并在更接近网络订户(也被称 为“边缘用户”、“边缘计算节点”、“边缘节点”等)执行相关的处理任务 的机制。(多个)MEC主机执行计算服务(例如，“边缘服务”和/或“微服务”)。 以此方式，可以减少网络拥堵，并且应用可以具有更好的性能。MEC技术被设 计成在蜂窝基站处实现，并且可以实现灵活和快速地部署订户的新的应用和服 务。结合信息技术和电信网络的要素，MEC还允许蜂窝运营商向经授权的第三 方(诸如应用开发人员和内容提供商)开放其RAN。其他边缘网络实现方式可 以在其他实施例中使用。
当计算节点401具有多个无线电接口(或多个通信芯片/电路)时， 计算节点401可以通过多个路径传送和/或接收数据。这意味着可以存在不同 的多无线电或多路径汇聚点，以在(多个)e2e通信链路之间聚合和/或分发 通信量。根据各个实施例，当计算节点401具有多个无线电接口时，新的多无 线电汇聚点可以在网络边缘处发生，以提供多路径通信量管理，来实现针对 3GPP 5G/NR网络(参见例如，[AC6833Z]的图23至图41)所预想的低等待时 间通信。凭借由边缘计算实现的新的智能，可以通过基于边缘测量巧妙地将通 信量分发到多个网络路径来更有效地利用多RAT部署。
在一些实施例中，边缘计算节点436和UE 401可以在数据平面处 利用合适的汇聚技术(例如Zhu等人编写的“通用多接入(GMA)汇聚封装协 议(Generic Multi-Access(GMA)Convergence Encapsulation Protocols)”，IETF INTAREA/网络工作组，第7版，(2020年5月17日)(“[GMA]”))，以 在多个路径上分发和汇聚通信量。另一个示例是UE 401可以建立如3GPP中所 指定的双连接，并且边缘智能驻留在CU中(参见例如，3GPP TS 37.340v16.4.0 (2021-01-06)(“[TS37340]”))。
由边缘计算节点436提供的计算能力可以被利用来实现智能多接入 通信量管理。位于边缘436处的智能多接入通信量管理器446计算控制平面412 处的通信量分发规则(例如，图4中的通信量管理配置413)，该通信量分发 规则被提供给数据平面414和UE 401，以通知数据平面414和UE 401关于如 何在多路径上路由分组。通信量分发控制平面412收集来自无线基础设施的反 馈(例如，来自一个或多个NAN 433的RAN测量)和/或直接来自用户的反馈(例 如，来自一个或多个UE 401的UE测量)，并入由(多个)更高层提供的数据 流/应用/QoS要求425，并从数据平面414聚集遥测统计信息415，以确定数据 流应如何在多路径上被路由，以便满足异构QoS目标。附加地或替代地，通信 量分发控制平面412从核心网络(例如，CN 1142等)中的一个或多个网络功能 (NF)收集性能指标。边缘数据424和数据网络数据427被提供给由分组过滤器 418过滤的数据平面414，并被排序到一个或多个QoS(数据流)队列410。网 络编码引擎417也可用于在多路径上路由来自数据流(队列410)的数据。
在一个示例实现方式中，智能通信量分发器446可以是多接入管理 服务(MAMS)服务器的一部分(参见例如，Kanugovi等人撰写的“多接入管理服 务(MAMS)(Multi-AccessManagement Services(MAMS))”，互联网工程任 务组(IETF)，征求意见稿(RFC)8743(2020年3月)(“[RFC8743]”)。在另一 个示例实现方式中，智能通信量分发器446可以是处置双连接性的蜂窝RAN的 CU/DU-拆分式架构的CU的一部分。
在O-RAN框架中(参见例如，下文讨论的图20-图24)，计算通信 量分发规则的通信量分发器控制平面可以是RAN智能控制器(RIC)的一部分。 新兴的数据驱动的机器学习(ML)技术可用于开发先进的多接入通信量分布策 略，诸如先前在第1节中讨论的和/或在[AD2644-Z]中讨论的那些多接入通信 量分布策略。
图1a和图1b示出用于多接入通信量管理(DRL-MTM)的示例无模 型深度强化学习框架。在图1a和图1b中，DRL-MTM的代理位于边缘计算节点 436(诸如MEC服务器/主机、如O-RAN联盟中定义的RAN智能控制器(RIC)) 和/或一些其他边缘计算节点(诸如本文所讨论的那些边缘计算节点)处。代 理140将与其交互的环境100x是多接入网络，其中存在具有多个无线电接口 的UE 101(或UE 401)能够与多个RAN 130(或RAN 433)连接，多个RAN 130 (或RAN 433)中的一个或多个RAN利用不同的无线电接入技术(RAT)。参考 图1b，代理140负责基于从环境100x收集到的(多个)观察来决定每个多接 入UE 101(或UE 401)的通信量定向/拆分策略。在执行由代理140推荐的通 信量定向/拆分策略之后，可以从环境100x中收集新的观察，并且可以根据如 本文讨论的所设计的奖励函数计算奖励r。
在线RL需要对现实生活的蜂窝网络进行探索，这可能会有无法满 足服务水平协议(SLA)和/或基于例如连接中断和停运而使用户体验(UX)降 级的风险。本公开提供了以下策略，以使用于多接入通信量管理的RL中的在 线训练阶段期间的性能降级风险最小化：所引导的探索；实施安全性动作空间； 性能监控(模型监控)；以及机会探索测试流。
图5图示出用于为RL提供性能保证机制的示例框架500。该框架 500包括环境(例如，环境100x)向实时代理501提供一个状态s。实时代理 501包括所引导的探索机制(GE)502、神经网络(NN)503、开发与探索机制 (EvE)504、机会探索控制机制(OEC)505、实施安全性动作空间机制(ESAS) 506以及早期警告机制(EW)507。
实时代理501通过将状态s应用于策略π(例如，a＝π(s)，其中“π(s)” 是在确定性策略π下在状态s中采取的动作)来确定动作a。状态s被提供给 GE 502，GE 502基于状态s和附加信息来输出探索动作(“a_探索 (a_exploration)”)，并将a_探索反馈给EvE 504。GE502可以采用一种或 多种合适的探索算法，诸如，例如随机探索(例如，ε-贪婪，softmax函数等)、 基于好奇心的探索、置信度上界(UCB)，波尔兹曼(Boltzman)探索、汤普 森(Thompson)采样、熵损失项，基于噪声的探索，内在奖励(奖金)探索 (例如，基于计数的探索、基于预测的探索等)、面对不确定性的乐观探索、 霍夫丁不等式、状态动作探索、参数探索、基于记忆的探索(例如，事件记忆 探索、直接探索等)、Q值探索等。下文第2.1节讨论了GE 502的附加的或 替代的方面。状态s也被提供给NN503，以从训练中获得最新的代理更新(例 如，a＝πk(s))，该最新的代理更新也输出被提供给EvE 504的探索动作(“a_ 探索”)。
EvE504通过基于其获得的多个a_探索平衡开发选项和探索选项来 确定适当的策略。开发涉及给定当前可用的信息的情况下做出最佳(最优)决 策，而探索涉及收集与未知选项有关的信息，即使存在涉及收集该信息时的风 险的情况下。在此，最佳(最优)的长期策略可能涉及到短期的牺牲(就获得 的奖励量而言)。这是因为所采取的动作会影响到在下一次迭代中将获得的 新观察。对于开发与探索的分析，EvE 504可以实现多臂老虎机算法，诸如 Wu等人在“(用于机会老虎机的自适应探索-开发权衡(Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits))”，第35届国际机 器学习会议(ICML 2018)论文集，第5306-5314页，斯托克霍姆斯马桑，瑞 典斯德哥尔摩，(2018年11月30日)中讨论的技术。下文第2.2节讨论了 EvE 504的附加的或替代的方面。
OEC 505(基于附加信息)向EvE 504提供配置和/或控制，并且EvE 50基于配置和/或控制来分析a_探索。例如，OEC 505可以基于外部信息来完 善动作空间(或潜在动作的集合)。下文第2.4节讨论了OEC 505的附加的或 替代的方面。经分析的a_探索被提供给ESAS506，ESAS 506产生被提供回环 境的动作a。ESAS 506在对系统配置的任何更新被部署之前(例如，在所选择 的动作被部署到一个或多个UE 401之前)执行安全性检查。ESAS 506可以是 可接受的动作范围或由动作的线性或非线性函数描述的约束集合的形式。
附加地，EW507获得状态s和奖励r(如果有的话)，并且如果性能测 量指示(多个)动作a正在逐渐朝向次优性能结果，则向备用模型存储510提 供指示570。响应于指示570，备用模型511被选择并被提供给实时代理501 以替换当前实现的模型(例如，NN503)。下文第2.3节讨论了EW 507的附 加的或替代的方面。
附加地，当前状态si、当前动作ai、当前奖励ri和下一状态si+1可 以存储在经验重放缓冲器530中。重放缓冲器530是过去经验的缓冲器，该缓 冲器通过对用于更新NN503的每个批次中的训练示例进行去相关来使训练稳 定。重放缓冲器530记录过去的状态si，在这些状态si下采取的动作ai，所接 收的来自这些动作ai的奖励ri，以及被观察到的下一个状态si+1。重放缓冲 器530将该数据作为经验元组(si,ai,ri,si+1)的集合来存储。随着代理501与 环境100x的交互，这些图元逐渐被添加到重放缓冲器530中。附加地，除了 经验元组之外，重放缓冲器530还可以保存目标。一种实现方式是固定尺寸的 重放缓冲器530，其中新的数据被添加到重放缓冲器530的末端，使得其将最 旧的经验推出。也可以使用其他缓冲器/队列实现方式，包括高速缓存系统等。 替代于使用最新的经验，重放缓冲器530(或存储在其中的数据)可用于通过 对过去的经验进行高速缓存并对来自重放缓冲器530的数据531进行采样(训 练)来防止动作值灾难性地振荡或偏离。为了学习而从重放缓冲器530中采样 一小批元组531的动作被称为经验重放。除了打破有害的关联性之外，经验重 放允许实现从各个元组中进行多次学习，回顾罕见的发生情况，并在总体上更 好地利用经验。在此，样本(训练)数据531被提供给代理501以用于下一个 时期或事件(例如，代理πk+1)，然后该样本(训练)数据531被用于更新代 理501。
在O-RAN框架实现方式中(参见例如，图20-图24)，实时代理位 于近实时(RT)RIC处。模型训练位于离线RL的非RT RIC处或在线RL的近 RT RIC处。实时代理可以被实现为将RL推断模型与先前提到的四个性能保证 机制整合的单个xApp。替代地，实时代理可以被实现为多个xApp，其中四个 性能保证机制经由xApp API彼此通信并与RL推断模型通信。
2.1.所引导的探索
RL使用试错策略来学习对观察到的系统条件做出反应的策略。通过 与环境交互和观察来自过去的动作的结果，RL代理501适配其策略π，使得预 期的长期奖励最大化。然而，RL代理501不能对它先前没有经历过的情况做出 良好的反应。为了测试尽可能多的可能情况，RL代理501通常被允许偶尔采取 与由RL产生的最优策略不同的探索动作。风险在于不良的探索动作可能会导 致灾难性的性能降级。例如，在多接入通信量管理用例中，不良的探索动作可 能导致一个接入链路上的拥堵，这导致长队列(例如图4中的队列410)累积 数据，并使等待时间性能在长时间段内降级。
根据各种实施例，替代随机地确定动作，在一些引导下选择RL的 探索动作(a_探索)。对于多接入通信量管理，可以使用现有的非ML算法或 使用预训练的ML算法选择RL的探索动作。
现有的非ML算法(诸如基于规则或基于模型的启发式算法，用于 生成所建议的动作集合，以供选择用于探索(例如，GE 502的输出)。例如， 由[AC6833PCT]和/或[AC6833Z]中开发的解决方案确定的通信量分发规则可被 用作所引导的探索动作。
预训练的ML算法，用于生成所建议的动作集合以供选择用于探索， 诸如先前讨论的探索算法中的一个或多个。预训练的ML算法可以基于从不同 网络环境中收集到的数据来训练。预训练的ML算法也可以是通过监督学习训 练的动作预测模型。
非ML算法和/或预训练的ML算法可以被实现为分开的微服务(例 如，O-RAN中的(多个)xApp)，并且RL代理501可以订阅这些服务以获得所 推荐的通信量分发动作。所推荐的通信量分发动作可以经由API共享。附加地 或替代地，RL代理501可以将额外的随机性添加到用于探索的所引导的动作中。 例如，小的随机变化可以被添加到由非ML或ML算法推荐的所引导的动作。
2.2.实施安全性动作空间
如前所述，不良的动作可能会导致灾难性的性能降级。对于RL来 说，不良的动作可能是出于探索的目的，或者是因为RL算法没有收敛到足够 好的解决方案而采取的。为了防止显著的性能损失的风险，在执行由RL算法 确定的动作时，应该采取额外的保护。具体地，在对系统配置执行任何更新之 前，要采取的每个动作均应通过安全性检查(例如ESAS506)。对于多接入通 信量管理，可以构建安全性动作空间(例如ESAS 506)，其中动作空间定义了 由RL算法生成的通信量分发规则必须满足的标准。安全性动作空间标准可以 包括以下一种或多种格式：
可接受的动作范围：对于多接入通信量管理，可接受的动作范围可 以是数据流在各个路径上的通信量分布比率的范围。属于流i的通信量在路径 r上路由的比率被表示为xi,r。示例安全性范围可以为xi,r指定下界和上界(例 如，xLB≤xi,r≤xUB)。安全性范围可以基于由非ML和/或其他ML算法产生的所 引导的动作，如前所述。例如，假设用于将流i定向到路径r上的所引导的动 作是
安全性范围可以是
其中δ是预定的 或配置的安全性裕度。
由动作的线性或非线性函数描述的约束集合：对于多接入通信量管 理，预期的QoS度量可以经由一些数学模型来估计。这些模型可用于估计由RL 产生的动作是否能满足数据流的QoS目标。示例约束函数包括：预期总无线电 资源利用水平低于某个阈值；具有某些QoS水平的流的集合的预期总无线电资 源利用水平低于阈值；和/或预期数据流吞吐量高于某个阈值。
安全性约束可以经由来自非实时RIC的A1-策略提供，或者经由 xApp API由另一个xApp提供。附加地或替代地，动作安全性可以由近RT RIC 平台管理模块或由另一个xApp(例如ESAS 506)实施。例如，在图5的框架 500中，由RL代理501产生的动作a被发送到ESAS506，并且ESAS 506确定 是否接受并且执行来自RL代理501的所推荐的动作a。ESAS 506可以被实现 为xApp或某种其他类型的边缘应用。附加地或替代地，安全性检查可以被并 入RL代理501内。
2.3.性能和/或模型监测
无线环境和用户通信量动态的时间变化性质使得其对确保预定的 安全性检查标准始终准确造成挑战。因此，它需要额外的性能监测机制来避免 由RL代理产生的较差动作造成灾难性的性能降级。
在此，早期警告机制(例如EW507)与在线RL一起实现，以便检 测由RL生成的模型是否逐渐朝向次优解决方案。除了传统的AI/ML模型监测 度量之外，反映无线网络状况的性能测量可以为模型有效性提供更有洞察力的 指示。对于多接入通信量管理，以下度量可用于监测由RL生成的AI/ML模型 的性能，以触发早期警告：一个或多个数据流的单程或e2e延迟的平均值；延 迟变化趋势；缓冲器(例如，队列410)累积；CQI变化趋势；MCS分布趋势；等等。可以经由A1策略从非RT RIC或经由xApp API从近RT RIC管理模块或 另一个xApp向EW 507提供与性能度量之一链接的阈值。
RL训练代理501保留至少一个先前训练的、提供了相当好的性能的AI/ML模型的至少一个副本作为备份(例如，模型存储510中的备份模型511)。 附加地或替代地，RL训练代理501可以保留在线训练期间创建的一个或多个 AI/ML模型的最后K个版本。一旦用于性能监测的度量违反(或超过)相应的 阈值，RL训练代理501就可以利用过去训练的、提供满意的性能保证的(备份) AI/ML模型511之一替换当前模型503，并从该模型511重启在线RL。
2.4.机会探索测试流
尽管应用所引导的探索502和实施安全性动作空间506可以防止RL代 理501输出可能导致较差性能的动作a，但动作空间的限制可能导致数据不足 以覆盖所有可能的统计场景，并可能得到次优的RL解决方案。因此，当不存 在伤害UE 101和/或对(多个)目标QoS度量敏感的流的风险时，使用机会探 索机制505来测试更多的风险动作。
在一些实现方式中，OEC 505仅将更多的风险动作应用于(1)测试 流和/或(2)具有较不严格的QoS目标的数据流。附加地或替代地，为了避免伤 害具有高QoS要求的其他流的性能，OEC 505当(1)存在性能保证就位以保 证高QoS流的QoS和/或(2)不存在高QoS数据流的不断的传输时执行此类探 索性动作。
3.多接入通信量管理服务中的深度情境老虎机强化学习
边缘计算的出现为不同的无线接入技术实现了新的汇聚点。由于边 缘网络将移动成更靠近于无线接入网络(RAN)，以满足新应用的延迟要求， 智能多接入通信量管理策略可以在边缘计算节点处开发或由边缘计算节点开 发(例如，多接入计算(MEC)服务器/主机)来满足多样化的UE服务质量(QoS) 要求，如图1a所示，其中许多UE 101可以具有多个无线电接口，并且可接入 多个RAN和/或RAT类型(例如，LTE、5G/NR、WiFi、WiMAX、
DSL等)。 本公开提供了用于多接入通信量管理的人工智能(AI)和/或机器学习(ML) 技术。具体而言，本文中的实施例包括用于边缘网络的智能通信量管理的深度 情境老虎机RL。
先前的/现有的解决方案包括[AC6833PCT]，其描绘了基于针对多接 入通信量分发的网络效用优化的基于模型的解决方案。多接入通信量管理的其 他先前/现有的解决方案需要预定义的策略。例如，TCP层或应用层方法事先指 定诸如多路径TCP(MP-TCP)和快速UDP(QUIC)的策略。然而，先前的/现有 的解决方案依赖于数学模型或预先定义的控制策略。基于模型的解决方案的性 能高度依赖于模型本身的准确性。而且，此类解决方案需要来自环境的准确的 和广泛的观察以实现良好的性能。这在许多网络部署环境中可能是不切实际的。
本文的实施例利用AI/ML的最新发展来开发一种无模型的方法，该 方法用于通过在不依赖优化模型或预定义策略的情况下，与环境交互和收集运 行时的统计信息来学习用于通信量管理的最佳/最优策略。在第1节和 [AD2644-Z]中，用于通信量管理的RL通过将无线多RAT网络交互建模为马尔 可夫决策过程来完成。
下文讨论的是用于多接入通信量管理的深度情境老虎机RL架构。 在一些实现方式中，深度情境老虎机RL架构包括三个部分，包括：(1)表示学 习，其中潜伏特征是从原始情境中提取的(例如，来自无线环境100x的观察和 /或其他情境信息)；(2)DRL，其中代理基于奖励和来自表示学习的输出来推导 出策略；以及(3)智能通信量管理实施例的状态、动作和奖励的设计。在一些 实现方式中，深度情境老虎机RL架构涉及实现深度情境老虎机RL架构的上述 各方面的一个或多个方面的一个或多个边缘计算节点(例如，图1的边缘计算节点140、图11的边缘计算节点1136等)。实施例还包括e2e训练和推断。本 文所讨论的AI/ML通信量管理(包括深度情境老虎机RL架构)实现方式可用 于实现可潜在地提供前所未有的QoS改善/增强的边缘/云RAN智能。
本文讨论的AI/ML通信量管理技术可以是用于实现可潜在地提供前 所未有的QoS改善和增强的边缘/云RAN智能的组件。本文实施例的具体实现 方式可以由各种标准和/或规范(诸如ETSI、3GPP、O-RAN联盟、开放RAN、 开放网络边缘服务软件(OpenNESS)(参见，例如https://www.openness.org/) 等)提供。例如，边缘/云服务器与RAN节点之间的代码/API、消息格式和消 息交换信令可以在此类标准/规范中规定。
图6描绘了示例智能多接入通信量管理架构600。在各实施例中， 智能通信量管理代理640位于边缘计算节点636，边缘计算节点636可与图1 的边缘计算节点140、图4的边缘计算节点436和/或图11的边缘计算节点1136 相同或类似。代理640与之交互的环境600x是多接入网络，其中存在具有连 接到多个RAN的多个无线电接口的UE 601，该多个RAN中的一些RAN利用不同 的RAT。每个RAN可以包括DU 630和一个或多个RU 633(例如，DU 630a及RU633a1和633a2可能属于第一RAN，DU 630b及RU 633b1和633b2可能属于第 二RAN，以及DU630以及RU 633c1和633c2可能属于第三RAN)。图6中的RAN(例 如，DU630和/或RU 633)可以与下文讨论的图1a的NAN 130、图4的NAN 433 和/或图11的NAN 1131-1133中的一个或多个相对应。附加地，UE 601可以与 图1a的UE 101、图4的计算节点401、图11的UE 1121a和1121b和/或IoT 设备1110等相对应。
代理640负责基于从环境600x收集到的观察(例如，状态s)来决 定通信量管理策略(例如，动作α∈A，其中A是所有可能/潜在动作的集合)， 诸如用于多RAT UE 601的通信量定向和/或通信量拆分策略。在执行由代理640 推荐的通信量定向/拆分策略之后，可以从环境600x收集到新的观察(例如， 新的状态s′∈S，其中S是所有状态的集合，这些状态可以包括或可以不包括 终端状态)，并且可以根据所设计的奖励函数计算奖励r。
位于边缘计算节点636处的代理640包括RAN智能控制器 (RIC)612a(其可以与下文讨论的图20的非RT RIC 2012和/或近RT RIC 2014 相对应)计算通信量分发规则613，该通信量分发规则613被提供给集中式单元 控制平面实体(CU-CP)612b，并且CU-CP 612b向集中式单元用户平面实体 (CU-UP)614和UE 601通知关于如何在多个路径(例如，各个UE601和一个或 多个RU 633之间的路径)上路由分组。RIC 612a和/或CU-CP 612b收集来自无线基础设施的反馈(例如，来自一个或多个DU630和/或一个或多个RU 633 的RAN测量)和/或直接来自用户的反馈(例如，来自一个或多个UE 601的UE 测量)，并且并入由(多个)更高层提供的数据流/应用/QoS要求625以确定 数据流应如何在多路径上被路由以满足异构的QoS目标。附加地或替代地，RIC 612a和/或CU-CP 612b从CU-UP 614收集遥测统计信息。附加地或替代地，RIC 612a和/或CU-CP 612b从核心网络(例如，CN 1142等)中的一个或多个网络功 能(NF)收集性能指标。通信量625到达CU-UP 614，通信量625被分组过滤器618过滤，被分类到相应的QoS(数据流)队列610，并且随后通过多路径从数据 流(队列410)进行路由，以用于经由链路615递送给相应的UE 601。
参考图7，图7示出完整的RL 701和情境老虎机702的示例。通 常，RL假设底层环境600x可由马尔可夫决策过程(MDP)建模。完整的RL701 的即时奖励713取决于当前状态711和正在采取的动作712，并且动作712也 影响到下一个状态711。由于当前动作712的影响通过未来的状态711传播， 所以在评估确定在给定当前状态711观察的情况下要采取的动作712的策略的 性能时，应该使用预期的长期累积奖励713。对于完整的MDP，状态-动作空间可能是非常大的，因此RL701可能无法学习状态711-动作712-奖励713映射， 并且甚至会忘记所学习的策略π。出于这些原因，完整的RL701通常难以解决 并且对于未看见的环境往往具有很差的概况性能。
根据各个实施例，使用了情境老虎机(CB)702(其是RL的一种形 式)。在CB 702中，奖励723受状态721和动作722对的影响，但动作722 不影响未来状态721。目标变成了找到策略π，策略π可以使当前状态721观 察的预期平均奖励723最大化。
已经观察到多RAT/多接入通信量管理问题可以被建模为CB 702问 题，因为通信量管理决策和QoS性能可以由不受动作722影响的某些情境确定。 通过将问题转换为CB702，与现有解决方案相比，可以实现快得多的训练收敛 和好得多的推断概括结果。
在基于[AC6833PCT]的多RAT/多接入通信量管理问题中，已经标识 了通信量负荷、信道条件、回程延迟是对通信量管理决策和QoS性能具有根本 影响的关键特征。因此，这些特征可被用作CB 702的情境输入。
图8示出深度CB RL框架800的、可由图6的代理640实现的示例 组件。在此，表示学习实体801采取原始情境(情境数据)821，并使用编码 器811从原始语境821中提取一个或多个潜在的特征。作为示例，编码器811 包括以下各项中的一项或多项：LSTM网络、图形嵌入、图形神经网络、关注 网络等。
DRL实体802获得来自表示学习实体801的输出以及通过与环境 100x交互收集到的(多个)奖励823，并推导出(例如，基于原始情境821的) 状态、动作822、和奖励823之间的映射。在实施例中，DRL实体802使用行 为方-评论方RL和策略梯度(诸如深度确定性策略梯度(DDPG))来得出映射。
状态721/821、动作722/822、和奖励723/823的设计用于将情境 空间设计为连续的(例如，通信量负荷、信道条件和回程延迟的时间序列)或 离散的(例如，平均通信量负荷、信道条件和回程延迟)。在一些实施例中， 动作空间被设计为连续的(例如，通信量拆分率)。在一些实施例中，奖励函 数可以是网络QoS目标(例如，网络吞吐量、分组延迟、抖动、α-公平性等) 的效用函数。例如，对于等待时间敏感的通信量，奖励r可以被定义为：
其中di是第i个分组的端到端分组延迟。如果系统经历较差的分组延 迟QoS，则奖励r会变小，否则，奖励r会随着延迟QoS的改善而改善。
图9描绘了可由图6的代理640(至少部分地)实现的示例系统架 构900。该架构900包括表示(编码器)网络901(其可与图8的表示学习实 体801相对应)、DRL框架902(其可与图8的DRL框架802相对应)和重放 缓冲器930(其可与图5的重放缓冲器530相同或相似)。DRL框架902可以 采用策略梯度学习方法，诸如行为方-评论方、DDPG和/或诸如本文讨论的一 些其他策略梯度方法。DRL框架902包括行为方网络903和评论方网络905。 评论方网络905更新价值函数参数w，并且取决于算法，价值函数参数w可以 是动作值Qw(a|s)或状态值Vw(s)。行为方网络903在由评论方网络905建议的 方向上更新πθ(a|s)的策略参数θ。重放缓冲器930可以存储例如(st，at，rt，st+1)等 的经验数据结构。在每个时间步长，通过从重放缓冲器930中均匀地采样一迷 你批次来更新行为方网络903和评论方网络905。系统架构900的示例训练过 程和推断过程可以按以下各项来执行。
3.1.训练过程
在训练阶段期间，可以训练三个神经网络，包括表示/编码器网络 901、行为方网络903和评论方网络905。训练过程可以如下：
首先，利用参数θQ、θμ和θE分别对评论方网络905、行为方网 络903和表示/编码器网络901(其中参数θQ、θμ和θE也可以分别称为权重θQ、 θμ、θE)进行随机地初始化。附加地，对重放缓冲器930进行初始化。第二， 对动作探索的随机过程进行初始化。
第三，所有活动的UE 601从环境100x中收集情境921，并将它们 传递给表示(编码器)网络901。情境921可以包括诸如测得的通信量负荷、 PHY速率、信噪比(SNR)、回程延迟之类的观察和/或本文讨论的任何其他测 量和/或信息。该信息可以从UE 601组和/或代理将向其提供动作推荐的目标 UE 601中收集。第四，表示网络901获得UE 601组以及目标UE601的当前情 境921的表示。
第五，代理根据当前策略π和探索噪声选择动作。在∈概率的情况 下，代理可以对动作空间进行随机地采样，或者使用现有的启发式算法，在1-∈ 的情况下，代理选择从策略π得出的动作加上根据随机过程生成的动作噪声。 第六，代理随后为目标UE 601部署动作，并且奖励被收集。动作、状态、和 奖励转换被存储(例如，在经验数据结构中)在重放缓冲器930中。
第七，从重放缓冲器930中随机地采样出尺寸为N的迷你批次，其 中i索引是指第i个样本。时间差(TD)误差计算的目标yi根据情境老虎机问题的 即时奖励来计算。附加地或替代地，TD误差计算yi根据即时奖励和目标行为方 和评论方网络的输出来计算，该目标行为方和评论方网络分别具有权重θμ′和 θQ′。然后，评论方网络(θQ)905被训练成使以下损失函数(LF)最小化：
在损失函数(LF)中，yi是TD目标，其中yi＝ri，ri是奖励，并且 ci是经编码的情境(例如，情境921的经编码的版本)。第八，行为方网络(θu) 903基于策略梯度来训练，以使以下奖励函数(RF2)最小化。
在奖励函数(RF)中，
是评论方网络905的、关于动作a的 梯度，并且
是行为方网络903的策略梯度。如果动作a具有比先前的 动作更高的Q值，则梯度
用于更新行为方网络903的参数。
第九，编码器网络(θE)901基于经采样的策略梯度w来训练，如 下：
在上述策略梯度定理中，si是原始输入情境(例如情境921)，
是编码器网络(θE)901的策略梯度，并且
是奖励的梯度。
3.2.推断过程
在推断阶段期间，仅需要部署表示网络901和行为方网络903。推 断过程可以如下：首先，UE 601从环境100x中观察一个或多个情境，并将观 察到的情境传递给表示网络901。第二，将所学习的当前动态和目标UE 601 的表示(例如，特征
其中i＝1，...，N)传递给行为方网络903。第三，由 行为方网络903预测的动作922被部署到(环境100x中的)目标UE 601，并 且UE 601相应地执行所预测的动作922。
3.3.仿真结果
图10a和图10b描绘了示例深度CB RL系统(诸如关于图8-图9描 述的系统)的性能结果。具体而言，图10a包括示出各种方法的得分相对于训 练时期的DRL训练性能图，而图10b包括示出各种方法的得分相对于不同环境 的得分的DRL性能图。在图10a和图10b的图中，深度CB RL系统的结果被标 记为“DDPG”，包括“DDPG-随机”和“DDPG-RAN感知”。DDPG-随机指示在 探索阶段期间随机选择的动作，而DDPG-RAN感知指示在探索阶段期间使用了RAN感知启发法(参见例如，[AC6833PCT]、[AC6833Z])。“RAN感知”、 “延迟相等(DelayEqual)”和“随机”是与DDPG相比不同的启发式算法。从 这些图中可以观察到，数据驱动的方法(DDPG)可以胜过所有现有的解决方案， 并取得比现有解决方案更高的得分和更好的QoS性能。
4.边缘计算系统配置和布置
一般来说，边缘计算是指对处于较靠近于网络的“边缘”或网络的“边 缘”的集合的位置处的计算和资源的实现、协调和使用。此种布置的目的在于 改善总拥有成本，减少应用和网络等待时间，减少网络回程通信量和相关联的 能耗，改善服务能力，并且改善对安全或数据隐私性要求的合规性(尤其是与 常规云计算相比)。可以执行边缘计算操作的组件(“边缘节点”)可以驻留在 系统架构或自组织服务所需要的无论什么位置中(例如，在高性能计算数据中 心或云安装中；在规定的边缘节点服务器、企业服务器、路边服务器、电信中 央局中；或在消费边缘服务而被服务的本地或对等的边缘处设备中)。
可以执行边缘计算操作的各个计算平台或其他组件(被称为“边缘 计算节点”、“边缘节点”等)可以驻留在系统架构或自组织服务所需要的无论 什么位置中。在许多边缘计算架构中，边缘节点被部署在NAN、网关、网络 路由器和/或更靠近产生和消费数据的端点设备(例如，UE、IoT设备等)的其 他设备处。作为示例，边缘节点可被实现在以下各项中：高性能计算数据中心 或云安装；规定的边缘节点服务器、企业服务器、路边服务器、电信中央局； 或正在消费边缘服务而被服务的本地或对等边缘处设备。
边缘计算节点可对资源(例如，存储器、CPU、GPU、中断控制器、 I/O控制器、存储器控制器、总线控制器、网络连接或会话等)进行分区，其 中相应的分区可包含安全和/或完整性保护能力。边缘节点还可通过隔离的用户 空间实例(诸如容器、分区、虚拟环境(VE)、虚拟机(VM)、功能即服务 (FaaS)引擎、小型服务程序、服务器和/或其他类似的计算抽象)来提供多 个应用的编排。容器是软件的提供代码和所需要的依赖关系的所包含的可部署单元。各种边缘系统布置/架构在应用构成方面平等地对待VM、容器和功能。 边缘节点基于边缘供应功能来协调，而各种应用的操作利用编排功能(例如， VM或容器引擎等)来协调。编排功能可用于部署隔离的用户空间实例，标识 和调度对特定的硬件、安全相关功能(例如，密钥管理、信任锚管理等)以及 与隔离的用户空间的供应和生命周期有关的其他任务的使用。
适于进行边缘计算的应用包括但不限于：传统网络功能的虚拟化 (例如，用于操作电信或互联网服务)以及下一代特征和服务的引入(例如， 用于支持5G网络服务)。预计广泛地利用边缘计算的用例包括：连接的自驾 驶汽车、监控、物联网(IoT)设备数据分析、视频编码和分析、位置知晓的 服务、智慧城市中的设备感测、以及许多其他网络和计算密集型服务。
在一些场景中，边缘计算可提供或主控类云分布式服务，以为应用 和经协调的服务实例提供在许多类型的存储和计算资源之间的编排和管理。随 着端点设备、客户端和网关尝试接入更靠近网络边缘的位置处的网络资源和应 用，还预计边缘计算与针对IoT和雾/分布式联网配置开发的现有用例和技术 紧密集成。
本公开提供与多接入边缘计算(MEC)和5G网络实现方式内提供 的边缘计算配置有关的特定示例。然而，许多其他标准和网络实现方式可适用 于本文中所讨论的边缘和服务管理概念。例如，许多其他边缘计算/联网技术 可以以位于网络的边缘处的设备的各种组合和布局而可适用于本公开。此类其 他边缘计算/联网技术的示例包括：内容交付网络(CDN)(也被称为“内容分 发网络”，等等)；移动性服务提供商(MSP)边缘计算和/或移动性即服务(MaaS) 提供商系统(例如，用于AECC架构)；星云边缘-云系统；雾计算系统；微 云边缘-云系统；移动云计算(MCC)系统；中央局重新架构为数据中心(CORD)、 移动CORD(M-CORD)和/或融合的多接入和核心(COMAC)系统；等等。 进一步地，本文中所公开的技术可涉及其他IoT边缘网络系统和配置，并且其 他中间处理实体和架构也可用于本公开的目的。
图11图示出示例边缘计算环境1100。图11具体图示在环境1100 内发生的不同层的通信，开始于端点传感器或物层1110(例如，以物联网(IoT) 网络拓扑来操作)，该端点传感器或物层1110(也被称为边缘端点1110，等 等)包括一个或多个IoT设备1111；在复杂度方面增加，到达包括一个或多个 用户装备(UE)1121a和1120b的网关或中间节点层1120(也被称为中间节点 1120，等等)，该网关或中间节点层促进对来自端点1110的数据的收集和处 理；在处理和连接性复杂度方面增加，到达接入节点层1130(或“边缘节点层 1130”)，该接入节点层1130包括多个网络接入节点(NAN)1131、1132和 1133(统称为“NAN 1131-1133”，等等)以及边缘计算系统1135内的多个边 缘计算节点1136a-c(统称为“边缘计算节点1136”，等等)；以及在连接性 和处理复杂度方面增加，到达包括核心网络(CN)1142和云1144的后端层 1140。后端层1110处的处理可通过如由一个或多个远程应用(app)服务器1150 和/或其他云服务执行的网络服务来增强。这些元件中的一些或全部可配备有或 以其他方式实现本文中讨论的一些或全部特征和/或功能。
环境1100被示出为包括终端用户设备，诸如中间节点1120和端点 1110，这些终端用户设备配置成基于不同的接入技术(或“无线电接入技术”) 连接到一个或多个通信网络(也称为“接入网络”、“无线电接入网络”，等等) (或与一个或多个通信网络通信地耦合)以接入应用服务。这些接入网络可包 括NAN 1131、1132和/或1133中的一个或多个。NAN1131-1133被布置成经由 各个NAN与一个或多个UE 1111、1121之间的相应链路1103、1107来提供到 终端用户设备的网络连接性。
作为示例，通信网络和/或接入技术可包括：蜂窝技术，诸如LTE、 MuLTEfire和/或NR/5G(例如，如由无线电接入网络(RAN)节点1131和/或 RAN节点1132提供)；WiFi或无线局域网(WLAN)技术(例如，如由接入点 (AP)1133和/或RAN节点1132提供)；等等。不同的技术在不同的场景中表 现出益处和限制，并且不同场景中的应用性能变得取决于接入网络的选择(例 如，WiFi、LTE等)以及所使用的网络和传输协议(例如，传输控制协议(TCP)、 虚拟专用网络(VPN)、多路径TCP(MPTCP)、通用路由封装(GRE)等)。
中间节点1120包括UE 1121a和UE 1121b(统称为“UE 1121”或“多 个UE 1121”)。在该示例中，UE 1121a被图示为交通工具UE，并且UE 1121b 被图示为智能电话(例如，可连接至一个或多个蜂窝网络的手持式触屏移动计 算设备)。然而，这些UE 1121可包括任何移动或非移动计算设备，诸如平板 计算机、可穿戴设备、PDA、寻呼机、台式计算机、膝上型计算机、无线手机、 无人交通工具或无人机、和/或包括无线通信接口的任何类型的计算设备。
端点1110包括UE 1111，该UE 1111可以是IoT设备(也称为“IoT 设备1111”)，其是可唯一地标识的嵌入式计算设备(例如，在因特网基础设 施内)，这些可唯一地标识的嵌入式计算设备包括针对利用短暂存在的UE连 接的低功率IoT应用而设计的网络接入层。IoT设备1111是任何物理或虚拟化 的设备、传感器、或“物”，这些设备、传感器、或“物”与使得对象、设备、传 感器、或“物”能够捕捉和/或记录与事件相关联的数据并且能够在很少的用户干 预或没有用户干预的情况下通过网络向一个或多个其他设备传达此类数据的 硬件和/或软件组件一起被嵌入。作为示例，IoT设备1111可以是非生物设备， 诸如自主传感器、计量器、仪表、图像捕捉设备、话筒、发光设备、发声设备、 音频和/或视频回放设备、机电设备(例如，开关、致动器等)、EEMS、ECU、 ECM、嵌入式系统、微控制器、控制模块、联网或“智能”装置、MTC设备、M2M 设备，等等。IoT设备1111可以利用诸如M2M或MTC之类的技术经由PLMN、ProSe或D2D通信、传感器网络、或IoT网络而与MTC服务器(例如，服务 器1150)、边缘服务器1136和/或边缘计算系统1135或设备交换数据。M2M 或MTC数据交换可以是机器发起的数据交换。
IoT设备1111可执行后台应用(例如，保持活动消息、状态更新等)， 以促进IoT网络的连接。在IoT设备1111是传感器设备或被嵌入在传感器设 备中的情况下，IoT网络可以是WSN。IoT网络描述互连的IoT UE，诸如通过 相应的直接链路1105连接至彼此的IoT设备1111。IoT设备可包括以各种组 合(被称为“IoT群组”)分组的任何数量的不同类型的设备，这些设备可包括 为特定用户、消费者、组织等提供一个或多个服务的IoT设备。服务提供商(例 如，服务器1150、CN 1142、和/或云1144的所有者/运营商)可将IoT设备以 IoT群组部署到特定区域(例如，地理位置、建筑物等)，以提供一个或多个 服务。在一些实现方式中，IoT网络可以是在云1144的边缘处操作的IoT设备 1111的网格网络，可被称为雾设备、雾系统、或雾。雾涉及用于将云计算功能 带至更靠近数据生成方或消费者的机制，其中各种网络设备在它们的原生架构 上运行云应用逻辑。雾计算是沿从云1144到物(例如，IoT设备1111)的连 续统一体在任何地方分布计算、存储、控制、以及联网的资源和服务的系统级水平架构。雾可根据由OFC、OCF等等发布的规范来建立。附加地或替代地， 雾可以是如由IOTA基金会定义的缠结(tangle)。
雾可用于在将数据路由至边缘云计算服务(例如，边缘节点1130) 和/或中央云计算服务(例如，云1144)的同时对该数据执行低等待时间计算/ 聚合，以用于执行重型计算或计算上繁重的任务。另一方面，边缘云计算将人 类操作的、自愿性的资源合并为云。这些自愿性资源可尤其包括中间节点1120 和/或端点1110、台式PC、平板、智能电话、微型数据中心等等。在各实现方 式中，边缘云中的资源可以处于距IoT设备1111一跳到两跳的接近度内，这 可引起与处理数据有关的开销降低并且可减小网络延迟。
附加地或替代地，雾可以是IoT设备1111和/或联网设备(诸如路 由器和交换机)与在它们的本机架构上运行云应用逻辑的高计算性能和能力的 合并。雾资源可以由云供应商来制造、管理和部署，并且可以利用高速的可靠 的链路来互连。而且，当与边缘系统比较时，雾资源驻留在更远离网络边缘的 地方，但是当与中央云基础设施相比时，雾资源驻留在更靠近网络边缘的地方。 雾设备用于有效地处置由边缘资源转移的计算密集型任务或工作负载。
附加地或替代地，雾可在云1144的边缘处操作。在云1144的边缘 处操作的雾可与云1144的边缘网络1130重叠或者可被归入到云1144的边缘 网络1130中。云1144的边缘网络可与雾重叠，或者可成为雾的部分。此外， 雾可以是包括边缘层和雾层的边缘-雾网络。边缘-雾网络的边缘层包括松散耦 合的、自愿性的、以及人类操作的资源(例如，前述边缘计算节点1136或边 缘设备)的集合。雾层驻留在边缘层的顶部上，并且是诸如图11的中间节点 1120和/或端点1110之类的联网设备的合并。
数据可被捕捉、被存储/被记录、并在IoT设备1111之间被传递， 或者例如，如由图11所示利用直接链路1105在中间节点1120和/或端点1110 之间彼此传递。对通信量流的分析以及控制方案可由聚合器实现，该聚合器通 过网格网络与IoT设备1111进行通信并且彼此通信。聚合器可以是某种类型 的IoT设备1111和/或网络装置。在图11的示例中，聚合器可以是边缘节点 1130、或者一个或多个所规定的中间节点1120和/或端点1110。可经由聚合器 将数据上载至云1144，并且可通过网关设备从云1144接收命令，网关设备通 过网格网络与IoT设备1111以及聚合器通信。不像传统的云计算模型，在一 些实现方式中，云1144可具有很少的计算能力或不具有计算能力，并且仅充 当用于对由雾记录和处理的数据进行归档的储存库。在这些实现方式中，云 1144使数据存储系统集中化，并且提供可靠性，并提供由雾中的计算资源和/ 或边缘设备对数据的接入。处于架构的核心处，云1144的数据存储可由前述 边缘-雾网络的边缘层和雾层两者访问。
如先前所提及，接入网络经由相应的NAN 1131-1133向终端用户设 备1120、1110提供网络连接性。接入网络可以是无线电接入网(RAN)，诸 如，对于在5G/NR蜂窝网络中操作的RAN，NG RAN或5G RAN；对于在LTE 或4G蜂窝网络中操作的RAN，E-UTRAN；或对于GSM或CDMA蜂窝网络， 诸如UTRAN或GERAN之类的传统RAN。对于WiMAX实现方式，接入网 络或RAN可被称为接入服务网络。附加地或替代地，RAN的全部或部分可被 实现为在服务器计算机上运行的一个或多个软件实体作为虚拟网络的部分，其 可被称为云RAN(CRAN)、感知无线电(CR)、虚拟基带单元池(vBBUP)， 等等。附加地或替代地，CRAN、CR或vBBUP可实现RAN功能拆分，其中 一个或多个通信协议层由CRAN/CR/vBBUP操作，并且其他通信协议实体由各 个RAN节点1131、1132操作。该虚拟化框架允许NAN 1131、1132的释放的 处理器核来执行其他虚拟化应用，诸如用于本文中讨论的各种元件的虚拟化应 用。
UE 1121、1111可利用相应的连接(或信道)1103，这些连接(或 信道)1103中的每一个包括物理通信接口或物理通信层。连接1103被图示为 空中接口，用于启用符合蜂窝通信协议的通信耦合，蜂窝通信协议诸如3GPP LTE、5G/NR、即按即说(PTT)和/或通过蜂窝的PTT(POC)、UMTS、GSM、CDMA、 和/或本文中讨论的其他通信协议中的任一种。附加地或替代地，UE 1111、1121 和NAN 1131-1133通过许可介质(也被称为“许可频谱”和/或“许可频带”)和 非许可共享介质(也被称为“非许可频谱”和/或“非许可频带”)来传达(例如， 发射和接收)数据。为了在非许可频谱中操作，UE 1111、1121和NAN 1131-1133 可使用LAA、增强型LAA(eLAA)和/或进一步eLAA(feLAA)机制来操作。 UE 1121、1111可进一步经由各自的直接链路1105来直接交换通信数据，该 直接链路1105可以是LTE/NR接近度服务(ProSe)链路或PC5接口/链路、 或基于WiFi的链路或基于个域网(PAN)的链路(例如，基于IEEE802.15.4 的协议，包括ZigBee、低功耗无线个域网上的IPv6(6LoWPAN)、WirelessHART、MiWi、Thread等；WiFi-direct(WiFi直连)；蓝牙/蓝牙低功耗(BLE)协议)。
附加地或替代地，各个UE 1121、1111将无线电信息提供给一个或 多个NAN 1131-1133和/或一个或多个边缘计算节点1136(例如，边缘服务器/ 主机等)。无线电信息可以采用一个或多个测量报告的形式，并且/或者可包 括例如信号强度测量、信号质量测量，等等。每个测量报告标记有测量的时间 戳和位置(例如，UE 1121、1111的当前位置)。作为示例，由UE 1121、1111 收集的和/或被包括在测量报告中的测量可包括以下各项中的一项或多项：带 宽(BW)、网络或蜂窝小区负载、等待时间、抖动、往返时间(RTT)、中断数 量、数据分组的乱序递送、传送功率、位错误率、位错误比(BER)、块错误 率(BLER)、分组丢失率、分组接收率(PRR)、e2e延迟、信噪比(SNR)、 信噪比和干扰比(SINR)、信号加噪声加失真与信号加失真(SINAD)比率、 载波与干扰加噪声比(CINR)、附加白高斯噪声(AWGN)、每比特能量与噪声 功率密度比(Eb/N0)、每比特能量与干扰功率密度比(Ec/I0)、峰均功率比 (PAPR)、参考信号接收功率(RSRP)、接收信号强度指标(RSSI)、参考 信号接收质量(RSRQ)、用于E-UTRAN或5G/NR的UE定位的蜂窝小区帧 的GNSS时序(例如，对于给定的GNSS，AP或RAN节点参考时间与GNSS特定 的参考时间之间的时序)、GNSS码测量(例如，第i个GNSS卫星信号的扩频码的GNSS码相位(整数和小数部分))、GNSS载波相位测量(例如，自 从锁定到该信号上以来测得的第i个GNSS卫星信号的载波相位周期数(整数 和小数部分)；也称为累积三角范围(ADR))、信道干扰测量、热噪声功率 测量、接收干扰功率测量、和/或其他类似测量。RSRP、RSSI和/或RSRQ测 量可包括对用于3GPP网络(例如，LTE或5G/NR)的蜂窝小区特定参考信号、 信道状态信息参考信号(CSI-RS)和/或同步化信号(SS)或SS块的RSRP、 RSSI和/或RSRQ测量，以及对用于IEEE 802.11WLAN/WiFi网络的各种信标、 快速初始链路设置(FILS)发现帧、或探查响应帧的RSRP、RSSI和/或RSRQ 测量。其他测量可附加地或替代地被使用，诸如，在以下各项中讨论的那些测 量：3GPP TS 36.214版本16.2.0(2021年3月31日)(“[TS36214]”)、3GPP TS 38.215版本16.4.0(2020年12月)([“[TS38215]”)、IEEE 802.11-2020,“用 于信息技术的IEEE标准——系统之间的电信和信息交换——局域网和城域网——具体要求——第11部分：无线LAN介质访问控制(MAC)和物理层 (PHY)规范(IEEEStandard for Information Technology--Telecommunications and InformationExchange between Systems-Local and Metropolitan Area Networks--SpecificRequirements-Part 11:Wireless LAN Medium Access Control (MAC)and PhysicalLayer(PHY)Specifications)”(2021年2月26日) (“[IEEE80211]”)，等等。附加地或替代地，上述测量(或测量的组合)中的任 一个可由一个或多个NAN 1131-1133收集，并被提供给(多个)边缘计算节点 1136。
无线电信息可响应于触发事件和/或周期性地被报告。附加地或替 代地，取决于要发生的数据传送和/或与数据传送有关的其他信息，各个UE 1121、UE 1111以低周期性或高周期性来报告无线电信息。
附加地或替代地，(多个)边缘计算节点1136能以低周期性或高 周期性从NAN1131-1133请求测量，或者NAN 1131-1133能以低周期性或高周 期性将测量提供给(多个)边缘计算节点1136。附加地或替代地，(多个)边 缘计算节点1136可利用测量报告、或与测量报告相分离地从其他(多个)边 缘计算节点1136、核心网络功能(NF)、应用功能(AF)和/或其他UE 1111、 UE 1121获取其他相关数据，诸如关键性能指标(KPI)。
UE 1121b被示出为被配置成用于经由连接1107来接入一接入点 (AP)1133。在该示例中，AP 1133被示出为在不连接至无线系统的CN 1142 的情况下连接至因特网。连接1107可以包括本地无线连接，诸如符合任何IEEE 802.11协议的连接，其中，AP 1133将包括无线保真
路由器。附加 地或替代地，UE 1121和IoT设备1111可配置成根据各种通信技术、通过单载 波通信信道或多载波通信信道、使用合适的通信信号来彼此通信或与AP1133 中的任一者通信，各种通信技术诸如但不限于正交频分复用(OFDM)通信技术、 单载波频分多址(SC-FDMA)通信技术，等等，但是本公开的范围不限于这方 面。通信技术可包括合适的调制方案，诸如互补码键控(CCK)；相移键控(PSK)， (诸如二进制PSK(BPSK)、正交PSK(QPSK)、差分PSK(DPSK)等)；或正 交调幅(QAM)(诸如M-QAM)；等等。
启用连接1103的一个或多个NAN 1131和1132可被称为“RAN节点”， 等等。RAN节点1131、1132可包括提供地理区域(例如，蜂窝小区)内的覆 盖的地面站(例如，陆地接入点)或卫星站。RAN节点1131、1132可被实现 为专用物理设备中的一个或多个，专用物理设备诸如宏蜂窝小区基站和/或低功 率基站，该低功率基站用于提供毫微微蜂窝、微微蜂窝、或相较于宏蜂窝小区 具有更小的覆盖面积、更小的用户容量、或更高的带宽的其他类似蜂窝小区。 在该示例中，RAN节点1131被具体化为节点B、演进型节点B(eNB)、或 下一代节点B(gNB)，并且RAN节点1132被具体化为中继节点、分布式单 元或路边联合(RSU)。可以适用任何其他类型的NAN。
RAN节点1131、1132中的任一个可以终止空中接口协议，并且可 以是用于UE 1121和IoT设备XE11的第一联系点。附加地或替代地，RAN节 点1131、1132中的任一个可以实现用于RAN的各种逻辑功能，包括但不限于 用于无线电资源管理、准入控制、上行链路和下行链路动态资源分配、无线电 承载方管理、数据分组调度等的(多个)RAN功能(例如，无线电网络控制 器(RNC)功能和/或NG-RAN功能)。附加地或替代地，UE 1111、1121可 以被配置成通过多载波通信信道、根据各种通信技术、使用OFDM通信信号 来彼此通信或者与NAN1131、1132中的任一个进行通信，各种通信技术诸如 但不限于OFDMA通信技术(例如，针对下行链路通信)和/或SC-FDMA通 信技术(例如，针对上行链路和ProSe或侧链路通信)，但本公开的范围不限 于这方面。
对于大多数蜂窝通信系统，由RAN或各个NAN 1131-1132操作的(多 个)RAN功能将下行链路传送(例如，从RAN节点1131、1132中的任一个到 UE 1111、1121)和上行链路传送(例如，从UE 1111、1121到RAN节点1131、 1132)组织到具有10毫秒(ms)持续时间的无线电帧(或简称“帧”)中，其 中每个帧包括十个1ms的子帧。每个传送方向具有在每个时隙中指示物理资 源的其自身的资源网格，其中，资源网格的每列和每行分别与一个码元和一个子载波对应。在时域中资源网格的持续时间与无线电帧中的一个时隙相对应。 资源网格包括多个资源块(RB)，资源块描述某些物理信道向资源元素(RE) 的映射。每个RB可以是物理RB(PRB)或虚拟RB(VRB)，并且包括RE的集 合。RE是资源网格中最小的时-频单元。(多个)RNC功能在每个传送时间间 隔(TTI)动态地将资源(例如，PRB以及调制和编码方案(MCS))分配给每 个UE 1111、1121。TTI是无线电链路1103、1105上的传送的持续时间，并且 与从更高的网络层传递到无线电链路层的数据块的尺寸有关。
NAN 1131/1132可被配置成经由相应的接口或链路(未示出)来彼 此通信，这些接口或链路诸如，针对LTE实现方式(例如，当CN 1142是演 进型分组核心(EPC)时)的X2接口、针对5G或NR实现方式(例如，当 CN 1142是第五代核心(5GC)时)的Xn接口，等等。NAN 1131和1132也 通信地耦合至CN 1142。附加地或替代地，CN 1742可以是演进型分组核心 (EPC)网络、下一代分组核心(NPC)网络、5G核心(5GC)、或某种其他 类型的CN。CN 1142可包括多个网络元件，这些网络元件被配置成用于向经 由RAN连接至CN 1142的消费者/订户(例如，UE 1121和IoT设备1111的 用户)提供各种数据和电信服务。可将CN 1142的组件实现在包括用于读取并 执行来自机器可读或计算机可读介质(例如，非暂态机器可读存储介质)的指 令的组件的一个物理节点或分开的物理节点中。附加地或替代地，网络功能虚 拟化(NFV)可以用于经由一个或多个计算机可读存储介质(下文进一步详细 地描述)中所存储的可执行指令来使上文所描述的网络节点功能中的任何网络 节点功能或全部网络节点功能虚拟化。CN 1142的逻辑实例化可被称为网络切 片，并且CN 1142的部分的逻辑实例化可被称为网络子切片。NFV架构和基 础设施可用于使一个或多个网络功能虚拟化到物理资源上，这些网络功能替代 地由专有硬件执行，物理资源包括行业标准服务器硬件、存储硬件、或交换机 的组合。换言之，NFV系统可用于执行一个或多个CN 1142组件/功能的虚拟 或可重配置的实现方式。
CN 1142被示出为经由IP通信接口1155通信地耦合至应用服务器 1150和网络1150。一个或多个服务器1150包括用于通过网络向一个或多个客 户端(例如，UE 1121和IoT设备1111)提供功能(或服务)的一个或多个物 理和/或虚拟化的系统。(多个)服务器1150可包括具有(多个)机架式计算 架构组件、(多个)塔式计算架构组件、(多个)刀片式计算架构组件、等等 的各种计算机设备。(多个)服务器1150可表示服务器集群、服务器场、云计算服务、或服务器的其他编组或其他服务器池，其可位于一个或多个数据中 心中。(多个)服务器1150还可连接至一个或多个数据存储设备(未示出) 或者以其他方式与该一个或多个数据存储设备相关联。此外，(多个)服务器 1150可包括操作系统(OS)，该OS提供用于对各个服务器计算机设备的一 般管理和操作的可执行程序指令，并且(多个)服务器1150可包括存储有指 令的计算机可读介质，这些指令在由服务器的处理器执行时可允许服务器执行 它们的预期功能。针对OS的合适的实现方式和服务器的一般功能是已知的或者商业上可用的，并且由具有本领域普通技术人员容易地实现。一般而言，(多 个)服务器1150提供使用IP/网络资源的应用或服务。作为示例，(多个)服 务器1150可提供通信量管理服务、云分析、内容流送服务、沉浸式游戏体验、 社交联网和/或微博服务、和/或其他类似服务。另外，由(多个)服务器1150 提供的各种服务可包括为由UE 1121和IoT设备1111实现的应用或各个组件 发起和控制软件和/或固件更新。(多个)服务器1150还可以被配置成经由CN 1142支持用于UE 1121和IoT设备1111的一个或多个通信服务(例如，通过 网际协议的语音(VoIP)会话、PTT会话、群组通信会话、社交联网服务等)。
由图11中的NAN 1131-1133、UE 1121、1111和其他元件采用的无 线电接入技术(RAT)可包括一个或多个V2X RAT，这一个或多个V2X RAT允许 这些元件直接彼此通信，与基础设施装备(例如，NAN 1131-1133)通信，并 且与其他设备通信。任何数量的V2X RAT可用于V2X通信。在一些实现方式中， 可使用至少两个不同的V2X RAT，包括：基于IEEE V2X技术(例如，用于 美国的DSRC和用于欧洲的ITS-G5)的WLAN V2X(W-V2X)RAT、和3GPP C-V2XRAT(例如，LTE、5G/NR及之后)。
W-V2X RAT包括例如：IEEE 1609.0-2019“IEEE Guide for Wireless Access inVehicular Environments(WAVE)Architecture(针对交通工具环境中的 无线接入(WAVE)架构的IEEE指导)”(2019年4月10日)(“[IEEE16090]”)； SAE国际(国际汽车工程师学会)“V2X通信消息集合字典(V2X Communications Message Set Dictionary)”(原名“专用短距通信(DSRC)消息 集合字典(Dedicated Short Range Communication(DSRC)MessageSet Dictionary)”)(2020年7月23日)(“[J2735_202007]”)；5GHz频带中的 智能运输系统(ITS-G5)；IEEE 802.11p协议(其为WAVE、DSRC和ITS-G5 的层1(L1)和层2(L2)部分)；并且有时，IEEE 802.16-2017“针对用于宽 带无线接入系统的空中接口的IEEE标准)”(有时被称为“全球微波接入互操 作性”或“WiMAX”)(2018年3月2日)(“[WiMAX]”)。术语“DSRC”是指在美国一般使用的5.9GHz频带中的交通工具通信，而“ITS-G5”是指在欧洲的 5.9GHz频带中的交通工具通信。由于可在任何地理或政治区域中使用的任何 数量的不同RAT(包括基于IEEE 802.11p的RAT)是可适用的，因此贯穿本 公开可以可互换地使用术语“DSRC”(在美国等区域中使用)和“ITS-G5”(在 欧洲等区域中使用)。用于ITS-G5接口的接入层在ETSIEN 302 663版本1.3.1 (2020年1月)(此后称为“[EN302663]”)中概述，并描述了ITS-S参考架构 的接入层。ITS-G5接入层包括(其现在并入了IEEE 802.11p)和IEEE 802.2 逻辑链路控制(LLC)(“[IEEE8022]”)和/或IEEE/ISO/IEC 8802-2-1998协议、 以及在ETSI TS 102687版本1.2.1(2018年4月)(“[TS102687]”)中讨论的 用于分散化拥塞控制(LCC)方法的特征。用于(多个)基于3GPP LTE-V2X 的接口的接入层尤其在ETSI EN 303 613版本1.1.1(2020年1月)、3GPP TS 23.285版本16.2.0(2019年12月)中进行概述；并且3GPP 5G/NR-V2X尤其 在3GPP TR 23.786版本16.1.0(2019年6月)和3GPP TS 23.287版本16.2.0 (2020年3月)中进行概述。
云1144可表示提供一个或多个云计算服务的云计算架构/平台。云 计算是指用于利用按需的自服务供应和管理且无需用户的主动管理的情况下 启用对可扩展且弹性的可共享计算资源池的网络接入的范式。计算资源(或简 称“资源”)是在计算系统或网络内具有有限的可用性的任何物理或虚拟组件、 或此类组件的使用。资源的示例包括对于一段时间的对以下各项的使用/访问： 服务器、(多个)处理器、存储装备、存储器设备、存储器区域、网络、电功 率、输入/输出(外围)设备、机械设备、网络连接(例如，信道/链路、端口、 网络插槽等)、操作系统、虚拟机(VM)、软件/应用、计算机文件，等等。 云计算提供云计算服务(或云服务)，该云计算服务(或云服务)是经由使用 所定义的接口(例如，API，等等)唤起的云计算而提供的一项或多项能力。 云1144的一些能力包括应用能力类型、基础设施能力类型、以及平台能力类 型。云能力类型是对由云服务基于所使用的资源提供给云服务消费者(例如， 云1144的用户)的功能的分类。应用能力类型是云服务消费者能够凭借其来 使用云服务提供商的应用的云能力类型；基础设施能力类型是云服务消费者能 够凭借其来供应并使用处理资源、存储资源或联网资源的云能力类型；并且平 台能力类型是云服务消费者能够凭借其使用云服务提供商所支持的一个或多 个编程语言以及一个或多个执行环境来部署、管理和运行消费者创建或消费者 获取的应用的云能力类型。云服务可被分组到拥有某个共同的质量集的类别中。 云1144可提供的一些云服务类别包括例如：
通信即服务(CaaS)，其是涉及实时的交互和协作服务的云服务类 别；计算即服务(CompaaS)，其是涉及部署和运行软件所需的处理资源的供 应和使用的云服务类别；数据库即服务(DaaS)，其是涉及数据库系统管理服 务的供应和使用的云服务类别；数据存储即服务(DSaaS)，其是涉及数据存 储和相关能力的供应和使用的云服务类别；防火墙即服务(FaaS)，其是涉及 提供防火墙和网络通信量管理服务的云服务类别；基础设施即服务(IaaS)， 其是涉及基础设施能力类型的云服务类别；网络即服务(NaaS)，其是涉及传 输连接性和相关网络能力的云服务类别；平台即服务(PaaS)，其是涉及平台 能力类型的云服务类别；软件即服务(SaaS)，其是涉及应用能力类型的云服 务类别；安全即服务，其是涉及提供网络和信息安全(infosec)服务的云服 务类别；和/或其他类似云服务。
附加地或替代地，云1144可表示网络，诸如因特网、局域网(LAN)、 广域网(WAN)、无线局域网(WLAN)、或包括用于公司或组织的专有和/或企 业网络的无线广域网(WWAN)，或其组合。
在此，云1144包括一个或多个网络，这一个或多个网络包括计算 机、计算机之间的网络连接、以及用于通过网络连接实现计算机之间的通信的 软件例程。在这方面，云1144包括一个或多个网络元件，这一个或多个网络 元件可包括一个或多个处理器、通信系统(例如，包括网络接口控制器、连接 至一个或多个天线的一个或多个发射器/接收器等)以及计算机可读介质。此类 网络元件的示例可包括无线接入点(WAP)、家庭/商业服务器(具有或不具 有射频(RF)通信电路系统)、路由器、交换机、集线器、无线电信标、基站、 微微蜂窝或小型蜂窝基站、骨干网关、和/或任何其他类似的网络设备。到云 1144的连接可使用下文讨论的各种通信协议经由有线或无线连接。所图示的设 备之间的通信会话中可涉及多于一个网络。到云1144的连接可要求计算机执 行软件例程，这些软件例程实现例如计算机联网的OSI模型的七个层或无线 (蜂窝)电话网络中的等效物。云1144可用于实现诸如例如一个或多个服务 器1150与一个或多个UE 1121和IoT设备1111之间的相对长距离的通信。附 加地或替代地，云1144可表示因特网、一个或多个蜂窝网络、局域网、或广 域网(包括专有和/或企业网络)、基于TCP/网际协议(IP)的网络、或其组 合。在这些实现方式中，云1144可与拥有或控制提供网络相关服务所必需的 装备和其他元件的网络运营商相关联，这些装备和其他元件诸如一个或多个基 站或接入点、用于路由数字数据或电话呼叫的一个或多个服务器(例如，核心 网络或骨干网络)等。骨干链路1155可包括任何数量的有线或无线技术，并 且可以是LAN、WAN或因特网的部分。在一个示例中，骨干链路1155是将 较低层级的服务提供商耦合至因特网的光纤骨干链路，诸如CN 1112和云1144。
附加地或替代地，各种接入技术可包括诸如LTE、MuLTEfire和/ 或NR/5G之类的蜂窝技术(例如，如由无线电接入网络(RAN)节点1131-1132 提供)、WLAN(例如，
)技术(例如，如由接入点(AP)1133提供)， 等等。不同的技术在不同的场景中表现出益处和限制，并且不同场景中的应用 性能变得取决于接入网络的选择(例如，WiFi、LTE等)以及所使用的网络和 传输协议(例如，传输控制协议(TCP)、虚拟专用网络(VPN)、多路径TCP (MPTCP)、通用路由封装(GRE)等)。
边缘计算节点1136可包括或可以是边缘系统1135(或边缘网络 1135)的部分。边缘计算节点1136也可被称为“边缘主机1136”或“边缘服务器 1136”。边缘系统1135包括在运营商网络或运营商网络的子网内运行边缘计算 应用(例如，图11的MEC应用1136)所必须的边缘服务器1136(例如，图 11的MEC主机/服务器1136-1和1136-2)和边缘管理系统(未由图11示出) 的集合。边缘服务器1136是物理计算机系统，该物理计算机系统可包括边缘 平台(例如，图11的MEC平台1137)和/或虚拟化基础设施(例如，图11 的VI 1138)，并且可将计算资源、存储资源和网络资源提供给边缘计算应用。 边缘服务器1136中的每个边缘服务器被设置在相对应接入网络的边缘处，并 且布置成在中间节点1120和/或端点1110的相对近的接近度内提供计算资源和 /或各种服务(例如，如本文中所讨论的计算任务和/或工作负载转移、云计算 能力、IT服务、和其他类似的资源和/或服务)。边缘服务器1136的VI为边缘主机提供虚拟化环境和虚拟化资源，并且边缘计算应用可在VI的顶部上作 为VM和/或应用容器来运行。边缘系统1135的一个示例实现方式是MEC系统 1135，其在下文参考图11-图12更详细地讨论。应当理解，所公开的MEC系统 和服务部署示例仅是边缘计算系统/网络1135的一个说明性示例，并且本公开 可按照位于包括本文中描述的各种边缘计算网络/系统的网络的边缘处的设备 的各种组合和布局而适用于许多其他边缘计算/联网技术。进一步地，本文中 所公开的技术可涉及其他IoT边缘网络系统和配置，并且其他中间处理实体和 架构也可适用于本公开。
如由图11所示，NAN 1131、1132和1133中的每一个分别与边缘计 算节点(或“边缘服务器”)1136a、1136b和1136c共处一地。这些实现方式可 以是其中边缘计算节点1136与小型蜂窝小区(例如，微微蜂窝小区、毫微微 蜂窝小区等)位于一起的小型蜂窝小区云(SCC)，或者可以是其中边缘计算 节点1136与宏蜂窝小区(例如，eNB、gNB等)共处一地的移动微云(MCC)。 边缘计算节点1136能以除由图11所示出的布置之外的众多布置来部署。在第 一示例中，多个NAN 1131-1133与一个边缘计算节点1136共处一地，或以其 他方式与一个边缘计算节点1136通信地耦合。在第二示例中，边缘服务器1136 可与RNC共处一地或由RNC操作，这可以是针对诸如3G网络之类的传统网 络部署的情况。在第三示例中，边缘服务器1736可被部署在蜂窝小区聚合地 点处或多RAT聚合点处，这些蜂窝小区聚合地点或多RAT聚合点可以位于企 业内或被用在公共覆盖区域中。在第四示例中，边缘服务器1136可被部署在 CN 1142的边缘处。这些实现方式可在跟随我云(FMC)中使用，其中，在分 布式数据中心处运行的云服务在UE 1121贯穿网络漫游时跟随UE 1121。
在本文中讨论的实现方式中的任一实现方式中，边缘服务器1136 提供用于应用和服务托管的分布式计算环境，并且还提供存储和处理资源，使 得数据和/或内容可在订户(例如，UE 1121、UE 1111的用户)的近接近度内 被处理，以实现更快的响应时间。边缘服务器1136还支持用于应用的(多个) 多租户运行时和托管环境，这些应用包括：虚拟装置应用，其可作为打包的虚 拟机(VM)镜像被递送；中间件应用和基础设施服务；内容交付服务，包括内 容高速缓存；移动大数据分析；以及计算转移；等等。计算转移涉及将计算任 务、工作负荷、应用和/或服务从UE 1111/1121、CN 1142、云1144和/或(多 个)服务器1150转移到边缘服务器1136，或反之亦然。例如，在UE 1121/1111 中操作的设备应用或客户端应用可将应用任务或工作负载转移到一个或多个 边缘服务器1136。在另一示例中，边缘服务器1136可将应用任务或工作负载 转移到一个或多个UE 1121/1111(例如，用于分布式ML计算，等等)。
图12是示出用于边缘计算的配置的概览的框图1200，该配置包括 在以下示例中的许多示例中被称为“边缘云”的处理层。如所示，边缘云1210 共同定位在边缘位置(诸如网络接入点(NAN)1240(例如，接入点或基站)、 本地处理中枢1250、或中央局1220)，并且因此可以包括多个实体、设备、 和装备实例。与云数据中心1230相比，边缘云1210被定位成更靠近端点(消 费者和生产者)数据源1260(例如，自主交通工具1261、用户装备1262、商 业和工业装备1263、视频捕捉设备1264、无人机1265、智慧城市和建筑设备 1266、传感器和IoT设备1267等)。在边缘云1210中的边缘处提供的计算、 存储器、和存储资源对于为由端点数据源1260使用的服务和功能提供超低等 待时间的响应时间以及减少从边缘云1210朝向云数据中心1230的网络回程通 信量(由此改善能耗和整体网络使用等益处)至关重要。
计算、存储器和存储是稀缺资源，并且通常根据边缘位置而减少(例 如，在消费者端点设备处可用的处理资源比在基站处、在中央局处可用的处理 资源更少)。然而，边缘位置越靠近端点(例如，用户装备(UE))，空间和 功率通常就越受限。因此，边缘计算试图通过分配被定位成既在地理上更靠近 又在网络访问时间上更靠近的更多的资源来减少网络服务所需的资源量。以此 种方式，边缘计算尝试在适当的情况下将计算资源带到工作负荷数据，或者， 将工作负荷数据带到计算资源。
以下描述了边缘云架构的各方面，该架构涵盖多种潜在的部署，并 解决了一些网络运营商或服务提供商在其自身基础设施中可能具有的限制。这 些包括以下的变体：基于边缘位置的配置变化(例如，因为处于基站级别的边 缘在多租户场景中可能具有更受限制的性能和能力)；基于对边缘位置、位置 的层、或位置的组可用的计算、存储器、存储、结构、加速等资源的类型的配 置；服务、安全性、以及管理和编排能力；以及实现端服务的可用性和性能的 相关目标。取决于等待时间、距离、和定时特征，这些部署可以在网络层中完 成处理，这些网络层可以被视为“接近边缘”层、“靠近边缘”层、“本地边缘”层、 “中间边缘”层、或“远边缘”层。
边缘计算是一种开发范式，其中计算在网络的“边缘”处或靠近于网 络的“边缘”被执行，典型地通过使用在基站、网关、网络路由器、或与产生和 消耗数据的端点设备靠近得多得多的其他设备处实现的被适当地布置的计算 平台(例如，x86、ARM、Nvidia或基于计算硬件架构的其他CPU/GPU)来执 行。例如，边缘网关服务器可装配有存储器池和存储资源，以针对连接的客户 端设备的低等待时间用例(例如，自主驾驶或视频监控)实时地执行计算。或 者作为示例，基站可被扩充有计算和加速资源，以直接为连接的用户装备处理 服务工作负荷，而无需进一步经由回程网络传输数据。或者作为另一示例，中 央局网络管理硬件能以标准化计算硬件来代替，该标准化计算硬件执行虚拟化 网络功能，并为服务的执行提供计算资源并且为连接的设备提供消费者功能。 替代地，也可以成功地实现硬件与虚拟化功能组合的布置，该布置通常被称为 混合布置。在边缘计算网络内，可能存在计算资源将被“移动”到数据的服务中 的场景，以及其中数据将被“移动”到计算资源的场景。或者作为示例，基站计 算、加速和网络资源可以提供服务，以便通过激活休眠容量(订阅、按需容量) 来根据需要缩放至工作负荷需求，以便管理极端情况、紧急情况或为部署的资 源在显著更长的实现的生命周期中提供长寿命。
图13图示出端点、边缘云和云计算环境之间的操作层。具体而言， 图13描绘了在网络计算的多个说明性层之间利用边缘云1210的计算用例1305 的示例。这些层开始于端点(设备和事物)层1300，该端点层1300访问边缘 云1210以进行数据创建、分析、和数据消费活动。边缘云1210可以跨越多个 网络层，诸如边缘设备层1310，该边缘设备层1310具有网关、内部(on-premise) 服务器、或位于物理上邻近边缘系统中的网络装备(节点1315)；网络接入层 1320，该网络接入层1320涵盖基站、无线电处理单元、网络中枢、区域数据 中心(DC)、或本地网络装备(装备1325)；以及位于它们之间的任何装备、 设备或节点(在层1312中，未详细图示出)。边缘云1210内和各层之间的网 络通信可以经由任何数量的有线或无线介质来实现，包括经由未描绘出的连接 性架构和技术来实现。
由于网络通信距离和处理时间约束而导致的等待时间的示例的范 围可以从在端点层1300之间时的小于毫秒(ms)，在边缘设备层1310处的低 于5ms到当与网络接入层1320处的节点通信时的甚至10ms到40ms之间。在 边缘云1210之外是核心网络1330层和云数据中心1340层，它们各自均具有 增加的等待时间(例如，在核心网络层1330处的50ms-60ms、到在云数据中心 层处的100ms或更多ms之间)。因此，在核心网络数据中心1335或云数据中心1345处的、具有至少50ms至100ms或更长的等待时间的操作将无法完成用 例1305的许多时间关键的功能。出于说明和对比的目的，提供这些等待时间 值中的每一个等待时间值；将会理解，使用其他接入网络介质和技术可以进一 步降低等待时间。在一些示例中，相对于网络源和目的地，网络的各个部分可 以被分类为“靠近边缘”层、“本地边缘”层、“接近边缘”层、“中间边缘”层或“远 边缘”层。例如，从核心网络数据中心1335或云数据中心1345的角度来看， 中央局或内容数据网络可以被视为位于“接近边缘”层内(“接近”云，具有在与用例1305的设备和端点通信时的高等待时间值)，而接入点、基站、内部服务 器或网络网关可以被视为位于“远边缘”层内(“远”离云，具有在与用例1305 的设备和端点通信时的低等待时间值)。将会理解，构成“靠近”、“本地”、“接 近”、“中间”或“远”边缘的特定网络层的其他分类可以基于等待时间、距离、网 络跳数或其他可测量的特性，如从网络层1300-1340中的任一层中的源所测量 的特性。
由于多个服务利用边缘云，因此各种用例1305可能在来自传入流 的使用压力下访问资源。为了实现低等待时间的结果，在边缘云1210内执行 的服务在以下方面平衡了不同的要求：(a)优先级(吞吐量或等待时间)和 服务质量(QoS)(例如，在响应时间要求方面，用于自主汽车的通信量可能 比温度传感器具有更高的优先级；或者取决于应用，性能敏感度/瓶颈可能存 在于计算/加速器、存储器、存储、或网络资源上)；(b)可靠性和复原性(例如，取决于应用，一些输入流需要被作用并且以任务关键型可靠性来路由通信 量，而一些其他输入流可以容忍偶尔的故障；以及(c)物理约束(例如，功 率、冷却和形状因子)。
这些用例的端对端服务视图涉及服务流的概念，并且与事务相关联。 事务详细说明了消费服务的实体的整体服务要求、以及资源、工作负荷、工作 流、以及业务功能和业务水平要求的相关联的服务。根据所描述的“条款”执行 的服务能以确保事务在服务的生命周期期间的实时和运行时合约顺应性的方 式在每层处被管理。当事务中的组件缺失其约定的SLA时，系统作为整体(事 务中的组件)可以提供以下能力：(1)理解SLA违反的影响，以及(2)增强 系统中的其他组件以恢复整体事务SLA，以及(3)实现补救的步骤。
因此，考虑到这些变化和服务特征，边缘云1210内的边缘计算可 以提供实时或接近实时地服务和响应于用例1305的多个应用(例如，对象跟 踪、视频监控、连接的汽车等)的能力，并满足这些多个应用的超低等待时间 要求。这些优势使全新类别的应用(虚拟网络功能(VNF)、功能即服务(FaaS)、 边缘即服务(EaaS)、标准过程等)得以实现，这些应用由于等待时间或其他 限制而无法利用传统的云计算。
然而，伴随边缘计算的优势而来的有以下注意事项。位于边缘处的 设备通常是资源受限的，并且因此存在对边缘资源的使用的压力。典型地，这 是通过对供多个用户(租户)和设备使用的存储器和存储资源的池化来解决的。 边缘可能是功率受限且冷却受限的，并且因此需要由消耗最多功率的应用对功 率使用作出解释。在这些经池化的存储器资源中可能存在固有的功率-性能权 衡，因为它们中的许多可能使用新兴的存储器技术，在这些技术中，更多的功 率需要更大的存储器带宽。同样，还需要硬件和信任根受信任的功能的改善的 安全性，因为边缘位置可以是无人的，并且可能甚至需要经许可的访问(例如，当被容纳在第三方位置时)。在多租户、多所有者、或多访问设置中，此类问 题在边缘云1210中被放大，此类设置中，由许多用户请求服务和应用，特别 是当网络使用动态地波动以及多个相关者、用例、和服务的组成改变时。
在更一般的级别上，边缘计算系统可以被描述为涵盖在先前讨论的、 在边缘云1210(网络层1300-1340)中操作的层处的任何数量的部署，这些层 提供来自客户端和分布式计算设备的协调。一个或多个边缘网关节点、一个或 多个边缘聚合节点和一个或多个核心数据中心可以跨网络的各个层而分布，以 由电信服务提供商(“电信公司”或“TSP”)、物联网服务提供商、云服务提供 商(CSP)、企业实体或任何其他数量的实体提供边缘计算系统的实现，或者 代表电信服务提供商(“电信公司”或“TSP”)、物联网服务提供商、云服务提供商(CSP)、企业实体或任何其他数量的实体提供边缘计算系统的实现。诸 如当进行编排以满足服务目标时，可以动态地提供边缘计算系统的各种实现方 式和配置。
与本文提供的示例一致，客户端计算节点可以被具体化为任何类型 的端点组件、设备、装置或能够作为数据的生产者或消费者进行通信的其他事 物。在此，“生产者”是指向相同的边缘节点上或不同的边缘节点上的其他实 体或元件提供服务的实体或元件，而“消费者”是指可以消费来自相同的或不 同的边缘节点上的生产者的终端用户通信量和/或用户服务的实体或元件。例 如，生产者应用可以提供位置服务、映射服务、转码服务、AI/ML服务和/或其 他类似服务。附加地或替代地，消费者应用可以是内容交付网络(CDN)节点、 AR或VRapp、游戏app和/或其他一些类型的应用。进一步地，如边缘计算系 统中所使用的标签“节点”或“设备”不一定意指此类节点或设备以客户端或代理 /仆从/跟随者角色操作；相反，边缘计算系统中的节点或设备中的任一者指代 包括分立的和/或连接的硬件或软件配置以促进和/或使用边缘云1210的各个 实体、节点或子系统。
由此，边缘云1210由网络层1310-1330之间的边缘网关节点、边缘 聚合节点或其他边缘计算节点操作并在网络层1310-1330之间的边缘网关节点、 边缘聚合节点或其他边缘计算节点内被操作的网络组件和功能特征形成。因此， 边缘云1210可被具体化为提供边缘计算和/或存储资源的任何类型的网络，这 些边缘计算和/或存储资源被定位成接近具有无线电接入网络(RAN)能力的 端点设备(例如，移动计算设备、IoT设备、智能设备等)，这在本文中进行 讨论。换言之，边缘云1210可被预想为连接端点设备和传统网络接入点、同时还提供存储和/或计算能力的“边缘”，这些传统网络接入点充当进入到包括移 动运营商网络(例如，全球移动通信系统(GSM)网络、长期演进(LTE)网 络、5G/6G网络等)的服务提供商核心网络中的入口点。其他类型和形式的网 络接入(例如，Wi-Fi、长程无线、包括光学网络的有线网络)也可替代此类 3GPP运营商网络被利用或与此类3GPP运营商网络组合来利用。
边缘云1210的网络组件可以是服务器、多租户服务器、装置计算 设备和/或任何其他类型的计算设备。例如，边缘云1210可以包括作为包括壳 体、机壳、机箱或外壳的自包含电子设备的装置计算设备。在一些情况下，可 以针对便携性来确定壳体尺寸，以使得其可由人类携载和/或被运输。或者， 它可能是一个较小的模块，例如适合安装在交通工具中。示例壳体可包括形成 一个或多个外表面的材料，该一个或多个外表面部分地或完整地保护装置的内 容物，其中，保护可包括天气保护、危险环境保护(例如，EMI、振动、极端 温度)和/或使得能够浸入水中。示例壳体可包括用于为固定式和/或便携式实 现方式提供功率的功率电路系统，诸如AC功率输入、DC功率输入、(多个) AC/DC或DC/AC转换器、功率调节器、变压器、充电电路系统、电池、有线 输入和/或无线功率输入。更小的模块化实现还可以包括用于无线通信的可扩展 或嵌入式天线布置。示例壳体和/或其表面可包括或连接至安装硬件，以实现 到诸如建筑物、电信结构(例如，杆、天线结构等)和/或机架(例如，服务 器机架、刀片支架等)之类的结构的附接。示例壳体和/或其表面可支持一个 或多个传感器(例如，温度传感器、振动传感器、光传感器、声学传感器、电 容传感器、接近度传感器和/或图27的传感器2772等)。一个或多个此类传 感器可被包含在装置的表面中、由装置的表面承载、或以其他方式被嵌入在装 置的表面中和/或被安装至装置的表面。示例壳体和/或其表面可支持机械连接 性，诸如推进硬件(例如，轮子、螺旋桨、致动器(例如，图27的致动器2774) 等)和/或铰接硬件(例如，机械臂、可枢转附件等)。在一些情况下，传感 器可包括任何类型的输入设备，诸如用户接口硬件(例如，按键、开关、拨号 盘、滑块等)。在一些情况下，示例壳体包括包含在其中、由其携载、嵌入其 中和/或附接于其的输出设备。输出设备可包括显示器、触摸屏、灯、LED、 扬声器、I/O端口(例如，USB)等。在一些情况下，边缘设备是为特定目的 而被呈现在网络中、但是可具有可用于其他目的的处理和/或其他能力的设备 (例如，红绿灯)。此类边缘设备可以独立于其他联网设备，并且可设置有具 有适合其主要目的的形状因子的壳体；但对于不干扰其主要任务的其他计算任 务仍然是可用的。边缘设备包括物联网设备。装置计算设备可包括用于管理诸 如设备温度、振动、资源利用率、更新、功率问题、物理和网络安全性之类的 本地问题的硬件和软件组件。结合图27描述了用于实现装置计算设备的示例 硬件。边缘云1210还可以包括一个或多个服务器和/或一个或多个多租户服务 器。此类服务器可包括操作系统并实现虚拟计算环境。虚拟计算环境可包括管 理(例如，生成、部署、损毁等)一个或多个虚拟机、一个或多个容器等的管 理程序。此类虚拟计算环境提供其中一个或多个应用和/或其他软件、代码或 脚本可在与一个或多个其他应用、软件、代码或脚本隔离的同时执行的执行环 境。
在图14中，(以移动设备、计算机、自主交通工具、业务计算装 备、工业处理装备的形式的)各种客户端端点1410交换特定于端点网络聚合 类型的请求和响应。例如，客户端端点1410可以通过借助于内部网络系统1432 交换请求和响应1422，经由有线宽带网络获得网络接入。一些客户端端点1410 (诸如移动计算设备)可以通过借助于接入点(例如，蜂窝网络塔)1434交换 请求和响应1424，经由无线宽带网络获得网络接入。一些客户端端点1410(诸 如自主交通工具)可通过街道定位网络系统1436，经由无线机载网络获得请求 和响应1426的网络接入。然而，无论网络接入的类型如何，TSP可以在边缘云 1210内部署聚合点1442、1444来聚合通信量和请求。因此，在边缘云1210 内，TSP可以(诸如在边缘聚合节点1440处)部署各种计算和存储资源以提供 请求的内容。边缘聚合节点1440和边缘云1210的其他系统被连接至云或数据 中心1460，该云或数据中心1460使用回程网络1450来满足来自云/数据中心 对网站、应用、数据库服务器等的更高等待时间请求。边缘聚合节点1440和聚合点1442、1444的附加或合并的实例(包括部署在单个服务器框架上的那 些实例)也可以存在于边缘云1210或TSP基础设施的其他区域内。
图15图示出跨在多个边缘节点和使用此类边缘节点的多个租户(例 如，用户、提供商)之间操作的边缘计算系统的虚拟化和基于容器的边缘配置 的部署和编排。具体而言，图15描绘了边缘计算系统1500中的第一边缘节点 1522和第二边缘节点1524的协调，以实现对接入各种虚拟边缘实例的各种客 户端端点1510(例如，智能城市/建筑系统、移动设备、计算设备、商业/物流 系统、工业系统等)的请求和响应。在此，虚拟边缘实例1532、1534通过接 入云/数据中心1540以获得对网站、应用、数据库服务器等的更高等待时间的 请求来提供边缘云中的边缘计算能力和处理。然而，边缘云使得能够协调用于 多个租户或实体的多个边缘节点之间的处理。
在图15中，这些虚拟边缘实例包括：提供给第一租户(租户1)的 第一虚拟边缘1532，该第一虚拟边缘1532提供边缘存储、计算、和服务的第 一组合；以及第二虚拟边缘1534，提供边缘存储、计算、和服务的第二组合。 虚拟边缘实例1532、1534分布在边缘节点1522、1524之间，并且可以包括其 中从相同或不同的边缘节点满足请求和响应的场景。用于以分布式但协调的方 式操作的边缘节点1522、1524的配置基于边缘供应功能1550来发生。用于在 多个租户之间为应用和服务提供协调的操作的边缘节点1522、1524的功能基于编排功能1560而发生。
设备1510中的一些设备是多租户设备，其中租户1可以在租户1‘切 片’内运行，而租户2可以在租户2切片内运行(并且，在进一步的示例中， 可能存在附加的租户或子租户；并且每个租户甚至可以对特定特征集具体地享 有权利并且在事务上被绑定至特定特征组，一直到对特定的硬件特征具体地享 有权利并且在事务上被绑定至特定的硬件特征)。受信任的多租户设备可以进 一步包含租户专用的加密密钥，使得密钥和切片的组合可以被视为“信任根” (RoT)或租户专用的RoT。可以进一步计算使用DICE(设备标识组合引擎)架构动态地组成的RoT，使得单个DICE硬件构建块可用于构造用于对设备能力 (诸如现场可编程门阵列(FPGA))进行分层的分层受信任的计算基础情境。 RoT可进一步用于受信任计算情境，以启用对支持多租赁有用的“扇出”。在多 租户环境内，相应的边缘节点1522、1524可以作为针对每个节点被分配给多 个租户的本地资源的安全性特征实施点。附加地，租户运行时和应用执行(例 如，在实例1532、1534中)可以用作安全性特征的实施点，该安全性特征创 建跨越潜在多个物理主管平台的资源的虚拟边缘抽象。最后，编排实体处的编排功能1560可以作为用于沿着租户边界对资源进行列队的安全性特征实施点 来操作。
边缘计算节点可对资源(存储器、中央处理单元(CPU)、图形处 理单元(GPU)、中断控制器、输入/输出(I/O)控制器、存储器控制器、总 线控制器等)分区，其中，相应的分区可包含RoT能力，并且其中根据DICE 模型的扇出和分层可进一步应用于边缘节点。云计算节点通常使用容器、FaaS 引擎、小型服务程序、服务器、或可以根据DICE分层和扇出结构进行分区， 以支持每个节点的RoT情境的其他计算抽象。因此，跨越设备1510、1522和 1540的相应的RoT可以协调分布式受信任计算基础(DTCB)的建立，使得可 以建立端到端链接所有要素的租户专用的虚拟受信任安全信道。
进一步地，将理解，容器可具有保护其内容不受先前边缘节点影响 的数据或工作负荷特定的密钥。作为容器迁移的一部分，源边缘节点处的舱控 制器可以从目标边缘节点舱控制器获得迁移密钥，其中迁移密钥用于包装容器 特定的密钥。当容器/舱迁移到目标边缘节点时，解包裹密钥被暴露于舱控制 器，然后该舱控制器对经包裹的密钥进行解密。密钥现在可用于对容器特定的 数据执行操作。迁移功能可以由被适当地认证的边缘节点和舱管理器(如上所 述)来选通。
在进一步的示例中，边缘计算系统被扩展以通过在多所有者、多租 户环境中使用容器(提供代码和所需依赖关系的被容纳的、可部署的软件单元) 来提供多个应用的编排。多租户编排器可用于执行密钥管理、信任锚管理以及 与图15中的受信任的‘切片’概念的供应和生命周期相关的其他安全性功能。例 如，边缘计算系统可被配置成用于满足来自多个虚拟边缘实例(以及，来自云 或远程数据中心)的各种客户端端点的请求和响应。这些虚拟边缘实例的使用 可以同时支持多个租户和多个应用(例如，增强现实(AR)/虚拟现实(VR)、 企业应用、内容交付、游戏、计算迁移)。此外，虚拟边缘实例内可存在多种 类型的应用(例如，普通应用；等待时间敏感型应用；等待时间关键型应用； 用户平面应用；联网应用等)。虚拟边缘实例还可以横跨处于不同地理位置的 多个所有者的系统(或者由多个所有者共同拥有或共同管理的相应的计算系统 和资源)。
例如，每个边缘节点1522、1524可以实现容器的使用，诸如使用 提供一个或多个容器的组的容器“舱”1526、1528。在使用一个或多个容器舱的 设置中，舱控制器或编排器负责舱中容器的本地控制和编排。根据每个容器的 需要对为相应边缘切片1532、1534提供的各种边缘节点资源(例如，以六边 形描绘的存储、计算、服务)进行分区。
凭借容器舱的使用，舱控制器监督容器和资源的分区和分配。舱控 制器从编排器(例如，编排器1560)接收指令，该编排器指令控制器如何最佳 地对物理资源进行分区以及在什么持续时间内，诸如通过基于SLA合约接收关 键性能指标(KPI)目标。舱控制器确定哪个容器需要哪些资源，以及为了完 成工作负荷并满足SLA需要多久。舱控制器还管理容器生命周期操作，诸如： 创建容器、为容器供应资源和应用、协调在分布式应用上一起工作的多个容器 之间的中间结果、当工作负荷完成时拆除容器等。附加地，舱控制器可以充当 安全角色，该安全角色阻止资源分配，直到正确的租户进行认证，或者阻止向 容器供应数据或工作负荷，直到满足证实结果。
而且，通过使用容器舱，租户边界仍然可以存在，但在容器的每一 个舱的情境中。如果每个租户特定的舱都有租户特定的舱控制器，则将存在对 资源分配请求进行合并的共享舱控制器，以避免典型的资源短缺情况。可提供 进一步的控制，以确保舱和舱控制器的证实和可信度。例如，编排器1560可 以向执行认证验证的本地舱控制器供应认证验证策略。如果认证满足第一租户 舱控制器而不是第二租户舱控制器的策略，则第二舱可以迁移到确实满足该策 略的不同边缘节点。替代地，可以允许第一舱执行，并且在第二舱执行之前安 装和调用不同的共享舱控制器。
图16图示出在边缘计算系统中部署容器的附加计算布置。作为简 化示例，系统布置1610、1620描述了其中舱控制器(例如，容器管理器1611、 1621和容器编排器1631)适于通过经由布置1610中的计算节点1615的执行 来启动容器化舱、功能、和功能即服务实例，或适于通过经由布置1620中的 计算节点1623的执行来单独地执行容器化虚拟化的网络功能。该布置适于在 (使用计算节点1637的)系统布置1630中使用多个租户，其中容器化舱(例 如，舱1612)、功能(例如，功能1613、VNF 1622、1636)、和功能即服务 实例(例如FaaS实例1614)在专用于相应的租户的虚拟机(例如，用于租户 1632、1633的VM 1634、1635)内被启动(除了执行虚拟化网络功能)。该布 置进一步适于在系统布置1640中使用，该系统布置1640提供容器1643、1644、 或各种功能、应用和功能在计算节点1644上的执行，如由基于容器的编排系 统1641所协调。
图16中描绘的系统布置提供了在应用组成方面平等地对待VM、容 器和功能的架构(并且得到的应用是这三个组成部分的组合)。每个组成部分可 涉及使用一个或多个加速器(FPGA、ASIC)组件作为本地后端。以此方式，应用 可以跨多个边缘所有者被划分，如由编排器进行协调。
在图16的情境中，舱控制器/容器管理器、容器编排器和各个节点 可以提供安全性实施点。然而，在其中分配给一租户的资源与分配给第二租户 的资源是不同的但边缘所有者合作以确保资源分配不跨租户边界被共享的情 况下，可以编排租户隔离。或者，资源分配可以跨租户边界而被隔离，因为租 户可以允许经由订阅或事务/合约基础的“使用”。在这些情境中，可由边缘所 有者使用虚拟化、容器化、飞地和硬件分区方案来实施租赁。其他隔离环境可 包括：裸金属(专用)装备、虚拟机、容器、容器上虚拟机、或其组合。
在进一步的示例中，软件定义的或受控的硅硬件以及其他可配置的 硬件的各方面可以与边缘计算系统的应用、功能、和服务集成。软件定义的硅 (SDSi)可用于基于某一资源或硬件组成部分(例如，通过升级、重新配置或在硬 件配置本身内预设新的特征)修复自身或工作负荷的一部分的能力来确保该组 成部分履行合约或服务水平协议的能力。
图17示出其中本文讨论的边缘计算系统和布置可适用于涉及移动 性的各种解决方案、服务和/或用例的示例布置。图17示出涉及对实现边缘云 1210的边缘计算系统1700中的应用进行的移动访问的车辆计算和通信用例。 在该用例中，相应的客户端计算节点1710可以被具体化为位于对应车辆中的 车载计算系统(例如，车载导航和/或信息娱乐系统)，该车载计算系统在横越 道路期间与边缘网关节点1720通信。例如，边缘网关节点1720可以位于路边 机柜或被内置到具有其他分开的、机械公共设施的结构中的其他外壳中，路边 机柜或其他外壳可以沿着道路、在道路的交叉路口处、或在道路附近的其他位 置放置。当相应的车辆沿着道路行驶时，其客户端计算节点1710与特定边缘 网关设备1720之间的连接可以传播，以便为客户端计算节点1710保持一致的 连接和情境。同样，移动边缘节点可以在高优先级服务处或根据(多个)底层 服务(例如，在无人机的情况下)的吞吐量或等待时间分辨率要求进行聚合。相 应的边缘网关设备1720包括一定量的处理和存储能力，并且由此，客户端计 算节点1710的数据的一些处理和/或存储可以在边缘网关设备1720的一个或 多个边缘网关设备上执行。
边缘网关设备1720可以与一个或多个边缘资源节点1740通信，这 些边缘资源节点被说明性地具体化为位于网络接入节点(NAN)1742(例如，蜂 窝网络的基站)处或在网络接入节点(NAN)1742(例如，蜂窝网络的基站)中的 计算服务器、设备或组件。如上文所讨论，相应的边缘资源节点1740包括一 定量的处理和存储能力，并且由此，客户端计算节点1710的数据的一些处理 和/或存储可以在边缘资源节点1740上执行。例如，不太紧急或不太重要的数 据处理可以由边缘资源节点1740执行，而更高的紧急性或重要性的数据处理可以由边缘网关设备1720执行(例如，取决于每个组件的能力，或请求中指示 紧急性或重要性的信息)。基于数据访问、数据位置或等待时间，当处理优先 级在处理活动期间改变时，工作可在边缘资源节点上继续。同样，可配置的系 统或硬件资源本身可以(例如，通过本地编排器)被激活，以提供附加的资源来 满足新的需求(例如，使计算资源适配到工作负荷数据)。
(多个)边缘资源节点1740还与核心数据中心1750通信，核心数 据中心1750可以包括位于中心位置(例如，蜂窝通信网络的中央局)的计算 服务器、装置和/或其他组件。核心数据中心1750可以为由(多个)边缘资源节 点1740和边缘网关设备1720形成的边缘云1210操作提供到全球网络云 1760(例如，互联网)的网关。附加地，在一些示例中，核心数据中心1750可 以包括一定量的处理和存储能力，并且因此，可以在核心数据中心1750上执行用于客户端计算设备的一些数据处理和/或数据存储(例如，低紧急性或重要 性或高复杂性的处理)。
边缘网关节点1720或边缘资源节点1740可以提供状态型的应用 1732和地理分布式数据库1734的使用。虽然应用1732和数据库1734被图示 出为在边缘云1210的层处横向地分布，但将理解，应用的资源、服务、或其 他组件可以在整个边缘云中竖直地分布(包括，在客户端计算节点1710处执行 的应用的一部分，在边缘网关节点1720处或边缘资源节点1740等处的其他部 分)。附加地，如前所述，可以存在任何级别上的对等关系以满足服务目标和 义务。进一步地，用于特定客户端或应用的数据可以基于变化的条件(例如， 基于加速资源可用性、跟随汽车移动等)从边缘移动到边缘。例如，基于访问 的“衰减率”，可以进行预测，以标识要继续的下一个所有者、或者数据或计算 访问何时将不再可行。可以利用这些服务和其他服务来完成保持事务合规且无 损所需的工作。
在进一步的场景中，容器1736(或容器的舱)可以从边缘节点1720 灵活地迁移到其他边缘节点(例如，1720、1740等)，使得具有应用和工作负 荷的容器不需要被重组、重新编译、重新解释以迁移到工作中。但是，在此类 设置中，可能应用一些补救或“混合”的转换操作。例如，节点1740处的物理 硬件可能不同于边缘网关节点1720，因此，构成容器底部边缘的硬件抽象层 (HAL)将被重新映射到目标边缘节点的物理层。这可能涉及某种形式的后期绑 定技术，诸如HAL从容器原生格式到物理硬件格式的二进制转换，或者可能涉 及映射接口和操作。舱控制器可用于驱动接口映射，作为容器生命周期的一部 分，其中包括迁移到不同的硬件环境/从不同的硬件环境迁移。
图17所涵盖的场景可利用各种类型的移动边缘节点(诸如在交通 工具(汽车/卡车/电车/火车)或其他移动单元中主控的边缘节点)，因为边缘 节点将沿主控它的平台移动到其他地理位置。在交通工具对交通工具通信的情 况下，各个交通工具甚至可以充当用于其他汽车的网络边缘节点(例如，以执 行高速缓存、报告、数据聚合等)。因此，将理解，在各种边缘节点中提供的 应用组件可以分布在静态或移动设置中，包括在各个端点设备或边缘网关节点 1720处的一些功能或操作、在边缘资源节点1740处的一些其他功能或操作、以及在核心数据中心1750或全球网络云1760中的其他功能或操作之间的协调。
在进一步的配置中，边缘计算系统可以通过使用相应的可执行应用 和功能来实现FaaS计算能力。在示例中，开发者编写表示一个或多个计算机 功能的功能代码(例如，本文中的“计算机代码”)，并且该功能代码被上传到由 例如边缘节点或数据中心提供的FaaS平台。触发器(诸如例如，服务用例或 边缘处理事件)利用FaaS平台发起对功能代码的执行。
在FaaS的示例中，容器用于提供在其中执行功能代码(例如，可 能由第三方提供的应用)的环境。容器可以是任何隔离执行的实体，诸如进程、 Docker容器或Kubernetes容器、虚拟机等。在边缘计算系统内，各种数据中心、 边缘、和端点(包括移动)设备被用于按需缩放的“旋转加速(spin up)”功能(例 如，激活和/或分配功能动作)。功能代码在物理基础设施(例如，边缘计算节 点)设备和底层虚拟化容器上得到执行。最后，容器响应于执行被完成而在基 础设施上被“旋转减速(spin down)”(例如，去激活和/或解除分配)。
FaaS的进一步的方面可以启用边缘功能以服务方式的部署，包括对 支持边缘计算即服务(边缘即服务或“EaaS”)的相应功能的支持。FaaS的附加特 征可包括：使客户(例如，计算机代码开发者)仅在其代码被执行时进行支付的 细粒度计费组件；用于存储数据以供一个或多个功能重新使用的共用数据存储； 各个功能之间的编排和管理；功能执行管理、并行性和合并；容器和功能存储 器空间的管理；功能可用的加速资源的协调；以及功能在容器(包括已经部署 或操作的“暖”容器，其相对于需要初始化、部署、或配置的“冷”容器)之间的 分布。
边缘计算系统1700可以包括边缘供应节点1744或与边缘供应节点 1744通信。边缘供应节点1744可以将诸如图27的示例计算机可读指令2782 之类的软件分发到各个接收方，以用于实现本文中所描述的方法中的任何方法。 示例边缘供应节点1744可以由任何计算机服务器、家庭服务器、内容交付网 络、虚拟服务器、软件分发系统、中央设施、存储设备、存储盘、存储节点、 数据设施、云服务等实现，上述各者能够存储软件指令和/或向其他计算设备 传输软件指令(例如，代码、脚本、可执行二进制件、容器、包、压缩文件和 /或其衍生物)。示例边缘供应节点1744的(多个)组件可以位于云中、局域 网中、边缘网络中、广域网中、因特网上和/或与(多个)接收方通信耦合的 任何其他位置。接收方可以是拥有和/或操作边缘供应节点1744的实体的客户、 客户端、合作方、用户等。例如，拥有和/或操作边缘供应节点1744的实体可 以是软件指令(诸如图27的示例计算机可读指令2782)的开发者、销售方和/ 或许可方(或其客户和/或消费者)。接收方可以是购买和/或许可软件指令以 用于使用和/或转售和/或分许可的消费者、服务提供商、用户、零售商、OEM 等。
在示例中，边缘供应节点1744包括一个或多个服务器以及一个或 多个存储设备/盘。如下文所描述，存储设备和/或存储盘主控计算机可读指令， 诸如图27的示例计算机可读指令2782。类似于上文所描述的边缘网关设备 1720，边缘供应节点1744的一个或多个服务器与NAN 1742或其他网络通信 实体进行通信。在一些示例中，作为商业事务的部分，一个或多个服务器对将 软件指令传送到请求方的请求进行响应。可以由软件分销平台的一个或多个服 务器和/或经由第三方支付实体来处置针对软件指令的交付、销售、和/或许可的支付。服务器使购买方和/或许可方能够从边缘供应节点1744下载计算机可 读指令2782。例如，软件指令(其可与图27的示例计算机可读指令2782相对 应)可被下载到(多个)示例处理器平台，该(多个)示例处理器平台用于执 行计算机可读指令2782以实现本文所描述的方法。
在一些示例中，执行计算机可读指令2782的(多个)处理器平台 可以物理地位于不同的地理位置、法律管辖区等。在一些示例中，边缘供应节 点1744的一个或多个服务器周期性地提供、传送和/或强制更新软件指令(例 如，图27的示例计算机可读指令2782)，以确保改善、补丁、更新等被分发 并应用于在终端用户设备处实现的软件指令。在一些示例中，计算机可读指令 2782的不同组件可以分发自不同的源和/或不同的处理器平台；例如，无论是 经编译的还是经解释的，不同的库、插件、组件和其他类型的计算模块都可以 分发自不同的源和/或向不同的处理器平台分发。例如，软件指令的一部分(例 如，本身不可执行的脚本)可以分发自第一源，而(能够执行脚本的)解释器 可以分发自第二源。
4.1.多接入边缘计算(MEC)方面
图18图示出提供根据以下各项的功能的MEC系统参考架构(或 MEC架构)1800：ETSI GS MEC 003版本2.1.1(2019年1月)(“[MEC003]”)； ETSI GS MEC 009版本2.1.1(2019年1月)(“[MEC009]”)；ETSI GS MEC 011版本1.1.1(2017年7月)(“[MEC011]”)；ETSIGS MEC 012版本2.1.1 (2019年12月)(“[MEC012]”)；ETSI GS MEC 013版本2.1.1(2019年9月)(“[MEC013]”)；ETSI GS MEC 014版本1.1.1(2018年2月)(“[MEC014]”)； ETSI GS MEC015版本2.1.1(2020年6月)(“[MEC015]”)；ETSI GS MEC 028版本2.1.1(2020年6月)(“[MEC028]”)；ETSI GS MEC 029版本2.1.1 (2019年7月)(“[MEC029]”)；ETSI MEC GS 030版本2.1.1(2020年4 月)(“[MEC030]”)；以及许多其他ETSI MEC标准。MEC在网络的边缘处为应用开发人员和内容提供商提供云计算功能以及IT服务环境。该环境的特 征是超低等待时间和高带宽以及对可由应用利用的无线电网络信息的实时访 问。MEC技术准许向移动订户、企业和垂直细分市场灵活并且快速地部署创新 应用和服务。具体而言，就汽车行业而言，诸如V2X之类的应用(例如，基 于IEEE 802.11p的协议(诸如DSRC/ITS-G5)或基于3GPP C-V2X的协议) 需要交换数据，向聚合点提供数据，并且访问提供从大量传感器(由各种汽车、 路边单元等)推导出的当地情形的概览的数据库中的数据。
MEC网络架构1800包括MEC主机1802、虚拟化基础设施管理器 (VIM)1808、MEC平台管理器1806、MEC编排器1810、操作支持系统(OSS) 1812、用户应用代理1814、在1820上运行的UE应用1818、以及CFS门户 1816。MEC主机1802可以包括MEC平台1832，该MEC平台1832具有过滤 规则控制组件1840、DNS处置组件1842、服务注册表1838和MEC服务1836。 MEC服务1836可以包括至少一个调度器，该至少一个调度器可以用于选择用 来在虚拟化基础设施(VI)1822上实例化MEC应用(或NFV)1826的资源。 MEC应用1826可以被配置成用于提供服务1830和/或诸如本文中讨论的那些 之类的一某些其他服务，该服务1830可以包括处理与一个或多个无线连接(例 如，到一个或多个RAN或核心网络功能的连接)相关联的不同类型的网络通 信通信量。另一MEC主机1802可以与MEC主机1802具有相同或类似的配 置/实现方式，并且在另一MEC主机1802内实例化的另一MEC应用1826可 以类似于在MEC主机1802内实例化的MEC应用1826。VI 1822包括经由MP2 接口耦合至MEC平台1822的数据平面1824。图18中图示出MEC架构1800 的各种网络实体之间的附加接口。
MEC系统1800包括三组参考点，包括：“Mp”参考点，与MEC平 台功能有关；“Mm”参考点，其为管理参考点；以及“Mx”参考点，其将MEC 实体连接至外部实体。MEC系统1800中的接口/参考点可包括基于IP的连接， 并且可用于提供表述性状态传递(REST或RESTful)服务，并且使用参考点/ 接口来传达的消息可采用XML、HTML、JSON或某种其他期望的格式，诸如本文中所讨论的那些格式。也可使用合适的认证、授权和计费(AAA)协议(诸 如radius协议或diameter协议)通过参考点/接口来进行通信。
MEC架构1800的各实体之间的逻辑连接可以是接入不可知的，并 且不取决于特定部署。MEC使得MEC应用1826能够实现为在VI 1822之上 运行的仅软件实体，VI 1822位于网络边缘中或靠近网络边缘。MEC应用1826 是可在MEC系统1800内的MEC主机1802上实例化且能够潜在地提供或消 费MEC服务1836的应用。
由图18描绘的MEC实体可以被编组为MEC系统级实体、MEC主 机级实体、以及网络级实体(未示出)。网络级(未示出)包括各种外部网络 级实体，诸如3GPP网络、局域网(例如，LAN、WLAN、PAN、DN、LADN 等)、以及(多个)外部网络。MEC系统级包括MEC系统级管理实体和UE 1820， 并且在下文更详细地讨论。MEC主机级包括一个或多个MEC主机1802、1804 以及MEC管理实体，这些MEC管理实体提供用于在运营商网络或运营商网 络的子集内运行MEC应用1826的功能。MEC管理实体包括处置对特定MEC 平台1832、MEC主机1802、以及要运行的MEC应用1826的MEC特定功能 的管理的各种组件。
MEC平台管理器1806是包括MEC平台元件管理组件1844、MEC 应用规则和要求管理组件1846、以及MEC应用生命周期管理组件1848的MEC 管理实体。MEC架构1800内的各种实体可以执行如[MEC003]中所讨论的功能。 远程应用1850被配置成经由MEC编排器1810和MEC平台管理器1806与 MEC主机1802(例如，与MEC应用1826)通信。
MEC主机1802是包含MEC平台1832和VI 1822的实体，MEC主 机1802出于运行MEC应用1826的目的提供计算、存储和网络资源。VI 1822 包括数据平面(DP)1824，该数据平面(DP)1824执行由MEC平台1832接 收的通信量规则1840，并且在MEC应用1826、MEC服务1836、DNS服务器 /代理(参见例如，经由DNS处置实体1842)、3GPP网络、本地网络和外部 网络之间路由通信量。MEC DP 1824可与(R)AN节点和3GPP核心网络连接， 和/或可经由更宽的网络(诸如因特网、企业网络等)与接入点连接。
MEC平台1832是在特定VI 1822上运行MEC应用1826并使其能 够提供和消费MEC服务1836所要求的必要功能的集合，并且那可为其自身提 供数种MEC服务937a。MEC平台1832还可以提供各种服务和/或功能，诸如 提供其中MEC应用1826可以发现、广告、消费、和提供MEC服务1836(在 下文讨论)的环境，MEC服务1836包括当被支持时通过其他平台可用的MEC服务1836。MEC平台1832可以能够允许经授权的MEC应用1826与位于外 部网络中的第三方服务器通信。MEC平台1832可从MEC平台管理器1806、 应用或服务接收通信量规则，并相对应地指令数据平面(参见例如，通信量规 则控制1840)。MEC平台1832可经由Mp2参考点向VI1822内的DP 1824 发送指令。MEC平台1832与VI 1822的DP 1824之间的Mp2参考点可用于就关于如何在应用、网络、服务等之间对通信量进行路由来指令DP 1834。MEC 平台1832可将表示通信量规则中的会话内的UE 1820、UE应用、各个会话和/ 或各个流的令牌转换为特定网络地址(例如，IP地址等)。MEC平台1832还 接收来自MEC平台管理器1806的DNS记录，并相对应地配置DNS代理/服 务器。MEC平台1832主控包括多接入边缘服务(在下文讨论)的MEC服务 1836，并提供对持久性存储和一天中的时间信息的访问。此外，MEC平台1832 可经由Mp3参考点与其他MEC服务器1802的其他MEC平台1832通信。在 从MEC平台管理器1806、应用或服务接收到通信量规则的更新、激活或去激活 后，MEC平台1832相对应地指令数据平面1824。MEC平台1832还接收来自 MEC平台管理器1806的DNS记录，并使用这些DNS记录来配置DNS代理/ 服务器1842。通信量规则控制1840允许MEC平台1832执行通信量路由，该通 信量路由包括通信量规则更新、激活和去激活。附加地或替代地，通信量规则 控制1840允许MEC平台1832例如通过在多接入环境中的一个或多个接入网络 连接上引导数据分组来执行通信量定向，多接入环境包括多个接入网络，其中 的每个接入网络可具有多个接入网络连接和/或可实现不同的接入技术。
VI 1822表示构建在其中部署、管理和执行MEC应用1826和/或 MEC平台1832的环境的所有硬件和软件组件的全体。VI 1822可跨越若干个 位置，并且提供这些位置之间的连接性的网络被认为是VI 1822的部分。VI 1822的物理硬件资源包括通过虚拟化层(例如，管理程序、VM监视器(VMM) 等等)向MEC应用1826和/或MEC平台1832提供处理、存储和连接性的计 算、存储和网络资源。虚拟化层可将MEC服务器1802的物理硬件资源抽象和 /或逻辑地分区成硬件抽象层。虚拟化层可还可使得实现MEC应用1826和/或 MEC平台1832的软件能够使用底层VI 1822，并且虚拟化层可向MEC应用 1826和/或MEC平台1832提供虚拟化资源，使得MEC应用1826和/或MEC 平台1832能够被执行。
MEC应用1826是可在MEC系统1800内的MEC主机/服务器1802 上实例化且能够潜在地提供或消费MEC服务1836的应用。术语“MEC服务” 是指经由MEC平台1832、由MEC平台1832自身或由MEC应用1826提供的 服务。MEC应用1826可以作为在由MEC服务器1802提供的VI1822之上的 VM来运行，并且可与MEC平台1832交互以消费和提供MEC服务1836。 MEC平台1832与MEC应用1826之间的Mp1参考点用于消费和提供服务特 定功能。Mp1为各种服务(诸如由MEC主机1802提供的MEC服务1836)提 供服务注册1838、服务发现和通信支持。Mp1还可提供应用可用性、会话状 态重定位支持过程、通信量规则和DNS规则激活、对持久性存储和一天中的 时间信息的访问权等等。附加地或替代地，MEC应用1826可使用ETSI GS MEC 011版本2.1.1(2019年11月)中讨论的MEC API与MEC平台1832通信。
基于由MEC管理(例如，MEC平台管理器1806)验证的配置或请 求，MEC应用1826被实例化在MEC服务器1802的VI 1822上。MEC应用 1826还可与MEC平台1832交互以执行与MEC应用1826的生命周期有关的 某些支持过程，诸如指示可用性、准备用户状态的重定位等。MEC应用1826 可具有与其相关联的某个数量的规则和要求，诸如所要求的资源、最大等待时 间、所要求或有用的服务等。这些要求可由MEC管理来验证，并且如果未命 中则可以被赋值为默认值。MEC服务1836是由MEC平台1832和/或MEC应 用1826提供和/或消费的服务。服务消费者(例如，MEC应用1826和/或MEC 平台1832)可通过各个API(包括本文中所讨论的各种MEC V2X API和其他 MEC API)与特定的MEC服务1836通信。当由应用提供时，MEC服务1836 可以通过Mp1参考点被注册在MEC平台1832的服务注册表1838中的服务列 表中。附加地，MEC应用1826可以订阅一个或多个服务1830/1836，通过Mp1 参考点针对该一个或多个服务1830/1836进行授权。
MEC服务1836的示例包括V2X信息服务(VIS)、RNIS(参见例 如，[MEC012])、位置服务[MEC013]、UE身份服务[MEC014]、通信量管理 服务(TMS)和BWMS[MEC015]、WLAN接入信息(WAI)服务[MEC028]、 固定接入信息(FAI)服务[MEC029]和/或其他MEC服务。RNIS在可用时向 经授权的MEC应用1826提供与无线电网络相关的信息，并向MEC应用1826 暴露适当的最新无线电网络信息。RNI可尤其包括无线电网络状况、与UP相 关的测量和统计学信息、与由与MEC主机1802相关联的(多个)无线电节点 服务的UE 1820相关的信息(例如，UE情境和无线电接入载波)、与由与 MEC主机1802相关联的(多个)无线电节点服务的UE 1820相关的信息的改 变，等等。能以相关粒度(例如，逐UE 1820地、逐蜂窝小区地、逐时间段地) 提供RNI。
服务消费方(例如，MEC应用1826、MEC平台1832等)可通过 RNI API与RNIS通信，以从相对应的RAN获得情境信息。RNI可经由NAN 被提供至服务消费方(例如，(R)AN节点、RRH、AP等)。RNI API可支持 基于查询和订阅(例如，发布/订阅)两者的机制，这些机制通过表述性状态传 递(RESTful)API或通过MEC平台1832的消息中介(未示出)来使用。MEC 应用1826可经由传输信息查询过程在消息中介上查询信息，其中，可经由合 适的配置机制将传输信息预先预设至MEC应用1826。经由RNI API传递的各 种消息可采用XML、JSON、Protobuf或某种其他合适的格式。
VIS提供支持各种V2X应用，包括路程感知QoS预测等。RNI可由 MEC应用1826和MEC平台1832用于优化现有服务，并用于提供基于关于无 线电状况的最新信息的新类型的服务。作为示例，MEC应用1826可使用RNI 来优化当前服务，诸如视频吞吐量引导。在吞吐量引导中，无线电分析MEC 应用1826可使用MEC服务来向后端视频服务器提供关于估计下一时刻在无线 电下行链路接口处将要可用的吞吐量的接近实时的指示。吞吐量引导无线电分析应用基于其从在MEC服务器1802上运行的多接入边缘服务获得的所需的无 线电网络信息来计算吞吐量引导。诸如当某个MEC应用1826使用简单的请求 -响应模型(例如，使用RESTful机制)来请求单条信息而其他MEC应用1826 (例如，使用发布/订阅机制和/或消息中介机制)订阅与信息改变有关的多个 不同通知时，RNI还可由MEC平台1832用于优化支持服务连续性所要求的移 动性过程。
LS在可用时可向经授权的MEC应用1826提供位置相关信息，并 向MEC应用1826暴露此类信息。利用位置相关信息，MEC平台1832或者一 个或多个MEC应用1826执行主动的设备位置跟踪、基于位置的服务推荐、和 /或其他类似服务。LS支持位置检取机制，例如，针对每个位置信息请求，位 置仅被报告一次。LS支持位置订阅机制，例如，针对每个位置请求，位置能 够周期地或基于特定事件(诸如位置改变)被报告多次。位置信息可尤其包括 当前由与MEC服务器1802相关联的(多个)无线电节点服务的特定UE 1820 的位置、与当前由与MEC服务器1802相关联的(多个)无线电节点服务的所 有UE 1820的位置有关的信息、与当前由与MEC服务器1802相关联的(多个) 无线电节点服务的某个类别的UE 1820的位置有关的信息、处于特定位置的 UE 1820的列表、与当前与MEC主机1802相关联的所有无线电节点的位置有 关的信息，等等。位置信息可采用地理位置、全球导航卫星服务(GNSS)坐 标、蜂窝小区身份(ID)等等。LS是通过在开放移动联盟(OMA)规范“针对 区域性存在的RESTful网络API(RESTful Network API for Zonal Presence) “OMA-TS-REST-NetAPI-ZonalPresence-V1-0-20160308-C”中定义的API可访问 的。区域性存在服务利用“区域”的概念，其中，区域使其自身适合于被用来根 据期望的部署对与MEC主机或MEC主机1802相关联的所有无线电节点或其 子集进行编组。在此方面，OMA区域性存在API为MEC应用1826提供用于 检取与区域、关联于区域的接入点、以及连接至接入点的用户有关的信息的手 段。另外，OMA区域性存在API允许经授权的应用订阅通知机制，该通知机 制报告与区域内的用户活动有关的情况。MEC服务器1802可使用OMA区域 性存在API访问各个UE 1820的位置信息或区域性存在信息以标识UE 1820 的相对位置或地点。
TMS允许边缘应用得知各种通信量管理能力和多接入网络连接信 息，并且允许边缘应用提供需求(例如，延迟、吞吐量、损失)来影响通信量 管理操作。在一些实现方式中，TMS包括多接入通信量定向(MTS)，其跨 多种接入网络连接无缝地执行应用数据通信量的定向、拆分和重复。BWMS 为被路由至MEC应用1826或从MEC应用1826路由的某些通信量提供带宽 分配，并且指定静态/动态上行/下行带宽资源，包括带宽尺寸和带宽优先级。 MEC应用1826可使用BWMS将带宽信息更新至MEC平台1832/接收来自 MEC平台1832的带宽信息。可向在同一MEC服务器1802上并行地运行的不 同MEC应用1826分配特定的静态、动态上行/下行带宽资源，包括带宽尺寸 和带宽优先级。BWMS包括带宽管理(BWM)API，以允许注册的应用静态 地和/或动态地逐会话/应用地注册特定的带宽分配。BWM API包括使用 RESTful服务或某个其他合适的API机制、为BWM功能进行的HTTP协议绑 定。BWM服务用于为MEC应用分配/调节BW资源，并允许MEC应用提供其BW 需求。
在同一MEC主机上并行地运行的不同MEC应用(app)可要求特定 的静态/动态的、上/下带宽(BW)资源，包括BW尺寸和BW优先级。在一些情 况下，在同一应用上并行地运行的不同会话各自可具有特定的BW要求。另外， 由从更靠近终端用户运行的应用(例如，较短的RTT)驱动的会话可能接收相 对于由从远距离位置(例如，在RAN外部)运行的应用驱动的会话的不公平的 优势。为了解决此类竞争应用之间的潜在资源冲突，可使用BWM和/或多接入通信量引导(MTS)服务。
MTS服务可作为BWMS的部分被提供，或与BWMS分开地被提供。MTS 服务用于跨多个接入网络连接无缝地引导/拆分/重复应用数据通信量。MTS服 务允许应用/MEC应用被通知各种MTS能力和MX网络连接信息。MTS还允许MEC 应用提供影响通信量管理操作的要求(例如，延迟、吞吐量、损失等)。可使 用资源请求内的过滤器和/或标识符(ID)的集合来标识特定会话或应用/MEC 应用。
UE身份特征的目的在于允许MEC系统1800中的UE特定通信量 规则。当MEC系统1800支持UE身份特征时，MEC平台1832为MEC应用 1826提供注册表示UE 1820的标签或表示相应的UE 1820的标签列表的功能 (例如，UE身份API)。每个标签映射到MNO的系统中的特定UE 1820中， 并且将映射信息提供给MEC平台1832。UE身份标签注册触发MEC平台1832 激活链接至标签的(多个)对应通信量规则。MEC平台1832还为MEC应用 1826提供调用注销过程以针对该用户禁用或以其他方式停止使用通信量规则 的功能(例如，UE身份API)。
WAIS是向MEC系1800内的服务消费方提供WLAN接入相关信 息的服务。WAIS对于经授权的MEC应用1826而言是可用的，并且通过Mp1 参考点被发现。可基于诸如每站、每NAN/AP或每多个AP(多AP)的信息之 类的参数来调整WLAN接入信息的粒度。WLAN接入信息可由服务消费方用 于优化现有服务并用于提供新类型的服务，这些新类型的服务基于来自WLAN AP的最新信息，该最新信息可能与诸如RNI或固定接入网络信息之类的信息 进行组合。WAIS以RESTful API的形式定义协议、数据模型和接口。关于AP 和客户站的信息可通过查询或通过对通知进行订阅来请求，这两者中的每一者 均包括基于属性的过滤和属性选择器。
FAIS是向MEC系统1800内的服务消费方提供固定接入网络信息 (或FAI)的服务。FAIS对于经授权的MEC应用1826而言是可用的，并且 通过Mp1参考点被发现。FAI可由MEC应用1826和MEC平台1832用于优 化现有服务并用于提供新类型的服务，这些新类型的服务基于来自固定接入 (例如，NAN)的最新信息，该最新信息可能与来自其他接入技术的诸如RNI或WLAN信息之类的信息进行组合。服务消费方通过FAI API与FAIS进行交 互，以从固定接入网络获得情境信息。MEC应用1826和MEC平台1832两者 可消费FAIS；并且MEC平台1832和MEC应用1826两者可以是FAI的提供 方。FAI API支持通过RESTful API或通过诸如消息总线之类的替代传输来使 用的查询和订阅两者(发布/订阅机制)。也可以使用替代的传输。
MEC管理包括MEC系统级管理和MEC主机级管理。MEC管理包 括MEC平台管理器1806和VI管理器(VIM)1808，并且处置对特定MEC 服务器1802和在其上运行的应用的MEC特定功能的管理。在一些实现方式中， 多接入边缘管理组件中的一些或全部可由位于一个或多个数据中心中的一个 或多个服务器实现，并且可使用与用于使NF虚拟化的NFV基础设施连接的虚 拟化基础设施，或者使用与NFV基础设施相同的硬件。
MEC平台管理器1806负责管理应用的生命周期，包括向MEC编排 器(MEC-O)1810通知有关的应用相关事件。MEC平台管理器1806还向MEC 平台1832提供MEC平台元件管理功能1844，管理MEC应用规则和要求1846 (包括服务授权、通信量规则、DNS配置和解决冲突)并管理MEC应用生命 周期管理1848。MEC平台管理器1806还可接收来自VIM 1808的虚拟化资源 故障报告和性能测量以供进一步处理。MEC平台管理器1806与MEC平台1832 之间的Mm5参考点用于执行平台配置、对MEC平台元件管理功能1844的配 置、MEC应用规则和要求1846、MEC应用寿命周期管理1848、以及对应用 重定位的管理。
VIM 1808可以是分配、管理和释放VI 1822的虚拟化(计算、存储 和联网)资源并准备VI 1822以运行软件镜像的实体。为了这么做，VIM 1808 可通过VIM 1808与VI 1822之间的Mm7参考点与VI1822通信。准备VI 1822 可包括配置VI 1822并接收/存储软件镜像。当被支持时，VIM 1808可提供对 应用的快速预设，诸如在“用于微云部署的Openstack++(Openstack++for Cloudlet Deployments)”中所描述，可在 http://reports-archive.adm.cs.cmu.edu/anon/2015/CMU-CS-15-123.pdf获得。VIM 1808还可收集并报告与虚拟化资源有关的性能和故障信息，并在被支持时执行 应用重定位。对于来自/去往外部云环境的应用重定位，VIM 1808可与外部云 管理器交互以例如使用在“在微云上的自适应VM移交(Adaptive VM Handoff Across Cloudlets)”中所描述的机制和/或可能通过代理来执行应用重定位。此 外，VIM 1808可经由Mm6参考点与MEC平台管理器1806通信，该MEC平 台管理器1806可用于管理虚拟化资源，例如,用于实现应用生命周期管理。而 且，VIM1808可经由Mm4参考点与MEC-O 1810通信，MEC-O 1810可用于 管理MEC服务器1802的虚拟化的资源并且用于管理应用镜像。管理虚拟化资 源可包括跟踪可用的资源容量等。
MEC系统级管理包括MEC-O 1810，该MEC-O 1810具有对完整 MEC系统1800的概览。MEC-O 1810可基于所部署的MEC主机1802、可用 的资源、可用的MEC服务1836、以及拓扑结构来维护MEC系统1800的整体 视图。MEC-O 1810与MEC平台管理器1806之间的Mm3参考点可用于对应 用生命周期、应用规则和要求的管理并保持对可用MEC服务1836的跟踪。 MEC-O1810可经由Mm9参考点与用户应用生命周期管理代理(UALMP)1814 通信，以便管理由UE应用1818请求的MEC应用1826。
MEC-O 1810还可负责应用封装的装载，包括：检查封装的完整性 和真实性，验证应用规则和要求并在必要的情况下对它们进行调整以符合运营 方策略，保持对所装载的封装的记录，以及准备(多个)VIM 1808来处置应 用。MEC-O 1810可基于诸如等待时间、可用的资源、以及可用的服务之类的 约束为应用实例化选择适当的(多个)MEC主机901。MEC-O 1810还可触发 应用实例化和终止，并且按需要并在被支持时触发应用重定位。
操作支持系统(OSS)1812是经由面向客户的服务(CFS)门户1816、 通过Mx1参考点并从UE应用1818接收对MEC应用1826的实例化或终止的 请求的操作者的OSS。OSS 1812决定对这些请求的准许。CFS门户1816(以 及Mx1接口)可由第三方用于向MEC系统1800请求在该MEC系统1800中 运行应用1818。准许的请求可被转发至MEC-O 1810以供进一步处理。当被支 持时，OSS 1812还接收来自UE应用1818的对外部云与MEC系统1800之间 的应用进行重定位的请求。OSS 1812与MEC平台管理器1806之间的Mm2参 考点用于MEC平台管理器1806配置、故障和性能管理。MEC-O 1810与OSS 1812之间的Mm1参考点用于触发MEC系统1800中的MEC应用1826的实例 化和终止。
(多个)UE应用1818(也称为“设备应用”等等)是在设备1820中 运行的一个或多个应用，该设备1820具有经由用户应用生命周期管理代理 1814来与MEC系统1800交互的能力。(多个)UE应用1818可以是一个或 多个客户端应用，可包括一个或多个客户端应用，或可与一个或多个客户端应 用交互，在MEC的情境中，该一个或多个客户端是在利用由一个或多个特定 MEC应用1826提供的功能的设备1818上运行的应用软件。用户应用LCM代 理1814可对来自UE 1820中的UE应用1818的请求进行授权，并与OSS 1812 和MEC-O 1810交互以供对这些请求进行进一步处理。在MEC的情境中的术 语“生命周期管理”是指管理MEC应用1826实例的实例化、维护和终止所要求 的功能集。用户应用LCM代理1814可经由Mm8参考点与OSS 1812交互， 并且用于处置对在MEC系统1800中运行应用的UE1818请求。用户应用可以 是响应于用户的请求、经由在UE 1820中运行的应用(例如，UE应用1818) 而被实例化在MEC系统1800中的MEC应用1826。用户应用LCM代理1814 允许UE应用1818请求用户应用的装载、实例化、终止以及在被支持时用户 应用进入和离开MEC系统1800的重定位。其还允许向用户应用通知用户应用 的状态。用户应用LCM代理1814仅可从移动网络内部访问，并且可仅在受 MEC系统1800支持时可用。UE应用1818可使用用户应用LCM代理1814与 UE应用1818之间的Mx2参考点来向MEC系统1800请求在该MEC系统1800 中运行应用或将应用移入或移出MEC系统1800。Mx2参考点可仅在移动网络 内部可访问，并且仅在受MEC系统1800支持时可用。
为了在MEC系统1800中运行MEC应用1826，MEC-O 1810接收 由OSS 1812、第三方或UE应用1818触发的请求。响应于此类请求的接收， MEC-O 1810选择MEC服务器/主机1802来主控MEC应用1826以供进行计 算转移等。这些请求可包括关于要运行的应用的信息并且可能包括其他信息， 诸如需要应用是活跃的所在的位置、其他应用规则和要求、以及在应用镜像尚 未被装载在MEC系统1800中的情况下该应用镜像的位置。
MEC-O 1810可选择用于计算密集型任务的一个或多个MEC服务 器1802。所选择的一个或多个MEC服务器1802可基于各种操作参数来卸载 UE应用1818的计算任务，这些操作参数诸如网络能力和状况、计算能力和状 况、应用要求、和/或其他类似的操作参数。应用要求可以是关联至一个或多个 MEC应用1826/与一个或多个MEC应用1826相关联的规则和要求，诸如：应 用的部署模型(例如，其是否为每个用户一个实例、每个主机一个实例、在每个主机上一个实例等)；所要求的虚拟化资源(例如，计算、存储、网络资源， 包括特定的硬件支持)；等待时间要求(例如，最大等待时间、等待时间约束 有多严格，用户之间的等待时间公平性)；对位置的要求；MEC应用1826要 能够运行所要求的/对MEC应用1826要能够运行有用的多接入边缘服务；MEC 应用1826能够利用的(如果可用)多接入边缘服务；连接性或移动性支持/要 求(例如，应用状态重定位、应用实例重定位)；所要求的多接入边缘特征，诸如VM重定位支持或UE身份；所要求的网络连接性(例如，到MEC系统 1800内的应用的连接性、到本地网络或到互联网的连接性)；与运营商的MEC 系统1800部署或移动网络部署有关的信息(例如，拓扑、成本)；对访问用 户通信量的要求；对持久性存储的要求；通信量规则1840；DNS规则1842等。
MEC-O 1810考虑上文列出的要求和信息以及关于当前在MEC系 统1800中可用的资源的信息，以选择一个或若干个MEC服务器1802来主控 MEC应用1826和/或用于计算转移。在一个或多个MEC服务器1802被选择 之后，MEC-O 1810向所选择的(多个)MEC主机1802请求对(多个)应用 或对应用任务进行实例化。选择MEC服务器1802所使用的实际算法取决于实 现方式、配置、和/或运营商部署。(多个)算法选择可基于任务转移标准/参 数，例如，通过将执行应用任务以及网络功能、处理和转移译码/编码、或区分 各RAT之间的通信量的网络、计算和能耗要求考虑在内。在某些情况(例如， 导致增加的等待时间的UE移动性事件、负载平衡决策等)下，并且如果被支 持，则MEC-O 1810可决定选择一个或多个新的MEC主机1802充当主/源节 点，并且发起应用实例或应用相关状态信息从一个或多个源MEC主机1802到 一个或多个目标MEC主机1802的传输。
在第一实现方式中，5GS的UPF被映射到MEC架构1800中作为MEC 数据平面1824。在该实现方式中，UPF处置PDU会话的UP路径。附加地，UPF 提供到数据网络的接口并且支持PDU会话锚的功能。
在第二实现方式中，5GS的应用功能(AF)被映射到MEC架构1800 中作为MEC平台1832。在这些实现方式中，AF可配置或可操作用于执行对通 信量路由的应用影响，访问网络能力暴露，并与策略框架交互以获得策略控制。 第二实现方式可与第一实现方式组合，或可以是独立式实现方式。在第一和/ 或第二实现方式中，由于用户通信量被路由到本地DN，因此MEC应用1826、 1827和/或1828可被映射在5GS的DN中或被映射到5GS的DN。
在第三实现方式中，5GS的RAN可以是基于VNF的虚拟RAN，并且 UPF可配置或可操作用于充当NF虚拟化基础设施(NFVI)(例如，VI 1822) 内的MEC数据平面1824。在这些实现方式中，AF可被配置为具有MEC API、MEC 应用启用功能(参见例如，[MEC009])和API原理功能(参见例如，[MEC009]) 的MEC平台VNF。附加地，本地DN包括被实例化为VNF的MEC应用1826、1827 和/或1828。该实现方式可被配置成根据[MEC003]和/或ETSI GR MEC 017版 本1.1.1(2018年2月)(“[MEC017]”)来提供功能。第三实现方式可与 第一实现方式和/或第二实现方式组合，或可以是独立式实现方式。
附加地或替代地，接入级边缘(例如，本文中讨论的各种NAN和/ 或(R)AN)可使用一个或多个API来与局部/区域级边缘网络通信。局部/区 域级边缘网络可包括使用相对应的应用来与国家级边缘网络通信的网络节点。 国家级边缘可包括使用应用来接入全球级边缘内的一个或多个远程云的各种 NAN。NAN也可配置或可操作用于垂直细分市场管理和SLA合规性。另外或替代 地，MEC部署可基于“边缘”的定义以向MNO提供自由度，尤其是当在NFV环境 中部署MEC时(例如，MEC实体可被实例化为虚拟化NV(VNF)，由此在针对 运营商的部署方面具有高灵活性)。
附加地或替代地，可以取决于用例/垂直细分市场/要处理的信息来 灵活地部署MEC系统1800。MEC系统1800的一些组件可以与系统的其他元 件共处一地。作为示例，在某些用例(例如，企业)中，MEC应用1826可能 需要在本地消费MEC服务，因此在本地部署装配有所需要的API集合的MEC 主机可能是高效的。在另一示例中，将MEC服务器1802部署在数据中心(其 可以远离于接入网络)可能不需要主控如RNI API(其可以用于从无线电基站收集无线电网络信息)之类的一些API。另一方面，可以精化RNI信息并使其 在云RAN(CRAN)环境中在聚合点处可用，由此使得能够执行合适的无线电 知晓的通信量管理算法。附加地或替代地，带宽管理API可能既存在于接入级 边缘处又存在于更远的边缘位置中，以便设置传输网络(例如，针对基于CDN 的服务)。
图19图示出示例MEC服务架构1900。MEC服务架构1900包括 MEC服务1905、ME平台1910(与MEC平台1832相对应)以及应用(App) 1至N(其中N为数字)。作为示例，应用1可以是主控会话1至n(其中n 是与N相同或不同的数字)的CDN应用/服务，应用2是可以是被示出为主控 两个会话的游戏应用/服务，并且应用N可以是被示出为单个实例(例如，不 主控任何会话)的某种其他应用/服务。每个应用可以是在资源提供方(例如， 诸如ME平台1910之类的服务器)与消费方(例如，UE 101、由各个UE 101 实例化的用户应用、其他服务器/服务、网络功能、应用功能等)之间对任务和 /或工作负荷进行分区的分布式应用。每个会话表示两个或更多个元件之间的交 互式信息交换，这两个或更多个元件诸如客户端侧应用及其对应的服务器侧应 用、由UE 101实例化的用户应用以及由ME平台1910实例化的MEC应用等等。会话可在应用执行被开始或被发起时开始，并在应用退出或终止执行时结 束。附加地或替代地，会话可在连接被建立时开始并且可在连接被终止时结束。 每个应用会话可与当前运行的应用实例相对应。附加地或替代地，每个会话可 与协议数据单元(PDU)会话或多接入(MA)PDU会话相对应。PDU会话是UE 1111、1121与提供PDU连接性服务的DN之间的关联，该PDU连接性服 务是提供UE 1111、1121与数据网络之间的PDU交换的服务。MA PDU会话 是提供PDU连接性服务的PDU会话，其可一次使用一个接入网络或同时使用 3GPP接入网络110A和非3GPP接入网络110B。此外，每个会话可与会话标 识符(ID)相关联，该会话标识符是唯一地标识会话的数据，并且每个应用(或 应用实例)可与应用ID(或应用实例ID)相关联，该应用ID(或应用实例ID) 是唯一地标识应用(或应用实例)的数据。
MEC服务1905向MEC服务消费方(例如，应用1至N)提供一 个或多个MEC服务1836。MEC服务1905可任选地作为平台(例如，ME平 台1910)的部分或作为应用(例如，ME应用)来运行。不论是管理单个实例 还是若干个会话(CDN)，不同的应用1至N均可逐其要求地针对整个应用 实例或逐会话地针对不同要求请求特定服务信息。MEC服务1905可聚合所有 请求，并以将帮助优化BW使用并改善应用的体验质量(QoE)的方式行动。
MEC服务1905提供支持查询和订阅两者(例如，发布/订阅机制) 的MEC服务API，这些查询和订阅通过表述性状态传递(“REST”或“RESTful”) API或通过替代的传输(诸如消息总线)来使用。例如，对于RESTful架构 风格，MEC API包含用于通信量管理功能的HTTP协议绑定。
每个超文本传输协议(HTTP)消息要么是请求要么是响应。服务 器监听针对请求的连接，解析接收到的每个消息，相对于所标识的请求目标来 解释消息语义，并且以一个或多个响应消息来对该请求进行响应。客户端构造 请求消息来传输特定的意图，检查接收到的响应以查看这些意图是否被实现， 并且确定如何对结果进行解释。HTTP请求的目标被称为“资源”。附加地或替 代地，“资源”是具有类型、相关联的数据、对其进行操作的一组方法、以及与 其他资源的关系(如果可适用)的对象。每个资源通过至少一个统一资源标识符(URI)来标识，并且资源URI标识至多一个资源。使用HTTP方法(例如， POST、GET、PUT、DELETE等)通过RESTful API作用于资源。利用每一种 HTTP方法，一个资源URI在请求中被传递，以对一个特定资源进行寻址。对 资源的操作影响相对应的被管理的实体的状态。
考虑到资源可以是任何事物，以及由HTTP提供的统一接口与可以 通过其来观察并仅通过向另一侧的某个独立行为方的消息传输而作用于此类 事物的窗口类似，需要抽象以在我们的通信中表示(“代替”)该事物的当前或 期望状态。该抽象被称为表示。出于HTTP的目的，“表示”是旨在以可以经由 协议容易地被传输的格式反映给定资源的过去、当前或期望状态的信息。表示 包括一组表示元数据以及潜在地不受约束的表示数据流。附加地或替代地，资 源表示是以特定的内容格式对资源状态的串行化。
起源服务器可被提供有或能够生成各自旨在反映目标资源的当前 状态的多个表示。在此类情况下，可以由起源服务器使用某种算法，以便通常 基于内容协商将那些表示中的一个表示选为最适用于给定请求。此种“选定的 表示”用于提供用于评估有条件的请求从而构造响应消息的有效载荷(例如， 200OK、对GET的304未经修改响应，等等)的数据和元数据。资源表示被 包括在HTTP请求或响应消息的有效载荷主体中。在请求中是要求表示还是不 允许表示取决于所使用的HTTP方法(参见例如IETF RFC 7231(2014年6月)Fielding等人的“Hypertext Transfer Protocol(HTTP/1.1):Semantics and Content(超文本传输协议(HTTP/1.1)：语义和内容”)。
在各种ETSI MEC标准(诸如本文中所提及的那些标准)中讨论了 MEC API资源统一资源指示符(URI)。MTS API支持在发生错误时在HTTP 响应中提供附加的应用相关错误信息(参见例如，ETSI GS MEC 009版本2.1.1 (2019-01)(“[MEC009]”)的6.15款)。每个资源URI的语法遵循[MEC009]以及 IETF网络工作组RFC 3986(2005年1月)Berners-Lee等人“统一资源标识符 (URI)：通用语法(Uniform Resource Identifier(URI):GenericSyntax)”和/ 或IETF RFC 8820(2020年6月)诺丁汉大学“URI设计和所有权(URI Designand Ownership)”。在RESTful MEC服务API(包括VIS API)中，用于每种 API的资源URI结构具有以下结构： {apiRoot}/{apiName}/{apiVersion}/{apiSpecificSuffixes}({api根}/{api名 称}/{api版本}/{api特殊后缀})。
此处，“apiRoot”包括方案(“https”)、主机和任选端口、以及任选 的前缀串。“apiName”定义API的名称(例如，MTS API、RNI API等)。 “apiVersion”表示API的版本，并且“apiSpecificSuffixes”定义特定API中的资源URI树。“apiRoot”、“apiName”和“apiVersion”被称为根URI。“apiRoot”在部署 的控制下，而URI的剩余部分在API规范的控制下。在上述根中，“apiRoot” 和“apiName”是使用服务注册表(参见例如，图18中的服务注册表1838)发现 的。其包括方案(“http”或“https”)、主机和任选端口、以及任选的前缀串。对 于给定的MEC API，“apiName”可被设置为“mec”，并且“apiVersion”可被设置 为合适的版本号(例如，针对版本1设置为“v1”)。MEC API支持TLS上的 HTTP(也被称为HTTPS)。MECAPI过程中的所有资源URI均是相对于以 上根URI定义的。
还可支持JSON内容格式。JSON格式通过内容类型“application/json (应用/json)”来用信号传送。MTS API可使用带有承载方令牌的OAuth 2.0 客户端凭证授予类型(例如参见，[MEC009])。令牌端点可以作为[MEC009] 中定义的服务可用性查询过程的部分而被发现。可使用已知的预设机制将客户 端凭证预设到MEC应用中。
4.2.开放RAN(O-RAN)方面
图20图示出根据各实施例的示例开放RAN(O-RAN)系统架构2000。 O-RAN架构2000包括四个O-RAN定义的接口(即，A1接口、O1接口、O2接口 和开放前传管理(M)-平面接口)，它们将服务管理和编排框架(SMO)2002 连接到O-RAN网络功能(NF)2004和O-云2006。
O1接口是编排和管理实体(编排/NMS)与O-RAN管理元件之间 的接口，用于操作和管理，通过该接口应实现FCAPS管理、软件管理、文件 管理和其他类似功能(参见例如，O-RAN联盟工作组(WG)1，“O-RAN架 构描述”版本_04.00(2021年3月)(“[O-RAN.WG1.O-RAN-架构-描述-版本 04.00]”)，O-RAN联盟WG6，“O-RAN虚拟化RAN的云架构和部署场景” 版本02.01(2020年7月)(“[O-RAN.WG6.CAD-版本02.01]”)。O2接口是 服务管理和编排框架与O-云之间的接口(参见例如，[O-RAN.WG1.O-RAN-架构- 描述-版本04.00]、[O-RAN.WG6.CAD-版本02.01])。A1接口是O-RAN非实时 (RT)RAN智能控制器(RIC)2012与近RT RIC 2014之间的接口，用于实现 近RT RIC应用/功能的策略驱动指导，并支持AI/ML工作流。
SMO 2002(参见例如，O-RAN联盟WG1，“O-RAN操作和维护接口规 范”版本04.00(2020年11月)(“[O-RAN.WG1.O1-接口0-版本04.00]”)还 与外部系统2010连接，该系统向SMO 2002提供增强数据。图20还图示出A1 接口终止于SMO 2002中或SMO 2002处的O-RAN非实时(RT)RAN智能控制器 (RIC)2012以及终止于O-RAN NF 2004中或O-RAN NF 2004处的O-RAN近RT RIC 2014。O-RAN NF 2004可以是VNF(诸如VM或容器)，利用定制硬件位于 O-云2006和/或物理网络功能(PNF)上方。预计所有O-RAN NF 2004在与SMO 2002对接时支持O1接口。O-RAN NF 2004经由NG接口(即3GPP定义的接口) 连接到NG核2008。SMO 2002与O-RAN无线电单元(O-RU)2016之间的开 放式前传M-平面接口支持如版本2.0(2019年7月)的O-RAN前传管理平面 规范(“[ORAN-WG4.MP.0-版本02.00.00]”)的O-RAN联盟WG4中规定的 O-RAN混合模型中的O-RU 2016管理。开放前传M-平面接口是SMO 2002的 可选接口，其被包括以用于向后兼容的用途(按照[ORAN-WG4.MP.0-版本 02.00.00])，并且旨在仅用于混合模式下的O-RU 2016的管理。平面模式O-RAN 联盟WG1的管理架构，“O-RAN操作和维护架构规范”版本_04.00(2020年11 月)(“[O-RAN.WG1.OAM-架构-版本04.00]”)以及其与O-RU 2616的O1接 口的关系供将来研究使用。如[O RAN.WG1.OAM-架构-版本04.00]中规定的， O-RU2016终止朝向SMO 2002的O1接口。
图21图示出图20的O-RAN系统架构2000的逻辑架构2100。在图 21中，分别地，SMO2102与SMO 2002相对应，O-云2106与O-云2006相对应， 非RT RIC 2112与非RT RIC 2012相对应，近RT RIC 2114与近RT RIC 2014 相对应，以及O-RU 2116与图21的O-RU 2016相对应。O-RAN逻辑架构2100 包括无线电部分和管理部分。
架构2100的管理部分/侧包括包含非RT-RIC 2112的SMO 2102，并 且可包括O-云2106。O-云2106是一云计算平台，包括物理基础设施节点的集 合，用于主控相关的O-RAN功能(例如，近RT RIC 2114、O-CU-CP 2121、O-CU-UP 2122和O-DU 2115)，从而支持软件组件(例如，OS、VMM、容器运行时引擎、 ML引擎等)，以及适当的管理和编排功能。
逻辑架构2100的无线电部分/侧包括近RT RIC 2114、O-RAN分布 式单元(O-DU)2115、O-RU 2116、O-RAN中央单元-控制平面(O-CU-CP)2121 和O-RAN中央单元-用户平面(O-CU-UP)2122功能。逻辑架构2100的无线电 部分/侧还可包括O-e/gNB 2110。
O-DU 2115是主控基于较低层功能划分的RLC、MAC和更高物理层实 体/元件(高物理层)的逻辑节点。O-RU 2116是主控基于较低层功能划分的较 低物理层实体/元件(较低物理层)(例如，FFT/iFFT、PRACH提取等)和RF 处理元件的逻辑节点。O-RU 2116的虚拟化是FFS。O-CU-CP 2121是主控RRC 和PDCP协议的控制平面(CP)部分的逻辑节点。O-CU-UP 2122是主控PDCP 协议和SDAP协议的用户平面部分的逻辑节点。
E2接口终止于多个E2节点。E2接口连接近RT RIC 2114和一个或 多个O-CU-CP2121、一个或多个O-CU-UP 2122、一个或多个O-DU 2115和一 个或多个O-e/gNB 2110。E2节点是终止E2接口的逻辑节点/实体。对于NR/5G 接入，E2节点包括O-CU-CP 2121、O-CU-UP2122、O-DU 2115或O-RAN联盟 WG3，“O-RAN近实时RAN智能控制器架构和E2一般方面和原则版本01.01(2020 年7月)(“[O-RAN.WG3.E2GAP-版本01.01])中定义的任何元素组合。”对于E-UTRA接入，E2节点包括O-e/gNB 2110。如图21所示，E2接口还将O-e/gNB 2710连接到近RT RIC 2114。E2接口上的协议完全基于控制平面(CP)协议。 E2功能可被编组为以下类别：(a)近RT RIC 2114服务(报告(REPORT)、 插入(INSERT)、控制(CONTROL)和策略(POLICY)，如[O-RAN.WG3.E2GAP- 版本01.01]所述)；以及(b)近RT RIC 2114支持功能，包括E2接口管理(E2 设置、E2重置、一般错误情况报告等)和近RT RIC服务更新(例如，与E2 上暴露的E2节点功能列表相关的能力交换)。RIC服务是在E2节点上提供的 服务，用于提供对消息和测量的访问和/或实现从近RT RIC对E2节点的控制。
图21示出了UE 2101与O-e/gNB 2110之间以及UE 2101与O-RAN 组件之间的Uu接口。Uu接口是3GPP定义的接口(参见例如，3GPP TS 38.401 版本16.3.0(2020年10月2日)(“[TS38401])的第_5.2节和第5.3节)， 包括从L1到L3的完整协议栈，并终止于NG-RAN或E-UTRAN。O-e/gNB 2110 是支持E2接口的LTE eNB(参见例如，3GPP TS 36.401版本16.0.0(2020年 7月16日))、5G gNB或ng-eNB 3GPP TS 38.300版本16.3.0(2020年10 月02日)(“[TS38300]”))。
O-e/gNB 2110可以与NAN 1131-1133相同或类似，并且UE 2101可 以与关于图11讨论的UE 1121、1111中的任何一个相同或类似，等等。可以 存在多个UE 2101和/或多个O-e/gNB 2110，其中每个可以经由各自的Uu接口 彼此连接。尽管未在图21中示出，O-e/gNB2110支持O-DU 2115和O-RU 2116 功能，其中这些功能之间有开放前传接口。
(多个)开放前传(OF)接口在O-DU 2115与O-RU 2116功能之 间(参见例如，[ORAN-WG4.MP.0-版本02.00.00]，O-RAN联盟WG4，“O-RAN 前传控制、用户和同步平面规范6.0”版本06.00(2021年3月) (“[O-RAN-WG4.CUS.0-版本06.00]”)。(多个)OF接口包括控制用户同步(CUS) 平面和管理(M)平面。图20和图21还示出，如[ORAN-WG4.MP.0-版本02.00.00] 中规定的，O-RU 2116终止朝向O-DU 2115的OF M平面接口，以及可选地终止 朝向SMO 2102的OF M平面接口。O-RU 2116终止朝向O-DU 2115和SMO 2102 的OF CUS平面接口。
F1-c接口将O-CU-CP 2121与O-DU 2115连接。如3GPP定义的，F1-c 接口位于gNB-CU-CP与gNB-DU节点之间([TS38401]，3GPP TS 38.470版本 16.3.0(2020年10月2日)(“[TS38470]”))。然而，出于O-RAN的目的， O-CU-CP 2121与O-DU 2115功能之间采用F1-c接口，同时重用3GPP定义的原 则和协议栈以及互操作性简档规范的定义。
F1 u接口将O-CU-UP 2122与O-DU 2115连接。如3GPP定义的，F1-u 接口位于gNB-CU-Up与gNB-DU节点之间([TS38401]、[TS38470])。然而， 出于O-RAN的目的，O-CU-UP 2122与O-DU 2115功能之间采用F1-u接口，同 时重用3GPP定义的原则和协议栈以及互操作性简档规范的定义。
NG-c接口由3GPP定义为5GC中gNB-CU-CP与AMF之间的接 口([TS38300])。NG-c也称为N2接口(参见[TS38300])。NG-u接口由3GPP 定义为5GC中gNB-CU-UP与UPF之间的接口(参见例如[TS38300])。NG-u 接口也称被为N3接口(参见例如[TS38300])。在O-RAN中，由3GPP定义的 NG-c和NG-u协议栈被重用，并且可以针对O-RAN目的进行适配。
X2-c接口在3GPP中定义，用于在EN-DC中的eNB之间或eNB与 en-gNB之间传送控制平面信息。X2-u接口在3GPP中定义，用于在EN-DC中 的eNB之间或eNB与en-gNB之间传送用户平面信息(参见例如，3GPP TS 36.420版本16.0.0(2020年7月17日)，[TS38300])。在O-RAN中，由3GPP 定义的X2-c和X2-u协议栈被重用，并且可以针对O-RAN目的进行适配。
Xn-c接口在3GPP中定义，以用于在gNB、ng-eNB之间或ng-eNB与 gNB之间传送控制平面信息。Xn-u接口在3GPP中定义，以用于在gNB、ng-eNB 之间或ng-eNB与gNB之间传送用户平面信息(参见例如，[TS38300]，3GPP TS 38.420版本16.0.0(2020年7月16日))。在O-RAN中，由3GPP定义的Xn-c 和Xn-u协议栈被重用，并且可以针对O-RAN目的进行适配。
E1接口被3GPP定义为gNB-CU-CP(例如，gNB-CU-CP 3728)与 gNB-CU-UP(参见例如，[TS38401]，3GPP TS 38.460版本16.1.0(2020年7 月17日))之间的接口。在O-RAN中，由3GPP定义的E1协议栈被重用并调 整为O-CU-CP 2121与O-CU-UP 2122功能之间的接口。
O-RAN非实时(RT)RAN智能控制器(RIC)2112是SMO 2002、2102 内的逻辑功能，其实现RAN元件和资源的非实时控制和优化；(多个)AI/机 器学习(ML)工作流，包括模型训练、推断和更新；以及近RT RIC 2114中应 用/功能的基于策略的引导。
O-RAN近RT RIC 2114是逻辑功能，其经由E2接口上的细粒度数据 收集和动作，实现对RAN元件和资源的近实时控制和优化。近RT RIC 2114可 以包括一个或多个AI/ML工作流，包括模型训练、推断和更新。
非RT RIC 2112可以是用于主控一个或多个ML模型的训练的ML训 练主机。可以使用从RIC、O-DU 2115和O-RU 2116收集的数据离线执行ML训 练。对于监督学习，非RT RIC2112是SMO 2102的一部分，而ML训练主机和 /或ML模型主机/参与者可以是非RT RIC 2112和/或近RT RIC 2114的一部分。 对于无监督学习，ML训练主机和ML模型主机/参与者可以是非RT RIC 2112 和/或近RT RIC 2114的一部分。对于加强学习，ML训练主机和ML模型主机/ 参与者可以作为非RT RIC 2112和/或近RT RIC 2114的一部分共处一地。在 一些实现方式中，非RT RIC 2112可在训练主机中请求或触发ML模型训练， 而不管模型部署和执行在何处。ML模型可被训练，并且目前未被部署。
在一些实现方式中，非RT RIC 2112为要发布/安装经训练的ML模 型(例如，可执行软件组件)的ML设计者/开发者提供可查询的目录。在这些 实现方式中，非RT RIC 2112可以提供发现机制：特定的ML模型是否可以在 目标ML推断主机(MF)中执行；以及多少数量以及什么类型的ML模型可以在 MF中执行。例如，非RT RIC 2112可以发现三种类型的ML目录：设计时目录 (例如，驻留在非RT RIC 2112之外并由一些其他(多个)ML平台主控)、训练/部署时目录(例如，驻留在非RT RIC 2112内)和运行时目录(例如，驻 留在非RT RIC2112内)。非RT RIC 2112支持ML模型推断的必要功能，以 支持在非RT RIC 2112或某一其他ML推断主机中运行的ML辅助解决方案。这 些能力使得能够安装可执行软件(诸如VM、容器等)。非RT RIC 2112还可以 包括和/或操作一个或多个ML引擎，这些ML引擎是提供用于运行ML模型的方 法、例程、数据类型等的封装的软件可执行库。非RT RIC 2112还可以实现在 不同操作条件下切换和激活ML模型实例的策略。
非RT RIC 2112能够通过O1接口访问关于ML模型性能的反馈数据 (例如，FM和PM统计)，并执行必要的评估。如果ML模型在运行期间失败， 则可以生成警报作为对非RT RIC2112的反馈。ML模型在预测精度或其产生的 其他操作统计方面执行得有多少也可以通过O1发送到非RT RIC 2112。非RT RIC 2112还可以通过观察MF中的资源利用率，通过O1接口缩放在目标MF中运行 的ML模型实例。运行ML模型实例的环境(例如MF)监测正在运行的ML模型 的资源利用率。例如，可以在近RT RIC 2114和/或非RT RIC 2112中使用称 为资源监测器的ORAN-SC组件来实现这一点，该组件持续监测资源利用率。如 果资源较低或低于某个阈值，则近RT-RIC 2114和/或非RT-RIC 2112中的运 行时环境提供用于添加更多ML实例的缩放机制。缩放机制可以包括缩放因子， 诸如用于放大/缩小ML实例数量的数字、百分比和/或其他类似数据。通过观 察MF中的资源利用率，可以自动缩放目标ML推理主机中运行的ML模型实例。 例如，
(K8s)运行时环境通常提供自动缩放功能。
A1接口位于非RT RIC 2112(SMO 2102内部或外部)与近RT RIC 2114 之间。A1接口支持O-RAN联盟WG2，“O-RAN A1接口：一般方面和原则2.02” 版本02.02(2021年3月)(“[O-RAN.WG2.A1GAP-版本02.02]”)中定义的三 种类型的服务，包括策略管理服务、扩展信息服务和ML模型管理服务。与持 久化配置相比，A1策略具有以下特征(参见例如，[O-RAN.WG2.A1GAP-版本 02.02])：A1策略对通信量不重要；A1策略具有临时有效性；A1策略可以处 理单个UE或动态定义的UE组；A1策略在配置中起作用并优先于配置；并且 A1策略是非持久性的，例如，在重新启动近RT RIC后无法存在。O-RAN目前 正在开发一个框架，用于将第三方xApp添加到基站产品中，该产品由来自不 同供应商的组件组装。
图22图示出包括近RT RIC接口的示例O-RAN架构2200。近RT RIC 2214通过A1接口连接到非RT RIC 2212(参见例如，[O-RAN.WG2.A1GAP-版本 02.02])。近RT RIC 2214是位于E2节点与主控非RT RIC 2212的服务管理 和编排层(SMO)2202之间的逻辑网络节点。近RT RIC 2214可与图20的近 RT RIC 2014和图21的近RT RIC 2114相同或相似，并且非RTRIC 2212可与 图20的非RT RIC 2012和/或图21的非RT RIC 2112相同或相似。SMO 2202可与图20的SMO 2002和/或图21的SMO 2102相同或相似。近RT RIC 2214 仅连接到一个非RT RIC 2212。
如前所述，E2是将近RT RIC 2214与E2节点连接的逻辑接口。近 RT RIC 2214连接到O-CU-CP 2221，近RT RIC 2214连接到O-CU-UP 2222，近 RT RIC 2214连接到O-DU 2215，并且近RT RIC 2214连接到O-e/gNB 2210。 O-DU 2215连接到O-RU 2216。O-CU-CP 2221、O-CU-UP 2222、O-DU 2215和 O-e/gNB 2210可以与图21的O-CU-CP 2121、O-DU 2115和O-e/gNB 2110相同 或相似。O-RU 2216可以与图20中的O-RU 2016和/或图21中的O-RU 2116 相同或相似。
E2节点仅连接到一个近RT RIC 2214。近RT RIC 2214可以连接到 多个E2节点(例如，多个O-CU-CP 2221、O-CU-UP 2222、O-DU 2215和O-e/gNB 2210)。F1(例如，F1控制平面(F1-C)和F1用户平面(F1-U))和E1是逻 辑3GPP接口，其协议、终止点和基数在[TS38401]中规定。另外，近RT RIC 2214 和其他RAN节点具有如[O-RAN.WG1.OAM-架构-版本04.00]和[O-RAN.WG1.O-RAN-架构-描述-版本04.00]中定义的O1接口。附加地， O-CU-CP 2221经由N2接口连接到5G核心网络(5GC)2242b，O-CU-UP 2222 经由N3接口连接到5GC 2242b，并且O-gNB 2210经由Xn控制平面接口(Xn-C) 连接到O-CU-CP 2221，并经由Xn用户平面接口(Xn-U)连接到O-CU-UP 2222； 这些接口在3GPP TS 23.501版本17.1.1(2021年6月24日)(“[TS23501]”)、 _3GPP TS 38.300版本16.6.0(2021年7月6日)(“[TS38300]”)和其他_3GPP 标准中定义。此外，O-eNB 2210经由S1控制平面(S1-C)和S1用户平面(S1-U) 接口连接到演进分组核心(EPC)2242a，并且O-eNB 2210经由X2控制平面 接口(X2-C)和/或Xn控制平面接口(Xn-C)连接到O-CU-CP 2221，并且经 由X2用户平面接口(X2-U)和/或Xn用户平面接口(Xn-U)连接到O-CU-UP 2222；这些接口在3GPP TS 36.300版本16.6.0(2021年7月6日)(“[TS36300]”) 和/或其他3GPP标准中进行了讨论。
近RT RIC 2214主控一个或多个xApp，这些xApp使用E2接口收集 近实时信息(例如，UE基础、蜂窝小区基础)并提供增值服务。近RT RIC 2214 可以接收声明性策略，并通过A1接口获取数据扩展信息(参见例如， [O-RAN.WG2.A1GAP-版本02.02])。
E2接口上的协议基于控制平面协议，并在O-RAN联盟WG1，“近 实时RAN智能控制器，E2应用协议(E2AP)”版本01.01(2020年7月) (“[O-RAN.WG3.E2AP-版本01.01”)中定义。在E2或近RT RIC 2214故障时， E2节点将能够提供服务，但仅使用近RT RIC 2214提供的某些增值服务可能中 断。
近RT RIC 2214提供数据库功能，用于存储与E2节点、蜂窝小区、 承载、流、UE相关的配置以及它们之间的映射。近RT RIC 2214提供支持数据 流水线的ML工具。近RT RIC2214提供消息收发基础设施。近RT RIC 2214 将来自近RT RIC 2214框架和xApp的日志记录、跟踪和度量收集提供到SMO。 近RT RIC 2214提供安全功能。近RT RIC 2214支持冲突解决，以解决可能由 xApp请求引起的潜在冲突或重叠。
近RT RIC 2214还提供了开放API，该开放API使得能主控来自近 RT RIC 2214平台供应商的第三方xApp以及xApp。近RT RIC 2214还提供与 特定实现解决方案分离的开放API，包括可以作为底层数据库的覆盖并实现简 化数据访问的共享数据层(SDL)。
xApp是设计用于在近RT RIC 2214上运行的应用。此类应用可能包 括或提供一个或多个微服务，并且在安装时将标识其消费的数据以及其提供的 数据。xApp独立于近RTRIC 2214，并可由任何第三方提供。E2实现xApp与 RAN功能之间的直接关联。RAN功能是E2节点中的特定功能；示例包括X2AP、 F1AP、E1AP、S1AP、NGAP接口和处理UE、蜂窝小区等的RAN内部功能。
xApp的架构包括实现xApp逻辑的代码和允许xApp用于以下各项的 RIC库：发送和接收消息；从SDL层读取、向SDL层写入和从SDL层获取通知； 以及编写日志消息。未来版本中将提供附加库，包括用于设置和重置警报以及 发送统计的库。此外，xApp可以使用访问库访问SDL层中的特定名称空间。例 如，可以通过使用R-NIB访问库来读取R-NIB，R-NIB提供关于RIC连接到哪 些E2节点(例如，CU/DU)以及每个E2节点支持哪些SM的信息。
O-RAN标准接口(例如，O1、A1和E2)向xApp暴露以下各项： xApp将经由K8s配置图接收其配置-可以在xApp运行时更新配置，并且可以 使用inotify()通知xApp此修改；xApp可以(a)将其以VES格式直接发送 给VES收集器，(b)通过经由REST接口暴露统计以供普罗米修斯收集来发 送统计(PM)；xApp将经由特定种类的RMR消息(策略实例创建和删除操 作)接收A1策略指导；以及xApp可以通过构造E2订阅ASN.1有效载荷并 将其作为消息(RMR)发送来订阅E2事件，xApp将使用ASN.1有效载荷接 收E2消息(例如，E2指示)作为RMR消息。类似地，xApp可以发出E2控 制消息。
除A1和E2相关消息外，xApp还可以发送由其他xApp处理的消息， 并可以接收由其他xApp生成的消息。RIC内部的通信是策略驱动的，也就是说， xApp不能指定消息的目标。它只发送特定类型的消息，并且为RIC实例指定的 路由策略将确定该消息将被递送到哪些目的地(逻辑发布/订阅)。
从逻辑上讲，xApp是实现定义良好的功能的实体。从机械上讲，xApp 是包含一个或多个容器的K8s舱。为了使xApp能够部署，它需要有xApp描述 符(例如，JSON)，该xApp描述符描述xApp的配置参数以及RIC平台为xApp 配置RIC平台所需的信息。xApp开发人员还需要为描述符提供JSON模式。
除了这些基本要求外，xApp还可以执行以下任何操作：读取初始配 置参数(在xApp描述符中传递)；接收更新的配置参数；发送和接收消息； 读取和写入持久共享数据存储(键值存储)；接收A1-P策略指导消息--特别 是创建或删除与给定策略类型相关的策略实例(RMR消息上的JSON有效载荷) 的操作；定义新的A1策略类型；经由E2接口向RAN进行订阅，接收来自RAN 的E2指示消息，并向RAN发出E2策略和控制消息；以及报告与自身执行或观 察到的RAN事件相关的度量。
xApp开发和部署的生命周期包括以下状态：开发(设计、实现、本 地测试)；发布(xApp代码和xApp描述符被提交给LF Gerrit储存库，并包 含在O-RAN发布中。xApp被封装为Docker容器并且其镜像发布到LF发布注册 表)；机载/分布式(xApp描述符(以及潜在的舵图)针对给定的RIC环境进 行定制，生成的定制舵图被存储在由RIC环境的xApp管理器使用的本地舵图 储存库中)；运行时参数配置(在部署xApp之前，运营商将运行时舵图参数提供给定制的xApp Kubernetes部署实例。此过程主要用于配置运行时唯一的 舵图参数(诸如实例UUID、活跃度检查、东向和北向服务端点(例如，DBAAS 入口、VES收集器端点)等)；以及部署(xApp已经由xApp管理器部署并且 xApp舱正在RIC实例上运行。对于有意义的xApp，部署状态可进一步划分为 经由xApp配置更新控制的附加状态。例如，运行、停止)。
指导近RT RIC架构的定义以及近RT RIC 2214、E2节点与服务管 理和编排之间接口的一般原则如下：近RT RIC 2214和E2节点功能与传输功 能完全分离。近RT RIC 2214和E2节点中使用的寻址方案不应被绑定于传输 功能的寻址方案；E2节点支持3GPP无线电接入网络中定义的所有协议层和接 口，包括用于E-UTRAN的eNB和用于NG-RAN的gNB/ng-eNB；近RT RIC 2214和主控的“xApp”应用应使用E2节点暴露的服务集，该服务集由一系列 RAN功能和无线电接入技术(RAT)依赖的E2服务模型描述；并且近RT RIC 2214接口按照以下原则定义：跨接口的功能划分具有尽可能少的选项；接口基 于通过该接口控制的实体的逻辑模型；以及一个物理网络元件可以实现多个逻 辑节点。
xApp可以增强近RT RIC 2214的RRM功能。xApp向近RT RIC 2214 提供日志记录、跟踪和度量收集。xApp包括xApp描述符和xApp镜像。xApp 镜像是软件封装。xApp镜像包含部署xApp所需的所有文件。xApp可以有多个 版本的xApp镜像，其由xApp镜像版本号标记。
xApp描述符描述xApp镜像的封装格式。xApp描述符还提供了必要 的数据以实现其管理和编排。xApp描述符为xApp的LCM提供必要信息的xApp 管理服务，诸如部署、删除、升级等。xApp描述符还提供与xApp运状行况管 理相关的额外参数，诸如xApp负荷过重时的自动缩放以及xApp不正常时的自 动修复。xApp描述符在启动xApp时向xApp提供FCAP和控制参数。
xApp描述符的定义包括：xApp基本信息、FCAPS管理规范和控制规 范。xApp的基本信息，包括名称、版本、提供商、xApp镜像的URL、虚拟资源 需求(例如，CPU)等。xApp的基本信息用于支持xApp的LCM。另外或替代地， xApp的基本信息包括或指示关于xApp的配置、度量和控制数据。FCAPS管理 指定xApp的配置、性能度量收集等选项的规范。控制规范，其指定xApp为控 制能力而消费和提供的数据类型(例如，xApp订阅的性能管理(PM)数据、控 制消息的消息类型)。
附加地或替代地，xApp描述符分量包括xApp配置、xApp控制规范 和xApp度量。xApp配置规范包括用于配置数据的数据字典(例如，元数据， 诸如配置定义或配置参数及其语义的列表)。附加地，xApp配置可以包括xApp 的初始配置。xApp控制规范包括它所消费的数据类型，并提供实现控制能力的 数据类型(例如，xApp URL、参数、输入/输出类型)。xApp度量规范应包括 xApp提供的度量列表(例如，度量名称、类型、单位和语义)。
图23描述了用于添加第三方xApp的O-RAN架构/框架2300，并且 图24描述了近RTRIC内部架构2400。在这些示例中，近RT RIC主控以下 功能：数据库功能，其允许读取和写入RAN/UE信息；xApp订阅管理，其 合并来自不同xApp的订阅并向xApp提供统一的数据分发；冲突缓解，其 解决来自多个xApp的潜在重叠或冲突请求；消息收发基础设施，其实现近RT RIC内部功能之间的消息交互；安全性，其为xApp提供安全方案；以 及
管理服务，包括：故障管理、配置管理和性能管理，作为SMO 的服务生产商；xApp的生命周期管理；以及日志记录、跟踪和度量收集， 其捕获、监控和收集近RT RIC内部的状态，并可传输至外部系统以供进一 步评估；以及
接口终端，包括：E2终端，其终止来自E2节点的E2接口；A1终 端，其终止来自非RTRIC的A1接口；以及O1终端，其终止来自SMO的O1 接口；以及
由xApp主控的功能，这些功能允许在近RT RIC处执行服务， 并经由E2接口将结果发送到E2节点。
xApp可提供与UE相关的信息，以存储在UE-NIB(UE网络信息库) 数据库中。UE-NIB维护UE和相关联数据的列表。UE-NIB保持与所连接的E2 节点相关联的UE身份的跟踪和关联。
xApp可提供与无线电接入网络相关的信息，以存储在R-NIB(无线 电网络信息库)数据库中。R-NIB存储与连接的E2节点及其之间的映射相关的 配置和近实时信息。
xApp订阅管理管理从xApp到E2节点的订阅。xApp订阅管理强制 执行对控制xApp对消息访问的策略的授权。xApp订阅管理允许将来自不同 xApp的相同订阅合并到对E2节点的单个订阅中。
参考图20-图24，O-RAN系统/架构/框架可以提供一个或多个E2 服务模型(E2SM)(参见例如，O-RAN近实时RAN智能控制器E2服务模型 1.0(2020年2月)(“[ORAN-WG3.E2SM-v01.00.00]”))。E2SM是对E2节点 内特定RAN功能通过E2接口向近实时RIC 2014暴露的服务的描述。给定的RAN 功能提供了使用E2AP(参见例如，[O-RAN.WG3.E2AP-v01.01])定义的过程通 过E2暴露的服务的集合(报告(REPORT)、插入(INSERT)、控制(CONTROL) 和/或策略(POLICY))。表1中列出的E2AP过程中的每一个均包含特定的E2 节点RAN功能相关信息元素(IE)。
表1:E2SM服务与E2AP IE之间的关系
所有这些RAN功能特定的IE都在[O-RAN.WG3.E2AP-v01.01]中被 定义为“八位位组串(OCTET STRING)”。E2SM包括样式类型和格式类型。 在该情况下，“样式类型”是用于指定用来暴露给定RIC服务(报告、插入、 控制和策略)的特定方法或样式的标识符。相同的E2SM可以支持每个RIC 服务的多于一个的样式。“格式类型”是用于指定用来对该E2SM中定义的E2AP IEs之一进行编码的特定格式化方法的标识符。相同E2SM可以支持每个E2AP IE的多于一个的编码格式，并且每个E2AP IE消息编码格式可以被一个或多个RIC 服务样式使用。示例E2SM包括E2SM关键性能测量(E2SM-KPM)和E2SM RAN 控制(E2SM-RC)。
4.2.1.关键性能测量的E2SM(E2SM-KPM)
E2SM-KPM是针对处置对3GPP TS 28.552版本17.3.1(2021年06 月24日)(“[TS28552]”)中定义的5G网络的和3GPP TS 32.425版本17.1.0 (2021年06月24日)(“[TS32425]”)中定义的EPC网络的蜂窝小区级性 能测量的报告的RAN功能，其通过引用以其整体以及它们可能对UE级或 QoS流级测量的适配合并于此。RAN功能关键性能测量(KPM)用于提供E2节 点的性能测量逻辑功能的RIC服务暴露。基于O-RAN部署架构，可用的测量可能是不同的。图22示出了E2SM-KPM的部署架构，其中E2节点被连接到EPC 2242a和5GC2242b，如前所述。对于每个逻辑功能而言，E2节点使用RAN功 能定义IE来声明可用测量的列表和所支持的RIC服务(报告)的集合。具体 的RAN功能KPM监测器的这些字段的内容将在下文讨论。
E2SM-KPM支持O-CU-CP、O-CU-UP和O-DU作为连接到5GC的 NG-RAN的一部分或作为连接到EPC的E-UTRAN的一部分。E2节点主控执 行以下功能的RAN功能“KPM监控”：经由RAN功能定义IE暴露来自O-DU、 O-CU-CP和/或O-CU-UP的可用测量；以及对从近-RT RIC订阅的测量的定期报 告。
E2SM-KPM还暴露了服务集合，包括报告服务。KPM报告是4G LTE 和5G NR网络功能的性能测量。“KPM监控”RAN功能提供以下报告服务：E2 节点测量；单个UE的E2节点测量；以及基于条件的、UE级E2节点测量。 这些服务可根据以下项来发起：周期性事件。
RAN功能描述：[O-RAN.WG3.E2AP-v01.01过程、E2设置和RIC服 务更新被用来传输RAN功能定义IE。在该E2SM-KPM中，RAN功能定义IE应提 供以下信息：RAN功能名称以及关于E2SM定义的相关联的信息；事件触发样式 列表以及每个相关联的E2AP IE的对应编码类型；以及RIC报告服务样式列表 连同每个相关联的E2AP IE的对应编码类型。
RAN功能名称：RAN功能短名称“ORAN-E2SM-KPM”。RAN功能描述 “KPM监控”。RAN功能实例，在E2节点基于该E2SM暴露多于一个的RAN功 能实例时，以及如果E2节点基于该E2SM暴露多于一个的RAN功能实例时，需 要该RAN功能实例。
所支持的RIC事件触发样式包括事件触发样式1，该事件触发样式 1是定期的报告。RIC事件触发定义IE基于报告期。事件触发样式1是设置KPM 报告周期，并且使用RIC事件触发定义IE格式1(参见表2)。
表2:E2SM-KPM时间触发定义格式1
所支持的RIC报告服务样式包括：RIC样式类型1：E2节点测量(用 于携带来自目标E2节点的测量报告)；RIC样式类型2：单个UE的E2节点测 量(用于携带来自目标E2节点的感兴趣的单个UE的测量报告)；以及RIC样 式类型2：基于条件的UE级E2节点测量(用于携带来自目标E2节点的匹配所 订阅的条件的一组UE的UE级测量报告)。
RIC报告服务样式类型1提供了来自E2节点的性能测量信息收集。 RIC报告服务样式类型1订阅[TS28552]和[TS32425]中定义的测量，并使用 RIC动作定义IE格式1(参见表3a和表3b)。
表3:E2SM-KPM动作定义格式1
表3b
报告服务RIC动作定义IE包含近-RT RIC请求订阅的测量类型，随 后是要针对每个测量类型测量的类别或子计数器的列表，以及指示这些测量的 收集间隔的粒度周期。该IE还可以包含蜂窝小区标识符，以指向用于在E2节 点内收集测量的特定蜂窝小区。如果由E2节点经由RAN功能定义IE暴露的某 种测量类型的标识符，则可使用测量ID代替测量类型来进行订阅。
附加地或替代地，RIC报告服务类型1使用RIC指示头部IE格式1 (参见表4)，该RIC指示头部IE格式1包含作为UTC格式的测量收集开始时 间。报告服务RIC指示头部IE可以携带文件格式版本、发送方名称、发送方 类型和供应商名称等可打印字符串。
表4:E2SM-KPM指示头部格式1
| IE/群组名 | 存在 | 范围 | IE类型和参考 | 语义描述 |
| 收集开始时间 | M | 8.3.12时间戳 | ||
| 文件格式版本 | O | 可打印字符串(尺寸(0..15),…) | ||
| 发送方名称 | O | 可打印字符串(尺寸(0..400),…) | ||
| 发送方类型 | O | 可打印字符串(尺寸(0..8),…) | ||
| 供应商名称 | O | 可打印字符串(尺寸(0.0.32),…) |
附加地或替代地，RIC报告服务样式类型1使用RIC指示消息IE 格式1(8.2.1.4.1)。报告服务RIC指示消息IE携带从E2节点报告的测量数 据的集合。所报告的数据包含测量记录的集合，每个记录均是在报告周期的期 间的每个粒度周期收集到的。在E2节点在报告周期期间无法提供某个粒度周 期的可靠数据的情况下，它可以包括可选的不完整的标志IE，该标志指示所报 告的数据中的对应测量记录不可靠。报告服务RIC指示消息IE任选地携带订 阅信息，例如测量信息列表IE，其指示所报告的数据中每个测量记录的所测得 的值的顺序，或它们的粒度周期。如果不存在，则原始订阅信息应当适用。
RIC报告服务样式类型2为来自E2节点的单个感兴趣的UE提供性 能测量信息收集。RIC报告服务样式类型2使用RIC动作定义IE格式2(参见 表5)，其中所包括的UE ID指示对应于测量收集的感兴趣的特定UE。
表5:E2SM-KPM动作定义格式2
订阅信息的其余部分遵循与针对REPORT服务RIC动作定义IE 所描述的内容相同的内容。附加地或替代地，RIC报告服务样式类型2使用如 针对报告服务RIC指示头部IE所描述的RIC指示头部IE格式1(参见表4)。 附加地或替代地，RIC报告服务样式类型2使用如针对报告服务RIC指示消息 IE所描述的RIC指示消息IE格式1(参见表6a和表6b)，其中所报告的测量 数据仅与被订阅的特定UE相关联。
表6a：E2SM-KPM指示消息格式1
表6b
RIC报告服务样式类型3为与来自E2节点的所订阅的条件相匹配 的一组UE提供UE级性能测量信息收集。RIC报告服务样式类型3使用RIC 动作定义IE格式3(参见表7a和表7b)，其中，对于测量信息条件列表IE 内的每个所请求的测量，匹配条件IE用作将所匹配的UE的测量值纳入报告的 条件。
表7a：E2SM-KPM动作定义格式3
表7b
匹配条件IE可以由要测量的子计数器列表(例如，作为标签列表) 来表示，或者由需要通过的测试条件列表来表示，或者由要测量的子计数器列 表和要测量的子计数器列表两者的组合来表示。订阅信息的其余部分遵循与针 对报告服务RIC动作定义IE所描述的内容相同的内容。
RIC报告服务样式类型3使用如针对报告服务RIC指示头部IE所 描述的RIC指示头部IE格式1(8.2.1.3.1)。附加地或替代地，RIC报告服务样 式类型3使用RIC指示消息IE格式2(参见表8a和表8b)。
表8a：E2SM-KPM指示消息格式2
表8b
报告服务RIC指示消息IE携带与所订阅的条件相匹配的UE级测量 数据的集合。所包括的测量信息条件UE列表IE指示所报告的数据中每个测量 记录的所测得的值顺序--满足每个所请求的测量的所订阅的匹配条件IE的UE ID列表。
在与所订阅的条件相匹配的UE停留在E2节点并维持 RRC_CONNECTED(RRC_连接)或RRC_INACTIVE(RRC_不活动)状态的每个粒度周 期中，E2节点收集相关数据并在报告周期结束时报告该数据。在UE不出现在 RRC_CONNECTED或RRC_INACTIVE状态(例如转变至RRC_IDLE(RRC_空闲)或 UE身份跟踪丢失)的粒度周期中，E2节点不收集相关数据，并且在这些粒度 周期内报告空(NULL)，直到报告周期结束。在该情况下，E2节点在后续的报 告周期停止报告与该UE相关的测量。如果在报告周期期间没有一个UE被匹配， 那么在某个所订阅的条件下，所匹配的UE ID列表可以被省略。信息的其余部 分遵循与针对报告服务RIC指示消息IE所描述的内容相同的内容。
[TS28552]和[TS32425]中提供的测量定义的转换根据表9中的规则 l来执行。
表9:用于UE级和QoS流级测量的转换
[TS28552]和[TS32425]中的以下测量的单位用更新的单位来替换， 如表10所示。
表10:采用E2SM-KPM时测量单位的改变
上表中示出的测量单位的改变是为了防止由于将小数的精度四舍 五入以将其报告为整数型(INTEGER)而导致所报告的值为0，但“UL中的IP 吞吐量”的最后一行除外，该行用于修复错误的单位。
在一些实现方式中，先前讨论的(多个)E2SM KPM RIC样式消息可 用于向代理(例如，代理140、边缘智能元件446、实时代理501、代理640 等)提供观察。例如，CU(例如，O-CU-CP 2121和/或O-CU-UP 2122)可以使 用(多个)E2SM KPM RIC样式消息来向RIC(例如，近-RT RIC 2114和/或非 RT RIC 2112)传递数据量(每QoS级别)测量(例如，先前讨论的PDCPPDU数 据量测量；参见例如，[TS28552]第5.1.3.6.1节)、CU-UP延迟(例如，CU-UP 上的分组延迟的平均和/或分布；参见例如，[TS28552]第5.1.3.3节)和/或F1-U 延迟(例如，F1-U上的分组延迟的平均和/或分布)等等。在另一个示例中， DU(例如，O-DU 2115)可以使用(多个)E2SM KPM RIC样式消息来向RIC(例 如，近RT RIC 2114和/或非RT RIC 2112)传达每UE吞吐量(例如，NAN(例 如gNB)中UE吞吐量的平均和/或分布；参见，例如[TS28552]第5.1.1.3节)、 每UE CQI/MCS相关测量(参见例如，[TS28552]第5.1.1.11节和[TS28552]第5.1.1.12节)、gNB-DU延迟(参见例如，[TS28552]第5.1.3.3.3节)。E2SM-KPM 的附加方面在O-RAN工作组3近实时RAN智能控制器E2服务模型(E2SM)KPM 版本01.00(2020年2月)(“[ORAN-WG3.E2SM-KPM-v01.00]”)中进行了讨 论。
4.2.2.用于近RIC RAN控制交互的E2SM(E2SM-RC)
出于E2SM-RC的目的，终止E2接口的E2节点被假定为主控执行以 下功能的RAN功能“RAN控制”的一个或多个实例：用于暴露RAN控制和UE 情境相关信息的E2报告服务；用于挂起RAN控制相关调用进程的E2插入服务； 用于恢复或发起RAN控制相关调用进程、修改RAN配置和/或E2服务相关UE 情境信息的E2控制服务；以及用于修改RAN控制相关进程的行为的E2策略服 务。
E2SM-RC还包括下文所述的RAN功能暴露服务的集合，其中相同 E2SM可用于描述E2节点中处置所有RAN控制相关调用进程的单个RAN功能或 E2节点中的多于一个的RAN功能，其中每个实例处置E2节点上RAN控制相关 调用进程的子集。E2SM-RC支持表11所概括的事件触发定义IE样式。
表11:RIC事件触发定义IE样式列表
在一些实现方式中，RIC样式类型1可用于无线电承载控制。RIC 样式类型1消息可以包括控制动作ID 5，用以指示该消息用于DRB终止控制， 和/或RIC样式类型1消息可以包括控制动作ID 6，用以指示该消息用于DRB 拆分率控制。
E2SM-RC的RAN功能暴露服务包括报告服务、插入服务、控制服务 和策略服务。
4.2.2.1.报告服务
E2SM-RC RAN功能提供对以下报告服务的选择性支持：完整消息的 副本(来自网络接口或RRC)，用于监测策略服务、数据聚集(用于填充近RT RIC UE-NIB和/或ML服务数据流水线)等；具有关于UE情境和/或RAN状态信 息的相关联信息的呼叫进程结果，用于监测[控制和]策略服务、数据聚集(用 于填充近RT RIC UE-NIB和/或ML服务数据流水线)等；E2节点信息和蜂窝小 区相关信息，用于监测E2节点和蜂窝小区配置改变、触发策略删除、改变通 知(用于重置近RT RIC优化服务)等；UE信息，用于监测UE信息改变、触发 E2控制、位置跟踪等；以及按需报告，用于在由近RT RIC请求时向近RT RIC 报告蜂窝小区相关的、E2节点相关的和UE相关的信息。在一些实现方式中， 仅在用户同意的情况下UE可以被配置成用于报告位置信息。
E2SM-RC报告服务要求使用报告样式的集合来提供。所有报告样式 都使用用于动作定义、RIC指示头部和RIC指示消息的IE来实现，并具有 特定的事件触发方式。对于每个报告样式，使用单个RAN参数表来指定要报告 的所需信息。
支持以下报告样式：消息副本(该报告样式由“消息事件”事件触 发发起，并且用于在事件触发条件被满足时报告完整的NI或RRC消息以及UE 相关联的信息)；调用进程结果(该报告样式由对应的“调用进程断点”事件 触发发起，并且用于报告调用进程的结果，取决于目标调用进程的性质，该结 果提供关于当前的以及在某些情况下先前的UE或E2节点信息)；E2节点信息 (该报告样式由“E2节点信息改变”事件触发发起，用于在事件触发条件被满 足时报告蜂窝小区相关和E2节点相关信息)；UE信息(该报告样式由“UE信 息改变”事件触发器发起，并且用于在事件触发条件被满足时报告UE相关信 息和UE状态变量)；以及按需报告(该报告样式由“按需”事件触发器发起， 并且用于基于来自近RIC的请求临时报告蜂窝小区相关和UE相关信息)。
4.2.2.2.插入服务
E2SM-RC RAN功能提供对以下插入服务的选择性支持：无线电承 载控制请求，用于请求RIC控制DRB QoS修改、QoS流到DRB的(重新) 映射、逻辑信道(重新)配置、无线电承载准入控制、拆分承载和PDCP复制 控制等；无线电资源分配控制请求，用于请求RIC控制不连续接收(DRX)、 调度请求(SR)、半持久调度(SPS)、配置授权、切片级PRB配额、信道质 量指标(CQI)表等；连接模式移动性控制请求，用于请求RIC控制切换(HO)、 有条件切换(CHO)、双活动协议栈(DAPS)HO等的操作；无线电接入控 制请求，用于请求RIC控制与RACH回退、RRC连接拒绝、RRC连接释放、 接入限制、UE准入等有关的参数；双连接性(DC)控制请求，用于请求RIC 控制双连接性(DC)的操作，包括改变承载终止点(MN或SN)和/或承载类型等；载波聚合(CA)控制请求，用于请求RIC控制涉及次级蜂窝小区重新 选择的载波聚合(CA)操作；以及空闲模式移动性控制请求，用于请求RIC 控制频率内、频率间、RAT蜂窝小区间重新选择优先级、空闲定时器等。
第6.2.2节中定义的E2SM-RC插入服务要求使用插入样式的集合来 提供。每个样式与“插入指示”相对应，其中每个“插入指示”处理特定的功 能，并具有在映射表中提供的相关联的RAN参数集合。所有插入服务样式都使 用构成“动作定义”、“RIC指示头部”和“RIC指示消息”，以递送RAN控 制相关的插入服务的IE集合来实现。每个插入服务样式均与特定的“事件触 发”方式相关联。“插入指示”用于请求RIC控制与相应的插入服务样式相关 联的功能，并设置或修改一个或多个相关联的RAN参数的值。
作为示例，在由于与UE(其构成事件触发)有关的A3事件的发生 而在RRC测量报告到达E2节点中时，E2节点可以使用“连接模式移动性”插 入服务样式和“切换控制请求”插入指示以及“目标蜂窝小区ID”参数向RIC 发送消息。该RIC应随后接受/拒绝“切换控制请求”，并且如果接受，该RIC 应设置“目标蜂窝小区ID”参数的值，并向RIC发送回控制动作。在这之前，E2节点会为UE挂起正在进行的调用处理。
对于插入服务，RIC发送接受/拒绝请求“切换控制”的传入“插入 指示”以及“目标主蜂窝小区”的值的“控制动作”。作为又一示例，RIC也 可以异步地发送要求E2节点在载波聚合模式下配置UE，并为UE设置一个或多 个次级蜂窝小区的“控制动作”，这些次级蜂窝小区的值由RIC经由“控制动 作”分配。
4.2.2.3.控制服务
E2SM-RC RAN功能提供对以下控制服务的选择性支持：无线电承 载控制，用于DRBQoS修改、QoS流到DRB的(重新)映射、逻辑信道(重 新)配置、无线电承载准入控制、拆分承载和PDCP复制控制等；无线电资源 分配控制，用于控制不连续接收(DRX)、调度请求(SR)、半持久调度(SPS)、 配置授权、切片级PRB配额、信道质量指标(CQI)表等；连接模式移动性控 制，用于控制切换(HO)、有条件切换(CHO)、双活动协议栈(DAPS) HO等的操作；无线电接入控制，用于对RACH回退、RRC连接拒绝、RRC 连接释放、接入限制、UE准入等的修改；双连接性(DC)控制，用于控制双 连接性(DC)的操作，包括改变承载终止点(MN或SN)和/或承载类型等； 载波聚合(CA)控制，用于控制载波聚合(CA)的操作；空闲模式移动性控 制，用于对频率内、频率间、RAT蜂窝小区间重新选择优先级、空闲定时器等 的修改；以及UE到RAN UE组分配，用于支持策略服务。
E2SM-RC控制服务要求使用控制样式的集合来提供。每个样式与 “控制动作”的集合相对应，其中每个“控制动作”处理特定的功能，并具有 在映射表中提供的相关联的RAN参数集合。所有的控制服务样式都使用构成 “RIC控制请求头部”和“RIC控制请求消息”以递送与RAN控制相关的控制 服务的IE集合来实现。包含一个或多个RAN参数及其相关联的值的“控制动 作”可以从RIC发送，或者异步地发送到E2节点，或者作为对来自E2节 点的先前“插入指示”的响应。表12示出所支持的控制服务样式类型。
表12:控制服务样式类型
表12中列出的控制服务样式1-8中的每一个包括以下共同特征： 控制动作ID(在给定控制服务样式的情况下，各个控制动作的索引ID)、控 制动作名称(指示由近RT RIC控制的E2节点的功能)、控制动作描述(描述 接收方E2节点的控制动作和功能)以及相关联的RAN参数(标识由近RT RIC 控制的与给定的控制动作有关的RAN参数)。
控制服务样式1(无线承载控制)提供了一种用于使用RIC控制消 息IE和相关联的RIC控制头部IE以及先前的插入服务之后恢复调用进程时使 用的任选的RIC调用进程ID，来发起或恢复无线承载控制相关进程的机制。 该服务的应用包括：DRB QoS修改，用于调节DRB级QoS相关参数，以满足QoS 优化目标；QoS流(重新)映射，用于调整QoS流与DRB之间的映射关系；逻 辑信道(重新)配置；无线承载准入控制，用于配置DRB准入控制(诸如可应 用拒绝或释放)；以及拆分承载和PDCP重复控制。
控制服务样式2(无线资源分配控制)提供了一种用于使用RIC控 制消息IE和相关联的RIC控制头部IE以及先前的插入服务之后恢复调用进程 时使用的任选的RIC调用进程ID，来发起或恢复无线资源分配控制相关进程的 机制。该服务的应用包括：不连续接收(DRX)控制；调度请求(SR)控制； 半持久调度(SPS)控制；配置授予控制；切片级PRB配额；以及信道质量指 标(CQI)表。
控制服务样式3(连接模式移动性控制)提供了一种用于使用RIC 控制消息IE和相关联的RIC控制头部IE以及先前的插入服务之后恢复调用进 程时使用的任选的RIC调用进程ID，来发起或恢复连接模式移动性相关进程的 机制。该服务的应用包括：针对所选择的UE向目标蜂窝小区的切换(HO)发 起；针对所选择的UE向(多个)候选蜂窝小区列表的有条件的切换(CHO)发 起；针对所选择的UE向目标蜂窝小区的具有双活动协议栈(DAPS)的切换(HO) 发起。
控制服务样式4(无线接入控制)提供了一种用于使用RIC控制消 息IE和相关联的RIC控制头部IE以及先前的插入服务之后恢复调用进程时使 用的任选的RIC调用进程ID，来发起或恢复无线接入控制相关进程的机制。该 服务的应用包括：RACH回退；RRC连接拒绝；RRC连接释放；接入限制；和UE 准入。
控制服务样式5(DC控制)提供了一种用于使用RIC控制消息IE 和相关联的RIC控制头部IE以及先前的插入服务之后恢复调用进程时使用的 任选的RIC调用进程ID，来发起或恢复双连接性控制相关进程的机制。该服务 的应用包括：针对所选择的UE向目标次级蜂窝小区(PScell)的双连接性(EN-DC、 MR-DC或NR-NR DC)发起；针对所选择的UE向目标次级蜂窝小区(PScell) 的次级蜂窝小区改变；针对所选择的UE的双连接性(EN-DC、MR-DC或NR-NR DC) 修改；针对所选择的UE的双连接性(EN-DC、MR-DC或NR-NR DC)释放发起； 以及针对所选择的UE的承载终止点(MN或SN)和/或承载类型的改变。
控制服务样式6(CA控制)提供了一种用于使用RIC控制消息IE 和相关联的RIC控制头部IE以及先前的插入服务之后恢复调用进程时使用的 任选的RIC调用进程ID，来发起或恢复载波聚合控制相关进程的机制。该服务 的应用包括：针对所选择的UE向一个或多个目标次级蜂窝小区的CA发起；针 对所选择的UE向一个或多个目标次级蜂窝小区的次级蜂窝小区改变；针对所 选择的UE的CA修改；以及针对所选择的UE的CA释放发起。
控制服务样式7(空闲模式移动性控制)提供了一种用于使用RIC 控制消息IE和相关联的RIC控制头部IE以及先前的插入服务之后恢复调用进 程时使用的任选的RIC调用进程ID，来发起或恢复空闲模式移动性相关进程的 机制。该服务的应用包括：频率内、频率间、RAT蜂窝小区间重新选择优先级； 以及空闲定时器。
控制服务样式8(UE信息和指派)提供了一种用于直接地和间接地 监测和控制UE信息，并将显式UE指派添加到显式UE列表或从显式UE列表中 删除显式UE指派的机制。这服务的应用包括：UE到显性UE列表的指派命令： 用于将指定的UE添加到显式UE列表名称或从显式UE列表名称中删除指定的 UE，也用于请求所支持的显式UE列表的列表；UE信息请求：用于获得UE信息， 包括显式UE列表指派的列表；以及UE标识请求：用于完成UE标识。
4.2.2.4.策略服务
E2SM-RC RAN功能提供对以下策略服务的选择性支持：无线电承载 策略，用于修改与DRB QoS控制、QoS流到DRB的映射、逻辑信道配置、无线 电承载准入控制、拆分承载和PDCP复制控制等相关的调用进程的行为；无线 电资源分配策略，用于修改与DRX、SR、SPS、配置授予、切片级PRB配额、CQI 表等相关的调用进程的行为；连接模式移动性策略，用于修改与服务RAN节点 和目标RAN节点的HO、CHO、DAPS HO等相关的调用进程的行为；无线电接入 策略，用于修改与RACH回退、RRC连接拒绝、RRC连接释放、接入限制、UE 准入等相关的调用进程的行为；双连接性(DC)策略，用于修改与主RAN节点 和次RAN节点的DC相关操作、承载终止点(MN或SN)和/或承载类型的改变 等相关的调用进程的行为；载波聚合(CA)策略，用于修改与主要蜂窝小区和 次级蜂窝小区的CA相关操作相关的调用进程的行为；以及空闲模式移动策略， 用于修改与频率内、频率间、RAT蜂窝小区间重新选择优先级、不活动定时器 等相关的调用进程的行为。
第6.2.4节中定义的E2SM-RC策略服务要求使用策略样式的集合来 提供。每种样式使用多个“策略方式”策略来实现，每种策略都具有被定义成 使用E2AP IE“动作定义”来递送RAN控制相关的策略服务的特定的方法。
定义了以下策略方式：控制和偏移。给定样式和动作ID的控制策 略被定义为特定策略条件的单个情况，其中对应的策略动作使用与将被用来取 代默认的RAN行为的控制相同的数据结构来定义。给定样式和动作ID的偏移 策略被定义为适用于一系列不同策略条件的不同情况的集合，其中对应的策略 动作使用针对将被用来修改默认的RAN行为的策略定义的专用数据结构来定义。
“控制”策略方法与控制服务类似，其中RIC订阅中的静态条件和 动作用于选择适当的控制动作。当策略条件的集合被满足时，则E2节点被指 令来执行具有一组补充的或默认的RAN参数集合的策略动作。
单个策略动作应是执行多个策略条件的结果。每个策略条件使用 RAN参数和与UE及调用进程相关信息相关联的有条件测试的组合来定义。每个 策略动作均利用指令E2节点在条件被满足时执行某个动作的单个策略动作ID (命令)来定义。策略动作ID应当利用可用于向E2节点提供关于默认值的信 息的RAN参数集合来补充。
示例包括连接模式移动性策略，切换执行：消息到达断点事件触发 被定义成发起策略服务。在A3测量报告到达时，策略服务开始生效。策略服 务安装策略条件的集合，如RSRP>‘x’db+目标节点负荷<‘x’值+到目标节 点的成功HO数量>‘x’值。当这些策略条件被满足时，则执行策略动作——在 第6.5节中的控制服务中定义的“执行HO”。该策略动作可以作为独立的策略 动作ID“执行HO”来提供，而无需任何RAN参数。作为替代方案，策略动作“执行HO”可以利用默认的RAN参数(如仅切换QCI 5和9承载)进行补充。
另一个示例包括CA策略，CA释放决策：调用进程断点事件触发被 定义成发起策略服务。调用进程断点应当定义缓冲器占用的条件。当缓冲器占 用(BO)<‘x’KB时，调用进程断点事件应当被触发。在这种情况下，事件触 发满足了策略条件。因此，不需要在策略服务中定义策略条件，当BO<‘x’KB 开始生效时，则策略动作应当指令E2节点“释放Scell”。
“偏移”策略方法是基于策略动作IE被用于携带一个或多个RAN 参数的设计假设，这些RAN参数用于经由应用对“偏移”的添加来修改默认的E2节点行为，该偏移被应用于给定的目标阈值或目标调用进程中使用的其他参 数。
适用的策略动作取决于策略条件集合，并且给定的策略服务可以支 持一个或多个策略条件，并且因此为一系列不同的特定情况提供目标策略动作， 每种特定情况使用唯一的策略条件来定义，其中：每个策略条件使用RAN参数 和与UE及调用进程相关信息相关联的有条件测试的组合来定义。策略条件列 表中的第一正匹配被用来选择对应的策略动作。附加地或替代地，每个策略动 作使用数据类型为整数型或实数的RAN参数列表来定义，这些参数可直接用于 类型为整数型或实数的默认值(例如，默认+偏移)，并间接用于类型为枚举 的默认值(例如，在列表中选择默认值之前或之后的偏移的值)。
示例包括连接模式移动性策略，切换决策：调用进程断点事件触发 被定义成从处置与当前服从通信量定向引导的特定目切片和主要蜂窝小区的 切换决策相关的UE测量报告的调用进程中发起策略服务。RAN参数的策略条 件列表支持定义不同的A3测量阈值标准偏移值，用以应用于具有切片ID、活 动QoS承载、速度和吞吐量的特定组合的UE，并服从总E2节点负荷和蜂窝小 区级负荷平衡要求。如果所报告的A3测量大于默认的A3测量阈值+偏移，则 接受切换。
另一个示例包括载波聚合策略，CA释放决策：调用进程断点事件触 发被定义成从与当前服从QoE引导的特定目标切片的载波聚合(CA)释放决策 相关的调用进程中发起策略服务。RAN参数的策略条件列表支持定义不同的CA 释放阈值标准偏移值，用以应用于具有切片ID、活动QoS承载、速度和吞吐量 的特定组合的UE，并服从总E2节点负荷和蜂窝小区级负荷平衡要求。如果UE 吞吐量小于默认的UE吞吐量阈值+偏移，则发起CA释放。
4.2.2.5.用于控制动作的RAN参数
列出了与由第7.6节中描述的近-RT RIC控制的每个控制动作相关 联的RAN参数。每个RAN参数属于以下值类型之一：
元素(ELEMENT)：没有任何其他相关联的RAN参数的单例变量 (singletonvariable)。
结构(STRUCTURE)：RAN参数序列，该RAN参数序列中的每个RAN 参数可以是元素(ELEMENT)或结构(STRUCTURE)或列表(LIST)。
列表(LIST)：结构(STRUCTURE)的列表，其中每个结构(STRUCTURE) 如上定义。RAN参数序列跨列表内的所有结构(STRUCTURE)中是相同的。
这些RAN参数的对应3GPP标准定义(如果可得的话)在下面“RAN 参数定义”栏下的表格中被引用。具有3GPP标准定义的这些RAN参数在此不 进行新的定义或重新定义。
应注意，只有被标识为元素的那些RAN参数才由近RT RIC控制。 应注意，RAN参数可以与其对应的键标志被设置为“真(TRUE)”的键相关联。 这些RAN参数用作可作为LIST的一部分的结构内的其他RAN参数的参考，以 使E2节点能够解释由近RT RIC控制的RAN参数的范围。
4.2.2.5.1.无线电承载控制
DRB QoS配置：在接收到RIC控制请求消息时，E2节点调用与DRB QoS 配置相关的过程，诸如承载情境管理、UE情境管理、RRC消息传输等，并包括 与以下相关接口消息中描述的参数中的一个或多个参数相对应的IE。如果RIC 控制请求消息中缺少DRB ID，E2节点将发送RIC控制失败。在接收到RIC控 制请求消息时，E2节点调用与QoS流映射配置相关的过程，诸如承载情境管 理、UE情境管理、RRC消息传输等，并包括与以下相关接口消息中描述的参数 中的一个或多个参数相对应的IE。如果RIC控制请求消息中缺少DRB ID，则 E2节点将发送RIC控制失败。
逻辑信道配置：在接收到RIC控制请求消息时，E2节点调用与逻辑 信道配置相关的过程，诸如RRC消息传输等，并包括与以下相关RRC消息中 描述的参数中的一个或多个参数相对应的IE。如果RIC控制请求消息中缺少 DRB ID，则E2节点将发送RIC控制失败。
无线电承载准入控制：在接收到RIC控制请求消息时，E2节点调用 与无线电承载准入控制相关的过程，诸如承载情境管理、UE情境管理、RRC消 息传输等，并包括与以下相关接口消息中描述的参数中的一个或多个参数相对 应的IE。如果RIC控制请求消息中缺少DRB ID，则E2节点将发送RIC控制失 败。
DRB终止控制：在接收到RIC控制请求消息时，E2节点调用与DRB 终止改变相关的过程，诸如(MN/SN发起的)双连接次级节点修改、UE情境管 理、RRC消息传输等，并包括与以下相关接口消息中描述的参数中的一个或多 个参数相对应的IE。如果RIC控制请求消息中缺少DRB ID，则E2节点将发送 RIC控制失败。在一些实现方式中，与DRB终止改变相关的RIC控制请求消息 可用于承载锚节点选择。表13示出了DRB终止控制的RAN参数。
表13
DRB拆分率控制：在接收到RIC控制请求消息后，在存在下行链路 PDCP数据拆分IE的情况下，E2节点应基于所推荐的比率拆分在X2/Xn接口上 的主节点和次节点之间的下行链路PDCP通信量。在存在上行链路PDCP数据拆 分阈值IE的情况下，E2节点调用与DRB拆分率控制相关的过程，诸如承载情 境管理、UE情境管理、RRC消息传输等，并包括与以下相关接口消息中描述的 参数中的一个或多个参数相对应的IE。如果RIC控制请求消息中缺少DRB ID， 则E2节点将发送RIC控制失败。在一些实现方式中，与DRB拆分率控制相关 的RIC控制请求消息可用于拆分承载的拆分率。表14示出了DRB拆分率控 制的RAN参数。
表14
PDCP复制控制：在接收到RIC控制请求消息时，E2节点调用与 PDCP复制控制相关的过程，诸如承载情境管理、UE情境管理、RRC消息传输 等，并包括与以下相关接口消息中描述的参数中的一个或多个参数相对应的IE。 如果RIC控制请求消息中缺少DRB ID，则E2节点将发送RIC控制失败。
5.硬件组件、配置以及布置
图25图示可用于将软件2560分发至一个或多个设备的软件分发平 台2505，该软件2560诸如图27的示例计算机可读指令2760，该一个或多个 设备诸如(多个)示例处理器平台2500和/或示例连接的边缘设备2762(参见 例如，图27)和/或本文中所讨论的其他计算系统/设备中的任一者。示例软件 分发平台2505可以由能够存储软件并将软件传送到其他计算设备(例如，第 三方、图27的示例连接的边缘设备2762)的任何计算机服务器、数据设施、 云服务等来实现。示例连接的边缘设备可以是消费方、客户端、管理设备(例 如，服务器)、第三方(例如，拥有和/或操作软件分发平台2505的实体的消 费方)。示例连接的边缘设备可在商业和/或家庭自动环境中操作。在一些示 例中，第三方是诸如图27的示例计算机可读指令2760之类的软件的开发方、 销售方、许可方。第三方可以是购买和/或许可软件以用于使用和/或转售和/ 或分许可的消费方、用户、零售商、OEM等。在一些示例中，所分发的软件引 起一个或多个用户界面(UI)和/或图形用户界面(GUI)的显示，以标识地理 上或逻辑上彼此分离的一个或多个设备(例如，连接的边缘设备)(例如，被 特许负责配水控制(例如，泵)、配电控制(例如，继电器)等的物理上分离 的IoT设备)。
在图25中，软件分发平台2505包括一个或多个服务器和一个或多 个存储设备。如上文所描述，存储设备存储计算机可读指令2560，该计算机可 读指令2560可以与图27的示例计算机可读指令2760相对应。示例软件分发 平台2505的一个或多个服务器与网络2510通信，该网络2510可以与因特网 和/或本文中所描述的示例网络中的任何示例网络中的任何一者或多者相对应。 在一些示例中，作为商业事务的一部分，一个或多个服务器响应于将软件传送 到请求方的请求。可以由软件分发平台的一个或多个服务器和/或经由第三方支付实体来处置针对软件的交付、销售、和/或许可的支付。服务器使购买者 和/或许可者能够从软件分发平台2505下载计算机可读指令2560。例如，软件 2560(其可与图27的示例计算机可读指令2760相对应)可被下载到(多个) 示例处理器平台2500，该(多个)示例处理器平台2500用于执行计算机可读 指令2560以实现无线电应用。
在一些示例中，软件分发平台2505的一个或多个服务器通信地连 接至一个或多个安全域和/或安全设备，示例计算机可读指令2560的请求和传 送必须穿过该一个或多个安全域和/或安全设备。在一些示例中，软件分发平台 2505的一个或多个服务器周期性地提供、传送和/或强制进行软件(例如，图 27的示例计算机可读指令2760)更新以确保改善、补丁、更新等被分发并应 用于终端用户设备处的软件。
在图25中，计算机可读指令2560以特定的格式被存储在软件分发 平台2505的存储设备上。计算机可读指令的格式包括但不限于，特定的代码 语言(例如，Java、JavaScript、Python、C、C#、SQL、HTML等)和/或特定 的代码状态(例如，未经编译的代码(例如，ASCII)、经解释的代码、链接 的代码、可执行代码(例如，二进制文件)等)。在一些示例中，软件分发平 台2505上所存储的计算机可读指令2560在被传送至(多个)处理器平台2500 时采用第一格式。在一些示例中，第一格式是特定类型的(多个)处理器平台 2500可以按其来执行的可执行二进制文件。然而，在一些示例中，第一格式是 未经编译的代码，其要求一个或多个准备任务将第一格式转换为第二格式以使 得能够在(多个)示例处理器平台2500上执行。例如，(多个)接收处理器 平台2500可能需要对采用第一格式的计算机可读指令2560进行编译，以生成 能够在(多个)处理器平台2500上执行的采用第二格式的可执行代码。在另 外的其他示例中，第一格式是经解释的代码，其在到达(多个)处理器平台2500 后由解释器进行解释以促进指令的执行。
图26和图27描绘了可实现本文中所讨论的计算节点或设备中的任 一者的边缘计算系统和环境的进一步的示例。相应的边缘计算节点可以被具体 化为能够与其他边缘组件、联网组件或端点组件进行通信的设备、装置、计算 机或其他“物”的类型。例如，边缘计算设备可以被具体化为智能电话、移动计 算设备、智能装置、机载计算系统(例如，导航系统)、或能够执行所描述的功 能的其他设备或系统。
在图26中，边缘计算节点2600包括计算引擎(本文中也称为“计算 电路系统”)2602、输入/输出(I/O)子系统2608、数据存储2610、通信电路系 统子系统2612，以及任选地，一个或多个外围设备2614。在其他示例中，相 应的计算设备可以包括其他或附加组件，诸如通常在计算机中发现的那些组件 (例如，显示器、外围设备等)。附加地，在一些示例中，说明性组件中的一 个或多个可被并入到另一组件中，或以其他方式形成另一组件的部分。附加地 或替代地，边缘计算节点2600(或其部分)可以包含在壳体、底座、机箱或外 壳中，如前面关于图12的边缘云1210的装置计算设备所讨论的那些。
计算节点2600可被具体化为能够执行各种计算功能的任何类型的 引擎、设备、或设备集合。计算节点2600可与以下各项相对应：图1的UE 101、RAN节点130、边缘计算节点140；图2的协调器210；图5的UE 401、 NAN 433、边缘计算节点436、实时代理501；图6的UE601、DU630、 RU 633、和/或边缘计算节点436和/或代理640；图11的UE 1111、1121a、 NAN1131-1133、(多个)边缘计算节点1136、CN 1142(或其中的(多个) 计算节点)和/或云1144(或其中的(多个)计算节点)；图12的边缘云1210(或 其中的系统/设备)、中央局1220(或其中的系统/设备)、NAN 1240、处理中 枢1250和/或端点设备1260；图13的用例设备1305、网络装备(节点)1315、 装备1325；图14的客户端点1410、内部网络系统1432、接入点1434、汇聚点1442、1444、边缘汇聚节点1440和/或数据中心1460(或其中的系统/ 设备)；图15的设备1510、边缘节点1522、1524和/或云/数据中心1540； 图16的容器管理器1611、1621、容器编排器1631和/或计算节点1615、1623； 图17的客户端计算节点1710、边缘网关设备1720、边缘资源节点1740、 NAN 1742、核心数据中心1750(或其中的系统/设备)；图18的UE 1820、MEC主机1802(或其中的系统/设备)、OSS 1812(或其中的系统/设备)；图 19的ME平台1910；图20的SMO 2002、O-RAN NF 2004、O-云2006、 NG-核心2008、外部系统2010、非RT RIC2012、近RT RIC 2014、O-RU 2016；UE 2101、SMO 2102、O-云2106、O-e/gNB 2110、非RT RIC2112、近RT RIC 2114、O-DU 2115、O-RU 2116、O-CU-CP 2121、O-CU-UP 2122和/或 图21；图22的E2节点；图25的软件分发平台2505和/或(多个)处理器 平台2500；和/或本文讨论的任何其他组件、设备和/或系统。
在一些示例中，计算节点2600可被具体化为单个设备，诸如集成 电路、嵌入式系统、FPGA、芯片上系统(SOC)或者其他集成系统或设备。计 算节点2600包括或被具体化为处理器2604和存储器2606。处理器2604可被 具体化为能够执行本文中所描述的功能(例如，执行应用)的任何类型的处理 器。例如，处理器2604可被具体化为(多个)多核处理器、微控制器、或其 他处理器或处理/控制电路。
在一些示例中，处理器2604可被具体化为、包括或耦合至FPGA、 专用集成电路(ASIC)、可重新配置的硬件或硬件电路系统、或用于促进本文 中所描述的功能的执行的其他专用硬件。而且在一些示例中，处理器2604可 被具体化为专用x处理单元(xPU)，也称为数据处理单元(DPU)、基础设施 处理单元(IPU)或网络处理单元(NPU)。此类xPU可被具体化为独立式电路 或电路封装、集成在SOC内或与联网电路系统(例如，在智能NIC或增强型智能NIC中)集成、加速电路系统、存储设备、存储盘或AI硬件(例如，GPU 或编程FPGA)。在CPU或通用处理硬件之外，此类xPU可被设计成用于接收编 程以处理一个或多个数据流并执行针对数据流的特定任务和动作(诸如主控微 服务、执行服务管理或编排、组织或管理服务器或数据中心硬件、管理服务网 格、或收集和分发遥测)。然而，将理解，xPU、SOC、CPU和处理器2604的其 他变体可以彼此协调工作，以在计算节点2600内并代表计算节点200执行许多类型的操作和指令。
存储器2606可被具体化为能够执行本文中所述的功能的任何类型 的易失性(例如，动态随机存取存储器(DRAM)等)或非易失性存储器或数据 存储。易失性存储器可以是需要功率来维持由该介质存储的数据的状态的存储 介质。易失性存储器的非限制性示例可包括各种类型的随机存取存储器(RAM)， 诸如DRAM或静态随机存取存储器(SRAM)。可以在存储器模块中使用的 一种特定类型的DRAM是同步动态随机存取存储器(SDRAM)。
在一个示例中，存储器设备是块可寻址存储器设备，诸如基于 NAND或NOR技术的那些存储器设备。存储器设备还可包括三维交叉点存储 器设备(例如，
XPointTM存储器)或其他字节可寻址的原位写入非易 失性存储器设备。存储器设备可指代管芯本身和/或指代封装的存储器产品。 在一些示例中，3D交叉点存储器(例如，
3DXPointTM存储器)可包 括无晶体管的可堆叠的交叉点架构，其中存储单元位于字线和位线的交点处， 并且可单独寻址，并且其中位存储基于体电阻的变化。在一些示例中，主存储器2606的全部或部分可被集成到处理器2604中。主存储器2606可存储在操 作期间使用的各种软件和数据，诸如一个或多个应用、通过(多个)应用、库 以及驱动程序操作的数据。
计算电路系统2602经由I/O子系统2608通信地耦合到计算节点 2600的其他组件，该I/O子系统2608可被具体化为用于促进与计算电路系统 2602(例如，与处理器2604和/或主存储器2606)以及计算电路系统2602的 其他组件的输入/输出操作的电路系统和/或组件。例如，I/O子系统2608可被 具体化为或以其他方式包括存储器控制器中枢、输入/输出控制中枢、集成传感 器中枢、固件设备、通信链路(即，点对点链路、总线链路、线路、电缆、光 导、印刷电路板迹线等)和/或用于促进输入/输出操作的其他组件和子系统。 在一些示例中，I/O子系统2608可以形成SoC的部分，并可与计算电路系统 2602的处理器2604、主存储器2606和其他组件中的一者或多者一起被合并到 计算电路系统2602中。
一个或多个说明性数据存储设备/盘2610可被具体化为被配置成用 于数据的短期或长期存储的任何(多种)类型的(多个)物理设备中的一种或 多种物理设备，诸如例如，存储器设备、存储器、电路系统、存储器卡、闪存、 硬盘驱动器、固态驱动器(SSD)和/或其他数据存储设备/盘。各个数据存储 设备/盘2610可包括存储用于数据存储设备/盘2610的数据以及固件代码的系 统分区。各个数据存储设备/盘2610还可包括根据例如计算节点2600的类型 来存储用于操作系统的数据文件和可执行文件的一个或多个操作系统分区。
通信电路系统2612可被具体化为能够通过网络实现在计算电路系 统2602与另一计算设备(例如，边缘网关节点等)之间进行的通信的任何通 信电路、设备或其集合。通信电路系统2612可以被配置成使用任何一种或多 种通信技术(例如，有线或无线通信)和相关联的协议(例如，蜂窝联网协议 (诸如3GPP 4G或5G标准)、无线局域网协议(诸如IEEE802.11/
)、 无线广域网协议，以太网、
蓝牙低能量、IoT协议(诸如IEEE802.15.4 或
)、低功率广域网(LPWAN)或低功率广域网(LPWA)协议等) 来实行此类通信。
通信电路系统2612包括网络接口控制器(NIC)2620，其也可被称 为主机结构接口(HFI)。NIC 2620可被具体化为一个或多个插入式板、子卡、 网络接口卡、控制器芯片、芯片组或可由计算节点2600用来与另一计算设备 连接的其他设备。在一些示例中，NIC 2620可被具体化为包括一个或多个处理 器的芯片上系统(SoC)的部分，或NIC 2620可被包括在也包含一个或多个处 理器的多芯片封装上。在一些示例中，NIC 2620可包括本地处理器(未示出) 和/或本地存储器(未示出)，这两者均位于NIC 2620本地。在此类示例中， NIC 2620的本地处理器可以能够执行本文中描述的计算电路系统2602的功能 中的一个或多个功能。附加地或替代地，在此类示例中，NIC 2620的本地存储 器可以在板级、插座级、芯片级和/或其他层级上被集成到客户端计算节点的 一个或多个组件中。附加地或替代地，通信电路系统2612可以包括一个或多 个收发器(TRx)2621，每个收发器2621包括各种硬件设备/组件，诸如(多 个)基带处理器、开关、滤波器、放大器、天线元件等，以促进空中接口上的 通信。
附加地，在一些示例中，相应的计算节点2600可以包括一个或多 个外围设备2614。取决于计算节点2600的特定类型，此类外围设备2614可包 括在计算设备或服务器中发现的任何类型的外围设备，诸如音频输入设备、显 示器、其他输入/输出设备、接口设备和/或其他外围设备。在进一步的示例中， 计算节点2600可以由边缘计算系统中的相应边缘计算节点(例如，客户端计 算节点、边缘网关节点、边缘聚合节点、先前讨论的V-ITS-S等)或类似形式 的装置、计算机、子系统、电路系统、或其他组件来具体化。
图27图示出可存在于边缘计算节点2750中的、用于实现本文中所 描述的技术(例如，操作、过程、方法和方法论)的组件的示例。边缘计算节 点2750可与以下各项相对应：图1的UE 101、RAN节点130、边缘计算节点 140；图2的协调器210；图5的UE 401、NAN 433、边缘计算节点436、实时 代理501；图6的UE 601、DU 630、RU 633、和/或边缘计算节点436和/或代 理640；图11的UE 1111、1121a、NAN 1131-1133、(多个)边缘计算节点 1136、CN 1142(或其中的(多个)计算节点)和/或云1144(或其中的(多个)计 算节点)；图12的边缘云1210(或其中的系统/设备)、中央局1220(或其中的系 统/设备)、NAN 1240、处理中枢1250和/或端点设备1260；图13的用例设备 1305、网络装备(节点)1315、装备1325；图14的客户端点1410、内部网络系 统1432、接入点1434、汇聚点1442、1444、边缘汇聚节点1440和/或数据中心1460(或其中的系统/设备)；图15的设备1510、边缘节点1522、1524和/ 或云/数据中心1540；图16的容器管理器1611、1621、容器编排器1631和/ 或计算节点1615、1623；图17的客户端计算节点1710、边缘网关设备1720、 边缘资源节点1740、NAN 1742、核心数据中心1750(或其中的系统/设备)；图 18的UE 1820、MEC主机1802(或其中的系统/设备)、OSS 1812(或其中的系统 /设备)；图19的ME平台1910；图20的SMO 2002、O-RAN NF 2004、O-云2006、 NG-核心2008、外部系统2010、非RT RIC 2012、近RT RIC 2014、O-RU 2016； UE 2101、SMO2102、O-云2106、O-e/gNB 2110、非RT RIC 2112、近RT RIC 2114、O-DU 2115、O-RU 2116、O-CU-CP 2121、O-CU-UP 2122和/或图21； 图22的E2节点；图25的软件分发平台2505和/或(多个)处理器平台2500； 和/或本文讨论的任何其他组件、设备和/或系统。
边缘计算节点2750在被实现为计算设备(例如，移动设备、基站、 服务器、网关等)或计算设备(例如，移动设备、基站、服务器、网关、装置、 边缘计算节点等)的一部分时提供节点2600的相应组件的更靠近的视图。边 缘计算节点2750可包括本文中所引用的硬件或逻辑组件的任何组合，并且该 边缘计算节点2750可包括可与边缘通信网络或此类网络的组合一起使用的任 何设备或与该任何设备耦合。这些组件可被实现为IC、IC的部分、分立电子 器件或其他模块、指令集、可编程逻辑或算法、硬件、硬件加速器、软件、固 件、或其在边缘计算节点2750中适配的组合，或者被实现为以其他方式被并 入在更大的系统的机架内的组件。
边缘计算节点2750包括以一个或多个处理器2752形式的处理电路 系统。处理器电路系统2752包括电路系统，诸如但不限于一个或多个处理器 核以及以下各项中的一项或多项：高速缓存存储器、低压差电压调节器(LDO)、 中断控制器、串行接口(诸如SPI、I2C或通用可编程串行接口电路)、实时 时钟(RTC)、定时器-计数器(包括间隔定时器和看门狗定时器)、通用I/O、 存储器卡控制器(诸如安全数字/多媒体卡(SD/MMC)或类似物)、接口、移 动产业处理器接口(MIPI)接口、以及联合测试接入小组(JTAG)测试接入 端口。在一些实现方式中，处理器电路系统2752可包括一个或多个硬件加速 器(例如，与加速电路系统2764相同或类似)，该硬件加速器可以是微处理 器、可编程处理设备(例如，FPGA、ASIC)等等。一个或多个加速器可包括 例如计算机视觉和/或深度学习加速器。在一些实现方式中，处理器电路系统 2752可包括片上存储器电路系统，该片上存储器电路系统可包括任何合适的易 失性和/或非易失性存储器，诸如DRAM、SRAM、EPROM、EEPROM、闪存 存储器、固态存储器、和/或诸如本文中所讨论的那些存储器设备技术之类的任 何其他类型的存储器设备技术。
处理器电路系统2752可以是例如一个或多个处理器核(CPU)、 应用处理器、GPU、RISC处理器、Acorn RISC机器(ARM)处理器、CISC 处理器、一个或多个DSP、一个或多个FPGA、一个或多个PLD、一个或多个 ASIC、一个或多个基带处理器、一个或多个射频集成电路(RFIC)、一个或 多个微处理器或控制器、多核处理器、多线程处理器、超低压处理器、嵌入式 处理器、xPU/DPU/IPU/NPU、专用处理单元、专门处理单元、或任何其他已知 的处理元件、或其任何合适的组合。处理器(或核)2752可与存储器/存储耦 合或者可包括存储器/存储，并且可被配置成用于执行存储器/存储中所存储的 指令以使得各种应用或操作系统能够在平台2750上运行。处理器(或核)2752 被配置成用于操作应用软件以向平台2750的用户提供特定服务。附加地或替 代地，(多个)处理器2752可以是被配置成(或可配置成)用于根据本文中 所讨论的要素、特征和实现方式来操作的(多个)专用处理器/(多个)专用控制器。
作为示例，(多个)处理器2752可包括可从加利福尼亚州圣克拉 拉市的
公司获得的基于
架构酷睿TM(CoreTM)的处理器，诸 如基于i3、i5、i7和i9的处理器；基于
微控制器的处理器，诸如夸克 TM(QuarkTM)、凌动TM(AtomTM)、或其他基于MCU的处理器；(多个) 
处理器、(多个)
处理器、或另一此类 处理器。然而，可使用任何数量的其他处理器，诸如以下各项中的一项或多项：超微半导体公司(AMD)
架构，诸如(多个)
或
处理器、 加速处理单元(APU)、MxGPU、(多个)
处理器等等；来自
公 司的(多个)A5-A12和/或S1-S4处理器，来自
技术公司的(多个)骁 龙TM(SnapdragonTM)或CentriqTM处理器，
的(多个)开放多 媒体应用平台(OMAP)TM处理器；来自MIPS技术公司的基于MIPS的设计， 诸如MIPS勇士M类(Warrior M-class)、勇士I类(Warrior I-class)和勇士P类(P-class)处理器；许可自ARM控股有限公司的基于ARM的设计，诸如 ARM Cortex-A、Cortex-R和Cortex-M族处理器；由CaviumTM公司提供的 
等等。在一些实现方式中，(多个)处理器2752可以是片上系 统(SoC)、封装中系统(SiP)、多芯片封装等等的部分，其中(多个)处理 器2752和其他组件被形成到单个集成电路或单个封装中，诸如来自
公司的爱迪生TM(EdisonTM)或伽利略TM(GalileoTM)SoC板。(多个)处理 器2752的其他示例在本公开中的其他地方被提及。
(多个)处理器2752可通过互连(IX)2756与系统存储器2754 通信。可使用任何数量的存储器设备来提供给定量的系统存储器。作为示例， 存储器可以是根据联合电子器件工程委员会(JEDEC)设计的随机存取存储器 (RAM)，诸如DDR或移动DDR标准(例如，LPDDR、LPDDR2、LPDDR3 或LPDDR4)。在特定示例中，存储器组件可符合JEDEC颁布的DRAM标准， 诸如DDR SDRAM的JESD79F、DDR2 SDRAM的JESD79-2F、DDR3 SDRAM 的JESD79-3F、DDR4 SDRAM的JESD79-4A、低功率DDR(LPDDR)的JESD209、 LPDDR2的JESD209-2、LPDDR3的JESD209-3和LPDDR4的JESD209-4。还 可包括其他类型的RAM，诸如动态RAM(DRAM)、同时DRAM(SDRAM) 等等。此类标准(和类似的标准)可被称为基于DDR的标准，而存储设备的 实现此类标准的通信接口可被称为基于DDR的接口。在各种实现方式中，单 独的存储器设备可以是任何数量的不同封装类型，诸如单管芯封装(SDP)、 双管芯封装(DDP)或四管芯封装(Q17P)。在一些示例中，这些设备可以直 接焊接到主板上，以提供薄型解决方案，而在其他示例中，设备被配置为一个 或多个存储器模块，这一个或多个存储器模块进而通过给定的连接器耦合至主 板。可使用任何数量的其他存储器实现方式，诸如其他类型的存储器模块，例 如，不同种类的双列直插存储器模块(DIMM)，包括但不限于microDIMM (微DIMM)或MiniDIMM(迷你DIMM)。
为了提供对信息(诸如数据、应用、操作系统等)的持久性存储， 存储2758还可经由IX 2756而耦合至处理器2752。在示例中，存储2758可经 由固态盘驱动器(SSDD)和/或高速电可擦除存储器(共同被称为“闪存”)来 实现。可用于存储2758的其他设备包括闪存卡(诸如SD卡、microSD卡、极 限数字(xD)图片卡，等等)和USB闪存驱动器。在示例中，存储器设备可 以是或者可以包括使用硫属化物玻璃的存储器设备，多阈值级别NAND闪存， NOR闪存，单级或多级相变存储器(PCM)，电阻式存储器，纳米线存储器， 铁电晶体管随机存取存储器(FeTRAM)，反铁电存储器，包含忆阻器技术的 磁阻随机存取存储器(MRAM)，相变RAM(PRAM)，包括金属氧化物基 底、氧空位基底和导电桥随机存取存储器(CB-RAM)的电阻式存储器，或自 旋转移力矩(STT)-MRAM，基于自旋电子磁结存储器的设备，基于磁隧穿结(MTJ)的设备，基于畴壁(DW)和自旋轨道转移(SOT)的设备、基于晶 闸管的存储器设备、或者任何上述的组合或其他存储器。存储器电路系统2754 和/或存储电路系统2758还可包含
和
的三维(3D)交叉点 (XPOINT)存储器。
在低功率实现方式中，存储2758可以是与处理器2752相关联的管 芯上存储器或寄存器。然而，在一些示例中，存储2758可使用微硬盘驱动器 (HDD)来实现。此外，附加于或替代所描述的技术，可将任何数量的新技术 用于存储2758，诸如阻变存储器、相变存储器、全息存储器或化学存储器，等 等。
边缘计算设备2750的组件可通过互连(IX)2756进行通信。IX 2756 可包括任何数量的技术，包括ISA、扩展ISA、I2C、SPI、点对点接口、功率 管理总线(PMBus)、PCI、PCIe、PCIx、
UPI、
加速器链路、 
CXL、CAPI、OpenCAPI、
QPI、UPI、
OPA IX、 RapidIOTM系统IX、CCIX、Gen-Z联合体IX、超传输互连、
提供的 NVLink、时间触发协议(TTP)系统、FlexRay系统、PROFIBUS和/或任何数量 的其他IX技术。IX 2756可以是例如在基于SoC的系统中使用的专属总线。
IX 2756将处理器2752耦合至通信电路系统2766以用于与其他设 备的通信，该其他设备诸如远程服务器(未示出)和/或连接的边缘设备2762。 通信电路系统2766是硬件元件或硬件元件的集合，用于通过一个或多个网络 (例如，云2763)通信和/或与其他设备(例如，边缘设备2762)通信。硬件 元件的集合包括诸如基带电路系统276x、交换机、滤波器、放大器、天线元件 等等之类的硬件设备以促进OTA通信。
收发器2766可使用任何数量的频率和协议，诸如IEEE 802.15.4标 准下的2.4千兆赫兹(GHz)传输，使用如由
特别兴趣小组定义的
低 能量(BLE)标准、或
标准，等等。为特定的无线通信协议配置的任 何数量的无线电可用于到连接的边缘设备2762的连接。例如，无线局域网 (WLAN)单元可用于根据电气和电子工程师协会(IEEE)802.11标准实现 
通信。另外，例如根据蜂窝或其他无线广域协议的无线广域通信可经由 无线广域网(WWAN)单元发生。
通信电路系统2766(或多个收发器2766)可以使用用于不同范围的 通信的多种标准或无线电来进行通信。例如，通信电路系统2766可包括短程 RAT电路系统2766y，该短程RAT电路系统2766y用于基于BLE或另一低功 率无线电与相对靠近的设备(例如，在约10米内)进行通信以节省功率。更 远的(例如，在约50米内的)连接的边缘设备2762可通过
电路系统 2766y或/或其他中间功率的无线电2766y而联络到。这两种通信技术能以不同 的功率水平通过单个无线电2766y发生，或者可通过分开的收发机2766y而发 生，分开的收发机2766y例如使用BLE的本地收发机2766y以及使用
的分开的网格收发机2766y。
无线网络收发器2766z可被包括，以经由局域网协议或广域网协议 来与边缘云2763中的设备或服务通信。无线网络收发机2766z可以是遵循IEEE 802.15.4或IEEE802.15.4g标准等的LPWA收发机。边缘计算节点2750可使 用由Semtech和LoRa联盟开发的LoRaWANTM(长距离广域网)在广域上通 信。本文中所描述的技术不限于这些技术，而是可与实现长距离、低带宽通信 (诸如Sigfox和其他技术)的任何数量的其他云收发机一起使用。进一步地， 可使用其他通信技术，诸如在IEEE 802.15.4e规范中描述的时分信道跳。
除了针对如本文中所描述的无线网络收发机2766z而提及的系统之 外，还可使用任何数量的其他无线电通信和协议。例如，收发机2766z可包括 使用扩展频谱(SPA/SAS)通信以实现高速通信的蜂窝收发机。进一步地，可 使用任何数量的其他协议，诸如用于中速通信和供应网络通信的
网络。 收发机2766z可包括与任何数量的3GPP规范兼容的无线电，诸如LTE和 5G/NR通信系统，在本公开的末尾处更详细地进行讨论。
网络接口控制器(NIC)2768可被包括以提供到边缘云2763的节 点或到其他设备(诸如(例如，在网格中操作的)连接的边缘设备2762)的有 线通信。有线通信可提供以太网连接，或可基于其他类型的网络，诸如控制器 区域网(CAN)、本地互连网(LIN)、设备网络(DeviceNet)、控制网络 (ControlNet)、数据高速路+、或PROFINET，等等。附加的NIC 2768可被 包括以启用到第二网络的连接，例如，第一NIC 2768通过以太网提供到云的 通信，并且第二NIC 2768通过另一类型的网络提供到其他设备的通信。
鉴于从设备到另一组件或网络的可适用通信类型的多样性，由设备 使用的可适用通信电路系统可以包括组件2764、2766、2768或2770中的任何 一个或多个，或由组件2764、2766、2768或2770中的任何一个或多个来具体 化。因此，在各示例中，用于通信(例如，接收、传送等)的可适用装置可由 此类通信电路系统来具体化。
边缘计算节点2750可以包括或被耦合到加速电路系统2764，该加 速电路系统2764可以由一个或多个AI加速器、神经计算棒、神经形态硬件、 FPGA、GPU的布置、一个或多个SoC(包括可编程SoC)、一个或多个CPU、 一个或多个数字信号处理器、专用ASIC(包括可编程ASIC)、诸如CPLD或HCPLD之类的PLD和/或被设计用于完成一个或多个专业化任务的其他形式 的专用处理器或电路系统来具体化。这些任务可以包括AI处理(包括机器学 习、训练、推断、和分类操作)、视觉数据处理、网络数据处理、对象检测、 规则分析等。在基于FPGA的实现方式中，加速电路系统2764可包括逻辑块 或逻辑结构以及其他互连的资源，这些逻辑块或逻辑结构以及其他互连的资源 可被编程(被配置)为用于执行本文中所讨论的各种功能，诸如过程、方法、 功能等。在此类实现方式中，加速电路系统2764还可包括用于将逻辑块、逻 辑结构、数据等存储在LUT等等中的存储器单元(例如，EPROM、EEPROM、 闪存、静态存储器(例如，SRAM、反熔丝等))。
IX 2756还将处理器2752耦合至用于连接附加的设备或子系统的传 感器中枢或外部接口2770。附加/外部设备可包括传感器2772、致动器2774、 以及定位电路系统2775。
传感器电路系统2772包括其目的是为检测其环境中的事件或其环 境的改变并将关于检测到的事件的信息(传感器数据)发送到其他设备、模块、 子系统等的设备、模块或子系统。此类传感器2772的示例尤其包括：惯性测 量单元(IMU)，包括加速度计、陀螺仪、和/或磁力计；微机电系统(MEMS) 或纳机电系统(NEMS)，包括3轴加速度计、3轴陀螺仪和/或磁力计；液位 传感器；通信量传感器；温度传感器(例如，热敏电阻)；压力传感器；气压传感器；重力仪；高度计；图像捕捉设备(例如，相机)；光检测和测距(LiDAR) 传感器；接近度传感器(例如，红外辐射检测器等等)、深度传感器、环境光 传感器，超声波收发器；话筒；等等。
致动器2774允许平台2750改变其状态、位置和/或取向，或者移动 或控制机制或系统。致动器2774包括用于移动或控制机制或系统的电设备和/ 或机械设备，并且将能量(例如，电流或移动的空气和/或液体)转换为某个种 类的运动。致动器2774可包括一个或多个电子(或电化学)设备，诸如压电 生物形态、固态致动器、固态继电器(SSR)、基于形状记忆合金的致动器、 基于电活性聚合物的致动器、继电器驱动器集成电路(IC)，等等。致动器2774 可包括一个或多个机电设备，诸如气动致动器、液压致动器、机电开关(包括 机电继电器(EMR))、电动机(例如，DC电动机、步进电动机、伺服机构 等)、功率开关、阀致动器、轮、推进器、螺旋桨、爪、夹具、挂钩、可听语 音生成器、视觉警示设备、和/或其他类似的机电组件。平台2750可被配置成 用于基于一个或多个所捕获的事件和/或从服务提供商和/或各种客户端系统接 收到的指令或控制信号来操作一个或多个致动器2774。
定位电路系统2775包括用于接收由全球导航卫星系统(GNSS)的 定位网络传送/广播的信号并对其进行解码。导航卫星星座(或GNSS)的示例 包括美国的全球定位系统(GPS)、俄罗斯的全球导航系统(GLONASS)、 欧盟的伽利略系统、中国的北斗导航卫星系统、区域导航系统或GNSS增强系 统(例如，利用印度星座(NAVIC)、日本的准天顶卫星系统(QZSS)、法 国的多普勒轨道成像和卫星综合无线电定位(DORIS)等进行的导航)等等。 定位电路系统2775包括用于与定位网络(诸如导航卫星星座节点)的组件通 信的各种硬件元件(例如，包括诸如交换机、滤波器、放大器、天线元件等等 之类的用于促进OTA通信的硬件设备)。附加地或替代地，定位电路系统2775 可包括用于定位、导航和定时的微技术(Micro-PNT)IC，其使用主定时时钟 来执行位置跟踪/估计而无需GNSS辅助。定位电路系统2775也可以是通信电 路系统2766的部分或者与通信电路系统2766交互以与定位网络的节点和组件 通信。定位电路系统2775还可向应用电路系统提供位置数据和/或时间数据， 该应用电路系统可使用该数据使操作与各种基础设施装备(例如，无线电基站) 同步以用于逐向道路导航等等。当GNSS信号不可用或当GNSS定位精度对于 特定应用或服务不足够时，可使用定位增强技术来向应用或服务提供增强的定 位信息和数据。此类定位增强技术可以包括例如基于卫星的定位增强(例如， EGNOS)和/或基于地面的定位增强(例如，DGPS)。在一些实现方式中，定 位电路系统2775是或包括INS，该INS是使用传感器电路系统2772(例如， 诸如加速度计之类的运动传感器、诸如陀螺仪之类的旋转传感器、以及高度计、 磁传感器和/或类似物)来连续计算(例如，使用航位推算、三角测量等)平台 2750的定位、定向和/或速度(包括移动的方向和速度)而无需外部参考的系 统或设备。
在一些任选示例中，各种输入/输出(I/O)设备可存在于边缘计算 节点2750内或连接至边缘计算节点2750，I/O设备是指图27中的输入电路系 统2786和输出电路系统2784。输入电路系统2786和输出电路系统2784包括 被设计成用于实现用户与平台2750的交互的一个或多个用户接口和/或被设计 成用于实现外围组件与平台2750的交互的外围组件接口。输入电路系统2786 可包括用于接受输入的任何实体或虚拟装置，输入电路系统2786尤其包括一 个或多个实体或虚拟按钮(例如，重置按钮)、物理键盘、小键盘、鼠标、触摸板、触摸屏、话筒、扫描仪、头戴式耳机，等等。可包括输出电路系统2784， 以示出信息或以其他方式传达信息，诸如传感器读数、(多个)致动器位置、 或其他类似信息。可将数据和/或图形显示在输出电路系统2784的一个或多个 用户接口组件上。输出电路系统2784可包括任何数量的音频或视觉显示器和/ 或音频或视觉显示器的任何组合，尤其包括具有从平台2750的操作生成或产 生的字符、图形、多媒体对象等的输出的一个或多个简单的视觉输出/指示器(例 如，二进制状态指示器(例如，发光二极管(LED))和多字符视觉输出/或更复杂的输出，诸如显示设备或触摸屏(例如，液晶显示器(LCD)、LED显示 器、量子点显示器、投影仪等)。输出电路系统2784还可包括扬声器或其他 发声设备、(多个)打印机等等。附加地或替代地，传感器电路系统2772可 被用作输入电路系统2784(例如，图像捕捉设备、运动捕捉设备等等)，并且 一个或多个致动器2774可被用作输出电路系统2784(例如，用于提供触觉反 馈等的致动器)。在另一示例中，近场通信(NFC)电路系统可被包括以读取 电子标签和/或与另一启用NFC的设备通信，该NFC电路系统包括与天线元件 耦合的NFC控制器并且包括处理设备。外围组件接口可包括但不限于非易失 性存储器端口、USB端口、音频插孔、电源接口等。在本系统的上下文中，显 示器或控制台硬件可用于：提供边缘计算系统的输出并接收边缘计算系统的输 入；管理边缘计算系统的组件或服务；标识边缘计算组件或服务的状态；或进 行任何其他数量的管理或管理功能或服务用例。
电池2776可为边缘计算节点2750供电，但是在其中边缘计算节点 2750被安装在固定位置的示例中，该边缘计算节点2750可具有耦合至电网的 电源，或者电池可以用作备用或用于临时功能。电池2776可以是锂离子电池、 或金属-空气电池(例如，锌-空气电池、铝-空气电池、锂-空气电池)，一个 或多个电容器等等。
电池监测器/充电器2778可被包括在边缘计算节点2750中以跟踪电 池2776(如果包括的话)的充电状态(SoCh)。电池监测器/充电器2778可用 于监视电池2776的其他参数以提供失效预测，诸如电池2776的健康状态(SoH) 和功能状态(SoF)。电池监测器/充电器2778可包括电池监测集成电路，诸 如来自线性技术公司(Linear Technologies)的LTC4020或LTC2990、来自亚 利桑那州的凤凰城的安森美半导体公司(ON Semiconductor)的ADT7488A、 或来自德克萨斯州达拉斯的德州仪器公司的UCD90xxx族的IC。电池监测器/充电器2778可通过IX 2756将关于电池2776的信息传输至处理器2752。电池 监视器/充电器2778也可包括使处理器2752能够直接监视电池2776的电压或 来自电池2776的电流的模数(ADC)转换器。电池参数可被用于确定边缘计 算节点2750可执行的动作，诸如传输频率、网格网络操作、感测频率，等等。 在一些实现方式中，电池2776和/或电池监测器/充电器2778可根据用例/实 现方式划分为不同的功率域，其中不同的电池2776用于不同的功率域，并且 每个功率域可为边缘计算节点2750的不同组件/设备供电。
功率块2780或耦合至电网的其他电源可与电池监测器/充电器2778 耦合以对电池2776充电。在一些示例中，功率块2780可用无线功率接收机代 替，以便例如通过边缘计算节点2750中的环形天线来无线地获得功率。无线 电池充电电路(诸如来自加利福尼亚州的苗比达市的线性技术公司的LTC4020 芯片，等等)可被包括在电池监测器/充电器2778中。可以基于电池2776的尺 寸并且因此基于所要求的电流来选择特定的充电电路。可使用由无线充电联盟 (Airfuel Alliance)颁布的Airfuel标准、由无线电力协会(WirelessPower Consortium)颁布的Qi无线充电标准、或由无线电力联盟(Alliance for WirelessPower)颁布的Rezence充电标准等等来执行充电。
存储2758可包括用于实现本文中公开的技术的软件、固件或硬件 命令形式的指令2782。虽然此类指令2782被示出为被包括在存储器2754和存 储2758中的代码块，但是可以理解，可用例如被建立到专用集成电路(ASIC) 中的硬连线电路来代替代码块中的任一个。
在示例中，经由存储器2754、存储2758或处理器2752提供的指令2782可被具体化为非暂态机器可读介质2760，该非暂态机器可读介质2760包 括用于指导处理器2752执行边缘计算节点2750中的电子操作的代码。处理器 2752可通过IX 2760来访问非暂态机器可读介质2760。例如，非暂态机器可 读介质2760可由针对存储2758描述的设备来具体化或者可包括诸如存储设备 和/或存储盘之类的特定存储单元，包括：光盘(例如，数字多功能盘(DVD)、 紧凑盘(CD)、CD-ROM、蓝光盘)、闪存驱动器、软盘、硬驱动器(例如， SSD)、或在任何持续时间内(例如，在扩展时间段内、永久地、在简短的实 例期间、在临时缓冲和/或高速缓存期间)将信息存储在其中的任何数量的其他 硬件设备。非暂态机器可读介质2760可包括用于指示处理器2752执行例如像 参照上文中描绘的操作和功能的(多个)流程图和(多个)框图而描述的特定 的动作序列或动作流的指令。术语“机器可读介质”和“计算机可读介质”是可互 换的。术语“非暂态计算机可读介质”被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号且排除传输介质。
在进一步的示例中，机器可读介质也包括任何有形介质，该有形介 质能够存储、编码或携载供由机器执行并且使机器执行本公开方法中的任何一 种或多种方法的指令，或者该有形介质能够储存、编码或携载由此类指令利用 或与此类指令相关联的数据结构。“机器可读介质”因此可包括但不限于固态存 储器、光学介质和磁介质。机器可读介质的特定示例包括非易失性存储器，作 为示例，包括但不限于：半导体存储器设备(例如，电可编程只读存储器 (EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备)；诸如 内部硬盘及可移除盘之类的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。 可使用传输介质，经由网络接口设备，利用多种传输协议中的任何一种协议(例 如，HTTP)，进一步通过通信网络来传送或接收由机器可读介质具体化的指 令。
机器可读介质可以由能够以非暂态格式主控数据的存储设备或其 他装置提供。在示例中，存储在机器可读介质上或以其他方式提供在机器可读 介质上的信息可以表示指令，诸如指令本身或者可以从中导出指令的格式。可 以从中导出指令的该格式可以包括源代码、经编码的指令(例如，以压缩或加 密的形式)、经封装的指令(例如，分成多个封装)等。表示机器可读介质中 的指令的信息可以由处理电路系统处理成指令以实现本文所讨论的任何操作。 例如，从信息中导出指令(例如，由处理电路进行的处理)可以包括：(例如，从源代码、目标代码等)编译、解释、加载、组织(例如，动态地或静态地进 行链接)、编码、解码、加密、解密、打包、拆包，或者以其他方式将信息操 纵到指令中。
在示例中，指令的推导可以包括(例如，通过处理电路系统)对信 息进行汇编、编译、或解释，以从机器可读介质提供的某个中间或预处理的格 式创建指令。当信息以多个部分提供时，可以对其进行组合、拆包和修改以创 建指令。例如，信息可以处于一个或若干远程服务器上的多个经压缩的源代码 封装(或目标代码、或二进制可执行代码等)中。源代码封装可以在通过网络 传输时被加密，并且可以在本地机器处被解密、被解压缩、(如果必要的话) 被汇编(例如，被链接)，并且被编译或被解释(例如被编译或被解释成库、独 立的可执行文件等)，并且由本地机器执行。
图26和图27的图示旨在描绘边缘计算节点的各种设备、子系统、 或布置的组件的高级视图。然而，将理解，可以省略所示出组件中的一些组件， 可存在附加组件，并且在其他实现方式中可发生对所示出的组件的不同布置。 此外，这些布置可用于各种用例和环境中，这些用例和环境包括下文所讨论的 那些用例和环境(例如，用于智慧城市或智慧工厂的工业计算中的移动UE， 以及许多其他示例)。
图26和图27的相应计算平台可通过使用在单个计算平台上运行的 租户容器来支持多个边缘实例(例如，边缘集群)。同样，多个边缘节点可作 为在同一计算平台内的租户上运行的子节点而存在。相对应地，基于可用的资 源分区，可将单个系统或计算平台分区或划分为支持多个租户和边缘节点实例， 该多个租户和边缘节点实例中的每一者可支持多个服务和功能——即使在潜 在地在多个计算平台实例中由多个所有者操作或控制时也是如此。这些各种类 型的分区可通过使用LSM或使用隔离/安全性策略的其他实现方式来支持复杂 的多租户、以及多利益相关方的许多组合。由此在以下章节中记述对使用LSM、以及增强或实现此类安全性特征的安全性特征的引用。同样，在这些各种类型 的多实体分区上操作的服务和功能可以是负荷平衡的、经迁移的、以及经编排 的，以实现必要的服务目标和操作。
图26和图27描绘了可实现本文中所讨论的计算节点或设备中的任 一者的边缘计算系统和环境的示例。相应的边缘计算节点可以被具体化为能够 与其他边缘组件、联网组件或端点组件进行通信的设备、装置、计算机或其他 “物”的类型。例如，边缘计算设备可以被具体化为智能电话、移动计算设备、 智能装置、机载计算系统(例如，导航系统)、或能够执行所描述的功能的其他 设备或系统。
6.示例实现方式
当前所描述的方法、系统和设备实施例的附加示例包括下列非限制 性实现方式。下列非限制性示例中的每一个示例可以独立存在，或可以与以下 所提供的或遍及本公开的其他示例中的任何一个或多个示例按照任何排列或 组合进行结合。
示例A01包括一种用于提供基于强化学习的通信量管理策略的方法， 该方法包括：从环境内的一个或多个数据源收集观察数据；基于所收集的观察 数据来确定环境的状态；以及操作强化学习模型(RLM)以用于基于所确定的状 态确定一个或多个动作，其中所确定的一个或多个动作包括对应的多接入UE 的相应的通信量管理策略，并且该一个或多个动作用于使对应的多接入UE根 据相应的通信量管理策略执行一个或多个操作。
示例A02包括示例A01和/或本文的一些其他示例的方法，其中相 应的通信量管理策略中的每一个包括以下各项中的一项或多项：通信量定向策 略；以及通信量拆分策略。
示例A03包括示例A01或示例A02和/或本文的一些其他示例的方 法，其中一个或多个UE被配置成与环境交互以收集观察数据，并且操作RLM 以用于确定包括以下各项的一个或多个动作的代理：利用观察数据获得动作数 据，该动作数据包括由对应的多接入UE采取的一个或多个其他动作；基于观 察数据和动作数据来训练RLM；以及将RLM部署到对应的多接入UE，其中，所 部署的RLM用于由对应的多接入UE推导动作。
示例A04包括示例A03和/或本文的一些其他示例的方法，其中， 对应的多接入UE使用所部署的RLM来根据该对应的多接入UE从与环境交互而 单独地收集到的观察结果来独立地预测相应的通信量管理策略。
示例A05包括示例A03-A04和/或本文中的一些其他示例的方法， 进一步包括：基于所收集的观察数据来计算奖励值；基于所计算的奖励值来更 新RLM；以及将经更新的RLM分发给对应的多接入UE。
示例A06包括示例A05和/或本文的一些其他示例的方法，其中分 发经更新的RLM进一步包括：当经更新的RLM通过验证过程时将经更新的RLM 分发到对应的多接入UE。
示例A07包括本文的示例A01或A02和/或其他一些示例的方法， 其中，操作RLM以用于确定包括以下各项的一个或多个动作：操作表示网络以 基于所收集的观察数据来生成环境的表示；操作评论方网络以确定对一个或多 个动作的反馈；以及操作行为方网络以基于所生成的表示和来自评论方网络的 反馈来确定一个或多个动作。
示例A08包括示例A07和/或本文的一些其他示例的方法，其中， 反馈是来自状态值函数的一个或多个动作的状态值、来自Q值函数的一个或多 个动作的质量值(Q值)。
示例A09包括示例A07或A08和/或本文的一些其他示例的方法， 其中该反馈包括一个或多个动作上的概率分布以及来自所确定的状态的预期 回报。
示例A10包括本文的示例A01-A09和/或一些其他示例的方法，其 中表示网络包括循环神经网络(RNN)，并且操作表示网络包括：操作RNN以 基于具有可变尺寸的输入来学习对应的多接入UE的表示。
示例A11包括示例A07-A10中的任一项和/或本文中的一些其他示 例的方法，其中评论方网络包括RNN，该RNN被配置成用于学习用于确定反馈 的测量序列相关性。
示例A12包括示例A07-A11中的任一项和/或本文中的一些其他示 例的方法，其中行为方网络包括RNN，该RNN被配置成用于学习用于确定一个 或多个动作的测量序列相关性。
示例A13包括示例A10-A12中的任一项和/或本文中的其他一些示 例的方法，其中RNN是长短期记忆(LSTM)网络。
示例A14包括示例A01和/或本文中的一些其他示例的方法，进一 步包括：将一个或多个动作传递给对应的多接入UE。
示例A15包括示例A01-A14和/或本文中的一些其他示例的方法， 进一步包括：当触发条件被满足时触发环境内的一个或多个数据源以提供观察 数据。
示例A16包括示例A15和/或本文的一些其他示例的方法，其中， 触发条件包括以下中的一项或多项：定时器期满或测量值满足阈值。
示例A17包括示例A15或A16和/或本文的一些其他示例的方法， 其中，一个或多个数据源包括以下中的一项或多项：一个或多个多接入UE； 以及一个或多个网络接入节点(NAN)。
示例A18包括本文示例A01-A17和/或一些其他示例的方法，进一 步包括：操作RLM以学习相应的通信量管理策略而不依赖于任何优化模型或预 定义的策略。
示例A19包括本文示例A05-A18和/或一些其他示例的方法，进一 步包括：基于所收集的观察数据，使用奖励函数计算奖励值。
示例A20包括示例A19和/或本文的一些其他示例的方法，其中奖 励函数是网络服务质量(QoS)目标的效用函数。
示例A21包括示例A20和/或本文的一些其他示例的方法，其中对 效用函数的输入包括一个或多个QoS参数，其中该一个或多个QoS参数包括 以下各项中的一项或多项：分组延迟、分组丢失率、分组丢弃率、物理(PHY) 速率；有效吞吐量；UE吞吐量、蜂窝小区吞吐量、抖动、α公平性、信道质 量指标(CQI)相关测量、调制编码方案(MCS)相关测量、物理资源块(PRB)利用 率、每个NAN的无线电利用率水平以及数据量。
示例B01包括示例A01-A21和/或本文的一些其他示例的方法，其 中RLM是RL代理，并且RL代理包括一个或多个性能保证机制。
示例B02包括示例B01的方法和/或本文的一些其他示例，其中一 个或多个性能保证机制包括引导式探索机制、实施安全性动作空间(ESAS)机 制、早期警告机制和机会探索控制(OEC)机制。
示例B03包括示例B02和/或本文其他一些示例的方法，其中，引 导式探索机制包括一个或多个基于规则的算法、一个或多个基于模型的启发式 算法、或者一个或多个预训练的机器学习算法。
示例B04包括示例B02-B03和/或本文的一些其他示例的方法，其 中ESAS机制包括可接受的动作范围或由一个或多个动作的一个或多个线性或 非线性函数描述的约束集合。
示例B05包括示例B02-B04的方法和/或本文的一些其他示例，进 一步包括：操作早期警告机制以在一个或多个性能度量满足或超过对应的阈值 时触发对备用模型的实现。
B06包括本文示例B05和/或其他一些示例的方法，其中，一个或多 个性能度量包括：一个或多个数据流的单向延迟的平均值、一个或多个数据流 的端到端(e2e)延迟的平均值、延迟变化趋势、缓冲器累积；信道质量指标(CQI) 变化趋势以及调制和编码方案(MCS)分布趋势。
示例B06包括示例B01-B05和/或本文的一些其他示例的方法，进一 步包括：操作OEC机制以标识一个或多个动作中的一个或多个高风险动作，并 将该一个或多个高风险动作应用于测试流或具有比其他流更不严格的QoS目标 的流。
示例C01包括示例A07-A21和/或本文的一些其他示例的方法，其 中RLM是情境老虎机机器学习模型。
示例C02包括示例C01和/或本文中的一些其他示例的方法，进一 步包括：分别利用参数θQ、θμ和θE随机地初始化评论方网络、行为方网络 和表示网络；初始化重放缓冲器；以及初始化用于动作探索的随机过程。
示例C03包括示例C02和/或本文的一些其他示例的方法，进一步 包括：操作表示网络以获得针对要向其提供动作推荐的目标UE的观察数据的 表示，该目标UE处于对应的多接入UE之中。
示例C04包括示例C03和/或本文的一些其他示例的方法，进一步 包括：操作代理网络以根据当前策略和探索噪声选择动作，以及将所选择的动 作部署到目标UE；基于所选择的动作的性能来收集奖励；以及将动作、状态和 所收集的奖励存储在重放缓冲器中。
示例C05包括示例C04和/或本文的一些其他示例的方法，其中， 选择动作包括：使用概率对动作的动作空间进行随机采样；或者使用现有的启 发式算法来选择该动作。
示例C06包括示例C05和/或本文中的一些其他示例的方法，进一 步包括：从重放缓冲器中随机地采样出迷你批次；根据所收集的奖励确定时间 差误差计算的目标；以及训练评论方网络以最小化损失函数。
示例C07包括示例C06和/或本文的一些其他示例的方法，进一步 包括：使用策略梯度训练行为方网络以最大化奖励函数。
示例C08包括示例C07和/或本文其他一些示例的方法，其中策略 梯度由评论方网络产生。
示例C09包括示例C07或C08和/或本文中的一些其他示例的方法， 进一步包括：使用策略梯度训练表示网络。
示例D01包括示例A01-C09和/或本文的一些其他示例的方法，其 中，观察数据包括以下各项中的一项或多项：分组延迟、分组丢失率、分组丢 弃率、PHY速率；有效吞吐量；UE吞吐量、蜂窝小区吞吐量、抖动、α公平 性、CQI相关测量、MCS相关测量、PRB利用率、每个NAN的无线电利用水 平和数据量。
示例D02包括示例A01-D01和/或本文的一些其他示例的方法，其 中该方法由多接入边缘计算(MEC)服务器/主机或开放RAN联盟(O-RAN)无线电 接入网络(RAN)智能控制器(RIC)执行。
示例Z01包括一种或多种包括指令的计算机可读介质，其中，处理 器电路系统对这些指令的执行用于使得该处理器电路系统用于执行示例 A01-D02中任一项和/或本文讨论的任何其他方面的方法。
示例Z02包括一种包含示例Z01的指令的计算机程序。
示例Z03包括一种应用编程接口，该应用编程接口定义用于示例 Z02的计算机程序的功能、方法、变量、数据结构和/或协议。
示例Z04包括一种装置，该装置包括加载有示例Z01的指令的电路 系统。
示例Z05包括一种装置，该装置包括可操作用于运行示例Z01的指 令的电路系统。
示例Z06包括一种集成电路，该集成电路包括示例Z01的处理器电 路系统以及示例Z01的一种或多种计算机可读介质中的一项或多项。
示例Z07包括一种计算系统，该计算系统包括示例Z01的一种或多 种计算机可读介质以及处理器电路系统。
示例Z08包括一种设备，该设备包括用于执行示例Z01的指令的装 置。
示例Z09包括一种信号，该信号作为执行示例Z01的指令的结果而 被生成。
示例Z10包括一种数据单元，该数据单元作为执行示例Z01的指令 的结果而被生成。
示例Z11包括示例Z10的数据单元，其中，该数据单元是数据报、 网络分组、数据帧、数据段、协议数据单元(PDU)、服务数据单元(SDU)、 消息或数据库对象。
示例Z12包括使用示例Z10或Z11的数据单元编码的信号。
示例Z13包括承载示例Z01的指令的电磁信号。
示例Z14包括一种设备，包括：用于执行如示例A01-D02中的任 一项的方法的装置。
7.术语
如本文中所使用，单数形式的“一”(“a”、“an”)和“该”(“the”)旨 在也包括复数形式，除非情境另外清楚地指示。还将理解，当在本说明书中使 用术语“包括”(“comprise”和/或“comprising”)时，其指定所陈述的特征、整数、 步骤、操作、元件、和/或组件的存在，但不排除一个或多个其他特征、整数、 步骤、操作、元件、组件、和/或其群组的存在或添加。短语“A和/或B”意指 (A)、(B)或(A和B)。出于本公开的目的，短语“A、B和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。说 明书可使用短语“在实施例中”或“在一些实施例中”，其可各自指代相同或不同 实施例中的一个或多个实施例。此外，如相对于本公开所使用的术语“包含”、 “包括”、“具有”等是同义的。
本文中使用术语“耦合的”、“通信地耦合的”及其派生词。术语“耦合 的”可意指两个或更多个元件彼此处于直接的物理或电接触，可意指两个或更 多个元件间接地彼此接触但仍彼此协作或交互，和/或可意指一个或多个其他元 件被耦合或连接在被称为彼此耦合的元件之间。术语“直接耦合的”可意指两个 或更多个元件彼此直接接触。术语“通信地耦合的”可意指两个或更多个元件可 通过通信手段彼此联系，通过通信手段包括通过线或其他互连连接、通过无线 通信信道或墨迹，等等。
至少在一些实施例中，术语“电路系统”是指被配置成用于执行电子 设备中的特定功能的电路或具有多个电路的系统。电路或电路的系统可以是被 配置成用于提供所描述的功能的一个或多个硬件组件的部分或包括该一个或 多个硬件组件，该一个或多个硬件组件诸如逻辑电路、处理器(共享的、专用 的或成组的)和/或存储器(共享的、专用的或成组的)、ASIC、FPGA、可编 程逻辑控制器(PLC)、SoC、SiP、多芯片封装(MCP)、DSP等。另外，术 语“电路系统”也可指代一个或多个硬件元件与程序代码的组合，用于执行该程 序代码的功能。一些类型的电路系统可执行一个或多个软件或固件程序，以提 供所描述的功能中的至少一些。此类硬件元件与程序代码的组合可被称为特定 类型的电路系统。
应当理解，在本说明书中所描述的功能单元或能力可能已被称为或 标记为组件或模块，从而特别强调其实现方式的独立性。此类组件可由任何数 量的软件或硬件形式来具体化。例如，组件或模块可以被实现成硬件电路，该 硬件电路包括定制的超大规模集成(VLSI)电路或门阵列、诸如逻辑芯片、晶 体管之类的现成的半导体，或其他分立的组件。组件或模块也可被实现在可编 程硬件设备中，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等。 组件或模块也可被实现在用于由各种类型的处理器执行的软件中。可执行代码 的所标识的组件或模块可以例如包括计算机指令的一个或多个物理或逻辑框， 其可被组织成例如对象、过程、或函数。然而，所标识的组件或模块的可执行 对象不必在物理上在一起，而是可包括存储在不同位置处的不同指令，当这些 指令在逻辑上结合在一起时，包括组件或模块，并且为该组件或模块实现所声 称的目的。
实际上，可执行代码的组件或模块可以是单条指令或许多指令，并 且甚至可以分布在若干不同的代码段上，分布在不同的程序之间以及跨若干存 储器设备或处理系统分布。具体而言，所描述的过程的一些方面(诸如代码重 写和代码分析)可能在与在其中部署代码的处理系统(例如，在嵌入在传感器 或机器人的计算机中)不同的处理系统(例如，在数据中心中的计算机中)上 进行。类似地，操作数据在此可被标识并示出在组件或模块内，并且能以任何 合适的形式被具体化并且可以被组织在任何合适类型的数据结构内。操作数据 可作为单个数据集被收集，或者可被分布不同的位置上(包括在不同存储设备 上)，并且可以至少部分地仅作为系统或网络上的电子信号存在。组件或模块 可以是无源或有源的，包括可操作以执行期望功能的代理。
至少在一些实施例中，术语“处理器电路系统”是指能够顺序地且自 动地执行算术或逻辑操作序列，记录、存储和/或传递数字数据的电路系统，是 该电路系统的部分，或者包括该电路系统。至少在一些实施例中，术语“处理 器电路系统”指一个或多个应用处理器、一个或多个基带处理器、物理CPU、 单核处理器、双核处理器、三核处理器、四核处理器、和/或能够执行或以其他 方式操作计算机可执行指令的任何其他设备，这些计算机可执行指令诸如程序 代码、软件模块和/或函数进程。术语“应用电路系统”和/或“基带电路系统”可 视为与“处理器电路系统”是同义的，或可被称为“处理器电路系统”。
至少在一些实施例中，术语“存储器”和/或“存储器电路系统”是指用 于存储数据的一个或多个硬件设备，包括RAM、MRAM、PRAM、DRAM、 和/或SDRAM、核存储器、ROM、磁盘存储介质、光学存储介质、闪存设备 或用于存储数据的其他机器可读介质。术语“计算机可读介质”可包括但不限于 存储器、便携式或固定存储设备、光存储设备以及能够存储、包含或承载指令 或数据的各种其他介质。
至少在一些实施例中，术语“接口电路系统”是指实现两个或更多个 组件或设备之间的信息交换的电路系统，是该电路系统的部分，或者包括该电 路系统。至少在一些实施例中，术语“接口电路系统”指一个或多个硬件接口， 例如，总线、I/O接口、外围组件接口、网络接口卡，等等。
至少在一些实施例中，术语“元件”是指在给定的抽象水平不可分并 且具有清楚地限定的边界的单元，其中，元件可以是任何类型的实体，包括例 如一个或多个设备、系统、控制器、网络元件、模块等、或其组合。至少在一 些实施例中，术语“设备”是指物理实体，该物理实体被嵌入在其附近的另一物 理实体内部或附连至其附近的另一物理实体，具有传达来自该物理实体的数字 信息或向该物理实体传达数字信息的能力。至少在一些实施例中，术语“实体” 是指架构或设备的不同组件、或作为有效载荷被传递的信息。至少在一些实施 例中，术语“控制器”是指具有影响物理实体(诸如通过改变其状态或使物理实体移动)的能力的元件或实体。
术语“边缘计算”涵盖致力于针对端点用户(客户端设备、用户装备 等)减少等待时间并增加吞吐量而将处理活动和资源(例如，计算、存储、加 速资源)朝向网络的“边缘”移动的分布式计算的许多实现方式。此类边缘计算 实现方式典型地涉及从经由无线网络可访问的一个或多个位置在类云服务、功 能、应用和子系统中提供此类活动和资源。由此，对本文中所使用的网络、集 群、域、系统或计算布置的“边缘”的引用是起作用的分布式计算元件的群组或 分组，并且由此一般与图论中使用的“边缘”(链接或连接)无关。经由移动无 线网络(例如，蜂窝和WiFi数据网络)可访问的边缘计算应用和服务的特定 布置可被称为“移动边缘计算”或“多接入边缘计算”，其可通过缩写“MEC”来引 用。本文中对“MEC”的使用也可指代由欧洲电信标准协会(ETSI)颁布的标准 化实现方式，被称为“ETSI MEC”。ETSIMEC规范所使用的术语通过引用总体 结合于此，除非本文中提供冲突的定义或使用。
至少在一些实施例中，术语“计算节点”或“计算设备”是指实现边缘 计算操作的方面的可标识实体(不论是较大系统的部分、分布式系统集合、还 是独立装置)。在一些示例中，计算节点可被称为“边缘节点”、“边缘设备”、“边 缘系统”，而不论作为客户端、服务器还是中间实体来进行操作。计算节点的 特定实现方式可被并入到服务器、基站、网关、路边单元、内部单元、UE或 终端消费设备等等中。
至少在一些实施例中，术语“计算机系统”是指任何类型互连的电子 设备、计算机设备、或其组件。附加地，至少在一些实施例中，术语“计算机 系统”和/或“系统”是指计算机的彼此通信地耦合的各种组件。此外，至少在一 些实施例中，术语“计算机系统”和/或“系统”是指彼此通信地耦合并且被配置成 用于共享计算和/或联网资源的多个计算机设备和/或多个计算系统。
至少在一些实施例中，术语“架构”是指计算机架构或网络架构。“网 络架构”是在包括通信协议、接口和介质传输的网络中软件和/或硬件元件的物 理和逻辑设计或布置。“计算机架构”是在包括软件和/或硬件之间的交互的技术 标准的计算系统或平台中的软件和/或硬件元件的物理和逻辑设计或布置。
至少在一些实施例中，术语“装置”、“计算机装置”等等是指具有程 序代码(例如，软件或固件)的、专门被设计成用于提供特定计算资源的计算 机设备或计算机系统。“虚拟装置”是用于由使计算机装置虚拟化或模仿计算机 装置或者以其他方式专用于提供特定的计算资源的、由装配有管理程序的设备 实现的虚拟机镜像。
至少在一些实施例中，术语“用户装备”或“UE”是指具有无线电通信 能力的设备，并且可描述通信网络中网络资源的远程用户。术语“用户装备”或 “UE”可被认为与以下各项同义并且可被称为以下各项：客户端、移动式装置、 移动设备、移动终端、用户终端、移动单元、移动站、移动用户、订户、用户、 远程站、接入代理、用户代理、接收机、无线电装备、可重配置无线电装备、 可重配置移动设备等。此外，术语“用户装备”或“UE”可包括：任何类型的无线 /有线设备、或包括无线通信接口的任何计算设备。至少在一些实施例中，术语“站”或“STA”是指作为对无线介质(VM)的介质访问控制(MAC)和物理层 (PHY)接口的可单独寻址的实例的逻辑实体。至少在一些实施例中，术语“无 线介质”或WM”是指用于实现协议数据单元(PDU)在无线局域网(LAN)的 对等物理层(PHY)实体之间的传输的介质。
至少在一些实施例中，术语“网络元件”是指用于提供有线或无线通 信网络服务的物理或虚拟化的装备和/或基础设施。术语“网络元件”可被认为与 以下各项同义和/或被称为以下各项：联网的计算机、联网硬件、网络装备、 网络节点、路由器、交换机、中枢、网桥、无线电网络控制器、RAN设备、 RAN节点、网关、服务器、虚拟化VNF、NFVI等等。
至少在一些实施例中，术语“接入点”或“AP”是指包含一个站(STA) 并且经由针对相关联的STA的无线介质(WM)提供对分发服务的访问的实体。 至少在一些实施例中，AP包括STA和分发系统访问功能(DSAF)。
至少在一些实施例中，术语“基站”是指无线电接入网络(RAN)中 的网络元件，该无线电接入网络诸如负责一个或多个蜂窝小区中将无线电信号 发送至用户装备(UE)或从用户装备(UE)接收无线电信号的第四代(4G) 或第五代(5G)移动通信网络。基站可以具有集成式天线，或者可通过馈电电 缆连接至天线阵列。基站使用专门的数字信号处理和网络功能硬件。在一些示 例中，出于灵活性、成本、以及性能，可将基站分成采用软件进行操作的多个 功能块。在一些示例中，基站可包括演进节点B(eNB)或下一代节点B(gNB)。 在一些示例中，基站可操作或包括计算硬件，以作为计算节点来进行操作。然 而，在本文中所讨论的场景中的许多场景中，RAN节点可以以接入点(例如， 无线网络接入点)或其他网络接入硬件来代替。
至少在一些实施例中，术语“E-UTEAN节点B”、“演进的节点B” 或“eNB”是指向UE提供E-UTRA用户平面(PDCP/RLC/MAC/PHY)和控制平 面(RRC)终端并经由S1接口连接至演进的分组核心(EPC)的RAN节点。 两个或更多个eNB借助X2接口彼此互连(和/或与一个或多个en-gNB互连)。
至少在一些实施例中，“下一代eNB”或“ng-eNB”是指向UE提供 E-UTRA用户平面和控制平面协议终端并经由NG接口连接至5GC的RAN节 点。两个或更多个ng-eNB借助Xn接口彼此互连(和/或与一个或多个gNB互 连)。
至少在一些实施例中，“下一代节点B”、“gNodeB”、或“gNB”是指 向UE提供NR用户平面和控制平面协议终端并经由NG接口连接至5GC的 RAN节点。两个或更多个gNB借助Xn接口彼此互连(和/或与一个或多个 ng-eNB互连)。
在至少一些实施例中，术语“E-UTRA-NR gNB”或“en-gNB”是指向 UE提供NR用户平面和控制平面协议终端并在E-UTRA-NR双连接(EN-DC) 场景(参见例如，3GPP TS 37.340版本16.6.0(2021年7月9日))中充当辅 助节点的RAN节点。两个或更多个en-gNB借助X2接口彼此互连(和/或与一 个或多个eNB互连)。
至少在一些实施例中，术语“下一代RAN节点”或“NG-RAN节点” 是指gNB或ng-eNB。
至少在一些实施例中，术语“中央单元”或“CU”是指主存擭G-RAN 节点的无线电资源控制(RRC)、服务数据适配协议(SDAP)和/或分组数据汇 聚协议(PDCP)协议/层或控制一个或多个DU的操作的en-gNB的RRC和PDCP 协议的逻辑节点；CU终止与DU连接的F1接口并且可以与多个DU连接。
至少在一些实施例中，术语“分布式单元”或“DU”是指主存擭G-RAN 节点或en-gNB的无线电链路控制(RLC)、媒体访问控制(MAC)和物理(PHY) 层的逻辑节点，并且其操作部分由CU控制；一个DU支持一个或多个蜂窝小区， 并且一个蜂窝小区仅由一个DU支持；且DU终止与CU连接的F1接口。
至少在一些实施例中，术语“住宅网关”或“RG”是指按需将例如语音、 数据、广播视频、视频提供给客户驻地处的其他设备的设备。至少在一些实施 例中，术语“线缆5G接入网络”或“W-5GAN”是指经由N2参考点和N3参考点连接 至5GC的线缆AN。W-5GAN可以是W-5GBAN或W-5GCAN。至少在一些实施例中， 术语“线缆5G电缆接入网络”或“W-5GCAN”是指在CableLabs(电缆实验室)中/ 由CableLabs定义的接入网络。至少在一些实施例中，术语“线缆BBF接入网 络”或“W-5GBAN”是指在Broadband Forum(宽带论坛)(BBF)中定义/由BBF 定义的接入网络。至少在一些实施例中，术语“线缆接入网关功能”或“W-AGF” 是指W-5GAN中的、向5G-RG和/或FN-RG提供至3GPP 5G核心网络(5GC)的 连接性的网络功能。在至少一些实施例中，术语“5G-RG”是指能够连接至5GC 的、相对于5GC扮演用户装备的角色的RG；它支持安全元件并与5GC交换N1 信令。5G-RG可以是5G-BRG或5G-CRG。
术语“中央局”(或CO)指示可访问或所限定的地理区域内的、用 于电信基础设施的聚合点，通常电信服务提供商传统上将用于一种或多种类型 的接入网络的切换装备定位在其中。CO可以在物理上被设计成用于容纳电信 基础设施装备或计算、数据存储和网络资源。然而，CO不需要是由电信服务 提供商指定的位置。CO可主控用于边缘应用和服务(或者甚至类云服务的本 地实现方式)的任何数量的计算设备。
至少在一些实施例中，术语“云计算”或“云”是指用于在具有按需要 自服务供应和管理并且不具有用户的主动管理的情况下启用对可扩展且弹性 的可共享资源池的网络访问的范式。云计算提供云计算服务(或云服务)，该 云计算服务(或云服务)是经由使用所定义的接口(例如，API，等等)唤起 的云计算而提供的一项或多项能力。至少在一些实施例中，术语“计算资源”或 简称为“资源”是指在计算机系统或网络内具有有限的可用性的任何物理或虚 拟组件或对此类组件的使用。计算资源的实例包括在一段时间内对以下各项的 使用/访问：服务器、(多个)处理器、存储装备、存储器设备、存储器区域、 网络、电功率、输入/输出(外围)设备、机械设备、网络连接(例如，信道/ 链路、端口、网络插槽等)、操作系统、虚拟机(VM)、软件/应用、计算机 文件等等。“硬件资源”可以指由(多个)物理硬件元件提供的计算、存储和/ 或网络资源。“硬件资源”可以指由(多个)物理硬件元件提供的计算、存储和 /或网络资源。术语“系统资源”可指用于提供服务的任何种类的共享实体，并且 可包括计算和/或网络资源。系统资源可被认为是通过服务器可访问的一组连贯 的功能、网络数据对象或服务，其中此类系统资源驻留在单个主机或多个主机 上并且是可清楚标识的。
至少在一些实施例中，术语“工作负荷”可指在实践段期间或在特定 时刻由计算系统、设备、实体等执行的工作量。工作负荷可被标识为基准，诸 如响应时间、吞吐量(例如，在一段时间内完成多少工作)，等等。附加地或 替代地，工作负荷可被表示为以下各项：存储器工作负荷(例如，程序执行以 存储临时或永久数据且执行中间计算所需的存储器空间的量)、处理器工作负 荷(例如，在给定时间段期间或特定时刻由处理器执行的指令数量)、I/O工 作负荷(例如，在给定时间段期间或特定时刻输入和输出或系统访问的数量)、数据库工作负荷(例如，在时间段期间的数据库查询的数量)、网络相关的工 作负荷(例如，网络附连的数量、移动性更新的数量、无线电链路失败的数量、 移交的数量、要通过空中接口传递的数据量等)，等等。可使用各种算法来确 定工作负荷和/或工作负荷特性，其可基于前述工作负荷类型中的任一者。
术语“云服务提供商”(或CSP)指示典型地对大规模的“云”资源进 行操作的组织，这些大规模的“云”资源由集中式、区域的、和边缘数据中心组 成(例如，如在公共云的情境中所使用)。在其他示例中，CSP也可被称为云 服务运营商(CSO)。对“云计算”的引用一般是指在相对于边缘计算具有至少 一些增加的等待时间、距离、或约束的远程位置处由CSP或CSO提供的计算 资源和服务。
至少在一些实施例中，术语“数据中心”是指旨在容纳多个高性能计 算和数据存储节点以使得大量的计算、数据存储和网络资源存在于单个位置处 的有目的设计的结构。这通常使得需要专门的机架和封装系统、合适的加热、 冷却、通风、安全性、灭火、以及功率递送系统。在一些情境中，该术语还可 指代计算和数据存储节点。在集中式数据中心或云数据中心(例如，最大的数 据中心)、区域数据中心、以及边缘数据中心(例如，最小的数据中心)之间， 数据中心的规模可能有所不同。
术语“接入边缘层”指示基础设施边缘的、最靠近于终端用户或设备 的子层。例如，此类层可通过被部署在蜂窝网络位置处的边缘数据中心来满足。 接入边缘层作为基础设施边缘的前线来起作用，并且可连接至层级结构中较高 的聚合边缘层。
术语“聚合边缘层”指示距接入边缘层一跳的基础设施边缘的层。该 层可以要么作为中等规模的数据中心存在于单个位置中，要么可由多个互连的 微型数据中心形成，以形成具有接入边缘的分层拓扑，从而允许相比于仅有接 入边缘更大的协作、工作载荷故障转移、以及可缩放性。
术语“网络功能虚拟化”(或NFV)指示使用工业标准虚拟化和云计 算技术、将NF从专有硬件设备内的嵌入式服务迁移到在标准化CPU(例如， 在标准
和
服务器内，诸如包括
至强TM(XeonTM)或者 
EpycTM或OpteronTM处理器的那些标准化CPU)上运行的基于软件的虚 拟化NF(或VNF)。附加地或替代地，NFV处理和数据存储将在基础设施边 缘内的、直接连接至本地蜂窝站点的边缘数据中心处发生。
术语“虚拟化网络功能”(或VNF)指示在多功能多目的计算资源(例 如，x86、ARM基础架构)上操作的基于软件的NF，其可代替于专用物理装 备而被NFV使用。附加地或替代地，若干VNF将在基础设施边缘处的边缘数 据中心上操作。
至少在一些实施例中，术语“边缘计算节点”是指以设备、网关、桥 接器、系统或子系统、组件形式的能够进行计算的元件的真实世界的、逻辑的、 或虚拟化的实现方式，而不论是在服务器、客户端、端点还是对等模式下操作， 并且不论位于网络的“边缘”处还是位于进一步处于网络内的连接的位置处。一 般而言，对本文中所使用的“节点”的引用与“设备”、“组件”和“子系统”是可互 换的；然而，对“边缘计算系统”的引用一般是指分布式架构、组织、或多个节 点和设备的集合，并且边缘计算系统被组织成用于完成或提供边缘计算设置中 的服务或资源中的某个方面。
至少在一些实施例中，术语“集群”是指以物理实体(例如，不同的 计算系统、网络或网络群组)、逻辑实体(例如，应用、功能、安全性构造、 容器)等等的形式、作为边缘计算系统(或多个边缘计算系统)的部分的实体 集合或实体分组。在一些位置中，“集群”也指代“群组”或“域”。集群的成员关 系可基于包括来自动态成员关系或基于属性的成员关系、来自网络或系统管理 场景、或来自下文所讨论的各种示例技术的、可添加、修改或移除集群中的实 体的状况或功能而被修改或影响。集群还可包括多个层、级别或属性，或与多 个层、级别或属性相关联，该多个层、级别或属性包括基于此类层、级别或属 性的安全性特征和结果的变型。
至少在一些实施例中，术语“无线电技术”是指用于电磁辐射的无线 传送和/或接收以进行信息传递的技术。至少在一些实施例中，术语“无线电接 入技术”或“RAT”是指用于至基于无线电的通信网络的底层物理连接的技术。 “RAT类型”标识用在接入网络中的传输技术，例如，新无线电(NR)、窄带 IoT(NB-IOT)、不受信任的非3GPP、受信任的非3GPP、受信任的IEEE 802.11、 非3GPP接入、线缆、线缆电缆、线缆宽带论坛(线缆BBF)等。
至少在一些实施例中，术语“V2X”是指交通工具对交通工具(V2V)、 交通工具对基础设施(V2I)、基础设施对交通工具(I2V)、交通工具对网络 (V2N)、和/或网络对交通工具(N2V)通信和相关联的无线电接入技术。
至少在一些实施例中，“通信协议”(有线或无线的)是指由通信设 备/系统实现以与其他设备和/或系统进行通信的一组标准化规则或指令，包括 用于对数据进行打包/拆包、对信号进行调制/解调的指令，协议栈的实现方式， 等等。无线通信协议的示例包括全球移动通信系统(GSM)无线电通信技术、 通用分组无线电服务(GPRS)无线电通信技术、GSM演进的增强数据速率 (EDGE)无线电通信技术和/或第三代伙伴计划(3GPP)无线电通信技术，包 括例如，3GPP第五代(5G)或新无线电(NR)、通用移动电信系统(UMTS)、 自由多媒体接入(FOMA)、长期演进(LTE)、高级LTE(LTE Advanced)、 LTE额外(LTE Extra)、LTE-A加强版(LTE-A Pro)、cdmaOne(2G)、码 分多址2000(CDMA2000)、蜂窝数字分组数据(CDPD)、Mobitex、电路 交换数据(CSD)、高速CSD(HSCSD)、宽带码分多址(W-CDM)、高速 分组接入(HSPA)、增强型高速分组接入(HSPA+)、时分-码分多址 (TD-CDMA)、时分-同步码分多址(TD-SCDMA)、LTE LAA、MuLTEfire、 UMTS陆地无线电接入(UTRA)、演进型UTRA(E-UTRA)、演进数据优 化或仅演进数据(EV-DO)、高级移动电话系统(AMPS)、数字AMPS(D-AMPS)、 全接入通信系统/扩展式全接入通信系统(TACS/ETACS)、按键通话(PTT)、 移动电话系统(MTS)、改进型移动电话系统(IMTS)、高级移动电话系统 (AMTS)、蜂窝数字分组数据(CDPD)、DataTAC、集成数字增强网络(iDEN)、 个人数字蜂窝(PDC)、个人手持式电话系统(PHS)、宽带集成数字增强网 络(WiDEN)、iBurst、非许可移动接入(UMA，也被称为3GPP通用接入网络或GAN标准)、
蓝牙低能量(BLE)、基于IEEE 802.15.4的协议 (例如，通过低功率无线个域网的IPv6(6LoWPAN)、WirelessHART、MiWi、 Thread、802.11a等)、WiFi直接(WiFi-direct)、ANT/ANT+、ZigBee、Z波 (Z-Wave)、3GPP设备对设备(D2D)或邻近服务(ProSe)、通用即插即用 (UPnP)、低功率广域网(LPWAN)、长距离广域网(LoRA)或由Semtech 和LoRa联盟开发的LoRaWANTM、数字增强无绳通信(DECT)、DECT超低能 量(DECT ULE)、DECT-2020、Sigfox、无线千兆联盟(WiGig)标准、用于一 般而言的毫米波接入(WiMax)mmWave标准的全球互通(诸如以10-300GHz 及更高频率操作的无线系统，诸如WiGig、IEEE 802.11ad、IEEE802.11ay等)、 交通工具对外界(V2X)通信技术(包括C-V2X、波动、802.11bd)、专用短 距离通信(DSRC)通信系统，包括欧洲ITS-G5、ITS-G5B、ITS-G5C等的智 能运输系统(ITS)、超高频(UHF)通信、特高频(VHF)通信。除上文所列 举的标准之外，出于本公开的目的，还可使用任何数量的卫星上行链路技术， 包括例如符合由国际电信联盟(ITU)或ETSI发布的标准的无线电等等。本文 中所提供的示例因此可被理解为适用于各种现有的和尚未制定的各种其他通 信技术。
至少在一些实施例中，术语“信道”是指用于传达数据或数据流的任 何有形或无形的传输介质。术语“信道”可与“通信信道”、“数据通信信道”、“传 输信道”、“数据传输信道”、“接入信道”、“数据访问信道”、“链路”、“数据链 路”、“载波”、“射频载波”、和/或表示传达数据所通过的路径或介质的任何其 他类似术语同义，和/或等同于这些术语。附加地，至少在一些实施例中，术语 “链路”是指两个设备之间出于传送和接收信息目的通过RAT进行的连接。
至少在一些实施例中，术语“服务质量”或“QoS”是指对服务(例如， 电话和/或蜂窝服务、网络服务、无线通信/连接服务、云计算服务等)的整体 性能的描述或测量。在一些情况下，可从该服务的用户的角度来描述或测量 QoS，并且由此，QoS可以是确定用户对该服务的满意程度的服务性能的集体 性效果。在其他情况下，至少在一些实施例中，QoS是指通信量优先级排定和 资源保留控制机制，而不是实现的服务质量的感知。在这些情况下，QoS是向 不同的应用、用户或流提供不同的优先级的能力，或者向流保证某个性能级别 的能力。在任一情况下，QoS均通过可适用于一个或多个服务的性能因素的组 合的各方面来表征，这些性能因素诸如例如，服务可操作性性能、服务可访问 性性能、服务保持能力性能、服务可靠性性能、服务完整性性能、以及对于每 个服务而言特定的其他因素。当对QoS进行量化时，可以考虑服务的若干有关 方面，包括分组丢失率、位速率、吞吐量、传输延迟、可用性、可靠性、抖动、 信号强度和/或质量测量、和/或诸如本文中所描述的那些之类的其他测量。
至少在一些实施例中，术语“波束成形”和“波束引导”是指在发射器 (Tx)处使用以改善预期接收器(Rx)处的接收到的信号功率、信噪比(SNR) 或某种其他信令度量的空间滤波机制。至少在一些实施例中，术语“波束成形 器”是指使用波束成形引导矩阵来传送物理层PDU(PPDU)的STA。至少在 一些实施例中，术语“波束成形引导矩阵”是指使用Tx与预期Rx之间的信道的 知识确定的矩阵，该矩阵从时空流映射至发射天线，其中目标为改善预期Rx 处的信号功率、SNR和/或其他信号度量。
至少在一些实施例中，术语“基本服务集”或“BSS”是指已经使用 JOIN服务原语成功同步化的一组STA和已经使用START原语的一个STA。 替代地，已经使用指定匹配网格简档的START原语的STA的集合，其中，网 格简档的匹配已经经由扫描过程进行了验证。BSS中的成员关系并不暗示与 BSS的所有其他成员的无线通信均是可能的。
至少在一些实施例中，术语“协调功能”是指确定STA何时被准许经 由WM传送PDU的逻辑功能。至少在一些实施例中，术语“分布式协调功能” 或“DCF”是指一类(多个)协调功能，其中每当网络处于操作中时，同一协调 功能逻辑在基本服务集(BSS)中的每一个STA中均是活跃的。至少在一些实 施例中，术语“分发服务”是指通过使用关联信息在分发系统(DS)内递送介质 访问控制(MAC)服务元组的服务。至少在一些实施例中，术语“分发系统”或“DS”是指用于将基本服务集(BSS)与集成的局域网(LAN)的集合互连以 创建扩展服务集(ESS)的系统。
至少在一些实施例中，术语“清晰信道评估(CCA)功能”是指确定 WM的使用的当前状态的、物理层(PHY)中的逻辑功能。
至少在一些实施例中，术语“实例化(instantiate、instantiation)”等 等是指实例的创建。至少在一些实施例中，“实例”还指对象的具体发生，该对 象例如可在程序代码的执行期间发生。至少在一些实施例中，术语“信息元素” 是指包含一个或多个字段的结构元素。至少在一些实施例中，术语“字段”是指 信息元素的各个内容或包含内容的数据元素。“数据库对象”、“数据结构”或类 似术语可指采用对象、属性-值对(AVP)、关键字-值对(KVP)、元组等形 式的任何信息表示，并且可包括变量、数据结构、函数、方法、类、数据库记录、数据库字段、数据库条目、数据和/或数据库条目之间的关联(也被称为“关 系”)、区块链实现方式中的区块以及区块之间的链接等等。至少在一些实施 例中，术语“数据元素”或“DE”是指包含一个单数据的数据类型。至少在一些实 施例中，术语“数据帧”或“DF”是指包含按预定义的次序的多于一个的数据元素 的数据类型。
至少在一些实施例中，术语“数据报”是指与分组交换网络相关联的 基本传输单元；数据报可被构造成具有头部和有效载荷部分。至少在一些实施 例中，术语“数据报”可被称为“数据单元”等。
至少在一些实施例中，术语“子帧”是指信号在期间被发出的时间间 隔。在一些实现方式中，子帧等于1毫秒(ms)。至少在一些实施例中，术语 “时隙”是指连续子帧的整数倍。至少在一些实施例中，术语“子帧”是指包括两 个时隙的时间间隔。
至少在一些实施例中，术语“互操作性”是指STA利用一个通信系统 或RAT与利用另一通信系统或RAT的其他STA进行通信的能力。至少在一 些实施例中，术语“共存”是指在使用任一通信系统或RAT的STA之间共享或 分配射频资源。
至少在一些实施例中，术语“可靠性”是指计算机相关组件(例如， 软件、硬件或网络元件/实体)一贯地执行期望的功能和/或根据规范进行操作 的能力。在网络通信的情境下的可靠性(例如，“网络可靠性”)可指网络进行 通信的能力。网络可靠性还可以是将指定数据量从源递送至目的地(或宿)的 概率(或者是对该概率的测量)。
至少在一些实施例中，在可重新配置的无线电装备/系统的上下文中， 术语“用户”是指向多无线电计算机发出命令请求(例如，使用服务)的任何实 体的抽象表示。基于所使用的服务的类型来区分三种用户类型：针对多无线电 管理平面的管理者、针对控制平面的移动性策略管理者、以及针对用户平面的 联网堆叠。
在一些实施例中，术语“用例”是指从用户的视角对系统的描述。用 例有时将系统看作黑盒，并且包括系统响应在内的与系统的交互从系统的外部 被感知。用例典型地避免使用技术行话，代替地偏好终端用户或领域专家的语 言。
至少在一些实施例中，术语“质量”是指肯定或否定的事物的属性、 特性、特质或特征，和/或事物的卓越程度。附加地或替代地，至少在一些实 施例中，在数据处理系统的上下文中，术语“质量”是指数据、过程和/或数据 处理系统的一些其他方面的定性和/或定量方面的状态。
术语“应用”可指设计成用于执行特定任务的计算机程序，而非与计 算机自身操作相关的任务。另外或替代地，术语“应用”可指用于在操作环境中 实现某种功能的完整且可部署的包、环境。术语“AI/ML应用”或类似术语可以 是包含一些AI/ML模型和应用级描述的应用。
至少在一些实施例中，术语“机器学习”或“ML”是指使用计算机系 统以使用示例(训练)数据和_/或过去的经验来优化性能标准。ML涉及使用算 法来执行(多个)特定任务，而不使用显式指令来执行(多个)特定任务，而 是依赖学习的模式和/或推断。ML使用统计建立(多个)数学模型(也称为“ML 模型”或简称“模型”)，以便基于样本数据(例如，训练数据)来做出预测或 决策。模型被定义为具有参数集，并且学习是使用训练数据或过去经验执行计 算机程序以优化模型参数。经训练模型可以是基于输入数据集作出预测的预测 模型、从输入数据集获取知识的描述性模型，或兼顾预测性和描述性。模型一 旦经学习(训练)，可用于作出推断(例如，预测)。ML算法在训练数据集上 执行训练过程，以估计基础ML模型。ML算法是从相对于某项(某些)任务和 某个(某些)性能测量/度量的经验学习的计算机程序，并且ML模型是在利 用训练数据集训练ML算法之后创建的任何对象或数据结构。换句话说，术语 “ML模型”或“模型”可以描述使用训练数据训练的ML算法的输出。在训练之后，ML模型可以用于作出关于新的数据集的预测。附加地，在推断或预测生 成期间，分开地训练的AI/ML模型可以在AI/ML流水线中被链接在一起。虽 然术语“ML算法”至少在一些实施例中是指不同于术语“ML模型”的概念，但是 这些术语可出于本公开的目的而可互换地使用。ML技术通常分为以下主要类型 的学习问题类别：有监督学习、无监督学习和强化学习。
至少在一些实施例中，术语“有监督学习”是指一种ML技术，其目的 是学习函数或生成ML模型，该模型在给定标记数据集的情况下产生输出。有 监督学习算法从包含输入和期望输出的数据集构建模型。例如，有监督学习涉 及学习一种函数或模型，其基于示例输入-输出对或某一其他形式的标记的经 训练数据(包括训练示例集)来将输入映射到输出。每个输入-输出对包括输 入对象(例如，向量)和期望的输出对象或值(称为“监管信号”)。有监督学 习可分为分类算法、回归算法和基于实例的算法。
ML上下文中的术语“分类”可指用于确定各种数据点所属类别的ML 技术。此处，术语“类(class)”或“多个类(classes)”可指类别，并且有时称 为“目标”或“标记”。当输出仅限于有限的可量化属性集时，使用分类。分类算 法可以描述单个(数据)实例，其类别将通过使用特征向量来预测。例如，当 实例包括文本集合(语料库)时，特征向量中的每个特征是特定单词在文本语 料库中出现的频率。在ML分类中，标记被分配给实例，并且模型被训练以从 训练示例中正确预测预分配的标记。用于分类的ML算法可称为“分类器”。分 类器的示例包括线性分类器、k-最近邻(kNN)、决策树、随机森林、支持向 量机(SVM)、贝叶斯分类器、卷积神经网络(CNN)等(注意，其中一些算法 也可用于其他ML任务)。
ML上下文中的术语“回归算法”和/或“回归分析”可指用于估计因变 量(通常称为“结果变量”)与一个或多个自变量(通常称为“预测器”、“协变量” 或“特征”)之间关系的统计过程集。回归算法/模型的示例包括逻辑回归、线 性回归、梯度下降(GD)、随机GD(SGD)等。
ML上下文中的术语“基于实例的学习”或“基于存储器的学习”可指 代一系列学习算法，这些算法不是执行显式泛化，而是将新问题实例与训练中 看到的实例(其已被存储在存储器中)进行比较。基于实例的算法的示例包括 k-最近邻、决策树算法(例如，分类和回归树(CART)、迭代二分法3(ID3)、 C4.5、卡方自动交互检测(CHAID)等)、模糊决策树(FDT)、支持向量机(SVM)、 贝叶斯算法(例如，贝叶斯网络(BN)、动态BN(DBN)、朴素贝叶斯等)和 集成算法(例如，极端梯度提升、投票集成、自举聚合(自助聚合(“装袋”))、 随机森林等)。
ML上下文中的术语“特征”是指单个可测量属性、可量化属性或所 观察现象的特性。特征通常用数字/记数(例如，整数)、字符串、变量、序 数、实值、类别等表示。特征集可称为“特征向量”。“向量”可指一个或多个称 为标量的值的元组，并且“特征向量”可以是包含一个或多个特征的元组的向量。
至少在一些实施例中，术语“无监督学习”是指一种ML技术，该ML 技术目的是学习用于从未标记的数据中描述隐藏结构的函数。无监督学习算法 从只包含输入而不包含期望的输出标记的数据集中建立模型。无监督学习算法 用于找到数据中的结构，如数据点的分组或聚类。无监督学习的示例有K-均值 聚类、主成分分析(PCA)和主题建模等。至少在一些实施例中，术语“半监督 学习”是指从不完整的训练数据开发ML模型的ML算法，其中样本输入的一部 分不包括标签。
至少在一些实施例中，术语“强化学习”或“RL”是指基于与环境交互 的面向目标的学习技术。在RL中，代理目的是通过基于试错过程与环境交互 来优化长期目标。RL算法的示例包括马尔可夫决策过程、马尔可夫链、Q-学习、 多臂老虎机学习和深度RL。至少在一些实施例中，术语“多臂老虎机问题”、“K 臂老虎机问题”、“N臂老虎机问题”或“情境老虎机”是指在每个选项的属性在分 配时仅部分已知且随着时间的推移或通过将资源分配给选项可以更好地理解 时必须以最大化其预期收益的方式在竞争(备选)选项之间分配固定的有限资 源集的问题。至少在一些实施例中，术语“情境多臂老虎机问题”或“情境老虎机”是指多臂老虎机的版本，其中，在每次迭代中，代理必须在臂之间进行选 择；在做出选择之前，代理看到与当前迭代相关联的d维特征向量(上下文向 量)，学习者使用这些上下文向量以及过去玩过的臂的奖励来选择要在当前迭 代中玩的臂，并且随着时间的推移，学习者的目标是收集足够的关于上下文向 量和奖励如何相互关联的信息，以便通过查看特征向量来预测下一个最好的臂。 Sutton等人，《Reinforcement Learning：AnIntroduction(强化学习：导 论)》，第二版，麻省理工学院出版社(2018年)，讨论了RL和多臂老虎机 问题的其他方面。
至少在一些实施例中，在RL的上下文中，术语“奖励函数”是指基 于一个或多个奖励变量来输出奖励值的函数；奖励值为RL策略提供反馈，以 便RL代理可以学习期望的行为。至少在一些实施例中，在RL的情境中，术语 “奖励整形”是指调整或改变奖励函数以输出对期望行为的正奖励和对不期望 行为的负奖励。
术语“人工神经网络”、“神经网络”或“NN”是指一种ML技术，包括 连接的人工神经元或节点集合，这些神经元或节点(松散地)对生物大脑中的 神经元进行建模，这些神经元可向其他动脉神经元或节点传输信号，其中人工 神经元或节点之间的连接(或边缘)是以生物大脑的突触来(松散地)建模的。 人工神经元和边缘通常具有随着学习进行而调整的权重。权重增加或减少连接 处的信号强度。神经元具有一个阈值，只有当聚合信号超过该阈值时，才会发 送信号。人工神经元可以聚合或分组成一个或多个层，其中不同的层可以对其 输入执行不同的变换。信号可能在多次遍历各层之后从第一层(输入层)行进 到最后层(输出层)。NN通常用于有监督学习，但也可以用于无监督学习。NN 的示例包括深度NN(DNN)、前馈NN(FFN)、深度FNN(DFF)、卷积NN(CNN)、 深度CNN(DCN)、反卷积NN(DNN)、深度信念NN、感知NN、递归NN(RNN) (例如，包括长短期记忆(LSTM)算法、选通递归单元(GRU)等)、深度堆 叠网络(DSN)。
至少在一些实施例中，术语“会话”是指两个或更多个通信设备之间、 两个或更多个应用实例之间、计算机与用户之间、或任何两个或更多个实体或 元件之间的临时的且交互性的信息互换。
至少在一些实施例中，术语“数据网络”或“DN”是指主控数据为中心 的服务的网络，诸如例如，运营商服务、因特网、第三方服务、或企业网络。 附加地或替代地，至少在一些实施例中，DN是指属于运营商或第三方的服务网 络，这些服务网络作为服务被提供给客户端或用户装备(UE)。DN有时被称为 “分组数据网络”或“PDN”。至少在一些实施例中，术语“局域数据网络”或 “LADN”是指仅在特定位置能够由UE接入的DN，其提供至特定DNN的连接性，并且其可用性被提供给UE。
至少在一些实施例中，术语“PDU连接性服务”是指在UE与DN之 间提供协议数据单元(PDU)的交换的服务。至少在一些实施例中，术语“PDU 会话”是指UE与提供PDU连接性服务的DN之间的关联。PDU会话类型可以 是IPv4、IPv6、IPv4v6、以太网、非结构化、或任何其他网络/连接类型，诸如 本文中讨论的那些。至少在一些实施例中，术语“MA PDU会话”是指提供PDU 连接性服务的PDU会话，其可一次使用一个接入网络或同时使用多个接入网 络。
至少在一些实施例中，术语“通信量整形”是指管理数据传送以符合 期望的通信量简档或服务类别的带宽管理技术。通信量整形使用策略规则、数 据分类、排队、QoS和其他技术来为时间敏感的关键应用确保足够的网络带宽。 至少在一些实施例中，术语“扼制”是指调整进入或离开网络、或进入或离开特 定设备或元件的流。
至少在一些实施例中，术语“网络地址”是指针对计算机网络中的节 点或主机的标识符，并且可以是跨网络的唯一标识符和/或可对于网络中本地管 理的部分而言唯一的。网络地址的示例包括：封闭接入组标识符(CAG-ID)、 蓝牙硬件设备地址(BD_ADDR)、蜂窝网络地址(例如，接入点名称(APN)、 AMF标识符(ID)、AF-服务-标识符、边缘应用服务器(EAS)ID、数据网 络接入标识符(DNAI)、数据网络名称(DNN)、EPS承载方标识(EBI)、 装备标识注册(EIR)和/或5G-EIR、扩展的统一标识符(EUI)、用于网络选 择的组ID(GIN)、通用公共订阅标识符(GPSI)、全球唯一的AMF标识符 (GUAMI)、全球唯一的临时标识符(GUTI)和/或5G-GUTI、国际移动装备 标识(IMEI)、IMEI类型分配码(IMEA/TAC)、国际移动订户标识(IMSI)、 局域数据网络(LADN)DNN、移动订户标识号(MSIN)、移动订户/站ISDN 号(MSISDN)、网络标识符(NID)、网络切片实例(NSI)ID、永久装备标 识符(PEI)、公共陆地移动网络(PLMN)ID、QoS流ID(QFI)和/或5G QoS 标识符(5QI)、RAN ID、路由指示符、SMS功能(SMSF)ID、独立式非公 共网络(SNPN)ID、隐藏订阅的标识符(SUCI)、订阅永久标识符(SUPI)、 临时移动订户标识(TMSI)及其变体、UE接入类别和标识、和/或其他蜂窝网 络相关的标识符)、电子邮件地址、企业应用服务器(EAS)ID、端点地址、 如由电子产品码(EPC)全球标签数据标准所定义的EPC、完全合格域名 (FQDN)、网际协议(IP)网络(例如，IP版本4(IPv4)、IP版本6(IPv6) 等)中的IP地址、网际分组交换(IPX)地址、局域网(LAN)ID、介质访问 控制(MAC)地址、个域网(PAN)ID、端口号(例如，传输控制协议(TCP) 端口号、用户数据报协议(UDP)端口号)、QUIC连接ID、RFID标签、服 务集标识符(SSID)及其变体、公共交换电话网络(PTSN)中的电话号码、 通用唯一标识符(UUID)(例如，如在ISO/IEC 11578:1996中所指定)、通 用资源定位符(URL)和/或通用资源标识符(URI)、虚拟LAN(VLAN)ID、 X.21地址、X.25地址、
ID、
设备网络ID、和/或任何其他合 适的网络地址及其组成成分。至少在一些实施例中，术语“应用标识符”、“应 用ID”或“app ID”是指可被映射到特定应用或应用实例的标识符；在3GPP 5G/NR 系统的上下文中，“应用标识符”可以指可被映射到特定应用通信量检测规则的 标识符。“端点地址”可以指用于确定目标URI的主机/权威方的地址，其中目 标URI被用于接入NF服务产生方的NF服务(例如，用于唤起服务操作)或用 于向NF服务消费方的通知。至少在一些实施例中，术语“CADG-ID”是指封闭 接入组(CAG)的标识符，并且至少在一些实施例中，术语“封闭接入组”或“CAG” 是指被准许连接和/或接入特定网络、特定接入网络和/或附连到特定蜂窝小区 或网络接入节点的用户列表的组。封闭接入组(CAG)有时被称为接入控制列 表(ACL)、封闭订户组(CSG)、封闭用户组(CUG)，等等。至少在一些实 施例中，如本文中所使用的(例如，在计算机网络的上下文中的)术语“端口” 是指通信端点、两个或更多个实体之间的虚拟数据连接、和/或网络连接开始 和结束处的虚拟点；另外或替代地，“端口”与特定的进程或服务相关联。
至少在一些实施例中，术语“子网络”或“子网”是指网络(诸如IP 网络)的逻辑细分。将网络划分为两个或更多个网络的实践被称为“分网”。至 少在一些实施例中，术语“网掩码”或“子网掩码”是指通过按位“与”操作被应用 于网络地址(例如，IP网络中的IP地址)以得到路由前缀的位掩码，和/或是 用于将IP地址划分为子网并指定网络的可用主机的32位的“掩码”。
至少在一些实施例中，术语“密码散列函数”、“散列函数”或“散列” 是指将任意尺寸的数据(有时被称为“消息”)映射到固定尺寸的位阵列(有时 被称为“散列值”、“散列”或“消息摘要”)的数学算法。密码散列函数通常是单 向函数，其为实际上不可能反转的函数。至少在一些实施例中，术语“完整性” 是指确保数据没有以未经认可的方式被更改的机制。可以用于完整性保护的密 码机制的示例包括数字签名、消息认证码(MAC)和安全散列。
至少在一些实施例中，术语“流”是指从源实体/元件到目的地实体/ 元件的数据和/或数据单元的序列(例如，数据报、分组，等等)。附加地或 替代地，至少在一些实施例中，术语“流”或“通信量流”是指对呼叫、连接或链 路的人工和/或逻辑等同。附加地或替代地，至少在一些实施例中，术语“流” 或“通信量流”是指从特定源发送到特定的单播、任播或多播目的地的、该源期 望标记为流的分组序列；从上层的角度看，流可包括特定传输连接或介质串流 中的所有分组，然而，流不一定被1:1地映射到传输连接。附加地或替代地，至少在一些实施例中，术语“流”或“通信量流”是指在某个时间间隔期间通过网 络中的观察点的数据和/或数据单元的集合(例如，数据报、分组，等等)。 附加地或替代地，至少在一些实施例中，术语“流”是指附连到关联的用户平面 数据链路。示例为电路交换型电话呼叫、IP语音呼叫、SMS的接收、联系人 卡片的发送、针对因特网接入的PDP上下文、从频道多路复用中解复用电视 频道、根据地理定位卫星信号计算位置坐标等。出于本公开的目的，术语“通 信量流”、“数据的流”、“数据流”、“分组流”、“网络流”和/或“流”可以可互换 地使用，即便这些术语可能指不同的概念。
至少在一些实施例中，术语“串流”是指随时间变得可用的数据元素 的序列。至少在一些实施例中，可能产生另一串流的对串流进行操作的功能被 称为“过滤器”，并且可被连接在流水线中，与功能构成类似。过滤器可一次对 串流的一个项进行操作，或者可使输出的项基于输入的多个项(诸如移动平均)。
至少在一些实施例中，术语“分布式计算”是指其中位于联网的计算 机上的组件通过传递彼此交互的消息来进行通信并协调其动作以便实现共同 目标的模型。
至少在一些实施例中，术语“微服务”是指使用技术不可知协议(例 如，HTTP等)通过网络进行通信以满足目标的一个或多个过程。附加地或替 代地，至少在一些实施例中，术语“微服务”是指在尺寸上相对较小、启用消息 接发、受上下文约束、自主地开发、可独立部署、分散式、和/或利用自动化过 程建立或释放的服务。附加地或替代地，至少在一些实施例中，术语“微服务” 是指具有清晰接口的自包含的功能片，并且可通过其自身的内部组件实现分层 的架构。至少在一些实施例中，术语“微服务架构”是指面向服务的架构(SOA)结构风格的一种变型，其中应用被布置为松散耦合的服务(例如，细粒度的服 务)的集合并且可以使用轻量型协议。
至少在一些实施例中，术语“存活时间”(或“TTL”)或“跳限制”是 指限制数据在计算机或网络中的生命跨度或寿命的机制。TTL可被实现为附连 到数据或嵌入在数据中的计数器或时间戳。一旦规定的事件计数或生命跨度已 逝去，就丢弃数据或使数据重新生效。
至少在一些实施例中，术语“队列”是指被存储和保存以供稍后被处 理的实体(例如，数据、对象、事件等)的集合。实体被维持在序列中，并且 可通过在序列的一端添加实体并从序列的另一端移除实体来修改；序列的、元 素被添加到的那端可被称为队列的“背部”、“尾”或“后部”，而元素被移除的那 端可被称为队列的“头”或“前部”。附加地，队列可执行缓冲器的功能，并且贯 穿本公开，术语“队列”和“缓冲器”可以可互换地使用。至少在一些实施例中， 术语“入列”是指将元素添加到队列的后部的一个或多个操作。至少在一些实施 例中，术语“出列”是指从队列的前部移除元素的一个或多个操作。
至少在一些实施例中，术语“排队延迟”是指作业在队列中等待直到 那个作业可被执行的时间量。附加地或替代地，至少在一些实施例中，术语“排 队延迟”是指分组在队列中等待直到该分组可被处理和/或发射的时间量。至少 在一些实施例中，术语“分组延迟”是指将任何分组从一个点传送到另一点花费 的时间。附加地或替代地，至少在一些实施例中，术语“分组延迟”或“逐分组 延迟”是指分组接收时间与分组发射时间之间的差。附加地或替代地，“分组延 迟”或“逐分组延迟”可通过从分组接收时间减去分组发送时间来测得，其中， 发射器和接收器至少稍微被同步化。至少在一些实施例中，术语“处理延迟”是指在网络节点中处理分组花费的时间量。至少在一些实施例中，术语“发射延 迟”是指将分组(或分组的所有位)推入到发射介质中所需的(或必要的)时 间量。至少在一些实施例中，术语“传播延迟”是指信号的头部从发送方行进到 接收方花费的时间量。至少在一些实施例中，术语“网络延迟”是指网络内的数 据单元(例如，IP网络内的IP分组)的延迟。
至少在一些实施例中，术语“延迟界限”是指预定的或配置的可接受 延迟的量。至少在一些实施例中，术语“逐分组延迟界限”是指预定的或配置的 可接受分组延迟的量，其中，在延迟界限内未被处理和/或发射的分组被视为 递送失败，并且被丢弃或丢失。
至少在一些实施例中，术语“分组丢弃率”是指由于高通信量负载或 通信量管理而未被发送到目标，并且其应当被视为分组丢失率的部分的分组份 额。至少在一些实施例中，术语“分组丢弃率”是指不能够由目标接收的分组的 份额，包括被丢弃的分组、在发射时丢失的分组、以及以错误格式接收的分组。 至少在一些实施例中，术语“等待时间”是指将数据猝发中的第一/初始数据单 元从一个点传送到另一点花费的时间量。
至少在一些实施例中，术语“性能指标”是指通过一组网络功能(NF) 聚合的性能数据，该性能数据是根据在性能指标定义中标识的聚合方法从属于 该组的NF处收集的性能测量导出的。
至少在一些实施例中，术语“物理速率”或“PHY速率”是指一个或多 个位在传输介质上实际发送的速度。附加地或替代地，至少在一些实施例中， 术语“物理速率”或“PHY速率”是指数据可以在发射机与接收机之间的无线链 路上移动的速度。
至少在一些实施例中，术语“吞吐量”或“网络吞吐量”是指生产速率 或处理某物的速率。附加地或替代地，至少在一些实施例中，术语“吞吐量”或 “网络吞吐量”是指通过通信信道的成功消息(日期)递送的速率。至少在一些 实施例中，术语“有效吞吐量”是指每单位时间由网络递送到特定目的地的大量 有用信息位。
虽然前述示例中的许多示例在使用特定的蜂窝/移动网络技术的情 况下(包括在使用4G/5G 3GPP网络组件(或预期的基于太赫兹的6G/6G+技 术)的情况下)被提供，但是将理解的是，这些示例可应用于广域无线网络和 局域无线网络的许多其他部署、以及有线网络的整合(包括光学网络及相关联 的光纤、收发机等)。此外，各种标准(例如，3GPP、ETSI等)可定义各种 消息格式、PDU、帧等，如包括任选的或强制性的数据元素(DE)序列、数 据帧(DF)、信息元素(IE)等等。然而，应当理解，任何特定标准的要求不 应限制本文所讨论的实施例，并且如此，容器、帧、DF、DE、IE、值、动作 和/或特征的任何组合在各实施例中是可能的，包括严格要求被遵循以便符合此 类标准的容器、DF、DE、值、动作和/或特征的任何组合或者强烈推荐和/或与 任选的要素一起使用或在存在/不存在任选的要素的情况下使用的容器、帧、 DF、DE、IE、值、动作和/或特征的任何组合。
虽然已经参考特定示例性方面描述了这些实现方式，但将显而易见 的是，可在不背离本发明的较宽范围的情况下对这些方面作出各种修改和改变。 本文中所描述的布置和过程中的许多布置和过程可以与用于提供更大的带宽/ 吞吐量的实现方式以及用于支持可以使其可用于被服务的边缘系统的边缘服 务选择的实现方式组合或并行地使用。相应地，说明书和附图应当被认为是说 明性的，而不是限制性意义的。形成本文的部分的所附附图以说明性而并非限 制性方式示出主题可在其中被实施的特定方面。足够详细地描述了所图示的方 面以使本领域的技术人员能够实施本文中所公开的教导。可利用并由此推导出 其他方面，以使得可在不背离本公开的范围的情况下作出结构的和逻辑的替换 和改变。因此，该具体实施方式不是在限制性的意义上进行的，并且各个方面 的范围仅由所附权利要求书以及此类权利要求书所授权的等效方案完整范围 来限定。
可在本文中单独地和/或共同地引用发明性主题的此类方面，如果 实际上公开了多于一个方面或发明性概念，则这仅仅是为方便起见而并不旨在 主动将本申请的范围限于任何单个方面或发明性概念。由此，虽然在本文中已 经图示并描述了特定方面，但应当领会，预计能够实现相同目的的任何布置可 替换所示的特定方面。本公开旨在涵盖各个方面的任何和全部修改或变体。在 回顾以上描述时，以上各方面和本文中未具体描述的其他方面的组合就对于本 领域内技术人员而言将是显而易见的。
Claims (25)
1.一种用于提供基于强化学习RL的通信量管理策略的设备，所述设备包括：
一个或多个处理器；以及
一种或多个计算机可读介质，被配置成用于存储指令，其中由所述一个或多个处理器对所述指令的执行使得所述设备用于：
从环境内的一个或多个数据源收集观察数据；
基于所收集的观察数据来确定所述环境的状态；以及
操作强化学习模型RLM，以用于基于所确定的状态来确定一个或多个动作，其中所确定的一个或多个动作包括对应的多接入UE的相应的通信量管理策略，所述相应的通信量管理策略中的每一个包括通信量定向策略和通信量拆分策略中的一者或多者，并且所述一个或多个动作用于使所述对应的多接入UE根据所述相应的通信量管理策略执行一个或多个操作。
2.如权利要求1所述的设备，其特征在于，所述一个或多个UE被配置成与所述环境交互以收集观察数据的代理，并且所述指令的执行用于使所述设备操作所述RLM来确定包括以下各项的所述一个或多个动作：
利用所述观察数据获得动作数据，所述动作数据包括由所述对应的多接入UE采取的一个或多个其他动作；
基于所述观察数据和所述动作数据来训练所述RLM；以及
将所述RLM部署到所述对应的多接入UE，其中，所部署的RLM用于由所述对应的多接入UE推导动作，其中，所述对应的多接入UE使用所部署的RLM来根据所述对应的多接入UE从与所述环境进行交互而单独地收集到的观察来独立地预测所述相应的通信量管理策略。
3.如权利要求2所述的设备，其特征在于，所述指令的执行用于使所述设备：
操作所述RLM以学习所述相应的通信量管理策略而不依赖于任何优化模型或预定义的策略。
4.如权利要求2或3所述的设备，其特征在于，所述指令的执行用于使所述设备：
基于所收集的观察数据来计算奖励值；
基于所计算的奖励值来更新所述RLM；以及
当经更新的RLM通过验证过程时将所述经更新的RLM分发到所述对应的多接入UE。
5.如权利要求1所述的设备，其特征在于，为了操作所述RLM以确定所述一个或多个行动，所述指令的执行用于使所述设备：
操作表示网络以基于所收集的观察数据来生成所述环境的表示；
操作评论方网络以确定对所述一个或多个动作的反馈；以及
操作行为方网络以基于所生成的表示和来自所述评论方网络的所述反馈来确定所述一个或多个动作。
6.如权利要求5所述的设备，其特征在于，所述反馈包括以下中的一项或两项：
来自状态值函数的所述一个或多个动作的状态值、来自Q值函数的所述一个或多个动作的质量值Q值；以及
所述一个或多个动作上的概率分布以及来自所述所确定的状态的预期回报。
7.如权利要求6所述的设备，其特征在于：
评论方网络包括被配置成用于学习用来确定所述反馈的测量序列相关性的循环神经网络RNN；
行为方网络包括被配置成用于学习用来确定所述一个或多个动作的测量序列相关性的RNN；以及
表示网络包括被配置成用于基于具有可变尺寸的输入来学习所述对应的多接入UE的表示的RNN。
8.如权利要求7所述的设备，其特征在于，所述表示网络的RNN是长短期记忆LSTM网络，所述评论方网络的RNN是LSTM网络，或所述行为方网络的RNN是LSTM。
9.如权利要求1所述的设备，进一步包括通信电路，并且所述指令的执行用于使所述设备：
使所述通信电路将所述一个或多个动作传递给所述对应的多接入UE。
10.如权利要求1-9所述的设备，其特征在于，所述指令的执行用于使所述设备：
触发所述环境内的所述一个或多个数据源，以在触发条件被满足时提供所述观察数据，其中，所述触发条件包括以下各项中的一项或多项：定时器期满；或测量值满足阈值。
11.如权利要求10所述的设备，其特征在于，所述一个或多个数据源包括以下各项中的一项或多项：一个或多个多接入UE；以及一个或多个网络接入节点NAN。
12.如权利要求5-9中任一项所述的设备，其特征在于，所述指令的执行用于使所述设备：
基于所收集的观察数据，使用奖励函数计算所述奖励值。
13.如权利要求12所述的设备，其特征在于，所述指令的执行用于使所述设备：
使用策略梯度训练所述行为方网络，以使所述奖励函数最大化，其中，所述策略梯度由所述评论方网络产生；以及
使用所述策略梯度训练所述表示网络。
14.如权利要求13所述的设备，其特征在于，所述奖励函数是网络服务质量(QoS)目标的效用函数，其中所述效用函数的输入包括一个或多个QoS参数，其中所述一个或多个QoS参数包括以下各项中的一项和多项：分组延迟；分组丢失率；分组丢弃率；物理PHY速率；有效吞吐量；UE吞吐量；蜂窝小区吞吐量；抖动；α公平性；信道质量指标CQI相关测量；调制编码方案MCS相关测量；物理资源块PRB利用率；每个NAN的无线电利用率水平；以及数据量。
15.如权利要求1-3、5-9、11和13-14中任一项所述的设备，其特征在于，所述设备是边缘计算节点，其中所述边缘计算节点是多接入边缘计算MEC服务器/主机或开放RAN联盟O-RAN无线接入网络RAN智能控制器RIC。
16.一种用于提供基于强化学习RL的通信量管理策略的设备，所述设备包括：
数据收集装置，用于从环境内的一个或多个数据源收集观察数据；以及
用于以下操作的RL装置：
基于所收集的观察数据来确定所述环境的状态；以及
通过将所确定的状态应用于策略来确定一个或多个动作，其中所确定的一个或多个动作包括对应的多接入UE的相应的通信量管理策略，所述相应的通信量管理策略中的每一个通信量定向策略和通信量拆分策略中的一者或多者，并且所述一个或多个动作用于使所述对应的多接入UE根据所述相应的通信量管理策略执行一个或多个操作；以及
性能保证装置，用于训练所述RL装置以使性能降级的风险最小化。
17.如权利要求16所述的设备，其特征在于，所述性能保证装置包括用于使用探索算法确定引导式探索动作集合的引导式探索装置。
18.如权利要求17所述的设备，其特征在于，所述探索算法是基于规则的算法、基于模型的启发式算法或预训练的机器学习算法。
19.如权利要求17所述的设备，其特征在于，所述探索算法包括以下各项中的一项或多项：ε-贪婪；softmax函数；基于好奇心的探索；置信度上界UCB；波尔兹曼探索；汤普森采样；熵损失项；基于噪声的探索；内在奖励(奖金)探索；基于计数的探索；基于预测的探索；面对不确定性的乐观探索；霍夫丁不等式；状态动作探索；参数探索；事件记忆探索；直接探索；或Q值探索。
20.如权利要求16-19中任一项所述的设备，其特征在于，所述性能保证装置包括：实施安全性动作空间ESAS装置，用于确定可接受的动作范围或者由所述一个或多个动作的一个或多个线性或非线性函数描述的约束集合。
21.如权利要求20所述的设备，其特征在于，所述性能保证装置包括：机会探索控制OEC装置，用于标识所述一个或多个动作的一个或多个高风险动作，并将所述一个或多个高风险动作应用于测试流或具有比其他流更不严格的QoS目标的流。
22.如权利要求21所述的设备，其特征在于，所述性能保证装置包括：早期警告装置，用于在一个或多个性能度量满足或超过对应的阈值时触发对备用模型的实现，其中所述一个或多个性能度量包括：一个或多个数据流的单程延迟的平均值、一个或多个数据流的端到端e2e延迟的平均值、延迟变化趋势、缓冲器累积；信道质量指标CQI变化趋势；以及调制和编码方案MCS分布趋势。
23.一种或多种计算机可读介质NTCRM，包括用于提供基于情境老虎机CB的通信量管理策略的指令，其中处理器电路系统对所述指令的执行用于使所述处理器电路系统：
从环境内的一个或多个数据源收集观察数据；
基于所收集的观察数据来确定所述环境的状态；以及
操作CB模型以基于所确定的状态来确定一个或多个动作，其中所确定的一个或多个动作包括对应的多接入UE的相应的通信量管理策略，所述相应的通信量管理策略中的每一个包括通信量定向策略和通信量拆分策略中的一者或多者，并且所述一个或多个动作用于使所述对应的多接入UE根据所述相应的通信量管理策略执行一个或多个操作，其中对所述一个或多个动作的确定包括：
操作所述CB模型的表示网络，以获得要向其提供动作推荐的目标UE的观察数据的表示，所述目标UE处于所述对应的多接入UE之中；
操作所述CB模型的代理网络，以根据当前策略和探索噪声选择所述一个或多个动作中的动作，并将所选择的动作部署到所述目标UE。
操作评论方网络，以确定对所述所选择的动作的反馈；
基于所述所选择的动作的性能来收集奖励；以及
将所述所选择的动作、所述状态和所收集的奖励存储在重放缓冲器中。
24.如权利要求23所述的一种或多种NTCRM，其特征在于，所述指令的执行用于使所述处理器电路系统：
使用概率或使用现有的启发式算法对所选择的动作的动作空间进行随机采样，以选择所述动作：
从所述重放缓冲器中随机采样出迷你批次；
根据所收集的奖励确定时间差误差计算的目标；
训练所述评论方网络以最小化损失函数；以及
使用策略梯度训练所述行为方网络，以最大化奖励函数。
25.如权利要求23或24所述的一种或多种NTCRM，其特征在于，所述观察数据包括以下各项中的一项或多项：分组延迟；分组丢失率；分组丢弃率；PHY速率；有效吞吐量；UE吞吐量；蜂窝小区吞吐量；抖动；α公平性；CQI相关测量；MCS相关测量；PRB利用率；每个NAN的无线电利用率水平；以及数据量。
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163164440P | 2021-03-22 | 2021-03-22 | |
| US63/164,440 | 2021-03-22 | ||
| US202163165015P | 2021-03-23 | 2021-03-23 | |
| US202163165011P | 2021-03-23 | 2021-03-23 | |
| US63/165,011 | 2021-03-23 | ||
| US63/165,015 | 2021-03-23 | ||
| US17/484,743 US20220014963A1 (en) | 2021-03-22 | 2021-09-24 | Reinforcement learning for multi-access traffic management |
| US17/484,743 | 2021-09-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115119331A true CN115119331A (zh) | 2022-09-27 |
Family
ID=79173260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210163603.8A Pending CN115119331A (zh) | 2021-03-22 | 2022-02-22 | 用于多接入通信量管理的强化学习 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220014963A1 (zh) |
| CN (1) | CN115119331A (zh) |
| DE (1) | DE102022200847A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115570228A (zh) * | 2022-11-22 | 2023-01-06 | 苏芯物联技术(南京)有限公司 | 一种焊接管道供气智能反馈控制方法与系统 |
| WO2024069208A1 (en) * | 2022-09-28 | 2024-04-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Managing conflicts between radio access network automation applications in a communication network |
| CN117938669A (zh) * | 2024-03-25 | 2024-04-26 | 贵州大学 | 一种面向6g普惠智能服务的网络功能链自适应编排方法 |
| WO2024164893A1 (zh) * | 2023-02-06 | 2024-08-15 | 大唐移动通信设备有限公司 | 一种信息处理方法、设备及可读存储介质 |
| CN118675658A (zh) * | 2024-08-20 | 2024-09-20 | 厦门市政工程有限公司 | 基于大数据的污水加药效果预测方法及系统 |
| TWI860039B (zh) | 2022-10-24 | 2024-10-21 | 日商軟銀股份有限公司 | 程序執行控制方法及程式 |
Families Citing this family (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3086493B1 (fr) * | 2018-09-20 | 2020-08-28 | Renault Sas | Procede de reattribution d’un serveur peripherique de traitement de donnees |
| US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
| US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
| US11511413B2 (en) * | 2020-06-12 | 2022-11-29 | Huawei Technologies Co. Ltd. | Systems and methods for learning reusable options to transfer knowledge between tasks |
| WO2022031819A1 (en) * | 2020-08-05 | 2022-02-10 | Avesha, Inc. | Performing load balancing self adjustment within an application environment |
| US12126675B2 (en) | 2020-08-05 | 2024-10-22 | Avesha, Inc. | Distributed computing system employing application slice overlay networks |
| US20220051135A1 (en) * | 2020-08-14 | 2022-02-17 | Samsung Electronics Co., Ltd. | Load balancing using data-efficient learning |
| EP4208990A1 (en) * | 2020-09-01 | 2023-07-12 | Telefonaktiebolaget LM Ericsson (PUBL) | A method of supporting packet flow descriptor management in a service based architecture based telecommunication network |
| US11693837B2 (en) * | 2020-09-18 | 2023-07-04 | Databricks, Inc. | Model ML registry and model serving |
| US11751115B2 (en) | 2020-11-06 | 2023-09-05 | Samsung Electronics Co., Ltd. | Hierarchical policy learning for hybrid communication load balancing |
| CN114912041A (zh) * | 2021-01-29 | 2022-08-16 | 伊姆西Ip控股有限责任公司 | 信息处理方法、电子设备和计算机程序产品 |
| US11758460B1 (en) * | 2021-02-02 | 2023-09-12 | T-Mobile Usa, Inc. | Managing local application connectivity in a multi-network environment |
| US11836551B2 (en) | 2021-03-05 | 2023-12-05 | Vmware, Inc. | Active and standby RICs |
| US20220283840A1 (en) | 2021-03-05 | 2022-09-08 | Vmware, Inc. | Configuring direct access to hardware accelerator in an o-ran system |
| US20220286894A1 (en) * | 2021-03-08 | 2022-09-08 | Zscaler, Inc. | Intelligent steering in 5G |
| WO2022217503A1 (zh) * | 2021-04-14 | 2022-10-20 | 深圳大学 | 一种面向云网融合的多接入边缘计算架构 |
| US20220350675A1 (en) | 2021-05-03 | 2022-11-03 | Avesha, Inc. | Distributed computing system with multi tenancy based on application slices |
| US11729654B2 (en) * | 2021-05-05 | 2023-08-15 | Qualcomm Incorporated | Communication techniques between a radio unit and a distributed unit via an application programming interface |
| GB2608268A (en) * | 2021-06-10 | 2022-12-28 | Samsung Electronics Co Ltd | Improvements in and relating to cell configuration in a telecommunication system |
| US11895531B2 (en) * | 2021-07-05 | 2024-02-06 | Samsung Electronics Co., Ltd. | Method and device for regulating flow of data transmission in a wireless network |
| US20230028934A1 (en) * | 2021-07-13 | 2023-01-26 | Vmware, Inc. | Methods and decentralized systems that employ distributed machine learning to automatically instantiate and manage distributed applications |
| EP4378197A1 (en) * | 2021-07-29 | 2024-06-05 | Nokia Technologies Oy | System and method for dynamic policy generation in near-real time (rt) radio access network intelligent controller (ric) for adaptive applications |
| US11665596B2 (en) * | 2021-08-24 | 2023-05-30 | At&T Intellectual Property I, L.P. | Planning of fixed wireless internet |
| US12041483B2 (en) * | 2021-09-03 | 2024-07-16 | Cisco Technology, Inc. | Wireless network contention reduction through dynamic radio frequency parameters |
| US11606737B1 (en) * | 2021-10-15 | 2023-03-14 | Peltbeam Inc. | Communication system and method for a 5G mesh network for enhanced coverage |
| EP4184804A1 (en) * | 2021-11-17 | 2023-05-24 | Nokia Solutions and Networks Oy | Algorithm for mitigation of impact of uplink/downlink beam mis-match |
| US11832314B2 (en) * | 2021-12-14 | 2023-11-28 | Korea University Research And Business Foundation | Deep reinforcement learning-based random access method for low earth orbit satellite network and terminal for the operation |
| CN118891911A (zh) * | 2022-01-14 | 2024-11-01 | 诺基亚通信公司 | 无线电接入网中的组机器学习（ml）模型 |
| US20240250870A1 (en) * | 2022-01-18 | 2024-07-25 | Rakuten Mobile, Inc. | Structure of system and/or data of the near-rt ric of the o-ran |
| FI20225055A1 (en) * | 2022-01-25 | 2023-07-26 | Nokia Solutions & Networks Oy | XXX |
| IL314648A (en) * | 2022-01-31 | 2024-09-01 | Booz Allen Hamilton Inc | End-based routing software instance, device, and method |
| CN114170560B (zh) * | 2022-02-08 | 2022-05-20 | 深圳大学 | 一种基于深度强化学习的多设备边缘视频分析系统 |
| WO2023159058A1 (en) * | 2022-02-15 | 2023-08-24 | Commscope Technologies Llc | Apparatus and method for tracing open radio access network (o-ran) interfaces |
| WO2023164096A1 (en) * | 2022-02-28 | 2023-08-31 | Intel Corporation | E2sm kpm reporting structure |
| US12056478B2 (en) * | 2022-03-04 | 2024-08-06 | Verizon Patent And Licensing Inc. | Application hosting, monitoring, and management within a container hosting environment |
| US11700191B1 (en) * | 2022-03-11 | 2023-07-11 | Dell Products L.P. | Packet replication for delay-sensitive traffic |
| CN114449482B (zh) * | 2022-03-11 | 2024-05-14 | 南京理工大学 | 基于多智能体深度强化学习的异构车联网用户关联方法 |
| WO2023178168A1 (en) * | 2022-03-15 | 2023-09-21 | Commscope Technologies Llc | Systems and methods for automatic x2-u/xn-u link selection |
| CN114338504B (zh) * | 2022-03-15 | 2022-07-08 | 武汉烽火凯卓科技有限公司 | 一种基于网络边缘系统的微服务部署和路由方法 |
| US20230300679A1 (en) * | 2022-03-21 | 2023-09-21 | Mediatek Inc. | User equipment with non-network-decided access traffic steering, switching and splitting policy determination and associated wireless communication method |
| WO2023187687A1 (en) * | 2022-03-29 | 2023-10-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Ue autonomous actions based on ml model failure detection |
| TWI812134B (zh) * | 2022-03-30 | 2023-08-11 | 緯創資通股份有限公司 | 行動通訊系統之決定上行鏈路方法、分散單元裝置及連接用戶平面功能之方法 |
| KR20230143210A (ko) * | 2022-03-31 | 2023-10-12 | 한양대학교 에리카산학협력단 | 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치 |
| US11777818B1 (en) * | 2022-04-04 | 2023-10-03 | Oracle International Corporation | Drift resolver for enterprise applications |
| EP4258730A1 (en) * | 2022-04-05 | 2023-10-11 | Mavenir Systems, Inc. | Method and apparatus for programmable and customized intelligence for traffic steering in 5g networks using open ran architectures |
| WO2023199098A1 (en) * | 2022-04-14 | 2023-10-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Safe exploration for automated network optimization using ml explainers |
| WO2023200885A1 (en) * | 2022-04-14 | 2023-10-19 | Dish Wireless L.L.C. | Telecommunication service provider controlling an underlay network in cloud service provider environment |
| US11843537B2 (en) | 2022-04-14 | 2023-12-12 | Dish Wireless L.L.C. | Telecommunication service provider controlling an underlay network in cloud service provider environment |
| CN117040708A (zh) * | 2022-05-09 | 2023-11-10 | 北京三星通信技术研究有限公司 | 由基站或网络节点执行的方法及相关设备 |
| US20230370892A1 (en) * | 2022-05-12 | 2023-11-16 | Verizon Patent And Licensing Inc. | Systems and methods for identifying and correcting issues associated with a wireless network |
| WO2023234815A1 (en) * | 2022-06-03 | 2023-12-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Network node and method performed therein |
| US11601379B1 (en) * | 2022-06-08 | 2023-03-07 | T-Mobile Innovations Llc | System and method for dynamic physical resource block allocation across networks using a virtualization layer |
| WO2023244148A1 (en) * | 2022-06-15 | 2023-12-21 | Telefonaktiebolaget Lm Ericsson (Publ) | First node and methods performed thereby for handling transfer of groups of devices |
| US20230413076A1 (en) * | 2022-06-15 | 2023-12-21 | Microsoft Technology Licensing, Llc | Calculating and exposing network capacity and congestion to applications |
| FR3137244A1 (fr) * | 2022-06-27 | 2023-12-29 | Orange | Procédés de fourniture et de collecte, station de base, dispositif de collecte et d’analyse de données et système |
| WO2024012679A1 (en) * | 2022-07-14 | 2024-01-18 | Nokia Solutions And Networks Oy | Apparatuses, methods and computer program products for routing data using multi-agent federated learning |
| US20240224118A1 (en) * | 2022-07-28 | 2024-07-04 | Rakuten Mobile, Inc. | Apparatus and method for providing resource management policy in telecommunications system |
| WO2024023555A1 (en) * | 2022-07-28 | 2024-02-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Managing communication network resources per user session based on user quality of experience (qoe) |
| US20240241566A1 (en) * | 2022-08-12 | 2024-07-18 | Rakuten Mobile, Inc. | Apparatus and method for implementing o-cloud node c-state change |
| CN117882426A (zh) * | 2022-08-12 | 2024-04-12 | 北京小米移动软件有限公司 | Csi上报方法、装置、设备及系统 |
| WO2024035418A1 (en) * | 2022-08-12 | 2024-02-15 | Rakuten Mobile, Inc. | Apparatus and method for implementing o-cloud node p-state change |
| WO2024031692A1 (zh) * | 2022-08-12 | 2024-02-15 | 富士通株式会社 | Ai/ml模型的监测方法和装置 |
| US20240250878A1 (en) * | 2022-08-25 | 2024-07-25 | Rakuten Symphony Singapore Pte. Ltd. | System and method for providing a cloud resource optimization policy in telecommunications system |
| CN118844084A (zh) * | 2022-08-25 | 2024-10-25 | 乐天移动株式会社 | 用于电信系统中的o-cloud节点重配置的系统和方法 |
| WO2024048803A1 (ko) * | 2022-08-29 | 2024-03-07 | 엘지전자 주식회사 | 무선 통신 시스템에서 불연속 수신 동작에 관련된 파라미터를 설정하기 위한 장치 및 방법 |
| WO2024046549A1 (en) * | 2022-08-31 | 2024-03-07 | Nokia Solutions And Networks Oy | Ai/ml-based method for producing a telecommunication protocol automatically |
| WO2024064021A1 (en) * | 2022-09-22 | 2024-03-28 | Apple Inc. | Training and reporting ai/ml models in wireless networks based on context information |
| GB202214434D0 (en) * | 2022-09-30 | 2022-11-16 | Samsung Electronics Co Ltd | Methods and apparatus for ai/ml traffic detection |
| WO2024071762A1 (ko) * | 2022-09-30 | 2024-04-04 | 삼성전자주식회사 | 가입 검사를 위한 전자 장치 및 방법 |
| TWI822402B (zh) * | 2022-10-20 | 2023-11-11 | 光寶科技股份有限公司 | 決定換手目標的方法及裝置 |
| WO2024155357A2 (en) * | 2022-11-28 | 2024-07-25 | Northeastern University | Intelligent network for beyond line of sight operation of unmanned aerial vehicles |
| WO2024136932A1 (en) * | 2022-12-19 | 2024-06-27 | Vmware, Inc. | Provisioning and deploying ran applications in a ran system |
| US20240205806A1 (en) * | 2022-12-19 | 2024-06-20 | Vmware, Inc. | Provisioning and deploying ran applications in a ran system |
| WO2024143602A1 (ko) * | 2022-12-28 | 2024-07-04 | 엘지전자 주식회사 | 무선 통신 시스템에서 신호를 송수신하는 방법 및 이를 지원하는 장치 |
| WO2024143606A1 (ko) * | 2022-12-28 | 2024-07-04 | 엘지전자 주식회사 | 무선 통신 시스템에서 신호를 송수신하는 방법 및 이를 지원하는 장치 |
| WO2024183933A1 (en) * | 2023-03-03 | 2024-09-12 | Telefonaktiebolaget Lm Ericsson (Publ) | Operation of agents in a communication network |
| WO2024199670A1 (en) * | 2023-03-31 | 2024-10-03 | Nokia Solutions And Networks Oy | Methods, apparatus and computer programs |
| US20240340215A1 (en) * | 2023-04-07 | 2024-10-10 | Microsoft Technology Licensing, Llc | Discovering and retrieving management data in a telecommunications network |
| EP4447392A1 (en) * | 2023-04-13 | 2024-10-16 | Centre Tecnologic De Telecomunicacions De Catalunya (Cttc) | Distributed intelligence for evolved open radio access network management and corresponding method |
| CN118828561A (zh) * | 2023-04-21 | 2024-10-22 | 大唐移动通信设备有限公司 | A1策略的升级方法、装置及存储介质 |
| JP7554890B1 (ja) | 2023-08-21 | 2024-09-20 | 京セラ株式会社 | 通信制御方法及びノード |
| CN118555578B (zh) * | 2024-07-29 | 2024-10-01 | 华东交通大学 | 基于深度强化学习的车联网移动边缘计算服务部署方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509463B (zh) * | 2017-02-28 | 2022-03-29 | 华为技术有限公司 | 一种问题的应答方法及装置 |
| EP3788815A1 (en) * | 2018-05-02 | 2021-03-10 | Telefonaktiebolaget Lm Ericsson (Publ) | First network node, third network node, and methods performed thereby, for handling a performance of a radio access network |
| US10999760B2 (en) * | 2019-05-09 | 2021-05-04 | At&T Intellectual Property I, L.P. | Collective intelligence-based cell congestion detection in mobile telecommunications networks |
| US11373108B2 (en) * | 2019-07-10 | 2022-06-28 | Microsoft Technology Licensing, Llc | Reinforcement learning in real-time communications |
| US11922305B2 (en) * | 2020-06-04 | 2024-03-05 | Salesforce, Inc. | Systems and methods for safe policy improvement for task oriented dialogues |
| US20220121941A1 (en) * | 2020-10-20 | 2022-04-21 | William Goldberg | Driving stochastic agents to engage in targeted actions with time-series machine learning models updated with active learning |
-
2021
- 2021-09-24 US US17/484,743 patent/US20220014963A1/en active Pending
-
2022
- 2022-01-26 DE DE102022200847.2A patent/DE102022200847A1/de active Pending
- 2022-02-22 CN CN202210163603.8A patent/CN115119331A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024069208A1 (en) * | 2022-09-28 | 2024-04-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Managing conflicts between radio access network automation applications in a communication network |
| TWI860039B (zh) | 2022-10-24 | 2024-10-21 | 日商軟銀股份有限公司 | 程序執行控制方法及程式 |
| CN115570228A (zh) * | 2022-11-22 | 2023-01-06 | 苏芯物联技术(南京)有限公司 | 一种焊接管道供气智能反馈控制方法与系统 |
| WO2024164893A1 (zh) * | 2023-02-06 | 2024-08-15 | 大唐移动通信设备有限公司 | 一种信息处理方法、设备及可读存储介质 |
| CN117938669A (zh) * | 2024-03-25 | 2024-04-26 | 贵州大学 | 一种面向6g普惠智能服务的网络功能链自适应编排方法 |
| CN118675658A (zh) * | 2024-08-20 | 2024-09-20 | 厦门市政工程有限公司 | 基于大数据的污水加药效果预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220014963A1 (en) | 2022-01-13 |
| DE102022200847A1 (de) | 2022-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220014963A1 (en) | Reinforcement learning for multi-access traffic management | |
| US12101634B2 (en) | Technologies for radio equipment cybersecurity and multiradio interface testing | |
| NL2033617B1 (en) | Resilient radio resource provisioning for network slicing | |
| US20220086218A1 (en) | Interoperable framework for secure dual mode edge application programming interface consumption in hybrid edge computing platforms | |
| US11711284B2 (en) | Link performance prediction technologies | |
| US12132790B2 (en) | Quality of service (QoS) management in edge computing environments | |
| US20220124543A1 (en) | Graph neural network and reinforcement learning techniques for connection management | |
| US11234204B2 (en) | Server selection for vehicle communications and applications | |
| US11729440B2 (en) | Automated resource management for distributed computing | |
| US20220224776A1 (en) | Dynamic latency-responsive cache management | |
| US20220109622A1 (en) | Reliability enhancements for multi-access traffic management | |
| US20220353732A1 (en) | Edge computing technologies for transport layer congestion control and point-of-presence optimizations based on extended inadvance quality of service notifications | |
| US20220303331A1 (en) | Link performance prediction and media streaming technologies | |
| US20220167262A1 (en) | Server selection for vehicle communications and applications | |
| US20230072769A1 (en) | Multi-radio access technology traffic management | |
| US20240259879A1 (en) | Radio access network intelligent application manager | |
| CN114173374A (zh) | 多接入管理服务分组分类和优先级排定技术 | |
| US20230006889A1 (en) | Flow-specific network slicing | |
| US20240305533A1 (en) | Radio resource planning and slice-aware scheduling for intelligent radio access network slicing | |
| EP4203549A2 (en) | Technologies for network path and topology management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |