Nothing Special   »   [go: up one dir, main page]

WO2024116293A1 - 特徴量作成装置、特徴量作成方法およびプログラム - Google Patents

特徴量作成装置、特徴量作成方法およびプログラム Download PDF

Info

Publication number
WO2024116293A1
WO2024116293A1 PCT/JP2022/044039 JP2022044039W WO2024116293A1 WO 2024116293 A1 WO2024116293 A1 WO 2024116293A1 JP 2022044039 W JP2022044039 W JP 2022044039W WO 2024116293 A1 WO2024116293 A1 WO 2024116293A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
distribution function
learning data
feature creation
creation device
Prior art date
Application number
PCT/JP2022/044039
Other languages
English (en)
French (fr)
Inventor
友輝 山田
友哉 小杉
聡 鈴木
絵莉奈 竹下
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/044039 priority Critical patent/WO2024116293A1/ja
Publication of WO2024116293A1 publication Critical patent/WO2024116293A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Definitions

  • This disclosure relates to a feature creation device, a feature creation method, and a program.
  • Non-Patent Document 1 describes that the required bandwidth can be estimated with high accuracy by predicting (distribution estimation) the traffic generation probability distribution (traffic distribution).
  • Non-Patent Document 1 also describes a technology that predicts the traffic generation probability distribution from traffic data and a flow feature vector (a vector that represents information on the peak rate of each flow for multiple incoming flows), and calculates the required bandwidth using the traffic generation probability distribution and the future flow feature vector.
  • Distribution estimation requires prediction of the parameters of the distribution function (e.g., mean and variance for normal distribution).
  • Non-Patent Document 2 describes a technique for creating features that are more effective for prediction by performing arithmetic operations or numerical transformations such as logarithms. By applying this technique, it is conceivable that features that are highly correlated with the target to be predicted (e.g., traffic) can be created through numerical transformation.
  • Non-Patent Document 2 the pattern of numerical conversion required to create effective features differs for each prediction, so advanced technology and a lot of time are required to find the pattern of numerical conversion and create features that are effective for prediction.
  • the objective of this disclosure is to provide a feature creation device, feature creation method, and program that can create features that are correlated with each of multiple parameters of a distribution function, thereby improving the accuracy of distribution function estimation.
  • the feature creation device disclosed herein is a feature creation device that creates features correlated with one or more parameters of a distribution function in estimating the distribution function using deep learning, and includes a distribution estimation unit that acquires training data for estimating the distribution function and a first feature related to the training data, estimates the distribution function of the training data based on the training data and the first feature, and calculates the one or more parameters from the distribution function, and a feature creation unit that evaluates the correlation between the parameter and the first feature for each calculated parameter, and creates a second feature correlated with the parameter based on the result of the evaluation.
  • the feature creation method disclosed herein is a feature creation method by a feature creation device that creates features correlated with one or more parameters of a distribution function in estimating the distribution function using deep learning, and includes the steps of acquiring training data for estimating the distribution function and a first feature related to the training data, estimating a distribution function of the training data based on the training data and the first feature, and calculating the one or more parameters from the distribution function, and evaluating the correlation between the parameter and the first feature for each of the calculated parameters, and creating a second feature correlated with the parameter based on the result of the evaluation.
  • the program disclosed herein causes a computer to operate as the feature creation device described above.
  • the feature creation device, feature creation method, and program disclosed herein can create features that are correlated with each of the multiple parameters of a distribution function, improving the accuracy of distribution function estimation.
  • FIG. 1 is a diagram illustrating an example configuration of a prediction system including a feature creation device according to an embodiment of the present disclosure.
  • FIG. 1 illustrates an example of the configuration of a feature creation device according to the present disclosure.
  • 2 is a flowchart showing an example of the operation of the prediction system shown in FIG. 1 .
  • 4 is a flowchart for explaining the processes of steps S1 and S2 shown in FIG. 3 in more detail.
  • 3 is a diagram showing an example of the configuration of a first table created by a storage unit shown in FIG. 2 ;
  • 3 is a diagram showing an example of the configuration of a second table created by the distribution estimation unit shown in FIG. 2 .
  • 3 is a diagram showing an example of the configuration of a third table created by the feature creating unit shown in FIG. 2 .
  • FIG. 4 is a flowchart for explaining the processes of steps S3 and S4 shown in FIG. 3 in more detail.
  • 3 is a diagram showing an example of the configuration of a fourth table created by the feature creating unit shown in FIG. 2 .
  • 4 is a flowchart for explaining the processes of steps S5 and S6 shown in FIG. 3 in more detail.
  • 4 is a diagram showing an example of the configuration of a fifth table created by the feature creating unit shown in FIG. 2 .
  • 10 is a flowchart showing another example of the operation of the feature creation unit shown in FIG. 2 .
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the feature creation device illustrated in FIG. 2 .
  • FIG. 1 is a diagram showing an example configuration of a prediction system 1 including a feature creation device 10 according to an embodiment of the present disclosure.
  • the prediction system 1 predicts (estimates distribution) the future occurrence probability distribution (distribution function) of a prediction target from past data of the prediction target.
  • the prediction target is traffic in a communication network, but the present disclosure is not limited to this.
  • the prediction system 1 includes a traffic collection device 2, a feature data source 3, a feature creation device 10, and a traffic distribution estimation device 4.
  • the traffic collection device 2 is a device that collects traffic data, which is the total of the traffic flowing through multiple lines between communication devices, at a predetermined time interval (for example, every 5 minutes). The traffic collection device 2 outputs the acquired traffic data to the feature creation device 10 and the traffic distribution estimation device 4 as learning data.
  • the feature data source 3 is a database in which features related to the learning data are registered.
  • the feature data source 3 is a database in which features of each of multiple lines in a communication network are registered.
  • Features include information that affects traffic in the communication network, such as service information indicating services provided for each line and option information indicating options added to each line. This information is registered in the feature data source 3 based on, for example, contract information for each line.
  • the feature registered in the feature data source 3 is referred to as the first feature.
  • the feature data source 3 outputs the registered first feature to the feature creation device 10.
  • the feature creation device 10 creates features correlated with one or more parameters of a distribution function in estimating the distribution function using deep learning.
  • the feature creation device 10 receives traffic data (learning data) from the traffic collection device 2 and a first feature from the feature data source 3.
  • the operation phases of the feature creation device 10 include a learning phase and an estimation phase.
  • the feature creation device 10 estimates a distribution function of traffic data based on the traffic data input as learning data and the first feature. Then, for each of one or more parameters of the estimated distribution function, the feature creation device 10 creates a second feature correlated with the parameter. If the distribution function is a normal distribution, the parameters are variance ⁇ 2 and mean ⁇ . In this case, the feature creation device 10 creates, as the second feature, a feature correlated with variance ⁇ 2 and a feature correlated with mean ⁇ .
  • the feature creation device 10 converts the first feature input for estimating the distribution function based on the correspondence between the first feature and the second feature to create the second feature.
  • the feature creation device 10 outputs the created second feature to the traffic distribution estimation device 4.
  • the traffic distribution estimation device 4 creates a trained model that estimates a traffic distribution function based on the traffic data output from the traffic collection device 2 and the second feature output from the feature creation device 10.
  • the traffic distribution estimation device 4 inputs the second feature created from the first feature for estimation output from the feature creation device 10 into the created trained model, and estimates the traffic distribution function.
  • Figure 2 is a diagram showing an example of the configuration of the feature creation device 10 according to this embodiment.
  • the feature creation device 10 includes a memory unit 11, a distribution estimation unit 12, and a feature creation unit 13.
  • the storage unit 11 stores the traffic data output from the traffic collection device 2 and the first feature output from the feature data source 3.
  • the storage unit 11 also stores various tables created by the distribution estimation unit 12 and the feature creation unit 13, which will be described later.
  • the distribution estimation unit 12 acquires the traffic data as learning data and the first feature amount stored in the storage unit 11.
  • the distribution estimation unit 12 estimates a traffic distribution function based on the acquired traffic data and the first feature amount, and calculates one or more parameters from the estimated distribution function.
  • the feature creation unit 13 evaluates the correlation between each parameter calculated by the distribution estimation unit 12 and the first feature, and creates a second feature that correlates with the parameter based on the evaluation result.
  • the created second feature is output to the traffic distribution estimation device 4 via the storage unit 11.
  • FIG. 3 is a flowchart showing an example of the operation of the prediction system 1, and is a diagram for explaining the feature creation method by the feature creation device 10 according to this embodiment.
  • the feature creation device 10 acquires traffic data from the traffic collection device 2 and acquires a first feature from the feature data source 3 (step S1).
  • the feature creation device 10 estimates a traffic distribution function based on the acquired traffic data and the first feature (step S2).
  • the feature creation device 10 creates a second feature that correlates with each of one or more parameters of the estimated distribution function (step S3).
  • the traffic distribution estimation device 4 creates a trained model that estimates the traffic distribution function based on the traffic data and the second feature created by the feature creation device 10 (step S4).
  • the learning phase ends with the creation of the trained model.
  • the feature creation device 10 acquires first features for estimating the distribution function of future traffic from the feature data source 3.
  • the feature creation device 10 converts the acquired first features to create second features based on the correspondence between the first features and second features created from the first features (step S5).
  • the traffic distribution estimation device 4 inputs the second feature output from the feature creation device 10 into the created trained model and estimates the distribution function of the traffic data (step S6).
  • the distribution function is assumed to be a normal distribution, and the parameters of the distribution function are variance ⁇ 2 and mean ⁇ .
  • the target of estimation of the distribution function is assumed to be the total of the traffic flowing through lines 1 to 4 (hereinafter, may be simply referred to as "traffic").
  • the first feature amount can be A, B, C, etc.
  • the first feature amount is, for example, service information for each line that is determined by a contract or the like.
  • FIG. 4 is a flowchart showing the processing of steps S1 and S2 shown in FIG. 3 in more detail.
  • the storage unit 11 acquires traffic data and a first feature on date i. As described above, the storage unit 11 acquires traffic data from the traffic collection device 2, and acquires a first feature from the feature data source 3. The storage unit 11 creates and saves a first table including the acquired traffic data and first feature (step S11).
  • FIG. 5 shows an example of the configuration of the first table stored in the memory unit 11.
  • the traffic data is data collected at a specified time interval (hereinafter, 5-minute intervals).
  • the storage unit 11 stores the traffic data (traffic every 5 minutes in the example shown in FIG. 5) at each time on date i in the first table in association with date i as shown in FIG. 5 (step S11). Also, the storage unit 11 stores the first feature amount (A, B, C, ...) for each of the lines 1 to 4 on date i in association with date i as shown in FIG. 5. Note that FIG. 5 shows an example in which the traffic data and the first feature amount are stored on a daily basis, but the present disclosure is not limited to this. The storage unit 11 stores the traffic data and the first feature amount by collecting them in a predetermined period in which the first feature amount does not change.
  • the storage unit 11 may store the traffic data and the first feature amount by collecting them in a unit shorter than one day or in a unit longer than one day. Also, when there are multiple types of feature amounts as the first feature amount, the storage unit 11 may store each of the multiple types of feature amounts by collecting them in association with date i.
  • the process of step S11 corresponds to the process of step S1 shown in FIG. 3.
  • the distribution estimation unit 12 reads out the first table stored in the memory unit 11, and acquires the traffic and the first feature amount at each time on date i stored in the first table.
  • the distribution estimation unit 12 estimates a distribution function of the traffic on date i based on the acquired traffic and the first feature amount at each time on date i (step S21). For example, a normal distribution may be used as the distribution function.
  • the distribution estimation unit 12 estimates the distribution function of the traffic on date i using, for example, maximum likelihood estimation or the mean square method.
  • the distribution estimation unit 12 calculates parameters of the distribution function from the estimated distribution function of the traffic on date i. If the distribution function is a normal distribution, the distribution estimation unit 12 calculates the variance ⁇ 2 i and the mean ⁇ i from the distribution function of the traffic on date i and stores them in the storage unit 11 (step S22). Specifically, as shown in FIG. 6, the distribution estimation unit 12 creates a second table by adding the variance ⁇ 2 i and the mean ⁇ i calculated from the distribution function of the traffic on date i to the first table, and stores it in the storage unit 11.
  • the feature creation unit 13 reads out the second table stored in the storage unit 11 and counts the number of lines (n ai , n bi , n ci , ...) corresponding to each of the first feature amounts on date i stored in the second table (step S23). That is, the feature creation unit 13 counts the number of occurrences of each of the first feature amounts on date i. As shown in Fig. 7, the feature creation unit 13 creates a third table by adding the number of lines (n ai , n bi , n ci , ...) corresponding to each of the first feature amounts on date i to the second table, and stores the third table in the storage unit 11 (step S24). The processes in steps S21 to S24 correspond to the process in step S2 shown in Fig. 3.
  • step S24 After the process of step S24, 1 is added to i, and the process returns to step S11. Therefore, for each date (January 1, January 2, 7), the distribution function, the parameters ( ⁇ i , ⁇ 2 i ) of the distribution function, and the number of lines (n ai , n bi , n ci , ...) of each first feature amount are stored in the storage unit 11.
  • the process shown in Fig. 4 may be started by manually specifying the date and time, or may be started automatically at a preset timing, for example.
  • FIG. 8 is a flowchart showing the processing of steps S3 and S4 shown in FIG. 3 in more detail.
  • the feature creation unit 13 reads out the third table stored in the storage unit 11, and evaluates the correlation between each parameter stored in the third table and the first feature (A, B, C, ). Specifically, the feature creation unit 13 performs multiple regression analysis shown in the following equations (1) and (2) with the parameters ( ⁇ 2 , ⁇ ) as dependent variables and the numbers of lines (n ai , n bi , n ci , ...) of each of the first feature as explanatory variables (steps S31, S33).
  • the feature creation unit 13 calculates, for the variance vector, coefficients ⁇ A , ⁇ B, and ⁇ C of the occurrence count vectors of the feature amounts A, B, and C, respectively, by multiple regression analysis based on equation (1). Also, for the average vector, the feature creation unit 13 calculates, for the average vector, coefficients ⁇ A, ⁇ B, and ⁇ C of the occurrence count vectors of the feature amounts A, B, and C , respectively, by multiple regression analysis based on equation (2).
  • the feature creation unit 13 creates a second feature based on the coefficient of the explanatory variable (the number of occurrences of the feature A, B, C) calculated by the multiple regression analysis. Specifically, the feature creation unit 13 quantifies the first feature A, B, C using the coefficients ⁇ A , ⁇ B , ⁇ C of the occurrence count vectors of the feature A, B, C, and creates a second feature correlated with the variance ⁇ 2 (step S32). The feature creation unit 13 also quantifies the first feature A, B, C using the coefficients ⁇ A , ⁇ B , ⁇ C of the occurrence count vectors of the feature A, B, C, and creates a second feature correlated with the average ⁇ (step S34). The feature creation unit 13 creates a second feature for each of the variance ⁇ 2 and the average ⁇ for each date i. The feature creation unit 13 creates a fourth table indicating the created second feature and stores it in the storage unit 11.
  • the feature creation unit 13 sets, for example, the coefficients ⁇ A , ⁇ B, and ⁇ C of the occurrence count vectors of the feature amounts A, B , and C as second feature amounts correlating with the variance ⁇ 2 .
  • the feature creation unit 13 also sets, for example, the coefficients ⁇ A, ⁇ B, and ⁇ C of the occurrence count vectors of the feature amounts A , B , and C as second feature amounts correlating with the average ⁇ . In this case, as shown in Fig.
  • the feature creation unit 13 creates a fourth table including second feature amounts correlating with the variance ⁇ 2 obtained by replacing the feature amounts A , B , and C with ⁇ A, ⁇ B, and ⁇ C, respectively, and second feature amounts correlating with the average ⁇ obtained by replacing the feature amounts A, B, and C with ⁇ A , ⁇ B , and ⁇ C, respectively.
  • the numerical conversion in steps SS32 and S34 provides a correspondence relationship between the first feature amount and the second feature amount.
  • the corresponding relationship is obtained in which the first feature amounts A, B, and C correspond to the second feature amounts ⁇ A , ⁇ B , and ⁇ C , respectively.
  • the corresponding relationship is obtained in which the first feature amounts A, B, and C correspond to the second feature amounts ⁇ A , ⁇ B , and ⁇ C , respectively.
  • the feature creation unit 13 performs steps S31 to S34 for each of the multiple first features.
  • the feature creation unit 13 may evaluate the correlation between each of the multiple parameters and the first feature by, for example, principal component analysis or multiple correlation analysis.
  • the number of occurrences of the first feature A, B, and C is used as an explanatory variable, but this is not limiting. If the first feature is a numerical value, the numerical value may be used as an explanatory variable to perform multiple regression analysis, etc.
  • the coefficient of the explanatory variable is used as the second feature as is, but this is not limiting.
  • the feature creation unit 13 may multiply the coefficient of the explanatory variable by a constant to obtain the second feature.
  • steps S31 to S34 described above correspond to the process in step S3 shown in FIG. 3.
  • the traffic distribution estimation device 4 reads out the fourth table stored in the storage unit 11.
  • the traffic distribution estimation device 4 creates a trained model for estimating a traffic distribution function based on the traffic data output from the traffic collection device 2 and the second feature amounts (the second feature amounts ⁇ A , ⁇ B , ⁇ C correlated with the variance ⁇ 2 and the second feature amounts ⁇ A , ⁇ B , ⁇ C correlated with the mean ⁇ ) shown in the read out fourth table (step S41).
  • the process of step S41 corresponds to the process of step S4 shown in FIG. 3.
  • FIG. 10 is a flowchart showing the processing of steps S5 and S6 shown in FIG. 3 in more detail.
  • the first feature (first feature related to the estimation target between distributions) on the date (January X) for which traffic is specified is output from the feature data source 3 and stored in the storage unit 11.
  • the feature creation unit 13 acquires the first feature for estimation stored in the storage unit 11 (step S61).
  • the feature creation unit 13 converts the acquired first feature into the second feature (creates the second feature) based on the correspondence between the first feature and the second feature for converting the first feature into the second feature in the learning phase described with reference to FIG. 8 (step S62).
  • the feature creation unit 13 creates a fifth table showing the second feature created by converting the first feature for each of the variance ⁇ 2 and the mean ⁇ , as shown in FIG. 11.
  • the processes of steps S51 and S52 correspond to the process of step S5 shown in FIG. 3.
  • the traffic distribution estimation device 4 reads out the fifth table stored in the memory unit 11, inputs the second feature value shown in the fifth table into the trained model, and estimates the distribution function of the traffic to be estimated (step S61).
  • the process of step S61 corresponds to the process of step S6 shown in FIG. 3.
  • the feature creation unit 13 may create a second feature by weighting the evaluation of the correlation with the first feature for each parameter.
  • Figure 12 is a diagram for explaining the operation of the feature creation unit 13 when weighting the evaluation of the correlation with the first feature. In Figure 12, the same processes as those in Figure 8 are given the same reference numerals, and the explanation will be omitted.
  • the feature creation unit 13 divides the learning data into learning data for each predetermined period. For example, the feature creation unit 13 divides the learning data, which is time-series data, into multiple pieces of learning data, such as learning data from January 1st to January 3rd, learning data from January 4th to January 5th, etc.
  • the feature creation unit 13 performs multiple regression analysis for each divided period, with the variance ⁇ 2 (variance vector) as the dependent variable and the number of occurrences of feature amounts A, B, and C (the vector of the number of occurrences of feature amounts A, B, and C) as the explanatory variable (step S35).
  • the feature creation unit 13 performs multiple regression analysis, with the variance ⁇ 2 for each date from January 1 to January 3 as the dependent variable and the number of occurrences of feature amounts A, B, and C as the explanatory variable.
  • the feature creation unit 13 performs multiple regression analysis, with the variance ⁇ 2 for each date from January 4 to January 5 as the dependent variable and the number of occurrences of feature amounts A, B, and C as the explanatory variable.
  • the feature creation unit 13 also performs multiple regression analysis for each divided period, with the average (average vector) as the dependent variable and the occurrence counts of feature amounts A, B, and C (occurrence count vector of feature amounts A, B, and C) as the explanatory variable (step S36).
  • the feature creation unit 13 performs multiple regression analysis, with the average ⁇ for each date from January 1st to January 3rd as the dependent variable and the occurrence counts of the first feature amounts A, B, and C as the explanatory variable.
  • the feature creation unit 13 also performs multiple regression analysis, with the average ⁇ for each date from January 4th to January 5th as the dependent variable and the occurrence counts of feature amounts A, B, and C as the explanatory variable.
  • the feature creation unit 13 averages the coefficients of the occurrence count vectors of the feature amounts A, B, and C calculated by multiple regression analysis for the variance ⁇ 2 , weighting them according to the period. The feature creation unit 13 then uses the average value to convert the first feature amounts A, B, and C to create second feature amounts correlated with the variance ⁇ 2 (step S37).
  • the feature creation unit 13 also weights the coefficients of the occurrence count vector of features A, B, and C calculated by multiple regression analysis for the average ⁇ according to the period and calculates the average. The feature creation unit 13 then uses this average value to convert the first features A, B, and C, and creates a second feature that correlates with the average ⁇ (step S38).
  • the feature creation unit 13 divides the time-series learning data into learning data for each predetermined period.
  • the feature creation unit 13 then weights the evaluation results for each divided learning data (e.g., the coefficients of explanatory variables calculated by multiple regression analysis) according to the period corresponding to the learning data, and creates a second feature.
  • FIG. 13 is a diagram showing an example of the hardware configuration of the feature creation device 10 according to this embodiment.
  • FIG. 13 shows an example of the hardware configuration of the feature creation device 10 when the feature creation device 10 is configured by a computer capable of executing program instructions.
  • the computer may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal computer), an electronic notepad, etc.
  • the program instructions may be program code, code segments, etc. for performing the required tasks.
  • the feature creation device 10 has a processor 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a storage 24, an input unit 25, a display unit 26, and a communication interface (I/F) 27.
  • the processor 21 is specifically a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc., and may be composed of multiple processors of the same or different types.
  • the processor 21 is a control unit that controls each component and executes various calculation processes. That is, the processor 21 reads a program from the ROM 22 or the storage 24, and executes the program using the RAM 23 as a working area. The processor 21 controls each of the components and executes various calculation processes according to the program stored in the ROM 22 or the storage 24. In this embodiment, the ROM 22 or the storage 24 stores a program for operating a computer as the feature creation device 10 according to the present disclosure. The program is read and executed by the processor 21 to realize each component of the feature creation device 10, i.e., the distribution estimation unit 12 and the feature creation unit 13.
  • the program may be provided in a form stored on a non-transitory storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory.
  • the program may also be provided in a form that allows it to be downloaded from an external device via a network.
  • ROM 22 stores various programs and various data.
  • RAM 23 temporarily stores programs or data as a working area.
  • Storage 24 is composed of a HDD (Hard Disk Drive) or SSD (Solid State Drive) and stores various programs and various data including the operating system.
  • the first to fifth tables described above may be stored in ROM 22, RAM 23 or storage 24.
  • the input unit 25 includes a pointing device such as a mouse and a keyboard, and is used to perform various input operations.
  • the display unit 26 is, for example, a liquid crystal display, and displays various information.
  • the display unit 26 may also function as the input unit 25 by adopting a touch panel system.
  • the communication interface 27 is an interface for communicating with other devices (e.g., a camera that photographs an object), and is, for example, an interface for a LAN.
  • a computer can be suitably used to function as each part of the feature creation device 10 described above.
  • Such a computer can be realized by storing a program describing the processing contents for realizing the functions of each part of the feature creation device 10 in the memory of the computer, and having the processor of the computer read and execute this program.
  • the program can cause the computer to function as the feature creation device 10 described above.
  • the program can also be stored in a non-transitory storage medium.
  • the program can also be provided over a network.
  • the feature creation device 10 includes a distribution estimation unit 12 and a feature creation unit 13.
  • the distribution estimation unit 12 acquires learning data for estimating a distribution function and a first feature related to the learning data.
  • the distribution estimation unit 12 estimates a distribution function of the learning data based on the acquired learning data and the first feature, and calculates one or more parameters from the distribution function.
  • the feature creation unit 13 evaluates, for each calculated parameter, the correlation between the parameter and the first feature, and creates a second feature correlated with the parameter based on the evaluation result.
  • the feature creation device 10 can analytically create a second feature that correlates with each of the multiple parameters, making it easier to create a second feature that correlates with each of the multiple parameters.
  • a feature creation device that creates a feature correlated with one or more parameters of a distribution function in estimating the distribution function using deep learning, the feature creation device comprising: Memory, A control unit connected to the memory; Equipped with The control unit is acquiring learning data for estimating the distribution function and a first feature amount related to the learning data, estimating a distribution function of the learning data based on the learning data and the first feature amount, and calculating the one or more parameters from the distribution function; a feature creation device that evaluates a correlation between the calculated parameter and the first feature for each of the calculated parameters, and creates a second feature correlated with the parameter based on a result of the evaluation.
  • control unit acquires the first feature amount related to a target for estimating a distribution function, and creates the second feature amount by converting the acquired first feature amount based on a correspondence relationship between the first feature amount related to the learning data and the created second feature amount.
  • control unit performs a multiple regression analysis with the parameter as a dependent variable and a number of occurrences of the first feature or a value of the first feature as an explanatory variable, and creates the second feature based on a coefficient of the explanatory variable calculated by the multiple regression analysis.
  • the learning data is time-series data
  • the control unit divides the learning data into learning data for each predetermined period, weights the evaluation result for each divided learning data according to the period corresponding to the learning data, and creates the second feature.
  • a feature creation method for estimating a distribution function using deep learning the feature creation method being performed by a feature creation device that creates a feature correlated with each of one or more parameters of the distribution function, the feature creation method comprising: acquiring learning data for estimating the distribution function and a first feature amount related to the learning data, estimating a distribution function of the learning data based on the learning data and the first feature amount, and calculating the one or more parameters from the distribution function; a feature creation method for creating a feature quantity by evaluating a correlation between the calculated parameter and the first feature quantity for each of the calculated parameters and creating a second feature quantity correlated with the parameter based on a result of the evaluation.
  • a non-transitory storage medium storing a program executable by a computer, the non-transitory storage medium storing the program causing the computer to operate as the feature creation device according to any one of claims 1 to 4.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本開示に係る特徴量作成装置（１０）は、分布関数の推定のための学習用データと、学習用データに関する第１の特徴量とを取得し、学習用データと、第１の特徴量とに基づいて、学習用データの分布関数を推定し、分布関数から前記１以上のパラメータを算出する分布推定部（１２）と、算出されたパラメータごとに、該パラメータと第１の特徴量との相関を評価し、評価の結果に基づき、パラメータと相関する第２の特徴量を作成する特徴量作成部（１３）と、を備える。

Description

特徴量作成装置、特徴量作成方法およびプログラム
　本開示は、特徴量作成装置、特徴量作成方法およびプログラムに関する。
　従来、通信ネットワークを設計する際には、将来の通信ネットワークの物理リンクの必要帯域を計算することにより、設備投資の効率化が図られている。非特許文献１には、トラヒックの発生確率分布（トラヒック分布）を予測（分布推定）することで、高精度に必要帯域を見積もることができることが記載されている。そして、非特許文献１には、トラヒックデータと、フロー特徴ベクトル（複数の着信フローの、フローごとのピークレートに関する情報を表すベクトル）とから、トラヒックの発生確率分布を予測し、トラヒックの発生確率分布と、将来のフロー特徴ベクトルとを用いて、必要帯域を計算する技術が記載されている。
　分布推定には、分布関数のパラメータ（例えば、正規分布なら平均および分散）の予測が必要である。
　機械学習では、特徴量エンジニアリングを用いた予測精度の向上が知られている。非特許文献２には、四則計算あるいは対数などの数値変換を行うことで、予測により効果的な特徴量を作成する技術が記載されている。この技術を適用することで、予測対象のターゲット（例えば、トラヒック）に対して相関の高い特徴量を数値変換により作成することが考えられる。
E. Takeshita, T. Kosugi, T. Yoshida, "Traffic Statistical Upper Limit Prediction from Flow Features in Network Provisioning", GLOBECOM 2021: 1-6 Udayan Khurana, et.al., "Cognito: Automated Feature Engineering for Supervised Learning", ICDMW 2016 ［令和４年１１月１８日検索］、インターネット＜ＵＲＬ：https://ieeexplore.ieee.org/abstract/document/7836821＞
　分布推定に特徴量エンジニアリングを適用する場合、予測対象の分布関数の全てのパラメータに対して相関が高い特徴量を作成することが考えられる。しかしながら、分布関数の全てのパラメータに対して相関が高い特徴量を常に作成することができるとは限らず、その結果、分布関数を高精度に予測することができないことがある。例えば、パラメータ同士の相関係数が小さい場合、全てのパラメータと相関する特徴量を作成することはできない。
　また、非特許文献２に記載の技術では、有効な特徴量を作成するための数値変換のパターンが予測ごとに異なるため、数値変換のパターンを見つけて予測に有効な特徴量を作成するには高度な技術と多くの時間が必要となる。
　上記のような問題点に鑑みてなされた本開示の目的は、分布関数の複数のパラメータそれぞれについて、当該パラメータと相関する特徴量を作成し、分布関数の推定の精度向上を図ることができる、特徴量作成装置、特徴量作成方法およびプログラムを提供することにある。
　上記課題を解決するための、本開示に係る特徴量作成装置は、深層学習を用いた分布関数の推定における、前記分布関数の１以上のパラメータそれぞれについて、該パラメータと相関する特徴量を作成する特徴量作成装置であって、前記分布関数の推定のための学習用データと、前記学習用データに関する第１の特徴量とを取得し、前記学習用データと、前記第１の特徴量とに基づいて、前記学習用データの分布関数を推定し、前記分布関数から前記１以上のパラメータを算出する分布推定部と、前記算出されたパラメータごとに、該パラメータと前記第１の特徴量との相関を評価し、前記評価の結果に基づき、前記パラメータと相関する第２の特徴量を作成する特徴量作成部と、を備える。
　また、上記課題を解決するため、本開示に係る特徴量作成方法は、深層学習を用いた分布関数の推定における、前記分布関数の１以上のパラメータそれぞれについて、該パラメータと相関する特徴量を作成する特徴量作成装置による特徴量作成方法であって、前記分布関数の推定のための学習用データと、前記学習用データに関する第１の特徴量とを取得し、前記学習用データと、前記第１の特徴量とに基づいて、前記学習用データの分布関数を推定し、前記分布関数から前記１以上のパラメータを算出するステップと、前記算出されたパラメータごとに、該パラメータと前記第１の特徴量との相関を評価し、前記評価の結果に基づき、前記パラメータと相関する第２の特徴量を作成するステップと、を含む。
　また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを、上述した特徴量作成装置として動作させる。
　本開示に係る特徴量作成装置、特徴量作成方法およびプログラムによれば、分布関数の複数のパラメータそれぞれについて、当該パラメータと相関する特徴量を作成し、分布関数の推定の精度向上を図ることができる
本開示の一実施形態に係る特徴量作成装置を含む予測システムの構成例を示す図である。 本開示に係る特徴量作成装置の構成例を示す図である。 図１に示す予測システムの動作の一例を示すフローチャートである。 図３に示すステップＳ１，Ｓ２の処理をより詳細に説明するためのフローチャートである。 図２に示す記憶部が作成する第１のテーブルの構成例を示す図である。 図２に示す分布推定部が作成する第２のテーブルの構成例を示す図である。 図２に示す特徴量作成部が作成する第３のテーブルの構成例を示す図である。 図３に示すステップＳ３，Ｓ４の処理をより詳細に説明するためのフローチャートである。 図２に示す特徴量作成部が作成する第４のテーブルの構成例を示す図である。 図３に示すステップＳ５，Ｓ６の処理をより詳細に説明するためのフローチャートである。 図２に示す特徴量作成部が作成する第５のテーブルの構成例を示す図である。 図２に示す特徴量作成部の動作の別の一例を示すフローチャートである。 図２に示す特徴量作成装置のハードウェア構成の一例を示す図である。
　以下、本開示の実施の形態について図面を参照して説明する。
　図１は、本開示の一実施形態に係る特徴量作成装置１０を含む予測システム１の構成例を示す図である。予測システム１は、予測対象の過去のデータから予測対象の将来の発生確率分布（分布関数）を予測（分布推定）するものである。以下では、予測対象は、通信ネットワークにおけるトラヒックである例を用いて説明するが、本開示はこれに限られるものではない。
　図１に示すように、予測システム１は、トラヒック収集装置２と、特徴量データソース３と、特徴量作成装置１０と、トラヒック分布推定装置４とを備える。
　トラヒック収集装置２は、通信装置間の複数の回線を流れるトラヒックを合計したトラヒックデータを所定の時間間隔（例えば、５分間隔）で収集する装置である。トラヒック収集装置２は、取得したトラヒックデータを学習用データとして、特徴量作成装置１０およびトラヒック分布推定装置４に出力する。
　特徴量データソース３は、学習用データに関する特徴量が登録されるデータベースである。本実施形態においては、特徴量データソース３は、通信ネットワークにおける複数の回線それぞれの特徴量が登録されるデータベースである。特徴量は、通信ネットワークにおけるトラヒックに影響する情報、例えば、回線ごとの提供サービスを示すサービス情報、回線ごとに付されたオプションを示すオプション情報などがある。これらの情報は、例えば、回線ごとの契約情報に基づき、特徴量データソース３に登録される。以下では、特徴量データソース3に登録される特徴量を第１の特徴量と称する。特徴量データソース３は、登録された第１の特徴量を特徴量作成装置１０に出力する。
　特徴量作成装置１０は、深層学習を用いた分布関数の推定における、分布関数の１以上のパラメータそれぞれについて、そのパラメータと相関する特徴量を作成する。特徴量作成装置１０は、トラヒック収集装置２からトラヒックデータ（学習用データ）が入力され、特徴量データソース３から第１の特徴量が入力される。特徴量作成装置１０の動作フェーズには、学習フェーズと、推定フェーズとがある。
　学習フェーズでは、特徴量作成装置１０は、学習用データとして入力されたトラヒックデータと、第１の特徴量とに基づき、トラヒックデータの分布関数を推定する。そして、特徴量作成装置１０は、推定した分布関数の１以上のパラメータそれぞれについて、当該パラメータと相関する第２の特徴量を作成する。分布関数が正規分布であるとすると、パラメータは分散σ２および平均μである。この場合、特徴量作成装置１０は、第２の特徴量として、分散σ２に相関する特徴量と、平均μに相関する特徴量とを作成する。
　推定フェーズでは、特徴量作成装置１０は、詳細は後述するが、第１の特徴量と第２の特徴量との対応関係に基づき、分布関数の推定用に入力された第１の特徴量を変換して第２の特徴量を作成する。
　特徴量作成装置１０は、作成した第２の特徴量をトラヒック分布推定装置４に出力する。
　トラヒック分布推定装置４は、学習フェーズでは、トラヒック収集装置２から出力されたトラヒックデータと、特徴量作成装置１０から出力された第２の特徴量とに基づき、トラヒックの分布関数を推定する学習済モデルを作成する。トラヒック分布推定装置４は、推定フェーズでは、作成した学習済モデルに、特徴量作成装置１０から出力された、推定用の第１の特徴量から作成された第２の特徴量を入力して、トラヒックの分布関数を推定する。
　次に、本実施形態に係る特徴量作成装置１０の構成について説明する。図２は、本実施形態に係る特徴量作成装置１０の構成例を示す図である。
　図２に示すように、本実施形態に係る特徴量作成装置１０は、記憶部１１と、分布推定部１２と、特徴量作成部１３とを備える。
　記憶部１１は、トラヒック収集装置２から出力されたトラヒックデータ、および、特徴量データソース３から出力された第１の特徴量を記憶する。また、記憶部１１は、後述する分布推定部１２および特徴量作成部１３により作成された各種テーブルを記憶する。
　分布推定部１２は、記憶部１１に記憶されている、学習用データとしてのトラヒックデータと、第１の特徴量とを取得する。分布推定部１２は、取得したトラヒックデータと、第１の特徴量とに基づいて、トラヒックの分布関数を推定し、推定した分布関数から１以上のパラメータを算出する。
　特徴量作成部１３は、分布推定部１２により算出されたパラメータごとに、そのパラメータと第１の特徴量との相関を評価し、評価の結果に基づき、そのパラメータと相関する第２の特徴量を作成する。作成された第２の特徴量は、記憶部１１を介して、トラヒック分布推定装置４に出力される。
　次に、図１に示す予測システム１の動作について説明する。図３は、予測システム１の動作の一例を示すフローチャートであり、本実施形態に係る特徴量作成装置１０による特徴量作成方法について説明するための図である。
　特徴量作成装置１０は、トラヒック収集装置２からトラヒックデータを取得し、特徴量データソース３から第１の特徴量を取得する（ステップＳ１）。特徴量作成装置１０は、取得したトラヒックデータと第１の特徴量とに基づき、トラヒックの分布関数を推定する（ステップＳ２）。
　特徴量作成装置１０は、推定した分布関数の１以上のパラメータそれぞれについて、当該パラメータと相関する第２の特徴量を作成する（ステップＳ３）。トラヒック分布推定装置４は、トラヒックデータと、特徴量作成装置１０により作成された第２の特徴量とに基づき、トラヒックの分布関数を推定する学習済モデルを作成する（ステップＳ４）。学習済モデルの作成により、学習フェーズが終了する。
　推定フェーズでは、特徴量作成装置１０は、将来のトラヒックの分布関数の推定用の第１の特徴量を特徴量データソース３から取得する。特徴量作成装置１０は、学習フェーズにおいて、第１の特徴量と、第１の特徴量から作成された第２の特徴量との対応関係に基づき、取得した第１の特徴量を変換して第２の特徴量を作成する（ステップＳ５）。
　トラヒック分布推定装置４は、作成した学習済モデルに、特徴量作成装置１０から出力された第２の特徴量を入力して、トラヒックデータの分布関数を推定する（ステップＳ６）。
　上述したステップＳ１～Ｓ６の処理について、より詳細に説明する。なお、以下では、分布関数は正規分布であり、分布関数のパラメータは分散σ２および平均μであるとして説明する。また、以下では、分布関数の推定の対象は、回線１～４を流れるトラヒックの合計（以下、単に「トラヒック」と称することがある。）であるとする。また、第１の特徴量はＡ，Ｂ，Ｃ・・・を取りうるものとする。第１の特徴量は、例えば、契約などで定まっている回線ごとのサービス情報である。
　図４は、図３に示すステップＳ１，Ｓ２の処理をより詳細に示すフローチャートである。
　記憶部１１は、日付ｉにおけるトラヒックデータおよび第１の特徴量を取得する。上述したように、記憶部１１は、トラヒック収集装置２からトラヒックデータを取得し、特徴量データソース３から第１の特徴量を取得する。記憶部１１は、取得したトラヒックデータと第１の特徴量とを含む第１のテーブルを作成し、保存する（ステップＳ１１）。
　図５は、記憶部１１が保存する第１のテーブルの構成例を示す図である。
　上述したように、トラヒックデータは、所定の時間間隔（以下、５分間隔）でトラヒックを収集したデータである。
　記憶部１１は、図５に示すように、日付ｉに対応付けて、日付ｉの各時刻におけるトラヒックデータ（図５に示す例では、５分ごとのトラヒック）を第１のテーブルに保存する（ステップＳ１１）。また、記憶部１１は、図５に示すように、日付ｉに対応付けて、日付ｉにおける、回線１～４それぞれについての第１の特徴量（Ａ，Ｂ，Ｃ，・・・）を記憶する。なお、図５においては、１日単位でトラヒックデータと第１の特徴量とを保存する例を示しているが、本開示はこれに限られるものではない。記憶部１１は、第１の特徴量が変化しない所定の期間単位でまとめて、トラヒックデータと第１の特徴量とを保存する。したがって、第１の特徴量が変化しない範囲であれば、記憶部１１は、１日よりも短い単位で、あるいは、１日よりも長い単位でまとめて、トラヒックデータと、第１の特徴量とを保存してよい。また、第１の特徴量として複数種類の特徴量が存在する場合、記憶部１１は、日付ｉに対応付けて、複数種類の特徴量それぞれを保存してよい。ステップＳ１１の処理は、図３に示すステップＳ１の処理に対応するものである。
　図４を再び参照すると、分布推定部１２は、記憶部１１に記憶されている第１のテーブルを読み出し、第１のテーブルに記憶されている、日付ｉの各時刻におけるトラヒックと、第１の特徴量とを取得する。そして、分布推定部１２は、取得した日付ｉの各時刻におけるトラヒックと、第１の特徴量とに基づき、日付ｉにおけるトラヒックの分布関数を推定する（ステップＳ２１）。分布関数には、例えば、正規分布を用いればよい。分布推定部１２は、例えば最尤推定または平均二乗法などを用いて、日付ｉにおけるトラヒックの分布関数を推定する。
　次に、分布推定部１２は、推定した日付ｉにおけるトラヒックの分布関数から、当該分布関数のパラメータを算出する。分布関数が正規分布であるとすると、分布推定部１２は、日付ｉにおけるトラヒックの分布関数から、分散σ２ ｉおよび平均μｉを算出し、記憶部１１に保存する（ステップＳ２２）。具体的には、分布推定部１２は、図６に示すように、第１のテーブルに、日付ｉにおけるトラヒックの分布関数から算出した分散σ２ ｉおよび平均μｉを追加した第２のテーブルを作成し、記憶部１１に記憶させる。
　図４を再び参照すると、特徴量作成部１３は、記憶部１１に記憶されている第２のテーブルを読み出し、第２のテーブルに記憶されている、日付ｉにおける第１の特徴量それぞれに対応する回線数（ｎａｉ，ｎｂｉ，ｎｃｉ，・・・）をカウントする（ステップＳ２３）。すなわち、特徴量作成部１３は、日付ｉにおける第１の特徴量それぞれの出現数をカウントする。特徴量作成部１３は、図７に示すように、第２のテーブルに、日付ｉにおける第１の特徴量それぞれに対応する回線数（ｎａｉ，ｎｂｉ，ｎｃｉ，・・・）を追加した第３のテーブルを作成し、記憶部１１に保存する（ステップＳ２４）。ステップＳ２１～Ｓ２４の処理は、図３に示すステップＳ２の処理に対応するものである。
　ステップＳ２４の処理の後、ｉに１が加算され、ステップＳ１１の処理に戻る。したがって、日付ごと（１月１日、１月２日、・・・）に、分布関数と、分布関数のパラメータ（μｉ，σ２ ｉ）と、第１の特徴量それぞれの回線数（ｎａｉ，ｎｂｉ，ｎｃｉ，・・・）とが記憶部１１に保存される。図４に示す処理は、例えば、手動で日時を指定して開始されてもよいし、予め設定されたタイミングで自動的に開始されてもよい。
　図８は、図３に示すステップＳ３，Ｓ４の処理をより詳細に示すフローチャートである。
　特徴量作成部１３は、記憶部１１に記憶されている第３のテーブルを読み出し、第３のテーブルの記憶されているパラメータごとに、当該パラメータと第１の特徴量（Ａ，Ｂ，Ｃ，・・・）との相関を評価する。具体的には、特徴量作成部１３は、パラメータ（σ２，μ）を従属変数とし、第１の特徴量それぞれの回線数（ｎａｉ，ｎｂｉ，ｎｃｉ，・・・）を説明変数とし、以下の式（１），（２）に示される重回帰分析を行う（ステップＳ３１，Ｓ３３）。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-I000002
　特徴量作成部１３は、式（１）に基づく重回帰分析により、分散ベクトルについて、特徴量Ａ，Ｂ，Ｃの出現数ベクトルそれぞれの係数αＡ，αＢ，αＣを算出する。また、特徴量作成部１３は、式（２）に基づく重回帰分析により、平均ベクトルについて、特徴量Ａ，Ｂ，Ｃの出現数ベクトルそれぞれの係数βＡ，βＢ，βＣを算出する。
　特徴量作成部１３は、重回帰分析により算出された説明変数（特徴量Ａ，Ｂ，Ｃの出現数）の係数に基づき、第２の特徴量を作成する。具体的には、特徴量作成部１３は、特徴量Ａ，Ｂ，Ｃの出現数ベクトルそれぞれの係数αＡ，αＢ，αＣを用いて、第１の特徴量Ａ，Ｂ，Ｃを数値化し、分散σ２に相関する第２の特徴量を作成する（ステップＳ３２）。また、特徴量作成部１３は、特徴量Ａ，Ｂ，Ｃの出現数ベクトルそれぞれの係数βＡ，βＢ，βＣを用いて、第１の特徴量Ａ，Ｂ，Ｃを数値化し、平均μに相関する第２の特徴量を作成する（ステップＳ３４）。特徴量作成部１３は、日付ｉごとに、分散σ２および平均μそれぞれについて第２の特徴量を作成する。特徴量作成部１３は、作成した第２の特徴量を示す第４のテーブルを作成し、記憶部１１に保存する。
　特徴量作成部１３は、例えば、特徴量Ａ，Ｂ，Ｃの出現数ベクトルそれぞれの係数αＡ，αＢ，αＣを、分散σ２に相関する第２の特徴量とする。また、特徴量作成部１３は、例えば、特徴量Ａ，Ｂ，Ｃの出現数ベクトルそれぞれの係数βＡ，βＢ，βＣを、平均μに相関する第２の特徴量とする。この場合、特徴量作成部１３は、図９に示すように、日付ｉごとに、特徴量Ａ，Ｂ，ＣをそれぞれαＡ，αＢ，αＣに置き換えた分散σ２に相関する第２の特徴量と、特徴量Ａ，Ｂ，ＣをそれぞれβＡ，βＢ，βＣに置き換えた平均μに相関する第２の特徴量とを含む第４のテーブルを作成する。
　ステップＳＳ３２，Ｓ３４における数値変換により、第１の特徴量と第２の特徴量とに対応関係が得らえる。図９に示す例では、分散σ２については、第１の特徴量Ａ，Ｂ，Ｃがそれぞれ、第２の特徴量αＡ，αＢ，αＣに対応するという対応関係が得られる。また、平均μについては、第１の特徴量Ａ，Ｂ，Ｃがそれぞれ、第２の特徴量βＡ，βＢ，βＣに対応するという対応関係が得られる。
　第１の特徴量として複数の種類の特徴量が存在する場合、特徴量作成部１３は、複数の第１の特徴量それぞれについて、ステップＳ３１～Ｓ３４の処理を行う。
　なお、本実施形態においては、重回帰分析により、複数のパラメータそれぞれと、第１の特徴量との相関を評価する例を用いて説明したが、これに限られるものではない。特徴量作成部１３は、例えば、主成分分析あるいは重相関分析などを用いて、複数のパラメータそれぞれと、第１の特徴量との相関を評価してもよい。また、本実施形態においては、第１の特徴量Ａ，Ｂ，Ｃの出現数を説明変数として用いる例を説明したが、これに限られるものではない。第１の特徴量が数値である場合には、その数値を説明変数として用いて、重回帰分析などを行ってもよい。また、本実施形態においては、説明変数の係数をそのまま第２の特徴量とする例を説明したが、これに限られるものではない。特徴量作成部１３は、例えば、説明変数の係数を定数倍して、第２の特徴量としてもよい。
　上述したステップＳ３１～Ｓ３４の処理は、図３に示すステップＳ３の処理に対応するものである。
　図８を再び参照すると、トラヒック分布推定装置４は、記憶部１１に記憶されている第４のテーブルを読み出す。トラヒック分布推定装置４は、トラヒック収集装置２から出力されたトラヒックデータと、読み出した第４のテーブルに示される第２の特徴量（分散σ２に相関する第２の特徴量αＡ，αＢ，αＣおよび平均μに相関する第２の特徴量βＡ，βＢ，βＣ）とに基づき、トラヒックの分布関数を推定する学習済モデルを作成する（ステップＳ４１）。ステップＳ４１の処理は、図３に示すステップＳ４の処理に対応するものである。
　図１０は、図３に示すステップＳ５，Ｓ６の処理をより詳細に示すフローチャートである。
　トラヒックの指定対象となる日付（１月Ｘ日）における第１の特徴量（分布間の推定対象に関する第１の特徴量）が特徴量データソース３から出力され、記憶部１１に記憶される。特徴量作成部１３は、記憶部１１に記憶されている、推定用の第１の特徴量を取得する（ステップＳ６１）。特徴量作成部１３は、図８を参照して説明した学習フェーズにおける、第１の特徴量を第２の特徴量に変換するための、第１の特徴量と第２の特徴量との対応関係に基づき、取得した第１の特徴量を第２の特徴量に変換する（第２の特徴量を作成する）（ステップＳ６２）。そして、特徴量作成部１３は、図１１に示すように、分散σ２および平均μそれぞれについて、第１の特徴量を変換して作成した第２の特徴量を示す第５のテーブルを作成する。ステップＳ５１，Ｓ５２の処理は、図３に示すステップＳ５の処理に対応するものである。
　図１０を再び参照すると、トラヒック分布推定装置４は、記憶部１１に記憶されている第５のテーブルを読み出し、第５のテーブルに示される第２の特徴値を、学習済モデルに入力し、推定対象のトラヒックの分布関数を推定する（ステップＳ６１）ステップＳ６１の処理は、図３に示すステップＳ６の処理に対応するものである。
　特徴量作成部１３は、パラメータごとの、第１の特徴量との相関の評価に対して重み付けを行って第２の特徴量を作成してもよい。図１２は、第１の特徴量との相関の評価に対して重み付けを行う場合の、特徴量作成部１３の動作について説明するための図である。図１２において、図８と同様の処理には同じ符号を付し、説明を省略する。
　特徴量作成部１３は、学習用データを所定の期間ごとの学習用データに分割する。例えば、特徴量作成部１３は、１月１日から１月３日までの学習用データ、１月４日から１月５日までの学習用というように、時系列的なデータである学習用データを複数の学習用データに分割する。
　そして、特徴量作成部１３は、分散σ２（分散ベクトル）を従属変数とし、特徴量Ａ，Ｂ，Ｃの出現数（特徴量Ａ，Ｂ，Ｃの出現数ベクトル）を説明変数として、分割した期間ごとに、重回帰分析を行う（ステップＳ３５）。上述した例では、特徴量作成部１３は、１月１日から１月３日までの各日付における分散σ２を従属変数とし、特徴量Ａ，Ｂ，Ｃの出現数を説明変数として重回帰分析を行う。また、特徴量作成部１３は、１月４日から１月５日までの各日付における分散σ２を従属変数とし、特徴量Ａ，Ｂ，Ｃの出現数を説明変数として重回帰分析を行う。
　また、特徴量作成部１３は、平均（平均ベクトル）を従属変数とし、特徴量Ａ，Ｂ，Ｃの出現数（特徴量Ａ，Ｂ，Ｃの出現数ベクトル）を説明変数として、分割した期間ごとに、重回帰分析を行う（ステップＳ３６）。上述した例では、特徴量作成部１３は、１月１日から１月３日までの各日付における平均μを従属変数とし、第１の特徴量Ａ，Ｂ，Ｃの出現数を説明変数として重回帰分析を行う。また、特徴量作成部１３は、１月４日から１月５日までの各日付における平均μを従属変数とし、特徴量Ａ，Ｂ，Ｃの出現数を説明変数として重回帰分析を行う。
　特徴量作成部１３は、分散σ２について重回帰分析により算出した特徴量Ａ，Ｂ，Ｃの出現数ベクトルの係数に、期間に応じた重みをつけて平均をとる。そして、特徴量作成部１３は、その平均値を用いて、第１の特徴量Ａ，Ｂ，Ｃを変換し、分散σ２に相関する第２の特徴量を作成する（ステップＳ３７）。
　また、特徴量作成部１３は、平均μについて重回帰分析により算出した特徴量Ａ，Ｂ，Ｃの出現数ベクトルの係数に、期間に応じた重みをつけて平均をとる。そして、特徴量作成部１３は、その平均値を用いて、第１の特徴量Ａ，Ｂ，Ｃを変換し、平均μに相関する第２の特徴量を作成する（ステップＳ３８）。
　このように、特徴量作成部１３は、時系列的な学習用データを所定期間ごとの学習用データに分割する。そして、特徴量作成部１３は、分割した学習用データごとの評価の結果（例えば、重回帰分析により算出される説明変数の係数）に対して、学習用データに対応する期間に応じた重み付けを行い、第２の特徴量を作成する。
　一般に、トラヒック予測などでは、ネットワークの構成変化などが定期的に生じるため、古い情報よりも新しい情報の方が、予測を行う上で重要度が高い。そこで、評価の結果に対して学習用データの期間に対応する重み付けを行う（例えば、最近の期間ほど重み付けを大きくする）ことで、パラメータとの相関が高い第２の特徴量を作成することができる。
　次に、本実施形態に係る特徴量作成装置１０のハードウェア構成について説明する。
　図１３は、本実施形態に係る特徴量作成装置１０のハードウェア構成の一例を示す図である。図１３においては、特徴量作成装置１０がプログラム命令を実行可能なコンピュータにより構成される場合の、特徴量作成装置１０のハードウェア構成の一例を示している。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　図１３に示すように、特徴量作成装置１０は、プロセッサ２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、ストレージ２４、入力部２５、表示部２６および通信インタフェース（Ｉ／Ｆ）２７を有する。各構成は、バス２９を介して相互に通信可能に接続されている。プロセッサ２１は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。
　プロセッサ２１は、各構成の制御および各種の演算処理を実行する制御部である。すなわち、プロセッサ２１は、ＲＯＭ２２またはストレージ２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。プロセッサ２１は、ＲＯＭ２２あるいはストレージ２４に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ２２またはストレージ２４には、コンピュータを本開示に係る特徴量作成装置１０として動作させるためのプログラムが格納されている。当該プログラムがプロセッサ２１により読み出されて実行されることで、特徴量作成装置１０の各構成、すなわち、分布推定部１２および特徴量作成部１３が実現される。
　プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　ＲＯＭ２２は、各種プログラムおよび各種データを格納する。ＲＡＭ２３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ２４は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。上述した第１から第５のテーブルは、ＲＯＭ２２、ＲＡＭ２３またはストレージ２４に記憶されてよい。
　入力部２５は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
　表示部２６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部２６は、タッチパネル方式を採用して、入力部２５として機能してもよい。
　通信インタフェース２７は、他の装置（例えば、対象物を撮影したカメラ）と通信するためのインタフェースであり、例えば、ＬＡＮ用のインタフェースである。
　上述した特徴量作成装置１０の各部として機能させるためにコンピュータを好適に用いることが可能である。そのようなコンピュータは、特徴量作成装置１０の各部の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができる。すなわち、当該プログラムは、コンピュータを、上述した特徴量作成装置１０として機能させることができる。また、当該プログラムを非一時的記憶媒体に記憶することも可能である。また、当該プログラムを、ネットワークを介して提供することも可能である。
　このように、本実施形態に係る特徴量作成装置１０は、分布推定部１２と、特徴量作成部１３とを備える。分布推定部１２は、分布関数の推定のための学習用データと、学習用データに関する第１の特徴量とを取得する。分布推定部１２は、取得した学習用データと、第１の特徴量とに基づいて、学習用データの分布関数を推定し、分布関数から１以上のパラメータを算出する。特徴量作成部１３は、算出されたパラメータごとに、当該パラメータと第１の特徴量との相関を評価し、評価の結果に基づき、パラメータと相関する第２の特徴量を作成する。
　分布関数のパラメータごとに、第１の特徴量との相関を評価し、その評価の結果に基づき、第２の特徴量を作成することで、複数のパラメータそれぞれについて、当該パラメータと相関する第２の特徴量を作成することができ、その結果、分布関数の推定精度の向上を図ることができる。また、従来の方法では、予測に有効な特徴量を作成するための数値変換のパターンが予測ごとに異なるため、必要な数値変換のパターンを決定し、特徴量を作成するためには高度な技術と多くの時間とが必要であった。一方、本実施形態に係る特徴量作成装置１０によれば、解析的に複数のパラメータそれぞれと相関する第２の特徴量を作成することができるので、より簡易に複数のパラメータそれぞれと相関する第２の特徴量を作成することができる。
　以上の実施形態に関し、更に以下の付記を開示する。
　［付記項１］
　深層学習を用いた分布関数の推定における、前記分布関数の１以上のパラメータそれぞれについて、該パラメータと相関する特徴量を作成する特徴量作成装置であって、
　メモリと、
　前記メモリに接続された制御部と、
を備え、
　前記制御部は、
　前記分布関数の推定のための学習用データと、前記学習用データに関する第１の特徴量とを取得し、前記学習用データと、前記第１の特徴量とに基づいて、前記学習用データの分布関数を推定し、前記分布関数から前記１以上のパラメータを算出し、
　前記算出されたパラメータごとに、該パラメータと前記第１の特徴量との相関を評価し、前記評価の結果に基づき、前記パラメータと相関する第２の特徴量を作成する、特徴量作成装置。
　［付記項２］
　付記項１に記載の特徴量作成装置において、
　前記制御部は、分布関数の推定対象に関する前記第１の特徴量を取得し、前記学習用データに関する前記第１の特徴量と前記作成した第２の特徴量との対応関係に基づき、前記取得した第１の特徴量を変換して前記第２の特徴量を作成する、特徴量作成装置。
　［付記項３］
　付記項１または２に記載の特徴量作成装置において、
　前記制御部は、前記パラメータを従属変数とし、前記第１の特徴量の出現数または前記第１の特徴量の値を説明変数とする重回帰分析を行い、前記重回帰分析により算出された前記説明変数の係数に基づき前記第２の特徴量を作成する、特徴量作成装置。
　［付記項４］
　付記項１から３のいずれか一項に記載の特徴量作成装置において、
　前記学習用データは時系列的なデータであり、
　前記制御部は、前記学習用データを所定期間ごとの学習用データに分割し、該分割した学習用データごとの前記評価の結果に対して当該学習用データに対応する期間に応じた重み付けを行い、前記第２の特徴量を作成する、特徴量作成装置。
　［付記項５］
　深層学習を用いた分布関数の推定における、前記分布関数の１以上のパラメータそれぞれについて、該パラメータと相関する特徴量を作成する特徴量作成装置による特徴量作成方法であって、
　前記分布関数の推定のための学習用データと、前記学習用データに関する第１の特徴量とを取得し、前記学習用データと、前記第１の特徴量とに基づいて、前記学習用データの分布関数を推定し、前記分布関数から前記１以上のパラメータを算出し、
　前記算出されたパラメータごとに、該パラメータと前記第１の特徴量との相関を評価し、前記評価の結果に基づき、前記パラメータと相関する第２の特徴量を作成する、特徴量作成方法。
　［付記項６］
　コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを、付記項１から４のいずれか一項に記載の特徴量作成装置として動作させる、プログラムを記憶した非一時的記憶媒体。
 
　上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１　　予測システム
　２　　トラヒック収集装置
　３　　特徴量データソース
　４　　トラヒック分布推定装置
　１０　　特徴量作成装置
　１１　　記憶部
　１２　　分布推定部
　１３　　特徴量作成部
　２１　　プロセッサ
　２２　　ＲＯＭ
　２３　　ＲＡＭ
　２４　　ストレージ
　２５　　入力部
　２６　　表示部
　２７　　通信Ｉ／Ｆ
　２９　　バス

Claims (6)

  1. 　深層学習を用いた分布関数の推定における、前記分布関数の１以上のパラメータそれぞれについて、該パラメータと相関する特徴量を作成する特徴量作成装置であって、
    　前記分布関数の推定のための学習用データと、前記学習用データに関する第１の特徴量とを取得し、前記学習用データと、前記第１の特徴量とに基づいて、前記学習用データの分布関数を推定し、前記分布関数から前記１以上のパラメータを算出する分布推定部と、
    　前記算出されたパラメータごとに、該パラメータと前記第１の特徴量との相関を評価し、前記評価の結果に基づき、前記パラメータと相関する第２の特徴量を作成する特徴量作成部と、を備える特徴量作成装置。
  2. 　請求項１に記載の特徴量作成装置において、
    　前記特徴量作成部は、分布関数の推定対象に関する前記第１の特徴量を取得し、前記学習用データに関する前記第１の特徴量と前記作成した第２の特徴量との対応関係に基づき、前記取得した第１の特徴量を変換して前記第２の特徴量を作成する、特徴量作成装置。
  3. 　請求項１に記載の特徴量作成装置において、
    　前記特徴量作成部は、前記パラメータを従属変数とし、前記第１の特徴量の出現数または前記第１の特徴量の値を説明変数とする重回帰分析を行い、前記重回帰分析により算出された前記説明変数の係数に基づき前記第２の特徴量を作成する、特徴量作成装置。
  4. 　請求項１に記載の特徴量作成装置において、
    　前記学習用データは時系列的なデータであり、
    　前記特徴量作成部は、前記学習用データを所定期間ごとの学習用データに分割し、該分割した学習用データごとの前記評価の結果に対して当該学習用データに対応する期間に応じた重み付けを行い、前記第２の特徴量を作成する、特徴量作成装置。
  5. 　深層学習を用いた分布関数の推定における、前記分布関数の１以上のパラメータそれぞれについて、該パラメータと相関する特徴量を作成する特徴量作成装置による特徴量作成方法であって、
    　前記分布関数の推定のための学習用データと、前記学習用データに関する第１の特徴量とを取得し、前記学習用データと、前記第１の特徴量とに基づいて、前記学習用データの分布関数を推定し、前記分布関数から前記１以上のパラメータを算出するステップと、
    　前記算出されたパラメータごとに、該パラメータと前記第１の特徴量との相関を評価し、前記評価の結果に基づき、前記パラメータと相関する第２の特徴量を作成するステップと、を含む特徴量作成方法。
  6. 　コンピュータを、請求項１に記載の特徴量作成装置として動作させる、プログラム。
PCT/JP2022/044039 2022-11-29 2022-11-29 特徴量作成装置、特徴量作成方法およびプログラム WO2024116293A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044039 WO2024116293A1 (ja) 2022-11-29 2022-11-29 特徴量作成装置、特徴量作成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044039 WO2024116293A1 (ja) 2022-11-29 2022-11-29 特徴量作成装置、特徴量作成方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024116293A1 true WO2024116293A1 (ja) 2024-06-06

Family

ID=91323376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044039 WO2024116293A1 (ja) 2022-11-29 2022-11-29 特徴量作成装置、特徴量作成方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2024116293A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075255A1 (ja) * 2018-10-11 2020-04-16 日本電気株式会社 学習装置、学習方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075255A1 (ja) * 2018-10-11 2020-04-16 日本電気株式会社 学習装置、学習方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERINA TAKESHITA, TOMOYA KOSUGI, AKIHIRO MORITA: "B-7-1 Bandwidth Design for Reliable Networks Based on Machine Learning for Traffic Estimation", PROCEEDINGS OF THE 2020 SOCIETY CONFERENCE OF IEICE; 2020.09.15-18, IEICE, JP, 1 September 2020 (2020-09-01) - 18 September 2020 (2020-09-18), JP, pages 34, XP009555180 *
TAKESHITA ERINA, YAMADA TOMOKI, KOSUGI TOMOYA, MORITA AKIHIRO, YOSHIHARA SHINICHI, YOSHIDA CHIYAKI: "B-7-25 Time-series Traffic Prediction with Traffic Variations by Changes in User Requirements", PROCEEDINGS OF THE 2022 IEICE GENERAL CONFERENCE, COMMUNICATION 2; MARCH 15TH - 18TH, 2022, IEICE, JP, 1 March 2022 (2022-03-01) - 18 March 2022 (2022-03-18), JP, pages 123, XP009555179 *

Similar Documents

Publication Publication Date Title
JP5962190B2 (ja) 短期電力負荷を予測する方法及び装置
Pfeiffer et al. Manufacturing lead time estimation with the combination of simulation and statistical learning methods
JP6756048B2 (ja) コンピュータリソースのための予測的資産最適化
JP6950119B2 (ja) 材料設計システム、材料設計方法、及び材料設計プログラム
JP5768834B2 (ja) プラントモデル管理装置及び方法
US20210342691A1 (en) System and method for neural time series preprocessing
JP2007207117A (ja) 性能監視装置、性能監視方法及びプログラム
JP2018528511A (ja) 生産システムにおける出力効率の最適化
JP2020187417A (ja) 物性予測装置及び物性予測方法
Luo et al. Learning differential operators for interpretable time series modeling
WO2024116293A1 (ja) 特徴量作成装置、特徴量作成方法およびプログラム
Giannetti A framework for improving process robustness with quantification of uncertainties in Industry 4.0
JP2018067227A (ja) データ分析装置、データ分析方法、データ分析処理プログラム
JP4643586B2 (ja) 最適設計管理装置、最適設計計算システム、最適設計管理方法、最適設計管理プログラム
JP2021005387A5 (ja)
JP2012230538A (ja) ソフトウェア評価装置、ソフトウェア評価方法およびシステム評価装置
Ling et al. Maximum profit mining and its application in software development
Hassanpour et al. Optimization of breeding program design through stochastic simulation with kernel regression
JP7103929B2 (ja) ネットワーク分析システム、ネットワーク分析装置及びネットワーク分析方法
US20240211367A1 (en) Pipeline evaluation device, pipeline evaluation method, and program
JP6947229B2 (ja) 最適化装置、最適化方法および最適化プログラム
WO2024047879A1 (ja) 特徴量選択装置、特徴量選択方法、及びプログラム
WO2022244174A1 (ja) 帯域推定装置、帯域推定方法およびプログラム
JP7579765B2 (ja) 解析装置、解析方法及び解析プログラム
Meitz et al. StMAR Toolbox: A MATLAB Toolbox for Student's t Mixture Autoregressive Models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22967127

Country of ref document: EP

Kind code of ref document: A1