Nothing Special   »   [go: up one dir, main page]

WO2023163405A1 - 신용평가 모델 업데이트 또는 교체 방법 및 장치 - Google Patents

신용평가 모델 업데이트 또는 교체 방법 및 장치 Download PDF

Info

Publication number
WO2023163405A1
WO2023163405A1 PCT/KR2023/001448 KR2023001448W WO2023163405A1 WO 2023163405 A1 WO2023163405 A1 WO 2023163405A1 KR 2023001448 W KR2023001448 W KR 2023001448W WO 2023163405 A1 WO2023163405 A1 WO 2023163405A1
Authority
WO
WIPO (PCT)
Prior art keywords
credit evaluation
artificial intelligence
credit
intelligence engine
data
Prior art date
Application number
PCT/KR2023/001448
Other languages
English (en)
French (fr)
Inventor
강정석
Original Assignee
주식회사 에이젠글로벌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이젠글로벌 filed Critical 주식회사 에이젠글로벌
Publication of WO2023163405A1 publication Critical patent/WO2023163405A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Definitions

  • the present invention relates to a method and apparatus for updating or replacing a credit rating model. More specifically, it relates to a method and apparatus for updating or replacing a credit evaluation model used for credit evaluation of a seller to provide financial services to the seller.
  • the financial big data infrastructure consists of big data open systems, data exchanges, and data specialized institutions.
  • the object of the present invention is to solve all of the above problems.
  • an object of the present invention is to perform replacement or shifting of an artificial intelligence engine by searching for judgment errors for each module constituting a credit evaluation model in consideration of a feedback result for the credit evaluation model.
  • Another object of the present invention is to enable correction of a credit evaluation model through replacement of an artificial intelligence engine starting with an error in judgment and shifting to an artificial intelligence engine that affects an artificial intelligence engine with an error in judgment.
  • a method for updating or replacing a credit evaluation model includes generating a plurality of artificial intelligence engines for credit evaluation by an artificial intelligence engine generator, and generating a credit evaluation model based on the plurality of artificial intelligence engines. Generating a credit rating model and generating credit rating data for a seller based on the credit rating unit by a credit rating unit, wherein the credit rating model is based on extension and/or layering of a plurality of artificial intelligence engines. , and evaluation of the credit evaluation model may be performed based on core modules, related modules, and non-core modules constituting the credit evaluation model.
  • the core module is a reference artificial intelligence engine
  • the related module is an artificial intelligence engine directly connected to the reference artificial intelligence engine
  • the non-core module is the credit evaluation model in addition to the core module and the related module. It may be the rest of the artificial intelligence engine that constitutes it.
  • the evaluation of the credit rating model is performed through a search for a module that generated a judgment error when the judgment result of the financial service based on the credit rating data is incorrect, and the search generates the judgment error.
  • a credit evaluation apparatus for generating an artificial intelligence-based credit evaluation model includes an artificial intelligence engine generating unit implemented to generate a plurality of artificial intelligence engines for credit evaluation, based on the plurality of artificial intelligence engines
  • the core module is a reference artificial intelligence engine
  • the related module is an artificial intelligence engine directly connected to the reference artificial intelligence engine
  • the non-core module is the credit evaluation model in addition to the core module and the related module. It may be the rest of the artificial intelligence engine that constitutes it.
  • the evaluation of the credit rating model is performed through a search for a module that generated a judgment error when the judgment result of the financial service based on the credit rating data is incorrect, and the search generates the judgment error.
  • replacement or shifting of the artificial intelligence engine may be performed by searching for judgment errors for each module constituting the credit evaluation model in consideration of the feedback result for the credit evaluation model.
  • FIG. 1 is a conceptual diagram illustrating a credit evaluation apparatus of a credit bureau (CB) company according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating the operation of an artificial intelligence engine generation unit according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating the operation of a candidate credit evaluation model generation unit according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating the operation of a credit evaluation model determination unit according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram illustrating the operation of a credit evaluation unit according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating the operation of a credit evaluation model management unit according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating the operation of a credit evaluation model management unit according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram illustrating a credit evaluation model monitoring method according to an embodiment of the present invention.
  • FIG. 9 is a conceptual diagram illustrating a credit evaluation apparatus according to an embodiment of the present invention.
  • FIG. 10 is a conceptual diagram illustrating a method for generating an artificial intelligence-based credit evaluation model according to an embodiment of the present invention.
  • FIG. 11 is a conceptual diagram illustrating extension of an artificial intelligence engine for implementing a credit evaluation model according to an embodiment of the present invention.
  • FIG. 12 is a conceptual diagram illustrating layering of an artificial intelligence engine for implementing a credit evaluation model according to an embodiment of the present invention.
  • FIG. 13 is a conceptual diagram illustrating a credit evaluation model evaluation method according to an embodiment of the present invention.
  • FIG. 14 is a conceptual diagram illustrating a credit evaluation model replacement method according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a credit evaluation apparatus of a credit bureau (CB) company according to an embodiment of the present invention.
  • FIG. 1 a credit evaluation device for generating a credit evaluation model for performing credit evaluation of a seller by CB, a credit evaluation agency, and automating management of the credit evaluation model is disclosed.
  • the CB company credit evaluation device includes an artificial intelligence engine generation unit 100, a credit evaluation model generation unit 110, a credit evaluation unit 170, a credit evaluation model management unit 180, and a processor 190.
  • an artificial intelligence engine generation unit 100 can include, but not limited to, a credit evaluation model generation unit 110, a credit evaluation unit 170, a credit evaluation model management unit 180, and a processor 190.
  • the artificial intelligence engine generation unit 100 may be implemented to generate various artificial intelligence engines for credit evaluation. In order to determine the credit evaluation data, individual artificial intelligence engines generating various sub-credit evaluation data may be utilized. The artificial intelligence engine generation unit 100 may generate an artificial intelligence engine capable of generating various sub-level credit evaluation data as a basis for determining credit evaluation data.
  • the artificial intelligence engine generated by the artificial intelligence engine generator 100 may be transferred to the credit evaluation model generator 110 and used to generate a credit evaluation model.
  • the credit evaluation model generation unit 110 may be implemented to generate a credit evaluation model.
  • the credit evaluation model may be a model for generating seller's credit evaluation data.
  • the credit evaluation model may be implemented based on a plurality of artificial intelligence engines and a plurality of algorithms for credit evaluation.
  • the credit evaluation model may generate credit evaluation data for the seller by receiving preprocessed credit evaluation basic data for credit evaluation.
  • the credit evaluation model generator 110 may include a candidate credit evaluation model generator 120 and a credit evaluation model determiner 160 .
  • the candidate credit evaluation model generating unit 120 may include an artificial intelligence engine determining unit 130 , an artificial intelligence engine deploying unit 140 , and a credit evaluation data generating unit 150 .
  • the artificial intelligence engine determination unit 130 may be implemented to determine at least one artificial intelligence engine to be included in the candidate credit evaluation model.
  • the candidate credit evaluation model may generate credit evaluation data based on a plurality of artificial intelligence engines, and the artificial intelligence engine determination unit 130 may determine at least one artificial intelligence engine for generating the candidate credit evaluation model.
  • the artificial intelligence engine deployer 140 may be implemented to generate a candidate credit evaluation model by arranging the artificial intelligence engine determined by the artificial intelligence model determiner 130 .
  • Each of the plurality of artificial intelligence engines may be arranged sequentially or in parallel to generate a plurality of lower level credit evaluation data, and credit evaluation data may be determined by synthesizing the plurality of lower level credit evaluation data.
  • each of the plurality of artificial intelligence engines may be arranged in parallel to generate sub-credit evaluation data, and credit evaluation data of the seller may be determined based on the sub-credit evaluation data.
  • a plurality of artificial intelligence engines may be arranged hierarchically (or sequentially) to generate lower credit evaluation data, and credit evaluation data of the seller may be determined based on the hierarchically generated n-th lower credit evaluation data.
  • a candidate credit evaluation model for generating credit evaluation data having a structure in which a result generated by a specific artificial intelligence engine is input to another artificial intelligence engine may be determined.
  • the artificial intelligence engine deployment unit 140 may determine a candidate credit evaluation model based on the deployment of an appropriate artificial intelligence engine to generate credit evaluation data.
  • the credit evaluation data generation unit 150 may be implemented to generate credit evaluation data based on the candidate credit evaluation model determined by the artificial intelligence engine deployment unit 140 .
  • the credit evaluation model determination unit 160 may be implemented to determine, as a credit evaluation model, a model having a critical level of reliability in credit evaluation among a plurality of candidate credit evaluation models generated by the candidate credit evaluation model generation unit 120 .
  • a credit evaluation model to be used for credit evaluation may be transmitted to the credit evaluation unit 170 .
  • Reliability may be determined by comparing a credit evaluation result of a candidate credit evaluation model based on existing credit evaluation basic data and an actual financial service result. As the credit evaluation result of the candidate credit evaluation model and the actual financial service result are relatively similar, the candidate credit evaluation model may be determined to have relatively high reliability.
  • the credit evaluation unit 170 may generate credit evaluation data for the seller based on the credit evaluation model generated by the credit evaluation model generating unit 180 .
  • the credit evaluation unit 170 may generate credit evaluation data through credit evaluation of the seller using at least one credit evaluation model. At least one credit evaluation model located in the credit evaluation unit 170 may be used to determine seller's credit evaluation data by being replaced or combined by evaluation.
  • the credit evaluation unit 170 may include various credit evaluation models that are adaptively applicable according to credit evaluation subjects, and credit evaluation data considering seller characteristics may be generated based on these various credit evaluation models.
  • the credit evaluation model management unit 180 may be implemented for management of credit evaluation models.
  • the credit evaluation model of the credit evaluation unit 170 may be replaced by periodic/non-periodic evaluation.
  • the credit evaluation model management unit 180 may determine a credit evaluation model currently used by the credit evaluation unit 170 and determine whether to replace the credit evaluation model.
  • the credit evaluation model management unit 180 determines whether to perform partial correction (or shifting) of the resulting value rather than replacing the credit evaluation model of the credit evaluation unit 170 and converts the correction value (or shifting value) to the credit evaluation. It can also be sent to unit 170. For example, when the error between the prediction result of the credit evaluation model of the credit evaluation unit 170 and the actual financial service result can be narrowed based on the correction value, the credit evaluation model management unit 180 calculates the prediction result of the credit evaluation model. A correction value to be corrected may be determined and transmitted to the credit evaluation unit 170 .
  • the processor 190 may be implemented to control operations of the artificial intelligence engine generator 100 , the credit evaluation model generator 110 , the credit evaluation unit 170 , and the credit evaluation model manager 180 .
  • FIG. 2 is a conceptual diagram illustrating the operation of an artificial intelligence engine generation unit according to an embodiment of the present invention.
  • an artificial intelligence engine generation unit may be implemented to generate an artificial intelligence engine included in a credit evaluation model.
  • the artificial intelligence engine may be implemented to receive the pre-processed credit evaluation base data as an input value and generate lower-level credit evaluation data for determining the seller's credit evaluation data.
  • the artificial intelligence engine generation unit may include a candidate artificial intelligence engine generation unit 210 , a reliability determination unit 260 , and an artificial intelligence engine determination unit 270 .
  • the candidate artificial intelligence engine generation unit 210 may be implemented to generate candidate artificial intelligence engines to be included in the candidate credit evaluation model.
  • the candidate artificial intelligence engine generating unit 210 may include an updated artificial intelligence engine generating unit 220 and a new artificial intelligence engine generating unit 230 .
  • the updated artificial intelligence engine generation unit 220 may be implemented to generate an updated artificial intelligence engine as a candidate artificial intelligence engine by re-performing artificial intelligence learning based on new training data or new feedback data on an existing artificial intelligence engine.
  • the update artificial intelligence engine generating unit 220 may include a new data database 222 , a feedback data database 224 , and an update cycle determining unit 226 .
  • the new data database 222 may be a database that stores newly input credit evaluation basic data.
  • the feedback data database 224 may be a database that stores feedback data related to the previously created artificial intelligence engine.
  • the update cycle determining unit 226 may be implemented to determine an update cycle for the artificial intelligence engine.
  • the update cycle determining unit 226 may determine an update through additional learning data based on a preset cycle.
  • the update cycle determining unit 226 may determine an update cycle in consideration of characteristics of newly input credit evaluation basic data and feedback data. For example, when the credit evaluation basic data and feedback data stored in the database have a relatively high similarity to data used for existing learning, the update cycle may be set to be relatively long. Conversely, when the credit evaluation basic data and feedback data stored in the database have a relatively low similarity to the data used in the existing learning, the update cycle may be set to be relatively short.
  • the new artificial intelligence engine generation unit 230 may be implemented to generate a candidate artificial intelligence engine through artificial intelligence learning as a new artificial intelligence engine.
  • the new artificial intelligence engine can be a learning model that performs different learning layers, artificial intelligence learning algorithms, learning preprocessing, etc. than existing artificial intelligence engines.
  • the new artificial intelligence engine generation unit 230 may include a target data determination unit 233 and a learning data determination unit 236 .
  • the target data determination unit 233 may be implemented to determine lower-level credit evaluation data output by a newly generated artificial intelligence engine.
  • the learning data determination unit 236 may be implemented to determine learning data for learning of the artificial intelligence engine according to lower credit evaluation data.
  • the candidate artificial intelligence engine generated by the update artificial intelligence engine generation unit 220 is the candidate artificial intelligence engine (update) 240
  • the artificial intelligence engine generated by the new artificial intelligence engine generation unit 230 is a candidate It can be expressed by dividing it into terms of artificial intelligence engine (new) 250 .
  • the reliability determination unit 260 may be implemented to determine the reliability of the candidate artificial intelligence engine (updated) 240 and the candidate artificial intelligence engine (new) 250 .
  • the prediction value of the candidate artificial intelligence engine (update) 240 and the candidate artificial intelligence engine (new) 250 is compared with the existing financial service result, and the candidate artificial intelligence engine (update) 240 and the candidate artificial intelligence engine (new) ) 250 reliability of each may be determined.
  • the artificial intelligence engine determination unit 270 may be implemented to determine an artificial intelligence engine to be used in the credit evaluation model among candidate artificial intelligence engines.
  • the candidate artificial intelligence engine may be determined as an artificial intelligence engine and used in the credit evaluation model.
  • the reference artificial intelligence engine of the candidate artificial intelligence engine (update) 240 and the reference artificial intelligence engine of the candidate artificial intelligence engine (new) 250 may be different from each other.
  • the reference artificial intelligence engine of the candidate artificial intelligence engine (update) 240 may be a pre-update artificial intelligence engine corresponding to the candidate artificial intelligence engine (update) 240 .
  • the reference artificial intelligence engine of the candidate artificial intelligence engine (new) 250 may be an artificial intelligence engine having the highest reliability among artificial intelligence engines generating the same lower credit evaluation data as the candidate artificial intelligence engine (new) 250. .
  • the reference artificial intelligence engine of the candidate artificial intelligence engine (new) 250 is an artificial intelligence engine corresponding to the median confidence level of the artificial intelligence engine generating the same sub-credit evaluation data as the candidate artificial intelligence engine (new) 250. can be
  • FIG. 3 is a conceptual diagram illustrating the operation of a candidate credit evaluation model generation unit according to an embodiment of the present invention.
  • the candidate credit evaluation model generation unit generates the candidate credit evaluation model by combining an artificial intelligence engine.
  • the candidate credit evaluation model generator 300 may be included in the credit evaluation model generator and implemented to generate a candidate credit evaluation model.
  • the candidate credit evaluation model generating unit 300 may include an artificial intelligence engine determining unit 310 , an artificial intelligence engine deploying unit 320 and a credit evaluation data generating unit 330 .
  • the artificial intelligence engine determination unit 310 may determine an artificial intelligence engine to be used when generating a candidate credit evaluation model.
  • the candidate credit evaluation model may be a model specialized for sellers in a specific sector or a model generally applicable to all sellers. Accordingly, the artificial intelligence engine determination unit 310 may generate an artificial intelligence engine in consideration of the characteristics of the credit evaluation model.
  • the artificial intelligence engine determination unit 310 may determine lower-level credit evaluation data to be used for generating credit evaluation data in order to determine an artificial intelligence engine. After determining the low-level credit evaluation data, an artificial intelligence engine corresponding to the determined low-level credit evaluation data may be determined.
  • Artificial intelligence engines can be defined in two types.
  • the artificial intelligence engine (first type) 350 may determine lower-level credit evaluation data based on the preprocessed credit evaluation basic data.
  • the artificial intelligence engine (second type) 360 may determine other low-level credit evaluation data based on the input low-level credit evaluation data.
  • the artificial intelligence engine (first type) 350 receives credit evaluation basic data (eg, credit evaluation factor a (sales), credit evaluation factor b (net profit), credit evaluation factor c (return rate)), and Credit evaluation data can be determined.
  • credit evaluation basic data eg, credit evaluation factor a (sales), credit evaluation factor b (net profit), credit evaluation factor c (return rate)
  • Credit evaluation data can be determined.
  • the artificial intelligence engine (second type) 360 may receive lower level credit evaluation data generated by at least one artificial intelligence engine (first type) 350 and generate another lower level credit evaluation data.
  • the artificial intelligence engine (second type) 360 receives sub-credit evaluation data 1 (possibility of delinquency), sub-credit evaluation data 2 (possibility of default), and sub-credit evaluation data 3 (possibility of market change) as input, Another sub-credit evaluation data, credit rating, can be determined.
  • the artificial intelligence model determination unit determines the reliability of the artificial intelligence engine, the connection relationship between the artificial intelligence engine (first type) 350 and the artificial intelligence engine (second type) 360, the artificial intelligence engine layout structure, and the characteristics of the artificial intelligence engine. Considering this, an artificial intelligence engine can be determined.
  • connection relationship between the artificial intelligence engine (first type) 350 and the artificial intelligence engine (second type) 360 is an artificial intelligence engine (first type) considering the input value of the artificial intelligence engine (second type) 360. ) 350 may include information about the connection possibility.
  • the artificial intelligence engine deployment structure is a hierarchical deployment between the artificial intelligence engine (first type) 350 and the artificial intelligence engine (second type) 360, the deployment of artificial intelligence engines in the same layer, and the same/similar sub-level credit evaluation data. It may be determined by considering whether or not the artificial intelligence engine generating the redundant deployment, the frequency of generation of credit evaluation basic data input to the artificial intelligence engine, and the like.
  • the characteristics of the artificial intelligence engine take into account characteristics of output data for the same/similar input data, and it may be determined that the characteristics of the artificial intelligence engine are relatively similar as values of the output data are similar.
  • the artificial intelligence engine deployment unit 320 may be implemented to generate a candidate credit evaluation model by deploying an artificial intelligence engine.
  • An artificial intelligence engine may be deployed to generate highly reliable credit evaluation data.
  • the artificial intelligence engine deployment unit 320 includes the reliability of the artificial intelligence engine, the connection relationship between the artificial intelligence engine (first type) 350 and the artificial intelligence engine (second type) 360, the artificial intelligence engine deployment structure, and artificial intelligence Various artificial intelligence engines can be deployed in consideration of engine characteristics and generation frequency of credit rating base data.
  • the credit evaluation data generation unit 330 may be implemented to generate credit evaluation data in a candidate credit evaluation model.
  • the credit evaluation data generating unit 330 may input credit evaluation basic data to the candidate credit evaluation model generated by the artificial intelligence engine arranging unit 320 and generate credit evaluation data as an output value.
  • FIG. 4 is a conceptual diagram illustrating the operation of a credit evaluation model determination unit according to an embodiment of the present invention.
  • the credit evaluation model determiner determines the reliability of the candidate credit evaluation model as a first evaluation factor, and compares the candidate credit evaluation model with a reference credit evaluation model as a second evaluation factor to determine the candidate credit evaluation model. It can be determined by the credit rating model and transmitted to the credit rating department.
  • the credit evaluation model determination unit may determine reliability of the candidate credit evaluation model based on a result value output from the candidate credit evaluation model.
  • the credit evaluation model determiner may be implemented to determine, as a credit evaluation model, a model having a critical level of reliability in credit evaluation among a plurality of candidate credit evaluation models generated by the candidate credit evaluation model generation unit.
  • a credit evaluation model to be used for credit evaluation may be transmitted to the credit evaluation unit.
  • Reliability may be determined by comparing a credit evaluation result of a candidate credit evaluation model based on existing credit evaluation basic data and an actual financial service result. As the credit evaluation result of the candidate credit evaluation model and the actual financial service result are relatively similar, it may be determined to have relatively high reliability.
  • the credit evaluation model determination unit may determine a credit evaluation model of the credit evaluation unit having the most similar characteristics to the candidate credit evaluation model as the reference credit evaluation model.
  • the similarity of characteristics between credit rating models may be determined based on the similarity of input credit rating basic data, the similarity of output credit rating data, and the similarity of artificial intelligence models.
  • the credit rating model determining unit compares the reliability between the standard credit rating model and the candidate credit rating model, and evaluates the candidate's credit through difference between the output values of the standard credit rating model and the candidate credit rating model and error detection when inputting the same input values. You can decide whether or not to decide the model as a credit rating model.
  • FIG. 5 is a conceptual diagram illustrating the operation of a credit evaluation unit according to an embodiment of the present invention.
  • 5 discloses a method of generating credit evaluation data based on a credit evaluation model in a credit evaluation unit.
  • the credit evaluation unit may generate credit evaluation data 540 through a seller's credit evaluation based on at least one credit evaluation model.
  • the credit rating unit may generate the seller's credit rating data based on one credit rating model, but the credit rating unit determines a target credit rating model 520 adaptively applicable to the seller based on the seller characteristic information 500. And, credit evaluation data 540 may be generated based on the determined target credit evaluation model 520 .
  • a target credit evaluation model 520 for credit evaluation that is most suitable for seller characteristic information 500 based on seller information such as seller's sales product, seller's product sales platform, seller's sales, seller's net profit, etc. can be determined
  • the credit evaluation unit may determine reliability of the credit evaluation model according to seller characteristic information based on feedback information of each of the plurality of credit evaluation models. Also, the credit evaluation unit may determine a reliability level for each seller characteristic information for each of the plurality of credit evaluation models. Specifically, the seller characteristic information 500 may be vectorized and expressed on a space based on each sub-seller characteristic information, and a seller group may be formed based on the seller characteristic information through distance information between spaces, and each seller group Reliability of each seller group of the credit evaluation model may be determined by comparing the credit evaluation data with the financial service result data. The reliability level may be determined in consideration of statistical characteristics of reliability for a seller group for each credit rating model.
  • the credit evaluation unit may generate credit evaluation data for the seller by determining a credit evaluation model having a relatively high reliability level as a target credit evaluation model based on the seller characteristic information.
  • FIG. 6 is a conceptual diagram illustrating the operation of a credit evaluation model management unit according to an embodiment of the present invention.
  • 6 discloses a method for determining shifting (or correction) of a credit evaluation model or replacement of a credit evaluation model in a credit evaluation model management unit.
  • the credit evaluation model management unit may shift the credit evaluation model or replace the credit evaluation model.
  • the credit rating model management unit may determine prediction accuracy of the credit rating model through comparison between credit rating data of the credit rating model and financial service result data. When the prediction accuracy of the credit rating model is less than or equal to the critical accuracy, the credit rating model management unit may determine the credit rating model as a credit rating model to be managed.
  • the credit evaluation model manager may determine shifting or replacement of a credit evaluation model to be managed.
  • Credit rating model shifting can be performed when there is a difference between the credit rating data of the credit rating model to be managed and the financial service result data, but the difference has a negative or positive tendency and exists within a critical range. there is.
  • Credit evaluation model replacement is performed when there is a difference between the credit evaluation data of the managed credit evaluation model and the financial service result data, and the difference does not have a negative or positive trend and exceeds a critical range.
  • a conservative financial service (low loan amount, high interest rate) may be provided based on credit evaluation data of a credit evaluation model to be managed. Accordingly, the credit evaluation data may be set to be close to actual financial service data by shifting the credit evaluation data through the credit evaluation model shifting 600 .
  • a high-risk financial service (high loan amount, low interest rate) may be provided based on credit evaluation data of a credit evaluation model to be managed. Accordingly, the credit evaluation data may be set to be close to actual financial service data by shifting the credit evaluation data through the credit evaluation model shifting 600 .
  • the credit evaluation data and the financial service result data may be transmitted as feedback data to the credit evaluation model generator, and the replacement may be performed with the credit evaluation model newly created by the credit evaluation model generator.
  • a replaceable credit evaluation model among existing credit evaluation models may be searched for and replacement with the corresponding credit evaluation model may be performed.
  • FIG. 7 is a conceptual diagram illustrating the operation of a credit evaluation model management unit according to an embodiment of the present invention.
  • replacement of a credit evaluation model may be determined differently according to the classification of credit evaluation data.
  • the credit evaluation data may be classified into a high-risk class 710, a medium-risk class 720, and a low-risk class 730.
  • the credit evaluation model evaluation unit may track and accumulate financial service problems occurring in each of the low-risk class 730 , the medium-risk class 720 , and the high-risk class 710 . Accumulate the financial service problems that occurred in the low-risk class (730), medium-risk class (720), and high-risk class (710), but gradually increase in the high-risk class (710), medium-risk class (720), and low-risk class (730). By assigning a higher weight, the evaluation value 750 of the credit evaluation model may be negatively evaluated by minus the reference value.
  • update is a case in which credit evaluation data can be corrected with some correction values
  • replacement is a case in which credit evaluation data can be corrected with some correction values.
  • a separate replacement or update for each class is also possible. For example, if a financial service problem occurs only in a specific class among the low-risk class 730, the medium-risk class 720, and the high-risk class 710, the credit evaluation model corresponding to the class is replaced or updated, and the remaining In the case of classes, the credit rating model can be kept as is.
  • FIG. 8 is a conceptual diagram illustrating a credit evaluation model monitoring method according to an embodiment of the present invention.
  • tracking of the seller may be performed. Tracking of the seller may be tracking whether the seller's credit evaluation basic data 810 is changed or tracking the financial service result 820 .
  • the time point of generating the credit evaluation basic data 810 and the time point of evaluating the financial service result 820 840 may be set in plurality.
  • evaluation errors for the credit evaluation basic data 810 and the financial service result 820 generated according to the evaluation time point 840 may be reduced.
  • the timing of evaluating the change in the credit evaluation basic data 810 and the financial service result 820 is set to a plurality of times periodically/non-periodically, and the financial service problem ( 850) may be determined.
  • the timing of evaluating the change in the basic credit evaluation data 810 and the financial service result 820 may be determined in consideration of the seller characteristic information 830 .
  • a sharp decrease in sales of sellers selling products not related to seasonality is a factor that can affect financial services, but a sharp decrease in sales of sellers selling products related to seasonality can affect financial services when seasonal factors are considered. It may be an element that does not exist.
  • the timing of evaluating the change in the credit evaluation basic data 810 and the financial service result 820 is determined in consideration of the seller characteristic information 830, and it is determined whether the result changing according to the evaluation timing is a financial service problem.
  • the criteria may also be set differently.
  • FIG. 9 is a conceptual diagram illustrating a credit evaluation apparatus according to an embodiment of the present invention.
  • FIG. 9 a credit evaluation device for monitoring basic credit evaluation data and financial service results of a seller and updating a credit evaluation model is disclosed.
  • the credit evaluation device includes a credit evaluation unit 910, a monitoring information collection unit 920, a class classification unit 930, a credit evaluation model evaluation unit 940, and a credit evaluation model management unit 950. can do.
  • the credit evaluation unit 910 may be implemented to determine seller's credit evaluation data based on the determined credit evaluation model in consideration of seller characteristics.
  • the monitoring information collection unit 920 may be implemented to monitor the seller's basic credit evaluation data and financial service results, and to collect the credit evaluation basic data and financial service results.
  • the credit rating base data and financial service results collected by the monitoring information can be used to update or replace the credit rating model.
  • the class classification unit 930 may be implemented to classify the seller's class into a low-risk class, a medium-risk class, and a high-risk class based on the seller's credit data.
  • the credit evaluation model evaluation unit 940 may be implemented for evaluation of the credit evaluation model.
  • the credit evaluation model evaluation unit 940 is implemented to evaluate the credit evaluation model applied to the seller based on monitoring information (basic credit evaluation data and financial service results) of the seller corresponding to the low-risk class, medium-risk class, and high-risk class. It can be.
  • the credit evaluation model management unit 950 may be implemented to replace or update (or shift) the credit evaluation model based on the evaluation result of the credit evaluation model.
  • FIG. 10 is a conceptual diagram illustrating a method for generating an artificial intelligence-based credit evaluation model according to an embodiment of the present invention.
  • a credit evaluation model may be generated based on extension and/or stratification of a plurality of artificial intelligence engines.
  • a reference artificial intelligence engine 1000 that is preferentially a reference for extension of an artificial intelligence engine for implementing a credit evaluation model may be determined.
  • the reference artificial intelligence engine 1000 is an engine having relatively high reliability, and related artificial intelligence engines 1010 having relevance based on the reference artificial intelligence engine 1000 may be expanded and set.
  • a plurality of reference artificial intelligence engines 1000 may be set.
  • the reference artificial intelligence engine 1000 seller characteristics according to the purpose of the credit evaluation model may be considered, or scalability of the reference artificial intelligence engine 1000 may be considered.
  • the scalability of the reference artificial intelligence engine 1000 is the connectability of the artificial intelligence engine (first type) considering the input value and the reference artificial intelligence engine ( 1000) may be determined in consideration of the generation frequency of input data.
  • the reference artificial intelligence engine 1000 is an artificial intelligence engine (first type)
  • the generation frequency of input data input to the reference artificial intelligence engine 1000 may be considered.
  • extension to connect other artificial intelligence engines based on the reference artificial intelligence engine 1000 may be performed. Through an extension process, other related artificial intelligence engines for generating credit evaluation data based on the reference artificial intelligence engine 1000 may be connected.
  • each artificial intelligence engine when generating a credit evaluation model, is modularized (or made into parts) to be designed, and the artificial intelligence engine to improve the modularized (or made into parts) credit evaluation model may be replaced in module units.
  • the plurality of artificial intelligence engines constituting the credit evaluation model may be divided into a core module 1020, a related module 1030, and a non-core module 1040.
  • the core module 1020 may be a reference artificial intelligence engine
  • the related module 1030 may be an artificial intelligence engine directly connected to the reference artificial intelligence engine.
  • other artificial intelligence engines may be classified as non-core modules 1040.
  • one credit evaluation model may be created, and specialized artificial intelligence engines applicable to a specific seller group may be layered and deployed. That is, a plurality of artificial intelligence engines may be layered in a vertical direction, and credit evaluation data for the seller may be generated.
  • the generalized artificial intelligence engine 1075 is an artificial intelligence engine generated to generate universal credit evaluation data without considering seller characteristics, and the credit evaluation model formed based on the generalized artificial intelligence engine 1075 is a generalized credit evaluation model. (1070).
  • An artificial intelligence engine generated to generate general-purpose credit evaluation data for a seller in consideration of seller characteristics is a specialized artificial intelligence engine 1085, and a credit evaluation model formed based on the specialized artificial intelligence engine 1085 is a specialized credit evaluation model. (1080).
  • the first layer 1050 may be implemented based on a generalized artificial intelligence engine 1075 as a generalized credit evaluation model 1070 that generates seller's credit evaluation data based on input values regardless of seller characteristics.
  • the second layer 1060 to the n-th layer may include a specialized artificial intelligence engine 1085 as a specialized credit evaluation model 1080 generated according to seller characteristics in consideration of seller characteristics.
  • FIG. 11 is a conceptual diagram illustrating extension of an artificial intelligence engine for implementing a credit evaluation model according to an embodiment of the present invention.
  • 11 discloses a reference artificial intelligence engine and an extension of an artificial intelligence engine based on the reference artificial intelligence engine.
  • the lower credit evaluation data A is input to the reference artificial intelligence engine 1100, and the lower credit evaluation data A may be data generated based on a specific artificial intelligence engine.
  • a related artificial intelligence engine 1120 to be connected to the reference artificial intelligence engine 1100 may be selected from among a plurality of artificial intelligence engines capable of generating the lower credit evaluation data A.
  • the reliability of the artificial intelligence engine may be considered for selection of the relevant artificial intelligence engine 1120 .
  • the more similar the generation cycles between the input data are the more accurate the credit evaluation result considering the change in the seller's credit over time can be generated. Therefore, the data generation cycle of the input data input to the reference artificial intelligence engine 1100 can be considered. there is.
  • the probability of being determined as a related artificial intelligence engine increases relatively, and as the data generation cycles of the input data of the artificial intelligence engine are relatively similar to each other, the probability of being determined as a related artificial intelligence engine 1120 increases. can be increased relatively.
  • extension considering the data generation cycle may be performed. If the data generation cycle does not match, the accuracy of the generated credit evaluation data may be lowered.
  • the artificial intelligence engine can be extended to fit data generation cycles.
  • FIG. 12 is a conceptual diagram illustrating layering of an artificial intelligence engine for implementing a credit evaluation model according to an embodiment of the present invention.
  • the first layer of the credit evaluation model may be a generalized credit evaluation model 1250 applicable to all sellers.
  • the second to nth layers of the credit evaluation model may be a specialized credit evaluation model 1260 applied to a specific seller. Layers of the credit evaluation model may be connected to each other in the input and output of the artificial intelligence engine constituting the credit evaluation model, and based on the input and output connected to each other, learning by sharing feedback results is performed, and between the output credit evaluation data A comparison can be made.
  • the second layer may include a characterization artificial intelligence engine and/or a generalization artificial intelligence engine as a credit rating model for a seller of clothes.
  • the specialized artificial intelligence engine and the generalized artificial intelligence engine included in the second layer may be connected and shared with other layers, for example, the first layer or the third through nth layers. That is, an artificial intelligence engine included in one layer may be vertically connected to another layer and used to generate credit evaluation data.
  • an artificial intelligence engine of another layer may be used in parallel with a second layer of artificial intelligence engine to generate different credit evaluation data.
  • the input and output results of the artificial intelligence engine between these layers can generate a plurality of credit evaluation data, and the plurality of credit evaluation data can be utilized to provide financial services to sellers.
  • the second layer may share an artificial intelligence engine with the first layer and the n-th layer or may generate a credit evaluation model by configuring them in parallel.
  • a shared artificial intelligence engine may be expressed as a shared artificial intelligence engine 1200, and an artificial intelligence engine deployed in parallel may be expressed as a parallel artificial intelligence engine 1220.
  • Credit evaluation data generated based on sharing by the sharing artificial intelligence engine 1200 may be reference credit evaluation data.
  • the credit evaluation data generated based on the parallel arrangement of the parallel artificial intelligence engine 1220 may be additional credit evaluation data. Depending on the reliability of the additional credit evaluation data, ON/OFF of the parallel artificial intelligence engine in parallel arrangement is determined, and additional credit evaluation data can be selectively generated and used to provide financial services to the seller.
  • the first artificial intelligence engine 1270 is shared and used as a shared artificial intelligence engine 1200
  • each of the second artificial intelligence engine 1280 and the third artificial intelligence engine 1290 is a parallel artificial intelligence engine 1220.
  • Each of the second artificial intelligence engine 1280 and the third artificial intelligence engine 1290 which are parallel artificial intelligence engines, may be controlled ON/OFF to generate various credit evaluation data. That is, according to the feedback result, artificial intelligence ON/OFF arranged in parallel may be determined, and additional credit evaluation data may be generated.
  • the shared artificial intelligence engine 1200 and/or the parallel artificial intelligence engine 1220 may be additionally configured based on the feedback result.
  • parallel artificial intelligence engines 1220 are defined as pairs based on relevance for each artificial intelligence engine, and additional credit evaluation is performed through various combinations based on ON/OFF of the artificial intelligence engines defined as pairs. data can be created. ON/OFF of the parallel artificial intelligence engine 1220 takes into account the reliability of the parallel artificial intelligence engine 1220, and as a result of the feedback, the parallel artificial intelligence engine 1220 having a reliability level higher than or equal to the critical level reliability parallel artificial intelligence engine 1220 lower than the critical level of reliability Credit evaluation data may be generated by combining them so as to have a higher probability of operating in the ON state.
  • FIG. 13 is a conceptual diagram illustrating a credit evaluation model evaluation method according to an embodiment of the present invention.
  • evaluation of the credit evaluation model may be performed for each module.
  • the plurality of artificial intelligence engines constituting the credit evaluation model may be divided into a core module 1310, a related module 1320, and a non-core module 1330.
  • the core module 1310 may be a reference artificial intelligence engine
  • the related module 1320 may be an artificial intelligence engine directly connected to the reference artificial intelligence engine.
  • Artificial intelligence engines other than the core module 1310 and related modules 1320 may be classified as non-core modules 1330.
  • Evaluation of the credit evaluation model of the present invention may be performed for core module 1310, related module 1320 and non-core module 1330.
  • a search for a module that caused a judgment error may be performed.
  • a plurality of lower level credit evaluation data constituting the credit evaluation data causing the judgment error may be divided, and target lower level credit evaluation data 1300 causing the judgment error may be determined from among the divided plurality of lower level credit evaluation data.
  • the target lower credit evaluation data 1300 may be determined by considering an error between actual lower credit evaluation data based on actual financial service results and prediction lower credit evaluation data predicted by an artificial intelligence engine.
  • a core module 1310, a related module 1320, or a non-core module 1330 related to the target lower credit evaluation data may be determined.
  • the judgment error starting artificial intelligence engine 1350 and the judgment error effecting artificial intelligence engine 1360 affected by the judgment error may be determined.
  • replacement or shifting is performed for the judgment error starting artificial intelligence engine 1350 and the judgment error effecting artificial intelligence engine 1360 affected by the judgment error. It can be.
  • the replacement and shifting may be performed in the same manner as shifting (or correcting) the credit evaluation model or replacement of the credit evaluation model in the credit evaluation model management unit disclosed in FIG. 6 .
  • FIG. 14 is a conceptual diagram illustrating a credit evaluation model replacement method according to an embodiment of the present invention.
  • FIG. 14 shows a method for determining a core module, a related module, or a non-core module related to the target sub-credit evaluation after determining the target sub-credit evaluation data that caused the judgment error, and a judgment error starting artificial intelligence engine from which propagation of the judgment error started; and A method for determining an error-influenced artificial intelligence engine affected by an error-of-decision is disclosed.
  • an artificial intelligence engine that generates lower credit evaluation data that determines credit evaluation data may be searched in reverse.
  • the feedback result of the financial service may be delivered as feedback on lower credit evaluation data that generated the seller's credit evaluation data.
  • An artificial intelligence engine that generates misjudged low-level credit evaluation data among the low-level credit evaluation data may be a target artificial intelligence engine.
  • the plurality of target artificial intelligence engines 1400 may be judgment error starting artificial intelligence engines or error effect artificial intelligence engines.
  • the cause of the target artificial intelligence engine 1400's erroneous determination may be an input data error 1440 and/or an artificial intelligence engine error 1460.
  • the parallel artificial intelligence engine 1420 of the target artificial intelligence engine 1400 makes the same error determination, it is determined as an input data error 1440, and the parallel artificial intelligence engine 1420 of the target artificial intelligence engine 1400 has another error. When making a decision, it may be determined as an artificial intelligence engine error 1460.
  • the target artificial intelligence engine 1400 is set to the artificial intelligence engine 1480 starting with a judgment error, and if it is determined to be an input data error, the target artificial intelligence engine affects the artificial intelligence engine with a judgment error. It can be set to intelligence engine 1470.
  • the credit rating model may be corrected through replacement of the judgment error start artificial intelligence engine 1480 and shifting of the judgment error impact artificial intelligence engine 1470 .
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler.
  • a hardware device may be modified with one or more software modules to perform processing according to the present invention and vice vers

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Technology Law (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

본 발명은 신용평가 모델 업데이트 또는 교체 방법 및 장치에 관한 것이다. 신용 평가 모델 업데이트 또는 교체 방법은 인공 지능 엔진 생성부가 신용 평가를 위한 복수의 인공 지능 엔진을 생성하는 단계, 신용 평가 모델 생성부가 복수의 인공 지능 엔진을 기반으로 신용 평가 모델의 생성하는 단계와 신용 평가부가 신용 평가 모델을 기반으로 판매자에 대한 신용 평가 데이터를 생성하는 단계를 포함하되, 신용 평가 모델은 복수의 인공 지능 엔진의 확장 및/또는 계층화를 기반으로 생성되고, 신용 평가 모델의 평가는 신용 평가 모델을 구성하는 핵심 모듈, 관련 모듈 및 비핵심 모듈을 기반으로 수행될 수 있다.

Description

신용평가 모델 업데이트 또는 교체 방법 및 장치
본 발명은 신용평가 모델 업데이트 또는 교체 방법 및 장치에 관한 것이다. 보다 상세하게는 판매자에게 금융 서비스를 제공하기 위해 판매자의 신용 평가에 사용되는 위한 신용 평가 모델을 업데이트하거나 교체하는 방법 및 장치에 관한 것이다.
4차 산업혁명에 의해 촉발된 지능 정보 사회로 진입하면서 데이터의 무한한 활용 가능성이 데이터 산업의 변화를 초래하고 있다. 데이터 시대가 도래함에 따라 향후 데이터 산업의 수준이 국가 사이에 경쟁력의 차이를 결정하게 될 것이다.
특히, 금융 시장에서의 빅데이터 인프라 구축은 매우 시급할 뿐만 아니라, 머지 않아 국가의 데이터 산업의 향방을 좌우할만큼 중요한 자산이 되었다. 금융 빅데이터 인프라는 빅데이터 개방 시스템, 데이터 거래소, 데이터 전문기관 등으로 구성된다.
이러한 빅데이터 기반의 사용자 금융 데이터를 기반으로 한 새로운 금융 상품에 대한 연구가 필요하다. 사용자 금융 상품에 대한 인공 지능 기반의 학습을 통해 다양한 리스크 분석이 가능하고, 리스크 분석을 기반으로 현재까지 없었던 새로운 금융 서비스를 사용자들에게 제공할 수 있다.
따라서, 사용자의 금융 데이터를 활용하고 사용자의 금융 데이터를 기반으로 다양한 금융 서비스를 제공하기 위한 구체적인 방법에 대한 연구가 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 신용 평가 모델에 대한 피드백 결과를 고려하여 신용 평가 모델을 구성하는 모듈별로 판단 오류를 탐색하여 인공 지능 엔진에 대한 교체 또는 쉬프팅을 수행하는 것을 목적으로 한다.
또한, 본 발명은, 판단 오류 시작 인공 지능 엔진에 대한 교체 및 판단 오류 영향 인공 지능 엔진에 대한 쉬프팅을 통해 신용 평가 모델의 정정을 가능하게 하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 신용 평가 모델 업데이트 또는 교체 방법은 인공 지능 엔진 생성부가 신용 평가를 위한 복수의 인공 지능 엔진을 생성하는 단계, 신용 평가 모델 생성부가 상기 복수의 인공 지능 엔진을 기반으로 신용 평가 모델의 생성하는 단계와 신용 평가부가 상기 신용 평가 모델을 기반으로 판매자에 대한 신용 평가 데이터를 생성하는 단계를 포함하되, 상기 신용 평가 모델은 복수의 인공 지능 엔진의 확장 및/또는 계층화를 기반으로 생성되고, 상기 신용 평가 모델의 평가는 상기 신용 평가 모델을 구성하는 핵심 모듈, 관련 모듈 및 비핵심 모듈을 기반으로 수행될 수 있다.
한편, 상기 핵심 모듈은 기준 인공 지능 엔진이고, 상기 관련 모듈은 상기 기준 인공 지능 엔진을 기준으로 직접적으로 연결된 인공 지능 엔진이고, 상기 비핵심 모듈은 상기 핵심 모듈 및 상기 관련 모듈 외에 상기 신용 평가 모델을 구성하는 나머지 인공 지능 엔진일 수 있다.
또한, 상기 신용 평가 모델에 대한 평가는 상기 신용 평가 데이터를 기반으로 한 금융 서비스에 대한 판단 결과가 잘못된 경우, 판단 오류를 발생시킨 모듈에 대한 서치를 통해 수행되고, 상기 서치는 상기 판단 오류를 발생시킨 상기 신용 평가 데이터를 구성하는 복수의 하위 신용 평가 데이터를 분할하고, 분할된 상기 복수의 하위 신용 평가 데이터 중 판단 오류를 발생시킨 타겟 하위 신용 평가 데이터를 결정하고, 상기 타겟 하위 신용 평가 데이터의 결정 이후, 상기 타겟 하위 신용 평가 데이터와 관련된 상기 핵심 모듈, 상기 관련 모듈 또는 상기 비핵심 모듈을 결정하고, 상기 판단 오류의 전파가 시작된 판단 오류 시작 인공 지능 엔진 및 상기 판단 오류에 영향을 받은 판단 오류 영향 인공 지능 엔진을 결정할 수 있다.
본 발명의 다른 실시예에 따르면, 인공 지능 기반 신용 평가 모델 생성하는 신용 평가 장치는 신용 평가를 위한 복수의 인공 지능 엔진을 생성하도록 구현되는 인공 지능 엔진 생성부, 상기 복수의 인공 지능 엔진을 기반으로 신용 평가 모델의 생성하도록 구현되는 신용 평가 모델 생성부와 평가부가 상기 신용 평가 모델을 기반으로 판매자에 대한 신용 평가 데이터를 생성하도록 구현되는 신용 평가부를 포함하되, 상기 신용 평가 모델은 복수의 인공 지능 엔진의 확장 및/또는 계층화를 기반으로 생성되고, 상기 신용 평가 모델의 평가는 상기 신용 평가 모델을 구성하는 핵심 모듈, 관련 모듈 및 비핵심 모듈을 기반으로 수행될 수 있다.
한편, 상기 핵심 모듈은 기준 인공 지능 엔진이고, 상기 관련 모듈은 상기 기준 인공 지능 엔진을 기준으로 직접적으로 연결된 인공 지능 엔진이고, 상기 비핵심 모듈은 상기 핵심 모듈 및 상기 관련 모듈 외에 상기 신용 평가 모델을 구성하는 나머지 인공 지능 엔진일 수 있다.
또한, 상기 신용 평가 모델에 대한 평가는 상기 신용 평가 데이터를 기반으로 한 금융 서비스에 대한 판단 결과가 잘못된 경우, 판단 오류를 발생시킨 모듈에 대한 서치를 통해 수행되고, 상기 서치는 상기 판단 오류를 발생시킨 상기 신용 평가 데이터를 구성하는 복수의 하위 신용 평가 데이터를 분할하고, 분할된 상기 복수의 하위 신용 평가 데이터 중 판단 오류를 발생시킨 타겟 하위 신용 평가 데이터를 결정하고, 상기 타겟 하위 신용 평가 데이터의 결정 이후, 상기 타겟 하위 신용 평가 데이터와 관련된 상기 핵심 모듈, 상기 관련 모듈 또는 상기 비핵심 모듈을 결정하고, 상기 판단 오류의 전파가 시작된 판단 오류 시작 인공 지능 엔진 및 상기 판단 오류에 영향을 받은 판단 오류 영향 인공 지능 엔진을 결정할 수 있다.
본 발명에 의하면, 신용 평가 모델에 대한 피드백 결과를 고려하여 신용 평가 모델을 구성하는 모듈별로 판단 오류를 탐색하여 인공 지능 엔진에 대한 교체 또는 쉬프팅이 수행될 수 있다.
또한, 본 발명에 의하면, 판단 오류 시작 인공 지능 엔진에 대한 교체 및 판단 오류 영향 인공 지능 엔진에 대한 쉬프팅을 통해 신용 평가 모델의 정정이 가능할 수 있다.
도 1은 본 발명의 실시예에 따른 CB(credit bureau)사 신용 평가 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 인공 지능 엔진 생성부의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 후보 신용 평가 모델 생성부의 동작을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 신용 평가 모델 결정부의 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 신용 평가부의 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 신용 평가 모델 관리부의 동작을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 신용 평가 모델 관리부의 동작을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 신용 평가 모델 모니터링 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 신용 평가 장치를 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 인공 지능 기반 신용 평가 모델 생성 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 신용 평가 모델을 구현하기 위한 인공 지능 엔진의 확장을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 신용 평가 모델을 구현하기 위한 인공 지능 엔진의 계층화를 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 신용 평가 모델 평가 방법을 나타낸 개념도이다.
도 14는 본 발명의 실시예에 따른 신용 평가 모델 교체 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 CB(credit bureau)사 신용 평가 장치를 나타낸 개념도이다.
도 1에서는 신용 평가사인 CB사가 판매자의 신용 평가를 수행하기 위한 신용 평가 모델을 생성하고 신용 평가 모델의 관리를 자동화하기 위한 신용 평가 장치가 개시된다.
도 1을 참조하면, CB사 신용 평가 장치는 인공 지능 엔진 생성부(100), 신용 평가 모델 생성부(110), 신용 평가부(170) 및 신용 평가 모델 관리부(180) 및 프로세서(190)를 포함할 수 있다.
인공 지능 엔진 생성부(100)는 신용 평가를 위한 다양한 인공 지능 엔진을 생성하기 위해 구현될 수 있다. 신용 평가 데이터를 결정하기 위해서는 다양한 하위 신용 평가 데이터를 생성하는 개별적인 인공 지능 엔진이 활용될 수 있다. 인공 지능 엔진 생성부(100)는 신용 평가 데이터를 결정하기 위해 기초가 되는 다양한 하위 신용 평가 데이터를 생성할 수 있는 인공 지능 엔진을 생성할 수 있다.
인공 지능 엔진 생성부(100)에 의해 생성된 인공 지능 엔진은 신용 평가 모델 생성부(110)로 전달되어 신용 평가 모델의 생성을 위해 활용될 수 있다.
신용 평가 모델 생성부(110)는 신용 평가 모델의 생성을 위해 구현될 수 있다. 신용 평가 모델은 판매자의 신용 평가 데이터를 생성하기 위한 모델일 수 있다.
신용 평가 모델은 복수의 인공 지능 엔진과 복수의 신용 평가를 위한 알고리즘을 기반으로 구현될 수 있다. 신용 평가 모델은 신용 평가를 위한 전처리 신용 평가 기초 데이터를 수신하여 판매자에 대한 신용 평가 데이터를 생성할 수 있다.
신용 평가 모델 생성부(110)는 후보 신용 평가 모델 생성부(120) 및 신용 평가 모델 결정부(160)를 포함할 수 있다.
후보 신용 평가 모델 생성부(120)는 인공 지능 엔진 결정부(130), 인공 지능 엔진 배치부(140), 신용 평가 데이터 생성부(150)를 포함할 수 있다.
인공 지능 엔진 결정부(130)는 후보 신용 평가 모델에 포함될 적어도 하나의 인공 지능 엔진을 결정하기 위해 구현될 수 있다. 후보 신용 평가 모델은 복수의 인공 지능 엔진을 기반으로 신용 평가 데이터를 생성할 수 있고, 인공 지능 엔진 결정부(130)는 후보 신용 평가 모델을 생성하기 위한 적어도 하나의 인공 지능 엔진을 결정할 수 있다.
인공 지능 엔진 배치부(140)는 인공 지능 모델 결정부(130)에 의해 결정된 인공 지능 엔진을 배치하여 후보 신용 평가 모델을 생성하기 위해 구현될 수 있다. 복수의 인공 지능 엔진 각각은 순차적 또는 병렬적으로 배치되어 복수의 하위 신용 평가 데이터를 생성하고, 복수의 하위 신용 평가 데이터가 종합되어 신용 평가 데이터가 결정될 수 있다.
예를 들어, 복수의 인공 지능 엔진 각각은 병렬적으로 배치되어 하위 신용 평가 데이터를 생성하고, 하위 신용 평가 데이터를 기반으로 판매자의 신용 평가 데이터가 결정될 수 있다. 또는 복수의 인공 지능 엔진이 계층적(또는 순차적)으로 배치되어 하위 신용 평가 데이터를 생성하고, 계층적으로 생성되는 n차 하위 신용 평가 데이터를 기반으로 판매자의 신용 평가 데이터가 결정될 수 있다. 또는 특정 인공 지능 엔진에서 생성된 결과가 다른 인공 지능 엔진으로 입력되는 구조의 신용 평가 데이터를 생성하기 위한 후보 신용 평가 모델이 결정될 수도 있다. 따라서, 인공 지능 엔진 배치부(140)는 신용 평가 데이터를 생성하기 위해 적절한 인공 지능 엔진의 배치를 기반으로 후보 신용 평가 모델을 결정할 수 있다.
신용 평가 데이터 생성부(150)는 인공 지능 엔진 배치부(140)에 의해 결정된 후보 신용 평가 모델을 기반으로 신용 평가 데이터를 생성하기 위해 구현될 수 있다.
신용 평가 모델 결정부(160)는 후보 신용 평가 모델 생성부(120)에 의해 생성된 복수의 후보 신용 평가 모델 중 신용 평가에 임계 신뢰도를 가지는 모델을 신용 평가 모델로서 결정하기 위해 구현될 수 있다. 신용 평가 모델 생성부(110)에 의해 생성된 후보 신용 평가 모델 중 신용 평가를 위해 사용될 신용 평가 모델은 신용 평가부(170)로 전송될 수 있다. 신뢰도는 기존의 신용 평가 기초 데이터를 기반으로 한 후보 신용 평가 모델의 신용 평가 결과와 실제 금융 서비스 결과의 비교를 통해 판단될 수 있다. 후보 신용 평가 모델의 신용 평가 결과와 실제 금융 서비스 결과가 상대적으로 유사할수록 후보 신용 평가 모델이 상대적으로 더 높은 신뢰도를 가지는 것으로 결정될 수 있다.
신용 평가부(170)는 신용 평가 모델 생성부(180)에 의해 생성된 신용 평가 모델을 기반으로 판매자에 대한 신용 평가 데이터를 생성하기 위해 수행할 수 있다.
신용 평가부(170)는 적어도 하나의 신용 평가 모델을 사용하여 판매자에 대한 신용 평가를 통해 신용 평가 데이터를 생성할 수 있다. 신용 평가부(170)에 위치한 적어도 하나의 신용 평가 모델은 평가에 의해 교체되거나 조합되어 판매자의 신용 평가 데이터를 결정하기 위해 활용될 수 있다.
또한, 신용 평가부(170)는 신용 평가 대상에 따라 적응적으로 적용 가능한 다양한 신용 평가 모델을 포함할 수 있고, 이러한 다양한 신용 평가 모델을 기반으로 판매자 특성을 고려한 신용 평가 데이터가 생성될 수 있다.
신용 평가 모델 관리부(180)는 신용 평가 모델의 관리를 위해 구현될 수 있다. 신용 평가부(170)의 신용 평가 모델은 주기적/비주기적 평가에 의해 교체될 수 있다. 신용 평가 모델 관리부(180)는 현재 신용 평가부(170)에서 사용되는 신용 평가 모델을 판단하고, 신용 평가 모델의 교체 여부를 결정할 수 있다.
또는 신용 평가 모델 관리부(180)는 신용 평가부(170)의 신용 평가 모델의 교체가 아닌 결과값의 일부 보정(또는 쉬프팅)을 수행할지 여부에 대해서도 결정하고 보정값(또는 쉬프팅값)을 신용 평가부(170)에 전송할 수도 있다. 예를 들어, 신용 평가부(170)의 신용 평가 모델의 예측 결과와 실제 금융 서비스 결과의 오차가 보정값을 기반으로 좁혀질 수 있는 경우, 신용 평가 모델 관리부(180)는 신용 평가 모델의 예측 결과를 보정할 보정값을 결정하여 신용 평가부(170)로 전달할 수 있다.
프로세서(190)는 인공 지능 엔진 생성부(100), 신용 평가 모델 생성부(110), 신용 평가부(170) 및 신용 평가 모델 관리부(180)의 동작을 제어하기 위해 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 인공 지능 엔진 생성부의 동작을 나타낸 개념도이다.
도 2에서는 인공 지능 엔진 생성부에서 신용 평가를 위한 인공 지능 엔진을 생성하는 방법이 개시된다.
도 2를 참조하면, 인공 지능 엔진 생성부는 신용 평가 모델에 포함되는 인공 지능 엔진을 생성하기 위해 구현될 수 있다.
인공 지능 엔진은 전처리 신용 평가 기초 데이터를 입력값으로 수신하고, 판매자의 신용 평가 데이터를 결정하기 위한 하위 신용 평가 데이터를 생성하기 위해 구현될 수 있다.
인공 지능 엔진 생성부는 후보 인공 지능 엔진 생성부(210), 신뢰도 판단부(260), 인공 지능 엔진 결정부(270)를 포함할 수 있다.
후보 인공 지능 엔진 생성부(210)는 후보 신용 평가 모델에 포함될 후보 인공 지능 엔진을 생성하기 위해 구현될 수 있다. 후보 인공 지능 엔진 생성부(210)는 업데이트 인공 지능 엔진 생성부(220)와 신규 인공 지능 엔진 생성부(230)를 포함할 수 있다.
업데이트 인공 지능 엔진 생성부(220)는 기존의 사용되던 인공 지능 엔진에 새로운 학습 데이터 또는 새로운 피드백 데이터를 기반으로 인공 지능 학습을 재수행하여 업데이트된 인공 지능 엔진을 후보 인공 지능 엔진으로서 생성하기 위해 구현될 수 있다
업데이트 인공 지능 엔진 생성부(220)는 신규 데이터 데이터베이스(222), 피드백 데이터 데이터베이스(224), 업데이트 주기 결정부(226)를 포함할 수 있다.
신규 데이터 데이터베이스(222)는 새롭게 입력되는 신용 평가 기초 데이터를 저장하는 데이터베이스일 수 있다.
피드백 데이터 데이터베이스(224)는 기존에 생성된 인공 지능 엔진과 관련된 피드백 데이터를 저장하는 데이터베이스일 수 있다.
업데이트 주기 결정부(226)는 인공 지능 엔진에 대한 업데이트 주기를 결정하기 위해 구현될 수 있다. 업데이트 주기 결정부(226)는 미리 설정된 주기를 기준으로 추가적인 학습 데이터를 통해 업데이트를 결정할 수 있다. 또한, 업데이트 주기 결정부(226)는 신규로 입력된 신용 평가 기초 데이터, 피드백 데이터의 특성을 고려하여 업데이트 주기를 결정할 수도 있다. 예를 들어, 데이터베이스에 저장된 신용 평가 기초 데이터, 피드백 데이터가 기존의 학습에 사용된 데이터와 상대적으로 유사도가 높은 경우, 업데이트 주기는 상대적으로 길게 설정될 수 있다. 반대로, 데이터베이스에 저장된 신용 평가 기초 데이터, 피드백 데이터가 기존의 학습에 사용된 데이터와 상대적으로 유사도가 낮은 경우, 업데이트 주기는 상대적으로 짧게 설정될 수 있다.
신규 인공 지능 엔진 생성부(230)는 새로운 인공 지능 엔진으로서 인공 지능 학습을 통해 후보 인공 지능 엔진을 생성하기 위해 구현될 수 있다. 새로운 인공 지능 엔진은 기존 인공 지능 엔진과 다른 학습 레이어, 인공 지능 학습 알고리즘, 학습 전처리 등을 수행하는 학습 모델일 수 있다.
신규 인공 지능 엔진 생성부(230)는 타겟 데이터 결정부(233), 학습 데이터 결정부(236)를 포함할 수 있다.
타겟 데이터 결정부(233)는 새롭게 생성되는 인공 지능 엔진에 의해 출력되는 하위 신용 평가 데이터를 결정하기 위해 구현될 수 있다.
학습 데이터 결정부(236)는 하위 신용 평가 데이터에 따라 인공 지능 엔진의 학습을 위한 학습 데이터를 결정하기 위해 구현될 수 있다.
본 발명에서 업데이트 인공 지능 엔진 생성부(220)에 의해 생성된 후보 인공 지능 엔진은 후보 인공 지능 엔진(업데이트)(240), 신규 인공 지능 엔진 생성부(230)에 의해 생성된 인공 지능 엔진은 후보 인공 지능 엔진(신규)(250)라는 용어로 구분하여 표현될 수 있다.
신뢰도 판단부(260)는 후보 인공 지능 엔진(업데이트)(240), 후보 인공 지능 엔진(신규)(250)의 신뢰도를 판단하기 위해 구현될 수 있다. 후보 인공 지능 엔진(업데이트)(240)와 후보 인공 지능 엔진(신규)(250)의 예측값과 기존의 금융 서비스 결과값을 비교하여 후보 인공 지능 엔진(업데이트)(240)와 후보 인공 지능 엔진(신규)(250) 각각의 신뢰도가 결정될 수 있다.
인공 지능 엔진 결정부(270)는 후보 인공 지능 엔진 중 신용 평가 모델에서 사용될 인공 지능 엔진을 결정하기 위해 구현될 수 있다.
후보 인공 지능 엔진의 신뢰도가 기준 인공 지능 엔진보다 높은 신뢰도를 가지는 경우, 후보 인공 지능 엔진은 인공 지능 엔진으로서 결정되어 신용 평가 모델에서 사용될 수 있다.
후보 인공 지능 엔진(업데이트)(240)의 기준 인공 지능 엔진과 후보 인공 지능 엔진(신규)(250)의 기준 인공 지능 엔진은 서로 다를 수 있다. 후보 인공 지능 엔진(업데이트)(240)의 기준 인공 지능 엔진은 후보 인공 지능 엔진(업데이트)(240)에 대응되는 업데이트 전 인공 지능 엔진일 수 있다. 후보 인공 지능 엔진(신규)(250)의 기준 인공 지능 엔진은 후보 인공 지능 엔진(신규)(250)와 동일한 하위 신용 평가 데이터를 생성하는 인공 지능 엔진 중 가장 높은 신뢰도를 가지는 인공 지능 엔진일 수 있다. 또는 후보 인공 지능 엔진(신규)(250)의 기준 인공 지능 엔진은 후보 인공 지능 엔진(신규)(250)와 동일한 하위 신용 평가 데이터를 생성하는 인공 지능 엔진의 신뢰도의 중간값에 대응되는 인공 지능 엔진일 수 있다.
도 3은 본 발명의 실시예에 따른 후보 신용 평가 모델 생성부의 동작을 나타낸 개념도이다.
도 3에서는 후보 신용 평가 모델 생성부가 인공 지능 엔진을 조합하여 후보 신용 평가 모델을 생성하는 방법이 개시된다.
도 3을 참조하면, 후보 신용 평가 모델 생성부(300)는 신용 평가 모델 생성부에 포함되어 후보 신용 평가 모델을 생성하기 위해 구현될 수 있다.
후보 신용 평가 모델 생성부(300)는 인공 지능 엔진 결정부(310), 인공 지능 엔진 배치부(320) 및 신용 평가 데이터 생성부(330)를 포함할 수 있다.
인공 지능 엔진 결정부(310)는 후보 신용 평가 모델의 생성시 사용할 인공 지능 엔진을 결정할 수 있다. 후보 신용 평가 모델은 특정 섹터의 판매자에 특화된 모델일 수도 있고, 일반적으로 모든 판매자에게 적용 가능한 모델일 수도 있다. 따라서, 인공 지능 엔진 결정부(310)는 신용 평가 모델 특성을 고려하여 인공 지능 엔진을 생성할 수도 있다.
인공 지능 엔진 결정부(310)는 인공 지능 엔진을 결정하기 위해 신용 평가 데이터 생성에 사용할 하위 신용 평가 데이터를 결정할 수 있다. 하위 신용 평가 데이터의 결정 이후, 결정된 하위 신용 평가 데이터에 대응되는 인공 지능 엔진이 결정될 수 있다.
인공 지능 엔진은 2가지 타입으로 정의될 수 있다. 인공 지능 엔진(제1 타입)(350)은 전처리된 신용 평가 기초 데이터를 기반으로 하위 신용 평가 데이터를 결정할 수 있다. 인공 지능 엔진(제2 타입)(360)은 입력되는 하위 신용 평가 데이터를 기반으로 다른 하위 신용 평가 데이터를 결정할 수 있다.
인공 지능 엔진(제1 타입)(350)은 신용 평가 기초 데이터(예를 들어, 신용 평가 요소a(매출), 신용 평가 요소b(순이익), 신용 평가 요소c(반품율))를 입력 받고, 하위 신용 평가 데이터를 결정할 수 있다.
인공 지능 엔진(제2 타입)(360)은 적어도 하나의 인공 지능 엔진(제1 타입)(350)에 의해 생성된 하위 신용 평가 데이터를 입력받고, 또 다른 하위 신용 평가 데이터를 생성할 수 있다. 예를 들어, 인공 지능 엔진(제2 타입)(360)은 하위 신용 평가 데이터1(연체 가능성), 하위 신용 평가 데이터2(디폴트 가능성), 하위 신용 평가 데이터3(시장 변화 가능성)을 입력받고, 또 다른 하위 신용 평가 데이터인 신용 등급을 결정할 수 있다.
인공 지능 모델 결정부는 인공 지능 엔진의 신뢰도, 인공 지능 엔진(제1 타입)(350)과 인공 지능 엔진(제2 타입)(360) 간의 연결 관계, 인공 지능 엔진 배치 구조, 인공 지능 엔진 특징 등을 고려하여 인공 지능 엔진을 결정할 수 있다.
인공 지능 엔진(제1 타입)(350)과 인공 지능 엔진(제2 타입)(360) 간의 연결 관계는 인공 지능 엔진(제2 타입)(360)의 입력값을 고려한 인공 지능 엔진(제1 타입)(350)의 연결 가능성에 대한 정보를 포함할 수 있다.
인공 지능 엔진 배치 구조는 인공 지능 엔진(제1 타입)(350)과 인공 지능 엔진(제2 타입)(360) 간의 계층적 배치 및 동일한 계층의 인공 지능 엔진의 배치, 동일/유사 하위 신용 평가 데이터를 생성하는 인공 지능 엔진의 중복 배치 여부, 인공 지능 엔진에 입력되는 신용 평가 기초 데이터의 생성 빈도 등을 고려하여 결정될 수 있다.
인공 지능 엔진 특징은 동일/유사한 입력 데이터에 대한 출력 데이터 특성을 고려한 것으로서 출력 데이터의 값이 유사할수록 상대적으로 유사한 인공 지능 엔진 특징을 가지는 것으로 결정될 수 있다.
인공 지능 엔진 배치부(320)는 인공 지능 엔진을 배치하여 후보 신용 평가 모델을 생성하기 위해 구현될 수 있다. 신뢰도 높은 신용 평가 데이터를 생성하기 위하여 인공 지능 엔진의 배치가 수행될 수 있다. 인공 지능 엔진 배치부(320)는 인공 지능 엔진의 신뢰도, 인공 지능 엔진(제1 타입)(350)과 인공 지능 엔진(제2 타입)(360) 간의 연결 관계, 인공 지능 엔진 배치 구조, 인공 지능 엔진 특징, 신용 평가 기초 데이터의 생성 빈도를 고려하여 다양하게 인공 지능 엔진을 배치할 수 있다.
신용 평가 데이터 생성부(330)는 후보 신용 평가 모델에서 신용 평가 데이터를 생성하기 위해 구현될 수 있다. 신용 평가 데이터 생성부(330)는 인공 지능 엔진 배치부(320)에 의해 생성된 후보 신용 평가 모델에 신용 평가 기초 데이터를 입력하고, 출력값으로 신용 평가 데이터를 생성할 수 있다.
도 4는 본 발명의 실시예에 따른 신용 평가 모델 결정부의 동작을 나타낸 개념도이다.
도 4에서는 신용 평가 모델 결정부에서 후보 신용 평가 모델 중 신용 평가부로 신용 평가 모델로서 전송할 모델을 결정하는 방법이 개시된다.
도 4를 참조하면, 신용 평가 모델 결정부는 제1 평가 요소로서 후보 신용 평가 모델의 신뢰도를 결정하고, 제2 평가 요소로서 후보 신용 평가 모델과 기준 신용 평가 모델과의 비교를 통해 후보 신용 평가 모델을 신용 평가 모델로 결정하고, 신용 평가부로 전송할 수 있다.
(1) 신뢰도 결정(S400)
신용 평가 모델 결정부는 후보 신용 평가 모델에서 출력한 결과값을 기반으로 후보 신용 평가 모델의 신뢰도를 결정할 수 있다.
전술한 바와 같이 신용 평가 모델 결정부는 후보 신용 평가 모델 생성부에 의해 생성된 복수의 후보 신용 평가 모델 중 신용 평가에 임계 신뢰도를 가지는 모델을 신용 평가 모델로서 결정하기 위해 구현될 수 있다. 신용 평가 모델 생성부에 의해 생성된 후보 신용 평가 모델 중 신용 평가를 위해 사용될 신용 평가 모델은 신용 평가부로 전송될 수 있다. 신뢰도는 기존의 신용 평가 기초 데이터를 기반으로 한 후보 신용 평가 모델의 신용 평가 결과와 실제 금융 서비스 결과의 비교를 통해 판단될 수 있다. 후보 신용 평가 모델의 신용 평가 결과와 실제 금융 서비스 결과가 상대적으로 유사할수록 상대적으로 더 높은 신뢰도를 가지는 것으로 결정될 수 있다.
(2) 기준 신용 평가 모델과의 비교(S410)
신용 평가부에서는 상황에 따라 서로 다른 신용 평가 모델이 적응적으로 사용될 수 있도록 다양한 신용 평가 모델이 존재할 수 있다. 신용 평가 모델 결정부는 후보 신용 평가 모델과 가장 유사한 특성을 가지는 신용 평가부의 신용 평가 모델을 기준 신용 평가 모델로 결정할 수 있다.
신용 평가 모델 간 특성의 유사도는 입력되는 신용 평가 기초 데이터의 유사도, 출력되는 신용 평가 데이터의 유사도, 인공 지능 모델 유사도를 기반으로 결정될 수 있다.
신용 평가 모델 결정부는 기준 신용 평가 모델과 후보 신용 평가 모델 간의 신뢰도 비교, 동일한 입력값을 입력시 기준 신용 평가 모델과 후보 신용 평가 모델의 출력값 간의 차이값 및 차이값에 대한 오류 검출을 통해 후보 신용 평가 모델을 신용 평가 모델로 결정할지 여부를 결정할 수 있다.
도 5는 본 발명의 실시예에 따른 신용 평가부의 동작을 나타낸 개념도이다.
도 5에서는 신용 평가부에서 신용 평가 모델을 기반으로 신용 평가 데이터를 생성하는 방법이 개시된다.
도 5를 참조하면, 신용 평가부는 적어도 하나의 신용 평가 모델을 기반으로 판매자의 신용 평가를 통해 신용 평가 데이터(540)를 생성할 수 있다.
신용 평가부는 하나의 신용 평가 모델을 기반으로 판매자의 신용 평가 데이터를 생성할 수도 있으나, 신용 평가부는 판매자 특성 정보(500)를 기반으로 적응적으로 판매자에게 적용 가능한 타겟 신용 평가 모델(520)을 결정하고, 결정된 타겟 신용 평가 모델(520)을 기반으로 신용 평가 데이터(540)를 생성할 수 있다.
예를 들어, 판매자의 판매 상품, 판매자의 상품 판매 플랫폼, 판매자의 매출, 판매자의 순이익 등과 같은 판매자 정보를 기반으로 판매자 특성 정보(500)에 가장 적합한 신용 평가를 위한 타겟 신용 평가 모델(520)이 결정될 수 있다.
신용 평가부는 복수의 신용 평가 모델 각각에 피드백 정보를 기반으로 판매자 특성 정보에 따른 신용 평가 모델의 신뢰도를 결정할 수 있다. 또한, 신용 평가부는 복수의 신용 평가 모델 각각에 대해 판매자 특성 정보별 신뢰도 등급을 결정할 수 있다. 구체적으로 판매자 특성 정보(500)는 하위 판매자 특성 정보 각각을 기반으로 벡터화되고 공간 상에 표현될 수 있고, 공간 간의 거리 정보를 통해 판매자 특성 정보를 기반으로 판매자 그룹이 형성될 수 있고, 판매자 그룹별 신용 평가 데이터와 금융 서비스 결과 데이터를 비교하여 신용 평가 모델의 판매자 그룹별 신뢰도가 결정될 수 있다. 신뢰도 등급은 신용 평가 모델별 판매자 그룹에 대한 신뢰도의 통계적 특성을 고려하여 결정될 수 있다.
신용 평가부는 판매자 특성 정보를 기초로 상대적으로 높은 신뢰도 등급을 가지는 신용 평가 모델을 타겟 신용 평가 모델로서 결정하여 판매자에 대한 신용 평가 데이터를 생성할 수 있다.
도 6은 본 발명의 실시예에 따른 신용 평가 모델 관리부의 동작을 나타낸 개념도이다.
도 6에서는 신용 평가 모델 관리부에서 신용 평가 모델의 쉬프팅(또는 보정) 또는 신용 평가 모델의 교체를 결정하는 방법이 개시된다.
도 6을 참조하면, 신용 평가 모델에 의해 생성된 신용 평가 데이터가 금융 서비스 결과 데이터와 차이가 있는 경우, 신용 평가 모델 관리부는 신용 평가 모델의 쉬프팅 또는 신용 평가 모델의 교체를 수행할 수 있다.
신용 평가 모델 관리부는 신용 평가 모델의 신용 평가 데이터와 금융 서비스 결과 데이터의 비교를 통해 신용 평가 모델의 예측 정확도를 결정할 수 있다. 신용 평가 모델의 예측 정확도가 임계 정확도 이하인 경우, 신용 평가 모델 관리부는 신용 평가 모델을 관리 대상 신용 평가 모델로 결정할 수 있다.
신용 평가 모델 관리부는 관리 대상 신용 평가 모델에 대한 쉬프팅 또는 교체를 결정할 수 있다.
신용 평가 모델 쉬프팅은 관리 대상 신용 평가 모델의 신용 평가 데이터와 금융 서비스 결과 데이터 간의 차이는 존재하나, 그 차이가 음의 방향 또는 양의 방향으로 경향성을 가지고 임계 범위 내에서 존재하는 경우에 수행될 수 있다.
신용 평가 모델 교체는 관리 대상 신용 평가 모델의 신용 평가 데이터와 금융 서비스 결과 데이터 간의 차이는 존재하고, 그 차이가 음의 방향 또는 양의 방향으로 경향성을 가지지 않고, 임계 범위를 벋어나는 경우에 수행될 수 있다.
(1) 신용 평가 모델 쉬프팅(600)
1) 관리 대상 신용 평가 모델의 신용 평가 데이터보다 금융 서비스 결과 데이터가 금융 서비스 측면에서 긍정적인 경우
신용 평가 모델 쉬프팅(600)이 되지 않는 경우, 관리 대상 신용 평가 모델의 신용 평가 데이터를 기반으로 보수적인 금융 서비스(낮은 대출금, 높은 금리)가 제공될 수 있다. 따라서, 신용 평가 모델 쉬프팅(600)을 통해 신용 평가 데이터를 쉬프팅하여 신용 평가 데이터가 실제 금융 서비스 데이터에 가깝도록 설정할 수 있다.
2) 신용 평가 데이터보다 금융 서비스 결과 데이터가 금융 서비스 측면에서 부정적인 경우
신용 평가 모델 쉬프팅(600)이 되지 않는 경우, 관리 대상 신용 평가 모델의 신용 평가 데이터를 기반으로 리스크가 높은 금융 서비스(높은 대출금, 낮은 금리)가 제공될 수 있다. 따라서, 신용 평가 모델 쉬프팅(600)을 통해 신용 평가 데이터를 쉬프팅하여 신용 평가 데이터가 실제 금융 서비스 데이터에 가깝도록 설정할 수 있다.
(2) 신용 평가 모델 교체(620)
1) 신규 신용 평가 모델 생성
관리 대상 신용 평가 모델의 교체를 위해 신용 평가 데이터와 금융 서비스 결과 데이터가 피드백 데이터로서 신용 평가 모델 생성부로 전달되고, 신용 평가 모델 생성부에 의해 새롭게 생성된 신용 평가 모델로 교체가 진행될 수 있다.
2) 기존 신용 평가 모델 이용
기존 신용 평가 모델 중 교체 가능한 신용 평가 모델을 탐색하여 해당 신용 평가 모델로의 교체가 수행될 수 있다.
신용 평가 모델 중 관리 대상 신용 평가 모델로의 기존 입력값을 넣었을 때 실제 금융 서비스 결과와 비교하여 높은 예측 정확도를 가지거나, 신용 평가 모델 쉬프팅을 하는 경우, 실제 금융 서비스 결과를 높은 정확도로 예측 가능한 신용 평가 모델이 존재하는 경우, 해당 신용 평가 모델을 모델을 쉬프팅하여 교체할 수 있다.
도 7은 본 발명의 실시예에 따른 신용 평가 모델 관리부의 동작을 나타낸 개념도이다.
도 7에서는 신용 평가 모델 관리부에서 신용 평가 모델의 쉬프팅(또는 보정) 또는 신용 평가 모델의 교체를 결정하는 방법이 개시된다
도 7을 참조하면, 신용 평가 모델의 교체는 신용 평가 데이터의 분류에 따라 다르게 결정될 수 있다.
신용 평가 데이터는 고위험 클래스(710), 중위험 클래스(720), 저위험 클래스(730)로 구분될 수 있다. 고위험 클래스(710)일수록 금융 서비스를 제공시 디폴트의 확률이 높고, 저위험 클래스(730)일수록 금융 서비스를 제공시 디폴트의 확률이 낮을 수 있다.
신용 평가 모델의 신용 평가 데이터의 잘못된 판단이 누적되는 경우, 신용 평가 모델의 교체 및 업데이트가 결정될 수 있다. 고위험 클래스(710), 중위험 클래스(720), 저위험 클래스(730)로 갈수록 신용 평가 데이터의 오류가 발생되는 경우, 신용 평가 모델의 교체 및 업데이트가 필요하다고 판단될 수 있다. 예를 들어, 신용 평가 모델이 저위험 클래스(730)라고 평가하였는데, 실제로 금융 서비스에 문제가 발생한 경우가 신용 평가 모델이 고위험 클래스(710)라고 평가하였는데 실제로 금융 서비스에 문제가 발생한 경우보다 더욱 큰 문제일 수 있다.
신용 평가 모델 평가부는 저위험 클래스(730), 중위험 클래스(720), 고위험 클래스(710) 각각에 발생되는 금융 서비스 문제를 트래킹하여 누적할 수 있다. 저위험 클래스(730), 중위험 클래스(720), 고위험 클래스(710)에서 발생된 금융 서비스 문제를 누적하되, 고위험 클래스(710), 중위험 클래스(720), 저위험 클래스(730)로 갈수록 더 높은 가중치를 할당하여 신용 평가 모델의 평가값(750)을 기준값에서 마이너스하여 부정적으로 평가할 수 있다.
신용 평가 모델의 평가값(750)이 임계값 이하로 떨어지는 경우, 교체 또는 업데이트(또는 쉬프팅) 여부를 결정할 수 있다.
전술한 바와 같이 업데이트는 일부 보정값으로 신용 평가 데이터를 보정할 수 있는 경우이고, 교체는 일부 보정값으로 신용 평가 데이터를 보정할 수 있는 경우이다.
본 발명의 실시예에 따르면, 클래스별로 별도의 교체 또는 업데이트도 가능하다. 예를 들어, 저위험 클래스(730), 중위험 클래스(720), 고위험 클래스(710) 중 특정 클래스에만 금융 서비스 문제가 발생하는 경우, 해당 클래스에 대응되는 신용 평가 모델을 교체하거나 업데이트하고, 나머지 클래스의 경우, 신용 평가 모델을 그대로 유지할 수도 있다.
도 8은 본 발명의 실시예에 따른 신용 평가 모델 모니터링 방법을 나타낸 개념도이다.
도 8에서는 신용 평가 모델을 실시간으로 모니터링하기 위한 방법이 개시된다.
도 8을 참조하면, 특정 판매자에 대한 신용 평가 데이터(800)가 결정되고, 신용 평가 데이터(800)에 따른 금융 서비스가 제공된 이후, 판매자에 대한 트래킹이 수행될 수 있다. 판매자에 대한 트래킹은 판매자의 신용 평가 기초 데이터(810)의 변화 여부에 대한 트래킹, 금융 서비스 결과(820)에 대한 트래킹일 수 있다.
트래킹을 수행함에 있어서, 신용 평가 기초 데이터(810)의 생성 시점과 금융 서비스 결과(820)에 대한 평가 시점(840)은 복수로 설정될 수 있다.
또한, 복수의 평가 시점(840)을 설정함으로써 평가 시점(840)에 따라 발생되는 신용 평가 기초 데이터(810)와 금융 서비스 결과(820)에 대한 평가 오차가 감소될 수 있다.
신용 평가 기초 데이터(810)의 변화와 금융 서비스 결과(820)를 평가하는 시점은 주기적/비주기적으로 복수의 시점으로 설정되고, 복수의 평가 시점(840)의 평가 결과를 종합하여 금융 서비스 문제(850)의 발생 여부가 결정될 수 있다.
신용 평가 기초 데이터(810)의 변화와 금융 서비스 결과(820)를 평가하는 시점은 판매자 특성 정보(830)을 고려하여 결정될 수 있다. 계절성과 관련없는 상품을 판매하는 판매자의 매출 급감은 금융 서비스에 영향을 끼칠 수 있는 요소이나 계절성과 관련성을 가지는 상품을 판매하는 판매자의 매출 급감은 계절적인 요소를 고려하면 금융 서비스 상에 영향을 끼치지 않는 요소일 수 있다.
따라서, 판매자 특성 정보(830)를 고려하여 신용 평가 기초 데이터(810)의 변화와 금융 서비스 결과(820)를 평가하는 시점이 결정되고, 평가 시점에 따라 변화되는 결과가 금융 서비스 문제인지 여부를 판단하는 기준도 서로 다르게 설정될 수 있다.
도 9는 본 발명의 실시예에 따른 신용 평가 장치를 나타낸 개념도이다.
도 9에서는 판매자의 신용 평가 기초 데이터와 금융 서비스 결과를 모니터링하고, 신용 평가 모델을 업데이트하기 위한 신용 평가 장치가 개시된다.
도 9를 참조하면, 신용 평가 장치는 신용 평가부(910), 모니터링 정보 수집부(920), 클래스 분류부(930), 신용 평가 모델 평가부(940), 신용 평가 모델 관리부(950)를 포함할 수 있다.
신용 평가부(910)는 판매자 특성을 고려하여 결정된 신용 평가 모델을 기반으로 판매자의 신용 평가 데이터를 결정하기 위해 구현될 수 있다.
모니터링 정보 수집부(920)는 판매자의 신용 평가 기초 데이터와 금융 서비스 결과를 모니터링하고, 신용 평가 기초 데이터와 금융 서비스 결과를 수집하기 위해 구현될 수 있다. 모니터링 정보에 의해 수집된 신용 평가 기초 데이터와 금융 서비스 결과는 신용 평가 모델을 업데이트하거나 교체하기 위해 사용될 수 있다.
클래스 분류부(930)는 판매자의 신용 데이터를 기반으로 판매자의 클래스를 저위험 클래스, 중위험 클래스, 고위험 클래스로 분류하기 위해 구현될 수 있다.
신용 평가 모델 평가부(940)는 신용 평가 모델에 대한 평가를 위해 구현될 수 있다. 신용 평가 모델 평가부(940)는 저위험 클래스, 중위험 클래스, 고위험 클래스에 대응되는 판매자의 모니터링 정보(신용 평가 기초 데이터와 금융 서비스 결과)를 기반으로 판매자에게 적용된 신용 평가 모델을 평가하기 위해 구현될 수 있다.
신용 평가 모델 관리부(950)는 신용 평가 모델의 평가 결과를 기반으로 신용 평가 모델을 교체하거나 업데이트(또는 쉬프팅)하기 위해 구현될 수 있다.
도 10은 본 발명의 실시예에 따른 인공 지능 기반 신용 평가 모델 생성 방법을 나타낸 개념도이다.
도 10에서는 인공 지능 엔진을 기반으로 신용 평가 모델을 생성하는 방법이 개시된다.
도 10을 참조하면, 복수의 인공 지능 엔진의 확장 및/또는 계층화를 기반으로 신용 평가 모델이 생성될 수 있다.
신용 평가 모델을 구현하기 위한 인공 지능 엔진의 확장을 위해 우선적으로 기준이 되는 기준 인공 지능 엔진(1000)이 결정될 수 있다. 기준 인공 지능 엔진(1000)은 상대적으로 높은 신뢰도를 가지는 엔진이고, 기준 인공 지능 엔진(1000)을 기준으로 관련성을 가지는 관련 인공 지능 엔진(1010)이 확장되어 설정될 수 있다. 기준 인공 지능 엔진(1000)은 복수개로 설정될 수도 있다.
기준 인공 지능 엔진(1000)을 결정하기 위해서는 신용 평가 모델의 목적에 따른 판매자 특성이 고려되거나, 기준 인공 지능 엔진(1000)의 확장성이 고려될 수 있다. 기준 인공 지능 엔진(1000)이 인공 지능 엔진(제2 타입)인 경우, 기준 인공 지능 엔진(1000)의 확장성은 입력값을 고려한 인공 지능 엔진(제1 타입)의 연결 가능성 및 기준 인공 지능 엔진(1000)으로 입력되는 입력 데이터의 생성 빈도를 고려하여 결정될 수 있다. 기준 인공 지능 엔진(1000)이 인공 지능 엔진(제1 타입)인 경우, 기준 인공 지능 엔진(1000)으로 입력되는 입력 데이터의 생성 빈도가 고려될 수 있다.
기준 인공 지능 엔진(1000)의 결정 이후, 기준 인공 지능 엔진(1000)을 기준으로 다른 인공 지능 엔진을 연결하는 확장이 수행될 수 있다. 확장 절차를 통해 기준 인공 지능 엔진(1000)을 기준으로 신용 평가 데이터를 생성하기 위한 다른 관련 인공 지능 엔진이 연결될 수 있다.
본 발명에서는 신용 평가 모델을 생성시 인공 지능 엔진 각각을 모듈화(또는 부품화)하여 설계하고 모듈화(또는 부품화)된 신용 평가 모델을 개선하기 위한 인공 지능 엔진의 교체도 모듈 단위로 이루어질 수 있다.
신용 평가 모델을 구성하는 복수의 인공 지능 엔진은 핵심 모듈(1020), 관련 모듈(1030), 비핵심 모듈(1040)로 구분될 수 있다. 핵심 모듈(1020)은 기준 인공 지능 엔진이고, 관련 모듈(1030)은 기준 인공 지능 엔진을 기준으로 직접적으로 연결된 인공 지능 엔진일 수 있다. 핵심 모듈(1020) 및 관련 모듈(1030) 외에 다른 인공 지능 엔진은 비핵심 모듈(1040)로 구분될 수 있다.
또한 본 발명의 실시예에 따르면, 하나의 신용 평가 모델이 생성되되, 특정 판매자 그룹에 적용 가능한 특성화된 인공 지능 엔진이 계층화되어 배치될 수 있다. 즉, 복수의 인공 지능 엔진이 수직 방향으로 계층화되고, 판매자에 대한 신용 평가 데이터가 생성될 수 있다.
판매자 특성을 고려하지 않고, 범용적인 신용 평가 데이터를 생성하기 위해 생성된 인공 지능 엔진은 일반화 인공 지능 엔진(1075)이고, 일반화 인공 지능 엔진(1075)을 기반으로 형성된 신용 평가 모델은 일반화 신용 평가 모델(1070)이라는 용어로 표현될 수 있다. 판매자 특성을 고려하여 판매자에게 범용적인 신용 평가 데이터를 생성하기 위해 생성된 인공 지능 엔진은 특성화 인공 지능 엔진(1085)이고, 특성화 인공 지능 엔진(1085)을 기반으로 형성된 신용 평가 모델은 특성화 신용 평가 모델(1080)이라는 용어로 표현될 수 있다.
제1 계층(1050)는 판매자 특성에 상관없이 입력값을 기반으로 판매자의 신용 평가 데이터를 생성하는 일반화 신용 평가 모델(1070)로서 일반화 인공 지능 엔진(1075)을 기반으로 구현될 수 있다. 제2 계층(1060) 내지 제n 계층은 판매자 특성을 고려하여 판매자의 특성에 따라 생성된 특성화 신용 평가 모델(1080)로서 특성화 인공 지능 엔진(1085)을 포함할 수 있다.
이하, 본 발명에서는 신용 평가 모델을 구현하기 위한 인공 지능 엔진의 확장 및 계층화 방법이 개시된다.
도 11은 본 발명의 실시예에 따른 신용 평가 모델을 구현하기 위한 인공 지능 엔진의 확장을 나타낸 개념도이다.
도 11에서는 기준 인공 지능 엔진과 기준 인공 지능 엔진을 기반으로 한 인공 지능 엔진의 확장이 개시된다.
도 11을 참조하면, 인공 지능 엔진의 확장을 위해서 기준 인공 지능 엔진(1100)의 결정 이후, 기준 인공 지능 엔진(1100)의 입력값 및 출력값에 대응되는 다른 관련 인공 지능 엔진(1120)이 결정될 수 있다.
기준 인공 지능 엔진(1100)의 입력값으로 사용되는 하위 신용 평가 데이터가 다른 인공 지능 엔진을 기반으로 생성되는 경우, 기준 인공 지능 엔진(1100)과 연결할 관련 인공 지능 엔진(1120)에 대한 선택이 수행될 수 있다.
예를 들어, 하위 신용 평가 데이터A가 기준 인공 지능 엔진(1100)으로 입력되고, 하위 신용 평가 데이터A는 특정 인공 지능 엔진을 기반으로 생성되는 데이터일 수 있다. 이러한 경우, 하위 신용 평가 데이터A를 생성 가능한 복수의 인공 지능 엔진 중 기준 인공 지능 엔진(1100)과 연결될 관련 인공 지능 엔진(1120)이 선택될 수 있다. 관련 인공 지능 엔진(1120)의 선택을 위해 인공 지능 엔진의 신뢰도가 고려될 수 있다. 또한, 입력 데이터 간의 생성 사이클이 유사할수록 시간에 따른 판매자의 신용의 변화를 고려한 보다 정확한 신용 평가 결과가 생성될 수 있으므로 기준 인공 지능 엔진(1100)으로 입력되는 입력 데이터의 데이터 생성 사이클이 고려될 수 있다.
인공 지능 엔진의 신뢰도가 상대적으로 높을수록 관련 인공 지능 엔진으로 결정될 가능성이 상대적으로 증가되고, 인공 지능 엔진의 입력 데이터의 데이터 생성 사이클이 상대적으로 서로 유사할수록 관련 인공 지능 엔진(1120)으로 결정될 가능성이 상대적으로 증가될 수 있다.
본 발명에서는 신용 평가 데이터의 정확도를 높이기 위해 데이터 생성 사이클을 고려한 확장이 수행될 수 있다. 데이터 생성 사이클이 맞지 않는 경우, 생성된 신용 평가 데이터의 정확도가 낮아질 수 있다. 따라서, 데이터 생성 사이클을 맞출 수 있도록 인공 지능 엔진이 확장될 수 있다.
도 12는 본 발명의 실시예에 따른 신용 평가 모델을 구현하기 위한 인공 지능 엔진의 계층화를 나타낸 개념도이다.
도12에서는 신용 평가 모델을 구현하기 위한 인공 지능 엔진의 계층화가 계시된다.
도 12를 참조하면 신용 평가 모델의 제1 계층은 모든 판매자에게 적용 가능한 일반화 신용 평가 모델(1250)일 수 있다.
신용 평가 모델의 제2 계층 내지 제n 계층은 특정 판매자에게 적용되는 특성화 신용 평가 모델(1260)일 수 있다. 신용 평가 모델의 계층은 신용 평가 모델을 구성하는 인공 지능 엔진의 입력 및 출력에 있어서 서로 연결될 수 있고, 서로 연결된 입력 및 출력을 기반으로 피드백 결과를 공유한 학습이 수행되고, 출력된 신용 평가 데이터 간의 비교가 수행될 수 있다.
예를 들어, 제2 계층은 옷을 판매하는 판매자를 위한 신용 평가 모델로서 특성화 인공 지능 엔진 및/또는 일반화 인공 지능 엔진을 포함할 수 있다. 제2 계층에 포함되는 특성화 인공 지능 엔진과 일반화 인공 지능 엔진은 다른 계층 예를 들어, 제1 계층 또는 제3 계층 내지 제n 계층과 연결되어 공유될 수 있다. 즉, 하나의 계층에 포함되는 인공 지능 엔진은 다른 계층과 수직적으로 연결되어 신용 평가 데이터를 생성하기 위해 활용될 수 있다.
또한, 계층 간 인공 지능 엔진의 공유 외에 계층 간 인공 지능 엔진의 병렬적인 공유도 가능하다. 예를 들어, 제2 계층의 인공 지능 엔진과 병렬적으로 다른 계층의 인공 지능 엔진이 사용되어 서로 다른 신용 평가 데이터를 생성하도록 구현될 수도 있다.
이러한 계층 간의 인공 지능 엔진의 입력 및 출력 결과는 복수의 신용 평가 데이터를 생성할 수 있도록 하고, 판매자에게 금융 서비스를 제공하기 위해서 복수의 신용 평가 데이터가 활용될 수 있다.
도 12의 예시와 같이 제2 계층은 제1 계층, 제n 계층과 인공 지능 엔진을 공유하거나 병렬적으로 구성하여 신용 평가 모델을 생성할 수 있다. 공유되는 인공 지능 엔진은 공유 인공 지능 엔진(1200), 병렬적으로 배치되는 인공 지능 엔진은 병렬 인공 지능 엔진(1220)이라는 용어로 표현될 수 있다.
공유 인공 지능 엔진(1200)의 공유를 기반으로 생성된 신용 평가 데이터는 기준 신용 평가 데이터일 수 있다. 병렬 인공 지능 엔진(1220)의 병렬적인 배치를 기반으로 생성된 신용 평가 데이터는 추가 신용 평가 데이터일 수 있다. 추가 신용 평가 데이터의 신뢰도에 따라 병렬적인 배치를 한 병렬 인공 지능 엔진의 ON/OFF가 결정되고, 추가 신용 평가 데이터가 선택적으로 생성되어 판매자에게 금융 서비스를 제공하기 위해 활용될 수 있다.
예를 들어, 제1 인공 지능 엔진(1270)은 공유 인공 지능 엔진(1200)으로서 공유되어 사용되고, 제2 인공 지능 엔진(1280), 제3 인공 지능 엔진(1290) 각각은 병렬 인공 지능 엔진(1220)으로서 제2 계층, 제3 계층 상에 병렬적으로 배치된 경우가 가정될 수 있다. 병렬 인공 지능 엔진인 제2 인공 지능 엔진(1280), 제3 인공 지능 엔진(1290) 각각은 ON/OFF로 제어되어 다양한 신용 평가 데이터를 생성할 수 있다. 즉, 피드백 결과에 따라 병렬적으로 배치된 인공 지능 ON/OFF가 결정되고, 추가 신용 평가 데이터가 생성될 수 있다.
이뿐만 아니고, 공유 인공 지능 엔진(1200) 및/또는 병렬 인공 지능 엔진(1220)은 피드백 결과를 기반으로 추가적으로 설정될 수 있다. 또한, 본 발명에서는 인공 지능 엔진 각각에 대해 관련도를 기준으로 병렬 인공 지능 엔진(1220)이 페어로 정의되고, 페어로 정의된 인공 지능 엔진의 ON/OFF를 기반으로 다양한 조합을 통해 추가 신용 평가 데이터가 생성될 수 있다. 병렬 인공 지능 엔진(1220)의 ON/OFF는 병렬 인공 지능 엔진(1220)의 신뢰도를 고려하여 피드백 결과 임계 신뢰도 이상을 가지는 병렬 인공 지능 엔진(1220)이 임계 신뢰도 미만의 병렬 인공 지능 엔진(1220)보다 ON 상태로 동작할 확률이 높도록 조합하여 신용 평가 데이터가 생성될 수 있다.
도 13은 본 발명의 실시예에 따른 신용 평가 모델 평가 방법을 나타낸 개념도이다.
도 13에서는 신용 평가 모델에 대한 피드백 결과를 고려하여 신용 평가 모델을 평가하는 방법이 개시된다.
도 13을 참조하면, 신용 평가 모델의 평가는 모듈별로 수행될 수 있다.
전술한 바와 같이 신용 평가 모델을 구성하는 복수의 인공 지능 엔진은 핵심 모듈(1310), 관련 모듈(1320), 비핵심 모듈(1330)로 구분될 수 있다. 핵심 모듈(1310)은 기준 인공 지능 엔진이고, 관련 모듈(1320)은 기준 인공 지능 엔진을 기준으로 직접적으로 연결된 인공 지능 엔진일 수 있다. 핵심 모듈(1310) 및 관련 모듈(1320) 외에 다른 인공 지능 엔진은 비핵심 모듈(1330)로 분류될 수 있다.
본 발명의 신용 평가 모델의 평가는 핵심 모듈(1310), 관련 모듈(1320) 및 비핵심 모듈(1330)에 대하여 수행될 수 있다. 신용 평가 모델에 대한 평가를 위해서 신용 평가 데이터를 기반으로 한 금융 서비스에 대한 판단 결과가 잘못된 경우, 판단 오류를 발생시킨 모듈에 대한 서치가 수행될 수 있다.
판단 오류를 발생시킨 신용 평가 데이터를 구성하는 복수의 하위 신용 평가 데이터가 분할되고, 분할된 복수의 하위 신용 평가 데이터 중 판단 오류를 발생시킨 타겟 하위 신용 평가 데이터(1300)가 결정될 수 있다. 타겟 하위 신용 평가 데이터(1300)는 실제 금융 서비스 결과를 기반으로 한 실제 하위 신용 평가 데이터와 인공 지능 엔진에 의해 예측된 예측 하위 신용 평가 데이터 간의 오차를 고려하여 결정될 수 있다.
판단 오류를 발생시킨 타겟 하위 신용 평가 데이터(1300)의 결정 이후, 타겟 하위 신용 평가 데이터와 관련된 핵심 모듈(1310), 관련 모듈(1320) 또는 비핵심 모듈(1330)이 결정될 수 있다. 판단 오류의 전파가 시작된 판단 오류 시작 인공 지능 엔진(1350) 및 판단 오류에 영향을 받은 판단 오류 영향 인공 지능 엔진(1360)이 결정될 수 있다.
금융 서비스 결과를 결정한 신용 평가 데이터의 오류가 설정된 임계치를 넘어가는 경우, 판단 오류 시작 인공 지능 엔진(1350) 및 판단 오류에 영향을 받은 판단 오류 영향 인공 지능 엔진(1360)에 대한 교체 또는 쉬프팅이 수행될 수 있다. 교체 및 쉬프팅은 도 6에서 개시된 신용 평가 모델 관리부에서 신용 평가 모델의 쉬프팅(또는 보정) 또는 신용 평가 모델의 교체와 동일하게 수행될 수 있다.
도 14는 본 발명의 실시예에 따른 신용 평가 모델 교체 방법을 나타낸 개념도이다.
도 14에서는 판단 오류를 발생시킨 타겟 하위 신용 평가 데이터의 결정 이후, 타겟 하위 신용 평가와 관련된 핵심 모듈, 관련 모듈 또는 비핵심 모듈을 결정하는 방법 및 판단 오류의 전파가 시작된 판단 오류 시작 인공 지능 엔진 및 판단 오류에 영향을 받은 판단 오류 영향 인공 지능 엔진을 결정하는 방법이 개시된다.
도 14를 참조하면, 신용 평가 데이터의 신뢰도를 낮추는 인공 지능 엔진을 탐색하기 위해서는 신용 평가 데이터를 결정하는 하위 신용 평가 데이터를 생성하는 인공 지능 엔진이 역으로 탐색될 수 있다.
판매자에게 금융 서비스를 제공한 후 금융 서비스의 피드백 결과는 판매자의 신용 평가 데이터를 생성한 하위 신용 평가 데이터에 대한 피드백으로서 전달될 수 있다. 하위 신용 평가 데이터 중 잘못 판단된 하위 신용 평가 데이터를 생성한 인공 지능 엔진이 타겟 인공 지능 엔진일 수 있다.
타겟 인공 지능 엔진(1400)은 복수개일 수 있고, 복수개의 타겟 인공 지능 엔진(1400)은 판단 오류 시작 인공 지능 엔진 또는 오류 영향 인공 지능 엔진일 수 있다.
타겟 인공 지능 엔진(1400)의 결정 이후, 타겟 인공 지능 엔진(1400)의 잘못된 판단의 원인이 입력 데이터 오류(1440) 및/또는 인공 지능 엔진 오류(1460)로 판단될 수 있다.
타겟 인공 지능 엔진(1400)의 병렬 인공 지능 엔진(1420)이 동일한 오류 판단을 하는 경우, 입력 데이터 오류(1440)로 판단되고, 타겟 인공 지능 엔진(1400)의 병렬 인공 지능 엔진(1420)이 다른 판단을 하는 경우, 인공 지능 엔진 오류(1460)로 판단될 수 있다.
인공 지능 엔진 오류(1460)로 판단되는 경우, 타겟 인공 지능 엔진(1400)은 판단 오류 시작 인공 지능 엔진(1480)으로 설정되고, 입력 데이터 오류로 판단되는 경우, 타겟 인공 지능 엔진은 판단 오류 영향 인공 지능 엔진(1470)으로 설정될 수 있다. 판단 오류 시작 인공 지능 엔진(1480)에 대한 교체 및 판단 오류 영향 인공 지능 엔진(1470)에 대한 쉬프팅을 통해 신용 평가 모델의 정정이 가능할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 신용 평가 모델 업데이트 또는 교체 방법은,
    인공 지능 엔진 생성부가 신용 평가를 위한 복수의 인공 지능 엔진을 생성하는 단계;
    신용 평가 모델 생성부가 상기 복수의 인공 지능 엔진을 기반으로 신용 평가 모델의 생성하는 단계; 및
    신용 평가부가 상기 신용 평가 모델을 기반으로 판매자에 대한 신용 평가 데이터를 생성하는 단계를 포함하되,
    상기 신용 평가 모델은 복수의 인공 지능 엔진의 확장 및/또는 계층화를 기반으로 생성되고,
    상기 신용 평가 모델의 평가는 상기 신용 평가 모델을 구성하는 핵심 모듈, 관련 모듈 및 비핵심 모듈을 기반으로 수행되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 핵심 모듈은 기준 인공 지능 엔진이고,
    상기 관련 모듈은 상기 기준 인공 지능 엔진을 기준으로 직접적으로 연결된 인공 지능 엔진이고,
    상기 비핵심 모듈은 상기 핵심 모듈 및 상기 관련 모듈 외에 상기 신용 평가 모델을 구성하는 나머지 인공 지능 엔진인 것을 특징으로 하는 방법.
  3. 제2 항에 있어서,
    상기 신용 평가 모델에 대한 평가는 상기 신용 평가 데이터를 기반으로 한 금융 서비스에 대한 판단 결과가 잘못된 경우, 판단 오류를 발생시킨 모듈에 대한 서치를 통해 수행되고,
    상기 서치는 상기 판단 오류를 발생시킨 상기 신용 평가 데이터를 구성하는 복수의 하위 신용 평가 데이터를 분할하고, 분할된 상기 복수의 하위 신용 평가 데이터 중 판단 오류를 발생시킨 타겟 하위 신용 평가 데이터를 결정하고, 상기 타겟 하위 신용 평가 데이터의 결정 이후, 상기 타겟 하위 신용 평가 데이터와 관련된 상기 핵심 모듈, 상기 관련 모듈 또는 상기 비핵심 모듈을 결정하고, 상기 판단 오류의 전파가 시작된 판단 오류 시작 인공 지능 엔진 및 상기 판단 오류에 영향을 받은 판단 오류 영향 인공 지능 엔진을 결정하는 것을 특징으로 하는 방법.
  4. 인공 지능 기반 신용 평가 모델 생성하는 신용 평가 장치는,
    신용 평가를 위한 복수의 인공 지능 엔진을 생성하도록 구현되는 인공 지능 엔진 생성부;
    상기 복수의 인공 지능 엔진을 기반으로 신용 평가 모델의 생성하도록 구현되는 신용 평가 모델 생성부; 및
    평가부가 상기 신용 평가 모델을 기반으로 판매자에 대한 신용 평가 데이터를 생성하도록 구현되는 신용 평가부를 포함하되,
    상기 신용 평가 모델은 복수의 인공 지능 엔진의 확장 및/또는 계층화를 기반으로 생성되고,
    상기 신용 평가 모델의 평가는 상기 신용 평가 모델을 구성하는 핵심 모듈, 관련 모듈 및 비핵심 모듈을 기반으로 수행되는 것을 특징으로 하는 신용 평가 장치.
  5. 제4항에 있어서,
    상기 핵심 모듈은 기준 인공 지능 엔진이고,
    상기 관련 모듈은 상기 기준 인공 지능 엔진을 기준으로 직접적으로 연결된 인공 지능 엔진이고,
    상기 비핵심 모듈은 상기 핵심 모듈 및 상기 관련 모듈 외에 상기 신용 평가 모델을 구성하는 나머지 인공 지능 엔진인 것을 특징으로 하는 신용 평가 장치.
  6. 제5 항에 있어서,
    상기 신용 평가 모델에 대한 평가는 상기 신용 평가 데이터를 기반으로 한 금융 서비스에 대한 판단 결과가 잘못된 경우, 판단 오류를 발생시킨 모듈에 대한 서치를 통해 수행되고,
    상기 서치는 상기 판단 오류를 발생시킨 상기 신용 평가 데이터를 구성하는 복수의 하위 신용 평가 데이터를 분할하고, 분할된 상기 복수의 하위 신용 평가 데이터 중 판단 오류를 발생시킨 타겟 하위 신용 평가 데이터를 결정하고, 상기 타겟 하위 신용 평가 데이터의 결정 이후, 상기 타겟 하위 신용 평가 데이터와 관련된 상기 핵심 모듈, 상기 관련 모듈 또는 상기 비핵심 모듈을 결정하고, 상기 판단 오류의 전파가 시작된 판단 오류 시작 인공 지능 엔진 및 상기 판단 오류에 영향을 받은 판단 오류 영향 인공 지능 엔진을 결정하는 것을 특징으로 하는 신용 평가 장치.
PCT/KR2023/001448 2022-02-25 2023-02-01 신용평가 모델 업데이트 또는 교체 방법 및 장치 WO2023163405A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220025364A KR102480518B1 (ko) 2022-02-25 2022-02-25 신용평가 모델 업데이트 또는 교체 방법 및 장치
KR10-2022-0025364 2022-02-25

Publications (1)

Publication Number Publication Date
WO2023163405A1 true WO2023163405A1 (ko) 2023-08-31

Family

ID=84536440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/001448 WO2023163405A1 (ko) 2022-02-25 2023-02-01 신용평가 모델 업데이트 또는 교체 방법 및 장치

Country Status (2)

Country Link
KR (2) KR102480518B1 (ko)
WO (1) WO2023163405A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102480518B1 (ko) * 2022-02-25 2022-12-23 주식회사 에이젠글로벌 신용평가 모델 업데이트 또는 교체 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264571B1 (ko) * 2020-10-30 2021-06-15 주식회사 애자일소다 계층 구조를 갖는 의사결정 에이전트
KR102311787B1 (ko) * 2021-01-06 2021-10-08 한전케이디엔주식회사 Ai 모델의 성능 저하 방지를 위한 ai 모델 관리 장치 및 그 방법
KR20210141123A (ko) * 2020-05-15 2021-11-23 한국전자통신연구원 인공지능의 부분 학습 방법 및 이를 위한 장치
KR102336041B1 (ko) * 2021-02-15 2021-12-06 (주)오아시스비즈니스 Ai기반 소상공인 신용평가 시스템 및 이를 이용한 신용 평가 방법
KR20220000493A (ko) * 2020-06-26 2022-01-04 주식회사 티앤엠테크 인공지능 모듈 플랫폼 서비스 제공 방법
KR102480518B1 (ko) * 2022-02-25 2022-12-23 주식회사 에이젠글로벌 신용평가 모델 업데이트 또는 교체 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210141123A (ko) * 2020-05-15 2021-11-23 한국전자통신연구원 인공지능의 부분 학습 방법 및 이를 위한 장치
KR20220000493A (ko) * 2020-06-26 2022-01-04 주식회사 티앤엠테크 인공지능 모듈 플랫폼 서비스 제공 방법
KR102264571B1 (ko) * 2020-10-30 2021-06-15 주식회사 애자일소다 계층 구조를 갖는 의사결정 에이전트
KR102311787B1 (ko) * 2021-01-06 2021-10-08 한전케이디엔주식회사 Ai 모델의 성능 저하 방지를 위한 ai 모델 관리 장치 및 그 방법
KR102336041B1 (ko) * 2021-02-15 2021-12-06 (주)오아시스비즈니스 Ai기반 소상공인 신용평가 시스템 및 이를 이용한 신용 평가 방법
KR102480518B1 (ko) * 2022-02-25 2022-12-23 주식회사 에이젠글로벌 신용평가 모델 업데이트 또는 교체 방법 및 장치

Also Published As

Publication number Publication date
KR102480518B1 (ko) 2022-12-23
KR20230127861A (ko) 2023-09-01

Similar Documents

Publication Publication Date Title
WO2018034426A1 (ko) 커널 ｒｄｒ을 이용한 태깅 말뭉치 오류 자동수정방법
WO2020256418A2 (ko) 디지털 트윈을 이용하여 가상센서를 구현하는 컴퓨팅 시스템 및 이를 이용한 실시간 데이터 수집 방법
WO2022045425A1 (ko) 역강화학습 기반 배달 수단 탐지 장치 및 방법
WO2010024628A2 (ko) 확장 키워드 풀을 사용한 검색 방법 및 시스템
WO2023033329A1 (ko) 질환 연관 유전자 변이 분석을 통한 질환별 위험 유전자 변이 정보 생성 장치 및 그 방법
WO2023163405A1 (ko) 신용평가 모델 업데이트 또는 교체 방법 및 장치
WO2019177182A1 (ko) 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법
WO2020168606A1 (zh) 广告视频优化方法、装置、设备及计算机可读存储介质
WO2023163395A1 (ko) 인공 지능 기반 신용 평가 모델 생성 방법 및 장치
WO2021230522A1 (ko) 최종가격산정부를 갖는 토지시세 추정시스템 및 추정방법
WO2023153681A1 (ko) 이커머스 솔루션의 구매, 판매, 재고, 물류, 유통, 정산 과정에서 발생하는 엔드 투 엔드 데이터 기반의 신용 평가 방법 및 이러한 방법을 수행하는 장치
WO2017116215A1 (ko) 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법
WO2023153692A1 (ko) 외부 데이터를 고려한 신용 평가 방법 및 이러한 방법을 수행하는 장치
WO2020091253A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2023136493A1 (ko) Cb 사 신용 평가 모델 생성 및 관리 자동화 방법 및 이러한 방법을 수행하는 장치
WO2020138575A1 (ko) 기계 학습 데이터 선택 방법 및 장치
WO2023008908A1 (en) Method of providing product discount coupons based on store demand forecasting and system therefor
WO2011068315A4 (ko) 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치 및 그 방법
WO2022255632A1 (ko) Ux-bit를 이용한 자동 디자인 생성 인공신경망 장치 및 방법
WO2022265127A1 (ko) 인공 지능 학습 기반의 사용자 이탈율 예측 및 사용자 지식 추적 시스템 및 그것의 동작 방법
WO2021230469A1 (ko) 아이템 추천 방법
WO2022035074A1 (ko) 문서 데이터에서 질병 관련 인자들 간의 관계를 추출하는 방법 및 이를 이용하여 구축되는 시스템
WO2023229094A1 (ko) 행동 예측 방법 및 장치
WO2016190636A1 (ko) 라이브웨어의 상태변환 예측 및 상태 개선 방법, 그리고 상기 방법을 구현하는 장치
WO2024122786A1 (ko) 전력 사용량 데이터를 처리하는 방법 및 이를 구현하는 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23760279

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE