KR102685248B1 - System for monitoring worker risk factors to prevent serious disasters and worker risk factor monitoring method of the same - Google Patents
System for monitoring worker risk factors to prevent serious disasters and worker risk factor monitoring method of the same Download PDFInfo
- Publication number
- KR102685248B1 KR102685248B1 KR1020230176191A KR20230176191A KR102685248B1 KR 102685248 B1 KR102685248 B1 KR 102685248B1 KR 1020230176191 A KR1020230176191 A KR 1020230176191A KR 20230176191 A KR20230176191 A KR 20230176191A KR 102685248 B1 KR102685248 B1 KR 102685248B1
- Authority
- KR
- South Korea
- Prior art keywords
- worker
- determination unit
- risk
- unit
- behavior
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 22
- 231100001261 hazardous Toxicity 0.000 claims abstract description 18
- 230000001681 protective effect Effects 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims description 56
- 230000004884 risky behavior Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 19
- 230000000306 recurrent effect Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009194 climbing Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Multimedia (AREA)
- Computational Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Alarm Systems (AREA)
Abstract
본 발명에 따르면, 전처리 된 영상에서 인식된 작업자가 기 설정된 중대 재해 위험 구역에 출입하는지 여부와 상기 작업자의 안전장구 및 작업자 보호 장비의 착용 여부를 판단하는 위험 환경 판단부, 상기 위험 환경 판단부에서 획득된 상기 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단하는 위험 상태 판단부, 상기 작업자의 형상에 대한 특성 정보 및 상기 위험 상태 판단부에서 획득된 상기 작업자의 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단하는 위험 행동 판단부 및 상기 위험 환경 판단부에 의해 획득된 상기 작업자의 형상에 대한 특성 정보를 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 전달하고, 상기 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 상기 위험 행동 판단부에 전달하는 정보전달부를 포함하는 작업자 위험 인자 감시를 수행하는 시스템 및 이의 작업자 위험 인자 감시 방법이 개시된다.According to the present invention, a hazardous environment determination unit determines whether a worker recognized in a preprocessed image enters a preset serious disaster risk area and whether the worker wears safety equipment and worker protective equipment, and the hazardous environment determination unit Based on the acquired characteristic information about the shape of the worker, a dangerous state determination unit that determines whether the worker is in a pre-designated dangerous state, the characteristic information about the shape of the worker, and the dangerous state determination section of the worker obtained from the dangerous state determination unit. Based on work sequence information, the dangerous behavior determination unit determines whether the worker performs a pre-designated dangerous behavior, and the dangerous behavior determination unit determines the characteristic information about the shape of the worker obtained by the hazardous environment determination unit. A system for performing worker risk factor monitoring including an information transmission unit that transmits the worker's work sequence information obtained by the risk status determination unit to the risk behavior determination unit and a method for monitoring worker risk factors thereof. It begins.
Description
본 발명은 중대 재해 방지를 위한 작업자 위험 인자 감시를 수행하는 시스템 및 이의 작업자 위험 인자 감시 방법에 관한 것이다.The present invention relates to a system for monitoring worker risk factors to prevent major disasters and a method for monitoring worker risk factors.
영상 데이터는 이미지인식을 위한 인공지능 알고리즘이 발달하면서 영상인식 인공지능이라는 새로운 분야를 창출하였으며, 얼굴인식을 통한 스마트폰 잠금 해제 및 건물 출입 확인, 비전인식을 통한 제조업 생산라인 제품검사 및 플랜트 화재감지 등 다방면에서 널리 활용되고 있다.As artificial intelligence algorithms for image recognition have developed, video data has created a new field called image recognition artificial intelligence, which can be used to unlock smartphones and confirm building entry through facial recognition, and to inspect products on manufacturing production lines and detect plant fires through vision recognition. It is widely used in various fields.
특히 설비의 대형화로 인해 고소작업, 중량물작업등의 중대 재해작업을 수반하는 산업 현장에서는 CCTV, 감시형 드론과 같은 영상기록장치를 이용한 설비 및 작업자 안전관리의 수요가 증가하는 추세이다.In particular, due to the enlargement of facilities, the demand for facility and worker safety management using video recording devices such as CCTV and surveillance drones is increasing in industrial sites involving serious disaster operations such as work at heights and heavy materials.
실제로 최근 몇 년간 일부 건설업, 철강업, 발전업을 위주로 많은 연구가 이루어지고 실제 현장 적용된 사례도 있으나, 여전히 현장 작업자와 노동조합의 인권 및 사생활 침해 이슈로 인해 현장 적용에 어려움을 겪는 산업이 많은 실정이다.In fact, in recent years, a lot of research has been conducted focusing on some construction, steel, and power generation industries, and there are cases of actual field application, but many industries still face difficulties in field application due to issues of violation of human rights and privacy of field workers and labor unions. .
이에 따라 대부분의 중대 재해작업은 작업자의 보건, 안전 위험 인자 감시를 현장 안전관리자의 육안에 의지하는 것이 현실이다.Accordingly, the reality is that most major disaster operations rely on the visual observation of on-site safety managers to monitor workers' health and safety risk factors.
이는 작업자를 다양한 위험 인자에 노출되게 하여 경미한 부상부터 사망에 이르기까지 많은 현장 사고를 초래하였으며, 국가 차원의 산업안전보건법 개정, 중대재해처벌법 제정의 발판이 되었다.This exposed workers to various risk factors, resulting in many on-site accidents ranging from minor injuries to deaths, and became the foundation for the revision of the Occupational Safety and Health Act at the national level and the enactment of the Serious Accident Punishment Act.
영상 데이터를 이용한 작업자 보건, 안전 위험 인자 모니터링을 위해서는 다양한 관점에서 작업자의 위험 상황을 인식하고 분석하는 기술 개발이 이루어져야 한다.In order to monitor worker health and safety risk factors using video data, technology must be developed to recognize and analyze workers' risk situations from various perspectives.
이미지 인식에 능한 CNN(Convolutional Neural Networks) 모델이 출현한 이후, CNN 기반의 이미지분류, 태깅, 객체인식, 분할 등의 기술이 고도화되었고, 건설업 등 중대 재해작업에서는 주로 작업자의 안전장구 착용 여부를 검출하는 CNN 기반 객체인식 알고리즘이 개발/적용되어 왔다.Since the advent of the CNN (Convolutional Neural Networks) model, which is good at image recognition, technologies such as CNN-based image classification, tagging, object recognition, and segmentation have been advanced, and in major disaster work such as in the construction industry, it is mainly used to detect whether workers are wearing safety gear. A CNN-based object recognition algorithm has been developed/applied.
그러나 작업자의 안전장구 착용 여부는 작업자의 위험 상황 발생을 예방하는 것일 뿐, 실제로 위험 상황이 발생한 경우는 오로지 현장 안전관리자만이 육안으로 판단해야 한다.However, whether or not a worker wears safety equipment only prevents a dangerous situation from occurring, and only the on-site safety manager must visually determine if a dangerous situation actually occurs.
이에 따라, 작업자가 현재 위험한 행동을 하고 있는지, 또는 그로부터 파생되는 위험한 상태에 놓여있는지를 판단할 수 있는 인공지능을 이용한 기술이 필요하다.Accordingly, there is a need for technology using artificial intelligence that can determine whether a worker is currently engaged in dangerous behavior or is in a dangerous state derived from it.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 영상에서 작업자 보건, 안전 위험 인자를 효율적으로 감시하기 위해, 위험 환경, 위험 상태, 위험 행동을 포함하는 3가지 관점의 위험 인자를 판단하는 것을 포함한다.The problem to be solved according to an embodiment of the present invention is to determine risk factors from three perspectives, including risk environment, risk state, and risk behavior, in order to efficiently monitor worker health and safety risk factors in images. Includes.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned will be clearly understood by those skilled in the art to which the present invention pertains from the following description.
본 발명의 제1 실시예에 따른 작업자 위험 인자 감시를 수행하는 시스템은, 전처리 된 영상에서 인식된 작업자가 기 설정된 중대 재해 위험 구역에 출입하는지 여부와 상기 작업자의 안전장구 및 작업자 보호 장비의 착용 여부를 판단하는 위험 환경 판단부, 상기 위험 환경 판단부에서 획득된 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단하는 위험 상태 판단부, 상기 작업자의 형상에 대한 특성 정보 및 상기 위험 상태 판단부에서 획득된 상기 작업자의 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단하는 위험 행동 판단부 및 상기 위험 환경 판단부에 의해 획득된 상기 작업자의 형상에 대한 특성 정보를 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 전달하고, 상기 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 상기 위험 행동 판단부에 전달하는 정보전달부를 포함할 수 있다.The system for monitoring worker risk factors according to the first embodiment of the present invention determines whether a worker recognized in a preprocessed image enters a preset serious disaster risk area and whether the worker wears safety equipment and worker protective equipment. A hazardous environment determination unit that determines, a hazardous state determination unit that determines whether the worker is in a pre-designated dangerous state based on characteristic information about the shape of the worker obtained from the hazardous environment determination unit, and characteristics of the shape of the worker. Based on the information and the worker's work sequence information obtained from the risk status determination unit, a risk behavior determination unit that determines whether the worker performs a pre-designated risky behavior and the shape of the worker obtained by the risk environment determination unit. It may include an information transmission unit that transmits characteristic information about the dangerous state determination unit and the risky behavior determination unit, and transmits the worker's work sequence information obtained by the dangerous state determination unit to the risky behavior determination unit.
또한, 외부로부터 일련의 시퀀스를 가진 영상을 입력 받아 전처리하는 영상 입력부 및 상기 전처리 된 영상을 미리 지정한 레이블에 반자동으로 할당 처리하고, 상기 영상 입력부에 재저장하는 반자동 영상 할당부를 더 포함할 수 있다.In addition, it may further include an image input unit that receives and pre-processes images with a series of sequences from the outside, and a semi-automatic image allocation unit that semi-automatically assigns the pre-processed images to pre-designated labels and re-stores them in the image input unit.
또한, 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 성능을 최대화하는 초모수 리스트를 확률 기반 성능함수를 이용해 도출하여 각각의 판단에 활용하도록 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 제공하는 판단 최적화부를 포함할 수 있다.In addition, a hyperparameter list that maximizes the performance of the risk environment determination unit, the risk state determination unit, and the risk behavior determination unit is derived using a probability-based performance function and used for each judgment. It may include a judgment unit and a judgment optimization unit provided to the risk behavior determination unit.
여기서, 상기 반자동 영상 할당부는, 상기 전처리 된 영상 내에서 대표 샘플 영상세트를 선정하며, 상기 샘플 영상세트를 사용자로부터 지정 및 할당 받은 레이블에 기초하여 컨볼루션 연산 기반 지도학습을 수행한 후, 상기 지도학습이 수행된 모델을 나머지 영상에 적용하여 레이블을 추론한 결과를 각 영상에 할당하고 상기 영상 입력부에 존재하는 데이터베이스에 재저장할 수 있다.Here, the semi-automatic image allocation unit selects a representative sample image set from the preprocessed image, performs supervised learning based on convolution operation based on the label designated and assigned to the sample image set by the user, and then generates the map. By applying the learned model to the remaining images, the label inference result can be assigned to each image and re-stored in the database existing in the image input unit.
여기서, 상기 위험 환경 판단부는, 상기 중대 재해 위험 구역에 출입 및 상기 안전장구의 착용 여부를 작업자 형상 특성 인코딩을 통해 지도학습한 네트워크 구조를 사용하여 상기 영상에 대한 위험 환경을 판단할 수 있다.Here, the risk environment determination unit may determine the risk environment for the image using a network structure that supervised learning through encoding the shape characteristics of the worker to determine whether to enter the major disaster risk area and wear the safety equipment.
여기서, 상기 정보전달부는, 기 학습한 컨볼루션 또는 순환신경망의 모수를 저장 및 불러오는 알고리즘을 구현하여 다른 컨볼루션 연산 또는 순환신경망 기반 딥러닝 모델의 고정 모수로 활용하도록 연결할 수 있다.Here, the information transmission unit can be connected to implement an algorithm for storing and loading previously learned parameters of a convolution or recurrent neural network and use them as fixed parameters of another convolution operation or a recurrent neural network-based deep learning model.
여기서, 상기 위험 상태 판단부는, 상기 영상의 시퀀스를 모델링하는 메모리 셀 기반의 순환신경망 네트워크를 구축하고, 상기 정보전달부에서 로드한 고정 모수를 이용해 작업자 형상의 특성 정보를 자동 출력하는 컨볼루션 연산 계층을 앞 단에 연결한 후, 레이블 추론을 위한 순방향 네트워크를 뒷 단에 배치함으로써 시퀀스에 따른 작업자 형상 인식 결과에 기초하여 위험 상태를 학습 및 판단할 수 있다.Here, the risk state determination unit constructs a memory cell-based recurrent neural network network that models the image sequence, and a convolutional operation layer that automatically outputs characteristic information of the worker's shape using fixed parameters loaded by the information delivery unit. After connecting to the front end, a forward network for label inference is placed at the back end, so that the dangerous state can be learned and judged based on the result of worker shape recognition according to the sequence.
여기서, 상기 위험 행동 판단부는, 상기 순환신경망 네트워크를 이용하고, 순방향 네트워크를 제외한 모든 구조의 모수는 상기 정보전달부의 알고리즘에 따라 위험 상태 판단부로부터 전부 로드하며, 순방향 네트워크는 새로 구축하여 위험 상태와는 구별되는 위험 행동을 학습하도록 작동할 수 있다.Here, the risk behavior determination unit uses the recurrent neural network network, all structural parameters except the forward network are loaded from the risk state determination unit according to the algorithm of the information transmission unit, and the forward network is newly constructed to determine the risk state and can operate to learn distinct risk behaviors.
여기서, 상기 판단 최적화부는, 상기 초모수 리스트를 이용한 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 정확도 성능을 표현하는 성능함수를 가우시안 확률과정을 통해 임의로 생성하며, 가우시안 분포의 분산 값이 가장 큰 샘플 영상을 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 입력하여 상기 성능함수를 통해 상기 정확도 성능을 평가해 상기 성능을 최대화하는 초모수 리스트를 도출할 수 있다.Here, the judgment optimization unit randomly generates a performance function expressing the accuracy performance of the risk environment determination unit, the risk state determination unit, and the risky behavior determination unit using the hyperparameter list through a Gaussian probability process, and the performance function of the Gaussian distribution is The sample image with the largest variance value is input to the risk environment determination unit, the risk state determination unit, and the risk behavior determination unit to evaluate the accuracy performance through the performance function to derive a hyperparameter list that maximizes the performance. You can.
본 발명의 제2 실시예에 따른 작업자 위험 인자 감시 방법은, 위험 환경 판단부가 전처리 된 영상에서 인식된 작업자가 기 설정된 중대 재해 위험 구역에 출입하는지 여부와 상기 작업자의 안전장구 및 작업자 보호 장비의 착용 여부를 판단하는 단계, 정보전달부가 상기 인식된 작업자의 형상에 대한 특성 정보를 획득하고, 위험 상태 판단부 및 위험 행동 판단부로 전달하는 단계, 상기 위험 상태 판단부가 상기 작업자의 형상에 대한 특성 정보 및 상기 작업자의 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단하는 단계, 상기 정보전달부가 상기 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 상기 위험 행동 판단부에 전달하는 단계, 위험 행동 판단부가 상기 작업자의 형상에 대한 특성 정보 및 상기 작업자의 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단하는 단계를 포함할 수 있다.The worker risk factor monitoring method according to the second embodiment of the present invention determines whether the worker recognized in the image pre-processed by the risk environment determination unit enters the preset serious disaster risk area and the worker's wearing of safety gear and worker protective equipment. determining whether or not, the information transmission unit obtains characteristic information about the recognized shape of the worker, and transmits it to a risk state determination unit and a risk behavior determination unit, the risk state determination unit obtains characteristic information about the shape of the worker and Based on the worker's work sequence information, determining whether the worker is in a pre-designated dangerous state, wherein the information transmission unit transmits the worker's work sequence information obtained by the dangerous state determination unit to the risk behavior determination unit. Step, the risk behavior determination unit may include a step of determining whether the worker engages in a pre-designated risky behavior based on characteristic information about the shape of the worker and work sequence information of the worker.
또한, 영상 입력부가 외부로부터 일련의 시퀀스를 가진 영상을 입력 받아 전처리하는 단계 및 반자동 영상 할당부가 상기 전처리 된 영상을 미리 지정한 레이블에 반자동으로 할당 처리하고, 상기 영상 입력부에 재저장하는 단계를 더 포함할 수 있다.In addition, it further includes a step of an image input unit receiving and preprocessing an image having a series of sequences from an external source, a semi-automatic image allocation unit semi-automatically assigning the preprocessed image to a pre-designated label, and re-storing the image in the image input unit. can do.
또한, 판단 최적화부가 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 성능을 최대화하는 초모수 리스트를 확률 기반 성능함수를 이용해 도출하여, 각각의 판단에 활용하도록 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 제공하는 단계를 더 포함할 수 있다.In addition, the judgment optimization unit derives a list of hyperparameters that maximize the performance of the risk environment determination unit, the risk state determination unit, and the risk behavior determination unit using a probability-based performance function, and uses the risk environment determination unit in each judgment. , may further include providing the risk status determination unit and the risk behavior determination unit.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 영상 데이터 내 픽셀 정보를 기반으로 반자동 영상 할당 처리함으로써, 기존에 엔지니어가 수작업으로 영상을 분류하던 작업을 상당부분 대체할 수 있어 수작업으로 발생하던 인적 오류 및 시간적 비용 증가 문제를 줄일 수 있다.As described above, according to the embodiments of the present invention, by performing semi-automatic image allocation processing based on pixel information in image data, it is possible to replace much of the existing work of manually classifying images by engineers, eliminating the need for manual work. Problems of human error and increased time costs can be reduced.
또한, 기존에 안전장구 착용 여부와 같이 하나의 기능에 국한된 감시 방법에서 모수 공유를 통한 3단계 판단부 정보전달 체계로의 전환을 통해 다양한 관점에서 작업자의 위험 인자를 감시하는 일에 투입되는 시간 및 자원을 대폭 저감 가능하여 업무 효율성을 향상시킬 수 있다.In addition, by switching from the existing monitoring method limited to one function, such as whether or not to wear safety gear, to a three-stage judgment information delivery system through parameter sharing, the time and effort spent on monitoring workers' risk factors from various perspectives is reduced. Work efficiency can be improved by significantly reducing resources.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned here, the effects described in the following specification and their potential effects expected by the technical features of the present invention are treated as if described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 작업자 위험 인자 감시를 수행하는 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 작업자 위험 인자 감시 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상 전처리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 반자동 영상 할당 방법을 설명하기 위한 흐름도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 위험 환경 판단 방법을 예로 들어 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 정보 전달 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 위험 상태 판단 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 위험 행동 판단 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 위험 상태 판단 방법과 위험 행동 판단 방법을 예로 들어 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 판단 최적화 방법을 설명하기 위한 흐름도이다.1 is a block diagram showing a system for monitoring worker risk factors according to an embodiment of the present invention.
Figure 2 is a flowchart showing a method for monitoring worker risk factors according to an embodiment of the present invention.
Figure 3 is a flowchart for explaining an image pre-processing method according to an embodiment of the present invention.
Figure 4 is a flowchart illustrating a semi-automatic image allocation method according to an embodiment of the present invention.
5 and 6 are diagrams for explaining a method for determining a hazardous environment according to an embodiment of the present invention as an example.
Figure 7 is a flowchart illustrating an information transmission method according to an embodiment of the present invention.
Figure 8 is a flowchart illustrating a method for determining a risk state according to an embodiment of the present invention.
Figure 9 is a flowchart illustrating a method for determining risky behavior according to an embodiment of the present invention.
Figure 10 is a diagram for explaining a method for determining a risky state and a method for determining a risky behavior according to an embodiment of the present invention as an example.
Figure 11 is a flowchart illustrating a decision optimization method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear with reference to the embodiments described below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to be understood by those skilled in the art in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly explained, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention are general terms that are currently widely used as much as possible while considering the functions in the present invention, but this may vary depending on the intention or precedent of a person working in the art, the emergence of new technology, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than simply the name of the term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. When it is said that a part 'includes' a certain element throughout the specification, this means that it does not exclude other elements, but may further include other elements, unless specifically stated to the contrary.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. In order to clearly explain the present invention in the drawings, parts unrelated to the description are omitted.
본 발명은 중대 재해 방지를 위한 작업자 위험 인자 감시를 수행하는 시스템 및 이의 작업자 위험 인자 감시 방법에 관한 것이다.The present invention relates to a system for monitoring worker risk factors to prevent major disasters and a method for monitoring worker risk factors.
도 1은 본 발명의 일 실시예에 따른 작업자 위험 인자 감시를 수행하는 시스템을 나타낸 블록도이다.1 is a block diagram showing a system for monitoring worker risk factors according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 작업자 위험 인자 감시를 수행하는 시스템은 영상 입력부(100), 반자동 영상 할당부(200), 위험 환경 판단부(300), 정보전달부(400), 위험 상태 판단부(500), 위험 행동 판단부(600) 및 판단 최적화부(700)를 포함할 수 있다.Referring to FIG. 1, the system for monitoring worker risk factors according to an embodiment of the present invention includes an
본 발명의 일 실시예에 따른 작업자 위험 인자 감시를 수행하는 시스템은 고정식 또는 이동식 영상 데이터 수집 장치(예를 들면, 고정형 CCTV, 크레인, 지게차, 트럭, 드론 등의 이동체에 부착한 카메라)로부터 취득한 영상 데이터를 딥러닝 모델에 입력하여 현장에서 발생하는 작업자의 보건, 안전 위험 인자를 감시를 수행하는 시스템이다.A system for monitoring worker risk factors according to an embodiment of the present invention uses images acquired from fixed or mobile video data collection devices (e.g., fixed CCTV, cameras attached to moving objects such as cranes, forklifts, trucks, drones, etc.) It is a system that inputs data into a deep learning model to monitor health and safety risk factors of workers occurring in the field.
본 발명의 일 실시예에 따른 작업자 위험 인자 감시를 수행하는 시스템은 중대 재해작업 현장의 영상 데이터 내에서 작업자를 인식하고 인식 정보를 출력하는 장치로 CPU, 내장 또는 외장 GPU, 메모리 및 저장장치로 구성된 하나의 컴퓨터 시스템에서 동작할 수 있다.The system for monitoring worker risk factors according to an embodiment of the present invention is a device that recognizes workers within video data at a major disaster site and outputs recognition information, and is comprised of a CPU, built-in or external GPU, memory, and storage device. It can run on one computer system.
영상 입력부(100)는 외부로부터 일련의 시퀀스를 가진 영상을 입력 받아 전처리할 수 있다.The
영상 입력부(100)는 영상 데이터(D)를 입력 받아 로드(Load)하고, 로드된 영상의 비율을 유지하면서 해상도에 맞는 지정된 픽셀 크기로 변환 및 데이터베이스에 저장하는 기능을 수행한다.The
여기서, 영상은 일련의 이미지 시퀀스로 이루어진 데이터(D1, D2)로서, 일반적인 스마트폰 카메라부터 CCTV까지 다양한 영상기록장치에서 수집 가능한 유형의 데이터이다.Here, video is data (D1, D2) consisting of a series of image sequences, and is a type of data that can be collected from various video recording devices, from general smartphone cameras to CCTV.
반자동 영상 할당부(200)는 전처리 된 영상을 미리 지정한 레이블에 반자동으로 할당 처리하고, 영상 입력부에 재저장할 수 있다.The semi-automatic
구체적으로, 반자동 영상 할당부(200)는, 전처리 된 영상 내에서 대표 샘플 영상세트를 선정하며, 샘플 영상세트를 엔지니어가 직접 레이블을 지정 및 할당하여 컨볼루션 연산 기반 지도학습을 수행한 후, 지도학습이 수행된 모델을 나머지 영상에 적용하여 레이블을 추론한 결과를 각 영상에 할당하고, 영상 입력부에 존재하는 데이터베이스에 재저장할 수 있다.Specifically, the semi-automatic
본 발명의 일 실시예에 따른 반자동 영상 할당부(200)는 수동단계와 자동단계로 구성되어, 영상 입력부로부터 입력 받은 전체 영상 데이터 내에서 샘플을 선정하고 해당 데이터를 엔지니어가 직접 레이블에 할당하여 지도학습을 수행한 후(수동단계), 나머지 영상 데이터에 적용하여 레이블을 추론한 결과를 각 영상에 할당하고 영상 입력부에 존재하는 데이터베이스에 저장하는 기능을 수행한다(자동단계).The semi-automatic
특히, 수동단계에서는 전체 영상 중 엔지니어가 직접 레이블을 할당할 대표 샘플을 선정하기 위하여, 우선 전체 영상을 컨볼루션 연산 기반의 필터를 통해 특성공간으로 사상시킨 후 가장 짧은 반경으로 전체 영상을 전부 커버하는 약 5%의 샘플 영상세트를 추천하도록 동작한다.In particular, in the manual stage, in order to select a representative sample among all images to which the engineer will directly assign a label, the entire image is first mapped into a feature space through a filter based on convolution operation, and then the entire image is covered with the shortest radius. It operates to recommend approximately 5% of the sample video set.
이후 추천된 각 샘플 별로 반경 내에서 가장 멀리 떨어진 샘플을 세트에 추가함으로써 전체적인 분포를 완전히 커버하도록 한다.Afterwards, for each recommended sample, the sample furthest away within the radius is added to the set to completely cover the entire distribution.
최종적으로 반자동 영상 할당부는 영상 데이터가 쌓임에 따라 수동단계와 자동단계를 반복하면서 전체 영상을 효율적으로 레이블 할당 처리한다. 이를 통해 엔지니어의 개입을 최소화한 반자동 레이블 할당이 가능하며 수작업보다 계산 속도를 가속화할 수 있다.Finally, the semi-automatic image allocation unit efficiently assigns labels to the entire image by repeating manual and automatic steps as image data accumulates. This allows semi-automatic label assignment with minimal engineer intervention and accelerates calculation speed compared to manual work.
위험 환경 판단부(300)는 전처리 된 영상에서 인식된 작업자가 기 설정된 중대 재해 위험 구역에 출입하는지 여부와 상기 작업자의 안전장구 및 작업자 보호 장비의 착용 여부를 판단할 수 있다.The hazardous
구체적으로, 위험 환경 판단부(300)는 중대 재해 위험 구역에 출입 및 상기 안전장구의 착용 여부를 작업자 형상 특성 인코딩을 통해 지도학습한 네트워크 구조를 사용하여 영상에 대한 위험 환경을 판단할 수 있다.Specifically, the risk
본 발명의 일 실시예에 따른 위험 환경 판단부(300)는 반자동 영상 할당부에서 레이블 할당 처리된 전체 영상 데이터를 바탕으로 중대 재해 위험 구역 출입 및 안전장구 착용 여부를 판단하는 기능을 수행한다.The hazardous
중대 재해작업의 경우 다양한 중량물, 밀폐, 고소작업을 포함하여 작업자 외에도 많은 주변 장애물이 존재하므로 작업자의 형상 특성을 적절히 인코딩하는 작업이 선행되어야 한다.In the case of major disaster work, there are many surrounding obstacles in addition to the worker, including various heavy objects, enclosures, and high-altitude work, so proper encoding of the worker's shape characteristics must be done first.
따라서 본 발명에서는 작업자 형상 특성 인코딩 기반 지도학습이 가능하도록 컨볼루션-인코더-디코더-순방향 네트워크 구조를 설계하고 학습한다.Therefore, in the present invention, a convolution-encoder-decoder-forward network structure is designed and learned to enable supervised learning based on worker shape feature encoding.
이때 컨볼루션 계층을 통해 영상 이미지 안에서 각 픽셀의 특성표현 값을 모델링하고 인코더-디코더 계층을 통해 각 픽셀 간의 연관성을 분석하여 가중치를 산정, 학습에 반영하는 과정을 거치면서 작업자 형상과 관련한 컨볼루션 특성 정보의 학습을 극대화한다.At this time, through the process of modeling the characteristic expression value of each pixel in the video image through the convolution layer, analyzing the correlation between each pixel through the encoder-decoder layer, calculating the weight, and reflecting it in learning, the convolution characteristics related to the worker's shape are generated. Maximize learning of information.
정보전달부(400)는 인식된 작업자의 형상에 대한 특성 정보를 획득하고, 위험 상태 판단부 및 위험 행동 판단부로 전달할 수 있다.The
또한, 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 위험 행동 판단부에 전달할 수 있다.Additionally, the worker's work sequence information obtained by the risk state determination unit can be transmitted to the risk behavior determination unit.
즉, 영상 내 작업자 형상의 특징적인 특성 정보 및 작업자의 작업 시퀀스 정보를 저장 및 불러옴으로써 위험 상태 판단부 및 위험 행동 판단부가 해당 정보를 유사상황 판단의 기초자료로 이용하도록 전달할 수 있다.In other words, by storing and loading the characteristic characteristic information of the worker's shape in the image and the worker's work sequence information, the information can be transmitted to the risk status determination unit and the risk behavior determination unit to use the information as basic data for judging similar situations.
이를 위해, 정보전달부(400)는 기 학습한 컨볼루션 또는 순환신경망의 모수를 저장 및 불러오는 알고리즘을 구현하여 다른 컨볼루션 연산 또는 순환신경망 기반 딥러닝 뉴럴네트워크의 고정 모수로 활용하도록 연결할 수 있다.To this end, the
즉, 제1 딥러닝 뉴럴네트워크를 위험 환경 판단이 가능하게 학습하고, 제2 딥러닝 뉴럴네트워크를 위험 상태 판단이 가능하게 학습하며, 제3 딥러닝 뉴럴네트워크를 위험 행동 판단이 가능하게 학습할 때에, 정보전달부가 제1 딥러닝 뉴럴네트워크의 학습 결과에 따른 제1 딥러닝 뉴럴네트워크의 모수를 제2 딥러닝 뉴럴네트워크 및 제3 딥러닝 뉴럴네트워크로 전달하는 방식을 수행할 수 있다.In other words, when the first deep learning neural network is learned to be able to judge a risk environment, the second deep learning neural network is learned to be able to judge risk status, and the third deep learning neural network is learned to be able to judge risky behavior. , the information delivery unit may transmit the parameters of the first deep learning neural network according to the learning results of the first deep learning neural network to the second deep learning neural network and the third deep learning neural network.
이에 따라, 위험 환경 판단에 비해 판단이 어려운 위험 상태 판단과 위험 행동 판단 과정의 태스크를 효과적으로 수행할 수 있다.Accordingly, it is possible to effectively perform tasks in the risk state judgment and risk action judgment processes that are difficult to judge compared to the risk environment judgment.
후술할 위험 상태 판단부(500) 및 위험 행동 판단부(600)는 영상 내 작업자의 형상을 검출한다는 점에서 위험 환경 판단부와 유사한 태스크로 볼 수 있으며, 미리 학습한 정보를 유사한 태스크로 전달함으로써 본 발명의 전체 학습 효율성을 극대화할 수 있다.The dangerous
위험 상태 판단부(500)는 작업자의 형상에 대한 특성 정보에 기초하여, 작업자가 미리 지정된 위험한 상태에 있는지 판단할 수 있다.The dangerous
위험 상태 판단부(500)는 영상의 시퀀스를 모델링하는 메모리 셀 기반의 순환신경망 네트워크를 구축하고, 정보전달부에서 로드한 고정 모수를 이용해 작업자 형상의 특성 정보를 자동 출력하는 컨볼루션 연산 계층을 앞 단에 연결한 후, 레이블 추론을 위한 순방향 네트워크를 뒷 단에 배치함으로써 시퀀스에 따른 작업자 형상 인식을 토대로 위험 상태를 학습 및 판단할 수 있다.The risk
예를 들어, 위험 상태 판단부(500)는 영상 내 작업자의 쓰러짐, 추락, 위태로운 매달림 등 작업자가 위험한 상태에 있는지 판단하는 기능을 담당한다.For example, the dangerous
이는 단순히 위험 상태의 결과만을 이미지로 판단하는 것을 넘어 위험 상태가 발생하기까지의 과정을 담은 일련의 영상 시퀀스를 판단하는 것을 포함한다.This goes beyond simply judging only the results of a dangerous state through images and includes judging a series of video sequences that contain the process leading up to the occurrence of a dangerous state.
위험 행동 판단부(600)는 작업자의 형상에 대한 특성 정보와 작업자의 작업 시퀀스 정보에 기초하여, 작업자가 미리 지정된 위험한 행동을 하는지 판단할 수 있다.The risky
위험 행동 판단부(600)는 순환신경망 네트워크를 이용하고, 순방향 네트워크를 제외한 모든 구조의 모수는 상기 정보전달부의 알고리즘에 따라 위험 상태 판단부로부터 전부 로드하며, 순방향 네트워크는 새로 구축하여 위험 상태와는 구별되는 위험 행동을 학습하도록 작동할 수 있다.The risk
예를 들어, 위험 행동 판단부(600)는 영상 내 작업자가 위험 상태 판단부의 원인이 될 수 있는 복합 이벤트(안전장구 미착용, 수직사다리 한 손 승강, 작업대 설치시 안전고리 미체결 등)와 관련된 위험한 행동을 하는지 판단하는 기능을 담당할 수 있다.For example, the risk
위험 행동 판단부는 위험 상태 판단부와 동일하게 컨볼루션-순환신경망-순방향 네트워크 구조를 이용하고, 순방향 네트워크를 제외한 모든 구조의 모수는 정보전달부의 알고리즘에 따라 위험 상태 판단부로부터 전부 로드하여 특성 정보를 그대로 가져와 효율적인 위험 행동 판단을 수행할 수 있다.The risk behavior determination unit uses the same convolution-recurrent neural network-forward network structure as the risk status determination unit, and the parameters of all structures except the forward network are all loaded from the risk status determination unit according to the algorithm of the information transmission unit to provide characteristic information. You can take it as is and perform efficient risk behavior judgment.
이때 순방향 네트워크는 새로 구축하여 위험 상태와는 구별되는 위험 행동을 학습하도록 작동한다.At this time, the forward network is newly constructed and operates to learn risky behavior that is distinct from the risky state.
판단 최적화부(700)는 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부의 성능을 최대화하는 초모수 리스트를 확률 기반 성능함수를 이용해 도출하여 각각의 판단에 활용하도록 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부에 제공할 수 있다.The
판단 최적화부(700)는 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부 각각의 초모수 리스트를 도출하고, x축은 초모수 리스트, y축은 판단부의 정확도 성능을 표현하는 성능함수를 가우시안 확률과정을 통해 임의로 생성하며, 가우시안 분포의 분산 값이 가장 큰 샘플 영상을 판단부에 입력하여 성능을 평가하고, 이를 반영한 가장 높은 성능을 가지는 초모수 리스트를 저장하고 결과를 출력할 수 있다. 다시 말해, 판단 최적화부(700)는 초모수 리스트를 이용한 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부의 정확도 성능을 표현하는 성능함수를 가우시안 확률과정을 통해 임의로 생성하며, 가우시안 분포의 분산 값이 가장 큰 샘플 영상을 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부에 입력하여 성능함수를 통해 정확도 성능을 평가해 성능을 최대화하는 초모수 리스트를 도출할 수 있다.The
이렇게 판단 최적화부(700)가 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부의 초모수 리스트를 도출함에 따라, 판단의 정확도를 높이고 판단 결과를 출력할 수 있다.As the
판단 최적화부(700)는 초모수 리스트에 대한 성능함수를 모사하기 위하여, 가우시안 확률과정을 사전 확률분포로 가지는 확률함수를 임의로 생성하고 새로운 샘플 데이터로부터 사후 확률분포를 추론한 후 가장 높은 성능을 가지는 초모수 리스트를 저장하여 앞으로의 판단에 활용할 수 있다.In order to simulate the performance function for the hyperparameter list, the
도 2는 본 발명의 일 실시예에 따른 작업자 위험 인자 감시 방법을 나타낸 흐름도이다.Figure 2 is a flowchart showing a method for monitoring worker risk factors according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 작업자 위험 인자 감시 방법은 작업자 위험 인자 감시를 수행하는 시스템에 의해 수행되며, 단계 S100에서 영상 입력부가 외부로부터 일련의 시퀀스를 가진 영상을 입력 받아 전처리할 수 있다.The method for monitoring worker risk factors according to an embodiment of the present invention is performed by a system that performs worker risk factor monitoring, and in step S100, the image input unit may receive images with a series of sequences from the outside and preprocess them.
이후, 단계 S200에서 반자동 영상 할당부가 상기 전처리 된 영상을 미리 지정한 레이블에 반자동으로 할당 처리하고, 상기 영상 입력부에 재저장할 수 있다.Thereafter, in step S200, the semi-automatic image allocation unit may semi-automatically assign the pre-processed image to a pre-designated label and re-store it to the image input unit.
단계 S300에서 위험 환경 판단부가 전처리 된 영상에서 인식된 작업자가 기 설정된 중대 재해 위험 구역에 출입하는지 여부와 상기 작업자의 안전장구 및 작업자 보호 장비의 착용 여부를 판단할 수 있다.In step S300, the hazardous environment determination unit may determine whether the worker recognized in the preprocessed image enters a preset serious disaster risk area and whether the worker is wearing safety gear and worker protective equipment.
단계 S400에서 정보전달부가 상기 인식된 작업자의 형상에 대한 특성 정보를 획득하고, 상기 위험 상태 판단부 및 상기 위험 행동 판단부로 전달할 수 있다.In step S400, the information transmission unit may acquire characteristic information about the recognized shape of the worker and transmit it to the dangerous state determination unit and the risky behavior determination unit.
단계 S500에서 위험 상태 판단부가 상기 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단할 수 있다.In step S500, the dangerous state determination unit may determine whether the worker is in a pre-designated dangerous state based on characteristic information about the shape of the worker.
단계 S600에서 위험 행동 판단부가 상기 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단할 수 있다.In step S600, the risky behavior determination unit may determine whether the worker engages in a pre-designated risky behavior based on characteristic information about the worker's shape.
한편, 단계 S500과 단계 S600 사이에서 정보전달부가 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 위험 행동 판단부에 전달하는 단계를 더 포함할 수 있다.Meanwhile, between step S500 and step S600, the information transmission unit may further include a step of transmitting the worker's work sequence information obtained by the risk state determination unit to the risk behavior determination unit.
이에 따라, 단계 S600에서 위험 행동 판단부는 작업자의 형상에 대한 특성 정보와 작업 시퀀스 정보에 기초하여, 작업자가 미리 지정된 위험한 행동을 하는지 판단할 수 있다.Accordingly, in step S600, the risky behavior determination unit may determine whether the worker engages in a pre-designated risky behavior based on characteristic information about the worker's shape and work sequence information.
단계 S700에서 판단 최적화부가 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 초모수 리스트를 도출하여, 각각의 판단 결과를 최적화할 수 있다.In step S700, the judgment optimization unit may derive a list of hyperparameters of the risk environment determination unit, the risk state determination unit, and the risky behavior determination unit, thereby optimizing each decision result.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler), 파이선(python) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 11을 참조하여, 작업자 위험 인자 감시를 수행하는 시스템에서 수행되는 작업자 위험 인자 감시 방법에 대해 보다 상세히 설명하도록 한다.The components of the present invention may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a hardware computer. Components of the invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as combinations of data structures, processes, routines or other programming constructs, such as C, C++, , it can be implemented in a programming or scripting language such as Java, assembler, python, etc. Functional aspects may be implemented as algorithms running on one or more processors. Hereinafter, with reference to FIGS. 3 to 11, the worker risk factor monitoring method performed in the system that performs worker risk factor monitoring will be described in more detail.
도 3은 본 발명의 일 실시예에 따른 영상 전처리 방법을 설명하기 위한 흐름도이다.Figure 3 is a flowchart for explaining an image pre-processing method according to an embodiment of the present invention.
영상 입력부는, 단계 S100에서 외부로부터 일련의 시퀀스를 가진 영상을 입력 받아 전처리할 수 있다.The image input unit may receive images with a series of sequences from the outside in step S100 and preprocess them.
도 3을 참조하면, 구체적으로, 단계 S110에서 영상 데이터를 입력 받아 장치에 로드할 수 있다.Referring to FIG. 3, specifically, in step S110, image data can be input and loaded into the device.
단계 S120에서 입력 받은 영상의 비율을 유지하면서 해상도에 맞는 픽셀 크기로 변환하는 전처리한 후 데이터베이스에 저장할 수 있다.In step S120, the input image can be preprocessed to maintain the ratio and converted to a pixel size appropriate for the resolution, and then stored in the database.
도 4는 본 발명의 일 실시예에 따른 반자동 영상 할당 방법을 설명하기 위한 흐름도이다.Figure 4 is a flowchart illustrating a semi-automatic image allocation method according to an embodiment of the present invention.
반자동 영상 할당부는, 단계 S200에서 전처리 된 영상을 미리 지정한 레이블에 반자동으로 할당 처리하고, 상기 영상 입력부에 재저장할 수 있다.The semi-automatic image allocation unit may semi-automatically assign the image pre-processed in step S200 to a pre-designated label and re-store it to the image input unit.
도 4를 참조하면, 구체적으로, 단계 S210에서 전체 영상 중 가장 짧은 반경으로 전체 영상을 전부 커버하는 약 5%의 샘플과 해당 반경 내에서 가장 멀리 떨어진 샘플을 머지(merge)한 영상세트를 출력할 수 있다.Referring to FIG. 4, specifically, in step S210, an image set is output by merging approximately 5% of the samples that cover the entire image with the shortest radius and the samples furthest away within that radius. You can.
단계 S220에서 출력된 샘플 영상세트에 엔지니어가 직접 레이블을 지정 및 할당할 수 있다.The engineer can directly label and assign labels to the sample image set output in step S220.
단계 S230에서 샘플 영상세트를 입력하면 할당된 레이블을 출력하는 컨볼루션 연산 기반 지도학습을 수행할 수 있다.If a sample image set is input in step S230, supervised learning based on a convolution operation can be performed to output an assigned label.
단계 S240에서 지도학습 모델을 나머지 영상에 적용하여 레이블을 추론 및 할당하고 영상 입력부에 재저장할 수 있다.In step S240, the supervised learning model can be applied to the remaining images to infer and assign labels and be restored to the image input unit.
도 5 및 도 6은 본 발명의 일 실시예에 따른 위험 환경 판단 방법을 예로 들어 설명하기 위한 도면이다.5 and 6 are diagrams for explaining a method for determining a hazardous environment according to an embodiment of the present invention as an example.
위험 환경 판단부는 단계 S300에서 전처리 된 영상에서 인식된 작업자가 기 설정된 중대 재해 위험 구역에 출입하는지 여부와 상기 작업자의 안전장구 및 작업자 보호 장비의 착용 여부를 판단할 수 있다.The hazardous environment determination unit may determine whether the worker recognized in the image preprocessed in step S300 enters a preset serious disaster risk area and whether the worker is wearing safety equipment and worker protective equipment.
도 5를 참조하면, 구체적으로, 단계 S310에서 전체 영상을 컨볼루션 계층에 입력하여 영상 안에서 각 픽셀의 특성표현 값을 모델링할 수 있다.Referring to FIG. 5 , specifically, in step S310, the entire image can be input to the convolution layer to model the characteristic expression value of each pixel in the image.
단계 S320에서 추출한 특성 정보를 인코더-디코더 계층에 입력하여 각 픽셀 간의 연관성을 분석하여 가중치를 산정하고, 학습에 반영할 수 있다.The characteristic information extracted in step S320 can be input to the encoder-decoder layer to analyze the correlation between each pixel, calculate the weight, and reflect it in learning.
단계 S330에서 추출한 특성 정보를 순방향 네트워크에 입력하여 중대 재해 위험 구역 출입 및 안전장구 착용 여부를 학습 및 판단할 수 있다.By inputting the characteristic information extracted in step S330 into the forward network, it is possible to learn and determine whether to enter a major disaster risk area and wear safety equipment.
이에 대해, 도 6의 (a)를 참조하면, 제1 영상(D1)에서 인식된 작업자(P1)를 추적하여, 기 설정된 중대 재해 위험 구역의 출입 여부를 판단할 수 있다.In this regard, referring to (a) of FIG. 6 , the worker P1 recognized in the first image D1 can be tracked to determine whether the worker P1 enters or enters a preset serious disaster risk area.
이 때, 중대 재해 위험 구역은 중장비(C1)가 포함된 구역으로 설정될 수 있으며, 해당 구역에서의 작업자(P1)의 위치를 인식함으로써 출입 여부를 판단할 수 있다.At this time, the major disaster risk area can be set as an area containing heavy equipment (C1), and entry or exit can be determined by recognizing the location of the worker (P1) in the area.
또한, 작업자(P1)가 안전장구 및 보호 장비(E1)를 착용하였는지 여부를 판단하기 위해, 안전장구 및 보호 장비(E1)에 해당하는 픽셀의 특성표현 값을 모델링할 수 있다.Additionally, in order to determine whether the worker P1 is wearing safety equipment and protective equipment E1, the characteristic expression value of the pixel corresponding to the safety equipment and protective equipment E1 can be modeled.
이를 통해, 해당 영상에서 작업자(P1)가 중대 재해 위험 구역에 진입하였으나, 안전장구 및 보호 장비(E1)가 착용되지 않음을 인식하는 경우, 위험 환경임을 판단할 수 있다.Through this, if it is recognized in the video that the worker (P1) has entered a major disaster risk area but is not wearing safety gear and protective equipment (E1), it can be determined that it is a dangerous environment.
또한, 도 6의 (b)를 참조하면, 제2 영상(D2)에서 인식된 작업자(P2)를 추적하여, 기 설정된 중대 재해 위험 구역의 출입 여부를 판단할 수 있고, 중대 재해 위험 구역에 관한 객체들(C3)을 더 인식할 수도 있다.In addition, referring to (b) of FIG. 6, it is possible to track the worker (P2) recognized in the second image (D2) to determine whether to enter or exit a preset serious disaster risk area, and Additional objects C3 may be recognized.
이 때, 중대 재해 위험 구역은 중장비(C2)와 객체들(C3)이 포함된 구역으로 설정될 수 있으며, 해당 구역에서의 작업자(P2)의 위치를 인식함으로써 출입 여부를 판단할 수 있다.At this time, the major disaster risk area can be set as an area containing heavy equipment (C2) and objects (C3), and entry or exit can be determined by recognizing the location of the worker (P2) in the area.
또한, 작업자(P2)가 안전장구 및 보호 장비(E2)를 착용하였는지 여부를 판단하기 위해, 안전장구 및 보호 장비(E2)에 해당하는 픽셀의 특성표현 값을 모델링할 수 있다.Additionally, in order to determine whether the worker (P2) is wearing safety equipment and protective equipment (E2), the characteristic expression value of the pixel corresponding to the safety equipment and protective equipment (E2) can be modeled.
이를 통해, 해당 영상에서 작업자(P2)가 중대 재해 위험 구역에 진입하였으나, 안전장구 및 보호 장비(E2)가 착용되지 않음을 인식하는 경우, 위험 환경임을 판단할 수 있다.Through this, if it is recognized in the video that the worker (P2) has entered a major disaster risk area but is not wearing safety gear and protective equipment (E2), it can be determined that it is a dangerous environment.
도 7은 본 발명의 일 실시예에 따른 정보 전달 방법을 설명하기 위한 흐름도이다.Figure 7 is a flowchart illustrating an information transmission method according to an embodiment of the present invention.
정보전달부는 단계 S400에서 인식된 작업자의 형상에 대한 특성 정보를 획득하고, 상기 위험 상태 판단부 및 상기 위험 행동 판단부로 전달할 수 있다.The information transmission unit may acquire characteristic information about the shape of the worker recognized in step S400 and transmit it to the risk state determination unit and the risk behavior determination unit.
도 7을 참조하면, 단계 S410에서 학습 완료한 모수를 장치내 독립된 경로에 "YYMMDD_HHMMSS"의 날짜 형식 파일명으로 자동 저장할 수 있다.Referring to FIG. 7, the parameters learned in step S410 can be automatically saved with a date format file name of “YYMMDD_HHMMSS” in an independent path in the device.
단계 S420에서 학습 완료한 모수를 날짜 형식 파일명으로 불러올 수 있다.The parameters learned in step S420 can be loaded as a date format file name.
도 8은 본 발명의 일 실시예에 따른 위험 상태 판단 방법을 설명하기 위한 흐름도이다.Figure 8 is a flowchart illustrating a method for determining a risk state according to an embodiment of the present invention.
위험 상태 판단부는 단계 S500에서 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단할 수 있다.The dangerous state determination unit may determine whether the worker is in a pre-designated dangerous state based on characteristic information about the shape of the worker in step S500.
도 8을 참조하면, 단계 S510에서 상기 S420 단계에서 컨볼루션 계층의 모수를 로드하여 전체 영상의 특성 정보를 출력할 수 있다.Referring to FIG. 8, in step S510, the parameters of the convolution layer in step S420 can be loaded and characteristic information of the entire image can be output.
단계 S520에서 추출한 특성 정보를 메모리 셀을 포함하는 순환신경망 네트워크에 입력하여 영상의 시퀀스를 모델링할 수 있다.The image sequence can be modeled by inputting the characteristic information extracted in step S520 into a recurrent neural network network including memory cells.
단계 S530에서 추출한 시퀀스 정보를 순방향 네트워크에 입력하여 시퀀스에 따른 작업자 형상 인식을 토대로 위험 상태를 학습 및 판단할 수 있다.By inputting the sequence information extracted in step S530 into the forward network, the dangerous state can be learned and determined based on recognition of the worker's shape according to the sequence.
도 9는 본 발명의 일 실시예에 따른 위험 행동 판단 방법을 설명하기 위한 흐름도이다.Figure 9 is a flowchart illustrating a method for determining risky behavior according to an embodiment of the present invention.
위험 행동 판단부는 단계 S600에서 작업자의 형상에 대한 특성 정보 및 작업자의 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단할 수 있다.In step S600, the risky behavior determination unit may determine whether the worker engages in a pre-designated risky behavior based on characteristic information about the worker's shape and the worker's work sequence information.
도 9를 참조하면, 단계 S610에서 컨볼루션 계층과 순환신경망 네트워크의 모수를 한꺼번에 로드하여 전체 영상의 컨볼루션 특성 정보 및 시퀀스 정보를 출력할 수 있다.Referring to FIG. 9, in step S610, the parameters of the convolution layer and the recurrent neural network can be loaded at once and the convolution characteristic information and sequence information of the entire image can be output.
단계 S620에서 추출한 정보를 순방향 네트워크에 입력하여 시퀀스에 따른 작업자 형상 인식을 토대로 위험 행동을 학습 및 판단할 수 있다.The information extracted in step S620 can be input into the forward network to learn and determine risky behavior based on recognition of the worker's shape according to the sequence.
도 10은 본 발명의 일 실시예에 따른 위험 상태 판단 방법과 위험 행동 판단 방법을 예로 들어 설명하기 위한 도면이다.Figure 10 is a diagram for explaining a method for determining a risky state and a method for determining a risky behavior according to an embodiment of the present invention as an example.
도 10을 참조하면, 본 발명의 일 실시예에 따른 위험 상태 판단 방법과 위험 행동 판단 방법은, 작업자의 형상에 대한 특성 정보에 기초하여, 미리 지정된 위험한 상태에 있는지와 위험 행동을 하는지에 대한 유무를 판단할 수 있다.Referring to FIG. 10, a method for determining a dangerous state and a method for determining a dangerous behavior according to an embodiment of the present invention determines whether or not a worker is in a pre-designated dangerous state and engaging in a dangerous behavior, based on characteristic information about the shape of the worker. can be judged.
예를 들어, (a)는 작업자가 서있는 상태, (b)는 작업자가 걸어 다니는 상태, (c)는 작업자가 앉아있는 상태, (d)는 작업자가 땅을 보게 되는 상태, (e)는 작업자가 휘청거리는 상태, (f)는 작업자가 쓰러지기 직전의 상태의 형상을 나타낸 것이다.For example, (a) is a state in which the worker is standing, (b) is a state in which the worker is walking, (c) is a state in which the worker is sitting, (d) is a state in which the worker is looking at the ground, and (e) is a state in which the worker is looking at the ground. (f) shows the state in which the worker is staggering, and (f) shows the state just before the worker falls.
이에 따라, 영상(D1)에서 인식된 작업자(P1)의 형상에 기초하여, 위험한 상태에 있는지를 판단할 수 있다.Accordingly, based on the shape of the worker P1 recognized in the image D1, it can be determined whether the worker P1 is in a dangerous state.
예를 들어, (a)의 경우 작업자가 서있는 상태이므로, 위험 상태로 판단하지 않을 수 있지만, (e) 또는 (f)의 경우 위험한 상태임을 감지할 수 있다.For example, in case (a), since the worker is standing, it may not be judged as a dangerous state, but in case (e) or (f), it can be detected as a dangerous state.
또한, 도 10을 참조하면, 영상 내 작업자의 쓰러짐, 추락, 위태로운 매달림 등의 형상을 데이터로 하여 미리 학습시킨 후, 이에 대해 유무를 판단할 수 있다.In addition, referring to Figure 10, the shape of the worker's collapse, fall, or precarious hanging in the video can be learned in advance using data, and then the presence or absence of this can be determined.
예를 들어, (g)는 작업자가 사다리를 들고 가는 행동, (h)는 사다리를 오르는 행동, (i)는 작업자가 사다리를 타고 올라가는 중이며, 한 손에 공구함을 들고 있어 사다리를 한손으로만 잡고 있는 행동, (j)는 작업자가 사다리에서 두 손을 놓게 되는 행동, (k)는 작업자가 사다리를 한손으로만 잡고, 다른 사람을 부르는 행동을 나타낸 것이다.For example, (g) is the action of a worker carrying a ladder, (h) is the action of climbing a ladder, and (i) is the action of a worker climbing a ladder and holding a tool box in one hand, so he can only hold the ladder with one hand. Holding action, (j) represents the action where the worker releases both hands from the ladder, and (k) represents the action where the worker holds the ladder with only one hand and calls for another person.
이에 따라, 영상(D1)에서 인식된 작업자(P1)의 형상에 기초하여, 위험 행동을 하는지를 판단할 수 있다.Accordingly, it can be determined whether the worker P1 is engaging in dangerous behavior based on the shape of the worker P1 recognized in the image D1.
(g)와 (h)의 경우 작업자가 두 손으로 사다리를 잡고 있는 상태이므로, 위험 행동을 하지 않음을 판단하지 않을 수 있지만, (i) 내지 (k)의 경우 위험한 행동임을 감지할 수 있다.In cases (g) and (h), since the worker is holding the ladder with both hands, it may not be determined that he or she is engaging in dangerous behavior, but in cases (i) to (k), it can be detected that it is a dangerous behavior.
도 10에 도시된 형상 이외에도, 영상 내 작업자가 위험 상태 판단부의 원인이 될 수 있는 복합 이벤트(작업대 설치 시 안전고리 미체결 등)와 관련된 형상을 데이터로 하여 미리 학습시킨 후, 이에 대해 유무를 판단할 수 있다.In addition to the shape shown in Figure 10, the worker in the video learns in advance the shape related to complex events (such as not fastening the safety ring when installing the workbench) that can cause the dangerous state judgment unit as data, and then determines the presence or absence of this. can do.
도 11은 본 발명의 일 실시예에 따른 판단 최적화 방법을 설명하기 위한 흐름도이다.Figure 11 is a flowchart illustrating a decision optimization method according to an embodiment of the present invention.
판단 최적화부는 단계 S700에서 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부의 초모수 리스트를 도출하여, 각각의 판단 결과를 최적화할 수 있다.The judgment optimization unit may derive hyperparameter lists of the risk environment determination unit, the risk state determination unit, and the risk behavior determination unit in step S700 and optimize each judgment result.
도 11을 참조하면, 구체적으로, 단계 S710에서 위험 환경 판단부, 위험상태 판단부, 위험 행동 판단부 각각의 초모수 리스트를 생성할 수 있다.Referring to FIG. 11 , specifically, in step S710, hyperparameter lists for each of the risk environment determination unit, risk state determination unit, and risk behavior determination unit may be generated.
단계 S720에서 상기 단계 S710 단계의 리스트를 입력으로 하여 각 판단부의 성능을 출력하는 가우시안 확률과정 기반 성능함수를 임의로 생성할 수 있다.In step S720, a Gaussian random process-based performance function that outputs the performance of each determination unit can be arbitrarily generated by using the list of steps S710 as input.
단계 S730에서 성능함수에서 가우시안 분포의 분산이 가장 높은 포인트를 실제 판단부에 입력하여 성능을 평가하고 성능함수에 반영할 수 있다.In step S730, the point with the highest variance of the Gaussian distribution in the performance function can be input to the actual judgment unit to evaluate performance and reflect it in the performance function.
이후, 단계 S730을 반복적으로 수행하고, 단계 S740에서 가장 높은 성능을 가지는 초모수 리스트를 장치내 독립된 경로에 “YYMMDD_HHMMSS”의 날짜 형식 파일명으로 자동 저장하고 각 판단부에 적용, 결과를 출력할 수 있다.Afterwards, step S730 is performed repeatedly, and in step S740, the hyperparameter list with the highest performance is automatically saved as a date format file name of “YYMMDD_HHMMSS” in an independent path in the device, applied to each judgment unit, and the results can be output. .
본 발명의 일 실시예에 따른 작업자 위험 인자 감시를 수행하는 시스템 및 이의 작업자 위험 인자 감시 방법은 입력된 영상 데이터를 엔지니어의 개입을 최소화하는 반자동 영상 할당 방법을 고안하여 빠르고 정확하게 레이블 할당한 후, 컨볼루션-인코더-디코더-순방향 네트워크를 배치하여 특성 인코딩 기반 중대 재해 위험 구역 출입 및 안전장구 착용 여부를 학습 및 판단한다.A system for monitoring worker risk factors and its method for monitoring worker risk factors according to an embodiment of the present invention devises a semi-automatic image allocation method that minimizes engineer intervention for input image data, quickly and accurately assigns labels, and then convolutions. A solution-encoder-decoder-forward network is deployed to learn and determine whether to enter a major disaster risk area and wear safety gear based on characteristic encoding.
다음으로, 영상 시퀀스 분석이 가능한 형태의 컨볼루션-순환신경망-순방향 네트워크 구조를 통해 위험 상태를 판단하게 되며, 정보전달부의 기능을 통해 빠르고 정확한 학습 및 추론이 가능하도록 설계하였다.Next, the risk status is determined through a convolution-recurrent neural network-forward network structure capable of analyzing image sequences, and the function of the information transmission unit is designed to enable fast and accurate learning and inference.
마지막으로, 위험 상태 판단에 쓰인 동일 구조에서 순방향 네트워크만을 새로 학습하는 단순한 동작을 통해 위험 행동을 효율적으로 판단하고, 모든 알고리즘이 가장 높은 정확도로 판단하도록 성능함수의 확률분포를 추정하여 모든 초모수를 최적화 업데이트 할 수 있다.Finally, risk behavior is efficiently judged through the simple operation of newly learning only the forward network from the same structure used to determine risk status, and all hyperparameters are estimated by estimating the probability distribution of the performance function so that all algorithms can determine with the highest accuracy. Optimization can be updated.
이에 따라 본 발명에서는 기존의 수작업에 의존한 레이블링 작업을 데이터 분포에 입각한 접근을 통해 반자동화 함으로써 작업 현장에 적합하도록 효율적이면서도 오류를 크게 줄일 수 있는 새로운 방법을 제시할 수 있다.Accordingly, the present invention can present a new method that is efficient and can greatly reduce errors suitable for the workplace by semi-automating the labeling work that relies on existing manual work through an approach based on data distribution.
또한, 컨볼루션 연산 계층이 영상의 공간 정보를 유지하면서 인접 픽셀 사이의 특징을 축약해 나가는 과정으로 특성 정보를 모델링하므로 초기 단계의 계층일수록 영상 내의 전반적인 공간 정보를 학습한다는 성질을 이용하여, 컨볼루션의 모수를 공유할 수 있다.In addition, since the convolution operation layer models characteristic information through a process of abbreviating features between adjacent pixels while maintaining the spatial information of the image, the initial stage layer learns the overall spatial information within the image, using the property of convolution parameters can be shared.
태스크의 복잡성을 고려하여 정보전달 과정은 위험 환경 판단부 -> 위험 상태 판단부 -> 위험 행동 판단부 순으로 3단계 배치하는 학습 프레임워크를 이용할 수 있다.Considering the complexity of the task, the information delivery process can use a learning framework that is arranged in three stages in the following order: risk environment judgment section -> risk status judgment section -> risk behavior judgment section.
이를 통해 반자동 영상 할당으로 수작업을 최소화하고, 하나 이상의 기능을 수행하는 인공지능 간에 모수를 공유하는 형태로 연결함으로써 현장 적용에 적합한 효율적인 방법을 제공할 수 있다.This minimizes manual work through semi-automatic image allocation and provides an efficient method suitable for field application by connecting artificial intelligence that performs one or more functions by sharing parameters.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present invention, and those skilled in the art will be able to make various modifications and variations without departing from the essential quality of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention shall be interpreted in accordance with the claims below, and all technical ideas within the scope equivalent thereto shall be construed as being included in the scope of rights of the present invention.
100: 영상 입력부
200: 반자동 영상 할당부
300: 위험 환경 판단부
400: 정보전달부
500: 위험 상태 판단부
600: 위험 행동 판단부
700: 판단 최적화부100: Video input unit
200: Semi-automatic video allocation unit
300: Hazardous environment judgment department
400: Information delivery department
500: Risk status determination unit
600: Risk behavior judgment unit
700: Judgment optimization unit
Claims (13)
상기 위험 환경 판단부에서 획득된 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단하는 위험 상태 판단부;
상기 작업자의 형상에 대한 특성 정보 및 상기 위험 상태 판단부에서 획득된 상기 작업자의 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단하는 위험 행동 판단부; 및
상기 위험 환경 판단부에 의해 획득된 상기 작업자의 형상에 대한 특성 정보를 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 전달하고, 상기 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 상기 위험 행동 판단부에 전달하는 정보전달부를 포함하되,
상기 정보전달부는,
기 학습한 컨볼루션 또는 순환신경망의 모수를 저장 및 불러오는 알고리즘을 구현하여 다른 컨볼루션 연산 또는 순환신경망 기반 딥러닝 모델의 고정 모수로 활용하도록 연결하는 것을 특징으로 하는 작업자 위험 인자 감시를 수행하는 시스템.
A hazardous environment determination unit that determines whether the worker recognized in the pre-processed image enters a preset serious disaster risk area and whether the worker wears safety equipment and worker protective equipment;
A dangerous state determination unit that determines whether the worker is in a pre-designated dangerous state based on characteristic information about the shape of the worker obtained from the hazardous environment determination unit;
A risky behavior determination unit that determines whether the worker engages in pre-designated risky behavior based on characteristic information about the shape of the worker and work sequence information of the worker obtained from the risky state determination unit; and
The characteristic information about the shape of the worker obtained by the risk environment determination unit is transmitted to the risk status determination unit and the risk behavior determination unit, and the worker's work sequence information obtained by the risk status determination unit is transmitted to the risk status determination unit. Includes an information delivery section to the action judgment department,
The information delivery department,
A system for monitoring worker risk factors, characterized in that it implements an algorithm for storing and loading previously learned convolutional or recurrent neural network parameters and connects them to be used as fixed parameters for other convolutional operations or recurrent neural network-based deep learning models.
외부로부터 일련의 시퀀스를 가진 영상을 입력 받아 전처리하는 영상 입력부; 및
상기 전처리 된 영상을 미리 지정한 레이블에 반자동으로 할당 처리하고, 상기 영상 입력부에 재저장하는 반자동 영상 할당부를 더 포함하는 작업자 위험 인자 감시를 수행하는 시스템.According to paragraph 1,
An image input unit that receives images with a series of sequences from the outside and preprocesses them; and
A system for monitoring worker risk factors, further comprising a semi-automatic image allocation unit that semi-automatically assigns the pre-processed image to a pre-designated label and re-stores it in the image input unit.
상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 성능을 최대화하는 초모수 리스트를 확률 기반 성능함수를 이용해 도출하여 각각의 판단에 활용하도록 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 제공하는 판단 최적화부를 포함하는 작업자 위험 인자 감시를 수행하는 시스템.According to paragraph 1,
A hyperparameter list that maximizes the performance of the risk environment determination unit, the risk state determination unit, and the risk behavior determination unit is derived using a probability-based performance function and used in each judgment. and a judgment optimization unit provided in the risk behavior determination unit. A system for monitoring worker risk factors.
상기 반자동 영상 할당부는,
상기 전처리 된 영상 내에서 대표 샘플 영상세트를 선정하며, 상기 샘플 영상세트를 사용자로부터 지정 및 할당 받은 레이블에 기초하여 컨볼루션 연산 기반 지도학습을 수행한 후, 상기 지도학습이 수행된 모델을 나머지 영상에 적용하여 레이블을 추론한 결과를 각 영상에 할당하고 상기 영상 입력부에 존재하는 데이터베이스에 재저장하는 것을 특징으로 하는 작업자 위험 인자 감시를 수행하는 시스템.According to paragraph 2,
The semi-automatic video allocation unit,
A representative sample image set is selected from the preprocessed images, and supervised learning based on convolution operation is performed on the sample image set based on the label specified and assigned by the user, and then the model on which the supervised learning was performed is applied to the remaining images. A system for monitoring worker risk factors, characterized in that the result of label inference is assigned to each image and re-stored in a database existing in the image input unit.
상기 위험 환경 판단부는, 상기 중대 재해 위험 구역에 출입 및 상기 안전장구의 착용 여부를 작업자 형상 특성 인코딩을 통해 지도학습한 네트워크 구조를 사용하여 상기 영상에 대한 위험 환경을 판단하는 것을 특징으로 하는 작업자 위험 인자 감시를 수행하는 시스템.According to paragraph 1,
The risk environment determination unit determines the risk environment for the image using a network structure that supervised learning through encoding the worker shape characteristics to determine whether the worker enters the major disaster risk area and wears the safety equipment. A system that performs factor monitoring.
상기 위험 상태 판단부는,
상기 영상의 시퀀스를 모델링하는 메모리 셀 기반의 순환신경망 네트워크를 구축하고,
상기 정보전달부에서 로드한 고정 모수를 이용해 작업자 형상의 특성 정보를 자동 출력하는 컨볼루션 연산 계층을 앞 단에 연결한 후, 레이블 추론을 위한 순방향 네트워크를 뒷 단에 배치함으로써 시퀀스에 따른 작업자 형상 인식 결과에 기초하여 위험 상태를 학습 및 판단하는 것을 특징으로 하는 작업자 위험 인자 감시를 수행하는 시스템.According to paragraph 1,
The risk status determination unit,
Construct a memory cell-based recurrent neural network network that models the sequence of the images,
Recognition of worker shape according to sequence by connecting a convolutional operation layer that automatically outputs characteristic information of the worker shape using fixed parameters loaded from the information transmission unit at the front end, and then placing a forward network for label inference at the back end. A system for performing worker risk factor monitoring characterized by learning and determining risk status based on results.
상기 위험 행동 판단부는,
상기 순환신경망 네트워크를 이용하고, 순방향 네트워크를 제외한 모든 구조의 모수는 상기 정보전달부의 알고리즘에 따라 위험 상태 판단부로부터 전부 로드하며, 순방향 네트워크는 새로 구축하여 위험 상태와는 구별되는 위험 행동을 학습하도록 작동하는 것을 특징으로 하는 작업자 위험 인자 감시를 수행하는 시스템.According to clause 8,
The risk behavior judgment department,
Using the recurrent neural network, all structural parameters except the forward network are loaded from the risk state determination unit according to the algorithm of the information transmission unit, and the forward network is newly constructed to learn risk behavior that is distinct from the risk state. A system for performing worker risk factor surveillance, characterized in that it operates.
상기 위험 환경 판단부에서 획득된 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단하는 위험 상태 판단부;
상기 작업자의 형상에 대한 특성 정보 및 상기 위험 상태 판단부에서 획득된 상기 작업자의 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단하는 위험 행동 판단부;
상기 위험 환경 판단부에 의해 획득된 상기 작업자의 형상에 대한 특성 정보를 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 전달하고, 상기 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 상기 위험 행동 판단부에 전달하는 정보전달부; 및
상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 성능을 최대화하는 초모수 리스트를 확률 기반 성능함수를 이용해 도출하여 각각의 판단에 활용하도록 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 제공하는 판단 최적화부;를 포함하되,
상기 판단 최적화부는,
상기 초모수 리스트를 이용한 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 정확도 성능을 표현하는 성능함수를 가우시안 확률과정을 통해 임의로 생성하며, 가우시안 분포의 분산 값이 가장 큰 샘플 영상을 상기 위험 환경 판단부, 위험 상태 판단부 및 위험 행동 판단부에 입력하여 상기 성능함수를 통해 상기 정확도 성능을 평가해 상기 성능을 최대화하는 초모수 리스트를 도출하는 것을 특징으로 하는 작업자 위험 인자 감시를 수행하는 시스템.A hazardous environment determination unit that determines whether the worker recognized in the pre-processed image enters a preset serious disaster risk area and whether the worker wears safety equipment and worker protective equipment;
A dangerous state determination unit that determines whether the worker is in a pre-designated dangerous state based on characteristic information about the shape of the worker obtained from the hazardous environment determination unit;
A risky behavior determination unit that determines whether the worker engages in pre-designated risky behavior based on characteristic information about the shape of the worker and work sequence information of the worker obtained from the risky state determination unit;
The characteristic information about the shape of the worker obtained by the risk environment determination unit is transmitted to the risk status determination unit and the risk behavior determination unit, and the worker's work sequence information obtained by the risk status determination unit is transmitted to the risk status determination unit. An information transmission unit that delivers information to the action judgment unit; and
A hyperparameter list that maximizes the performance of the risk environment determination unit, the risk status determination unit, and the risk behavior determination unit is derived using a probability-based performance function and used in each judgment. And a judgment optimization unit provided to the risk behavior determination unit,
The judgment optimization unit,
A performance function expressing the accuracy performance of the risk environment determination unit, the risk state determination unit, and the risk behavior determination unit using the hyperparameter list is randomly generated through a Gaussian probability process, and a sample image with the largest variance value of the Gaussian distribution is generated. Monitoring worker risk factors, characterized in that inputting the risk environment determination unit, risk state determination unit, and risk behavior determination unit to evaluate the accuracy performance through the performance function to derive a list of hyperparameters that maximize the performance. A system that performs.
정보전달부가 상기 인식된 작업자의 형상에 대한 특성 정보를 획득하고, 위험 상태 판단부 및 위험 행동 판단부로 전달하는 단계;
상기 위험 상태 판단부가 상기 작업자의 형상에 대한 특성 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 상태에 있는지 판단하는 단계;
상기 정보전달부가 상기 위험 상태 판단부에 의해 획득된 작업자의 작업 시퀀스 정보를 상기 위험 행동 판단부에 전달하는 단계; 및
상기 위험 행동 판단부가 상기 작업자의 형상에 대한 특성 정보와 상기 작업 시퀀스 정보에 기초하여, 상기 작업자가 미리 지정된 위험한 행동을 하는지 판단하는 단계를 포함하되,
상기 정보전달부는,
기 학습한 컨볼루션 또는 순환신경망의 모수를 저장 및 불러오는 알고리즘을 구현하여 다른 컨볼루션 연산 또는 순환신경망 기반 딥러닝 모델의 고정 모수로 활용하도록 연결하는 것을 특징으로 하는 작업자 위험 인자 감시 방법.A risk environment determination unit determining whether a worker recognized in the pre-processed image enters a preset serious disaster risk area and whether the worker is wearing safety gear and worker protection equipment;
An information transmission unit acquiring characteristic information about the recognized shape of the worker and transmitting the information to a risk status determination unit and a risk behavior determination unit;
The dangerous state determination unit determining whether the worker is in a pre-designated dangerous state based on characteristic information about the shape of the worker;
The information transmission unit transmitting the worker's work sequence information obtained by the dangerous state determination unit to the dangerous behavior determination unit; and
The risk behavior determination unit includes determining whether the worker performs a pre-designated risky behavior based on characteristic information about the shape of the worker and the work sequence information,
The information delivery department,
A worker risk factor monitoring method characterized by implementing an algorithm that stores and loads previously learned parameters of a convolutional or recurrent neural network and connecting them to be used as fixed parameters of another convolutional operation or a deep learning model based on a recurrent neural network.
영상 입력부가 외부로부터 일련의 시퀀스를 가진 영상을 입력 받아 전처리하는 단계; 및
반자동 영상 할당부가 상기 전처리 된 영상을 미리 지정한 레이블에 반자동으로 할당 처리하고, 상기 영상 입력부에 재저장하는 단계를 더 포함하는 작업자 위험 인자 감시 방법.According to clause 11,
A step of an image input unit receiving images having a series of sequences from an external source and preprocessing them; and
A worker risk factor monitoring method further comprising the step of a semi-automatic image allocation unit semi-automatically assigning the pre-processed image to a pre-designated label and re-storing it in the image input unit.
판단 최적화부가 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부의 성능을 최대화하는 초모수 리스트를 확률 기반 성능함수를 이용해 도출하여, 각각의 판단에 활용하도록 상기 위험 환경 판단부, 상기 위험 상태 판단부 및 상기 위험 행동 판단부에 제공하는 단계를 더 포함하는 작업자 위험 인자 감시 방법.According to clause 11,
The judgment optimization unit derives a hyperparameter list that maximizes the performance of the risk environment determination unit, the risk state determination unit, and the risk behavior determination unit using a probability-based performance function, and uses it in each judgment. A worker risk factor monitoring method further comprising providing a risk status determination unit and the risk behavior determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230176191A KR102685248B1 (en) | 2023-12-07 | 2023-12-07 | System for monitoring worker risk factors to prevent serious disasters and worker risk factor monitoring method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230176191A KR102685248B1 (en) | 2023-12-07 | 2023-12-07 | System for monitoring worker risk factors to prevent serious disasters and worker risk factor monitoring method of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102685248B1 true KR102685248B1 (en) | 2024-07-16 |
Family
ID=92302091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230176191A KR102685248B1 (en) | 2023-12-07 | 2023-12-07 | System for monitoring worker risk factors to prevent serious disasters and worker risk factor monitoring method of the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102685248B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101972055B1 (en) | 2018-11-30 | 2019-04-24 | 한국가스안전공사 | CNN based Workers and Risky Facilities Detection System on Infrared Thermal Image |
| KR20230097854A (en) * | 2021-12-24 | 2023-07-03 | 한전케이디엔주식회사 | Method and system for recognizing dangerous behavior of workers in power plant |
| KR20230099225A (en) * | 2021-12-27 | 2023-07-04 | 연세대학교 산학협력단 | An apparatus for monitoring safety status of construction workers in an image and operating method thereof |
| KR102568482B1 (en) * | 2023-03-02 | 2023-08-23 | (주) 씨이랩 | System for providing data augmentation service for military video analysis |
| KR20230150947A (en) * | 2021-01-08 | 2023-10-31 | 리제너론 파마슈티칼스 인코포레이티드 | Methods and systems for improved deep learning models |
| KR102601760B1 (en) * | 2023-07-12 | 2023-11-13 | 주식회사 성원 | Method and apparatus for providing user interface for safe operation in workplace |
-
2023
- 2023-12-07 KR KR1020230176191A patent/KR102685248B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101972055B1 (en) | 2018-11-30 | 2019-04-24 | 한국가스안전공사 | CNN based Workers and Risky Facilities Detection System on Infrared Thermal Image |
| KR20230150947A (en) * | 2021-01-08 | 2023-10-31 | 리제너론 파마슈티칼스 인코포레이티드 | Methods and systems for improved deep learning models |
| KR20230097854A (en) * | 2021-12-24 | 2023-07-03 | 한전케이디엔주식회사 | Method and system for recognizing dangerous behavior of workers in power plant |
| KR20230099225A (en) * | 2021-12-27 | 2023-07-04 | 연세대학교 산학협력단 | An apparatus for monitoring safety status of construction workers in an image and operating method thereof |
| KR102568482B1 (en) * | 2023-03-02 | 2023-08-23 | (주) 씨이랩 | System for providing data augmentation service for military video analysis |
| KR102601760B1 (en) * | 2023-07-12 | 2023-11-13 | 주식회사 성원 | Method and apparatus for providing user interface for safe operation in workplace |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Computer vision technologies for safety science and management in construction: A critical review and future research directions | |
| Asadzadeh et al. | Sensor-based safety management | |
| Khan et al. | Utilizing safety rule correlation for mobile scaffolds monitoring leveraging deep convolution neural networks | |
| Fang et al. | A deep learning-based approach for mitigating falls from height with computer vision: Convolutional neural network | |
| US20210192639A1 (en) | Systems and methods for dynamic real-time analysis from multi- modal data fusion for contextual risk identification | |
| CN106412501A (en) | Construction safety behavior intelligent monitoring system based on video and monitoring method thereof | |
| CN112347916A (en) | Power field operation safety monitoring method and device based on video image analysis | |
| Anjum et al. | Fall prevention from ladders utilizing a deep learning-based height assessment method | |
| Chian et al. | Dynamic identification of crane load fall zone: A computer vision approach | |
| Elghaish et al. | The application of “deep learning” in construction site management: scientometric, thematic and critical analysis | |
| Nakanishi et al. | A review of monitoring construction equipment in support of construction project management | |
| Kulinan et al. | Advancing construction site workforce safety monitoring through BIM and computer vision integration | |
| KR102685248B1 (en) | System for monitoring worker risk factors to prevent serious disasters and worker risk factor monitoring method of the same | |
| WO2021119802A1 (en) | Construction site management optimization | |
| Hire et al. | AI-driven safety checks for ladders used on construction sites | |
| CN117079203A (en) | Road construction monitoring method, system and storage medium | |
| Awolusi et al. | Worker Safety and Health Activity Monitoring in Construction Using Unmanned Aerial Vehicles and Deep Learning | |
| Kim et al. | On-site safety management using image processing and fuzzy inference | |
| CN114359831A (en) | Risk omen reasoning-oriented intelligent identification system and method for worker side-falling | |
| Enegbuma et al. | Real-Time Construction Waste Reduction Using Unmanned Aerial Vehicle | |
| Assadzadeh et al. | A review of data-driven accident prevention systems: Integrating real-time safety management in the civil infrastructure context | |
| Yang et al. | Vision transformer-based visual language understanding of the construction process | |
| Calvetti et al. | Electronic performance monitoring framework to quantify unhealthy and unsafe on-site behaviours | |
| EP4287105A1 (en) | Management system, evaluation system, and personnel training method | |
| Sandbhor et al. | Paradigm Shift in Construction Processes with Industry 4.0 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |