변경 탐지
Change detection통계분석에서 변경검출 또는 변경점검출은 확률과정이나 시계열의 확률분포가 변하는 시간을 파악하려고 한다.일반적으로 이 문제는 변경의 발생 여부 또는 여러 변경의 발생 여부를 감지하고 그러한 변경의 시간을 식별하는 것과 관련이 있다.
스텝 감지 및 에지 검출과 같은 특정 애플리케이션은 공정의 평균, 분산, 상관 관계 또는 스펙트럼 밀도의 변화와 관련될 수 있다.보다 일반적인 변화 감지에는 변칙적인 행동, 즉 이상 징후 감지도 포함된다.
소개.
시계열은 시간 경과에 따른 하나 이상의 수량의 진행을 측정한다.예를 들어, 위의 그림은 1870년에서 1970년 사이의 나일 강의 물의 수준을 보여준다.변경점 검출은 연속물의 동작이 유의하게 변화하는지 여부 및 언제 변화하는지 식별하는 것과 관련이 있다.나일강의 예에서는 강에 댐을 건설한 후 물의 양이 크게 변화한다.중요한 것은 시계열의 진행 중인 동작과 다른 변칙적인 관찰은 시계열이 이후 이전의 동작으로 되돌아가는 한 일반적으로 변화점으로 간주되지 않는다.
Mathematically, we can describe a time series as an ordered sequence of observations . We can write the joint distribution of a subset of the time series as . If the goal is to determine whether a change point occurred at a time in a finite time series of length , then we really ask whether equals 이 문제는 하나 이상의 변경 지점의 경우에 일반화될 수 있다.
변경점 검출 문제는 보다 구체적인 문제로 좁혀질 수 있다.오프라인 변경 지점 감지에서는 길이 의 시퀀스를 사용할 수 있다고 가정하며, 목적은 시리즈에서 변경 지점이 발생했는지 여부를 확인하는 것이다.이것은 임시 분석의 한 예로서 가설 검정 방법을 사용하여 접근하는 경우가 많다.이와는 대조적으로 온라인 변경 지점 탐지는 들어오는 데이터 스트림의 변경 지점 탐지와 관련이 있다.
알고리즘
온라인 변경 탐지
순차적 분석("온라인") 접근방식을 사용하여 모든 변경 테스트는 다음과 같은 공통 측정 기준 간의 절충을 이루어야 한다.
베이즈 변경 감지 문제에서는 변경 시간에 대한 사전 분포를 사용할 수 있다.
온라인 변경 검출도 스트리밍 알고리즘을 이용해 이뤄진다.
오프라인 변경 탐지
바세빌(1993, 섹션 2.6)은 2상 회귀와 관련된 페이지와[2] 피카르의[3] 저작에 기초한 가설 시험과 변경 시간의 최대 우도 추정을 통해 오프라인 변경-평균 검출에 대해 논의한다.다른 접근법은 최대우도 추정에 기초하여 군집화를 채택하고,[citation needed][4] 변경 횟수와 시간을 추론하거나 스펙트럼 분석을 통해 최적화를 사용한다.[5]
"오프라인" 접근법은 전체 시계열의 통계와 비교해야 하기 때문에 스트리밍 데이터에 사용할 수 없으며, 실시간 변경에는 대응할 수 없지만 변경 시간과 크기를 보다 정확하게 추정할 수 있는 경우가 많다.
변경 사항 감지 응용 프로그램
변경검출시험은 제조(품질관리), 침입검출, 스팸 필터링, 웹사이트 추적, 의료진단에 자주 사용된다.
언어 변화 감지
언어 변화 감지란 같은 문장의 여러 표현에 걸쳐 단어 수준의 변화를 감지하는 능력을 말한다.연구자들은 변경된 단어와 새로운 단어 사이의 의미 중복(즉, 관련성)의 양이 그러한 탐지가 이루어지는 용이성에 영향을 미친다는 것을 발견했다(Sturt, Sanford, Stewart, & Dawydiak, 2004).추가 연구는 원문을 처음 읽는 동안 바뀔 단어에 주의를 집중하는 것이 탐지 능력을 향상시킬 수 있다는 것을 발견했다.이는 주의를 집중하기 위해 기울임꼴로 표시된 것으로, 변경될 단어는 원래 문장(샌퍼드, 샌포드, 몰, & 엠못, 2006)에서 기울임꼴로 표시되며, "물이 필요한 것은 나무였다."와 같은 구획을 사용한다(케넷트, 워름, 2010).이러한 변화 감지 현상은 두 언어를 구사하는 사람들이 모국어로 원문을 읽고 제2언어로 변경된 문장을 읽을 때, 심지어 교차언어학적으로 발생하는 강력한 것으로 보인다(Kennett, Wurm & Van Havermaet, 2010).최근, 연구자들은 변화점 탐지를 이용하여 시간적 기업(예를 들어, "게이"라는 단어는 시간이 지남에 따라 새로운 의미를 얻었다)을 계산적으로 분석함으로써 시간에 따른 의미론적 단어 수준의 변화를 감지하고 있다.[6]
참고 항목
참조
- ^ van den Burg, Gerrit J. J.; Williams, Christopher K. I. (May 26, 2020). "An Evaluation of Change Point Detection Algorithms". arXiv:2003.06222 [stat.ML].
- ^ Page, E. S. (June 1957). "On problems in which a change in a parameter occurs at an unknown point". Biometrika. 44 (1/2): 248–252. doi:10.1093/biomet/44.1-2.248. JSTOR 2333258.
- ^ Picard, Dominique (1985). "Testing and estimating change-points in time series". Advances in Applied Probability. 17 (4): 841–867. doi:10.2307/1427090. JSTOR 1427090.
- ^ Yao, Yi-Ching (1988-02-01). "Estimating the number of change-points via Schwarz' criterion". Statistics & Probability Letters. 6 (3): 181–189. doi:10.1016/0167-7152(88)90118-6. ISSN 0167-7152.
- ^ Ghaderpour, E.; Vujadinovic, T. (2020). "Change Detection within Remotely Sensed Satellite Image Time Series via Spectral Analysis". Remote Sensing. 12 (23): 4001. doi:10.3390/rs12234001.
- ^ Kulkarni Vivek; Rfou Rami; Perozzi Bryan; Skiena Steven (2015). "Statistically Significant Detection of Linguistic Change". WWW '15 Proceedings of the 24th International Conference on World Wide Web: 625–635. arXiv:1411.3315. doi:10.1145/2736277.2741627. ISBN 9781450334693. S2CID 9298083.
추가 읽기
- Michèle Basseville; Igor V. Nikiforov (April 1993). Detection of Abrupt Changes: Theory and Application. Prentice-Hall, Englewood Cliffs, N.J. ISBN 0-13-126780-9.
- H. Vincent Poor; Olympia Hadjiliadis (2009). Quickest Detection. Cambridge University Press. ISBN 978-0-521-62104-5.