Nothing Special   »   [go: up one dir, main page]

KR101120691B1 - 공간합성을 이용한 초음파영상 합성방법 - Google Patents

공간합성을 이용한 초음파영상 합성방법 Download PDF

Info

Publication number
KR101120691B1
KR101120691B1 KR1020050076764A KR20050076764A KR101120691B1 KR 101120691 B1 KR101120691 B1 KR 101120691B1 KR 1020050076764 A KR1020050076764 A KR 1020050076764A KR 20050076764 A KR20050076764 A KR 20050076764A KR 101120691 B1 KR101120691 B1 KR 101120691B1
Authority
KR
South Korea
Prior art keywords
scanline
ultrasound image
group
frame
compounding
Prior art date
Application number
KR1020050076764A
Other languages
English (en)
Other versions
KR20070022489A (ko
Inventor
이태호
박정호
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020050076764A priority Critical patent/KR101120691B1/ko
Publication of KR20070022489A publication Critical patent/KR20070022489A/ko
Application granted granted Critical
Publication of KR101120691B1 publication Critical patent/KR101120691B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A61B8/145—Echo-tomography characterised by scanning multiple planes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

복수의 스캔라인 그룹을 공간 합성하여 프레임을 형성함으로써 프레임 레이트를 개선하는 초음파영상 합성방법에 관한 것으로, 제 1 방향으로 제 1 스캔라인 그룹을 획득하는 단계와, 제 2 방향으로 제 2 스캔라인 그룹을 획득하는 단계와, 제 3 방향으로 제 3 스캔라인 그룹을 획득하는 단계와, 상기 제 1 내지 제 3 스캔라인 그룹을 합성하여 하나의 프레임을 형성하는 단계를 포함하며, 상기 제 2 스캔라인 그룹의 영역과 중첩되지 않는 상기 제 1 및 제 3 스캔라인 그룹은 송수신되지 않는 초음파영상 합성방법이 제공된다.
초음파, 공간 합성, 트랜스듀서 어레이, 요소, 스캔라인.

Description

공간합성을 이용한 초음파영상 합성방법{Method of Compounding an Ultrasound Image Using a Spatial Compounding}
도 1은 본 발명에 의한 초음파영상 디스플레이 장치를 개략적으로 나타낸 것이다.
도 2는 도 1의 초음파영상 디스플레이 장치를 이용하여 초음파영상을 공간 합성하는 방법을 개략적으로 나타낸 것이다.
본 발명은 공간합성을 이용한 초음파영상 합성 방법에 관한 것으로, 보다 상세하게는 공간합성 방법을 적용하여 초음파영상의 프레임 레이트를 개선하는 초음파영상 합성방법에 관한 것이다.
일반적으로, 공간합성은 영상처리기술로서, 다중 포인트 또는 각(angle)으로부터 확보되어진 다수의 초음파 영상이 각각의 각으로부터 수신된 합성영상 객체의 각 포인트로부터 수신된 데이터를 조합함으로써, 하나의 합성된 영상으로 조합하는 영상처리기술이다. 실시간 공간합성은 실질적으로 독립적인 방향으로 부분적으로 겹쳐지는 순차적인 성분 영상 프레임을 신속하게 획득함으로써 실행되며, 전자빔의 제어 또는 성분 영상 프레임의 전자적인 해독을 실행하기 위한 초음파 트랜스듀서 어레이(ultrasound transducer array)를 이용한다. 성분 영상 프레임은 총합, 평균, 피크검출 또는 다른 조합 수단에 의해 합성 영상으로 조합된다. 합성영상의 획득 순서 및 형태는 획득 프레임 속도, 즉, 선택된 영상의 폭 및 깊이에 걸쳐 스캔라인의 전체 보수를 획득하는데 요구되는 시간에 의해 한정된 속도로 연속적으로 반복된다.
여기서, 종래에는 일정 각도로 얻어지는 영역 중에서 초음파 트랜스듀서 어레이와 직각 방향으로 얻어지는 영역을 벗어나는 영역이 존재하게 되는데, 이는 실제로 표현되지 않는 영역의 영상을 얻기 위한 불필요한 시간을 소요하게 되며, 따라서 전체 영상을 획득하는 프레임 레이트에도 영향을 미치는 문제점이 있다.
따라서, 본 발명은 전술한 문제점들을 해결하기 위해 안출한 것으로, 공간합성을 적용하여 합성된 초음파영상을 제공하는 초음파영상 합성방법을 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여, 본 발명은 초음파영상 합성방법에 관한 것으로, 제 1 방향으로 제 1 스캔라인 그룹을 획득하는 단계와, 제 2 방향으로 제 2 스캔라인 그룹을 획득하는 단계와, 제 3 방향으로 제 3 스캔라인 그룹을 획득하는 단계와, 상기 제 1 내지 제 3 스캔라인 그룹을 합성하여 하나의 프레임을 형성하는 단계를 포함하며, 상기 제 2 스캔라인 그룹의 영역과 중첩되지 않는 상기 제 1 및 제 3 스캔라인 그룹은 송수신되지 않는다.
바람직하게, 상기 제 1 방향과 상기 제 3 방향은 실질적으로 제 2 방향에 대하여 서로 대칭이다. 상기 프레임은 초음파영상의 프레임이다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다.
도 1은 본 발명에 의한 초음파영상 디스플레이 장치를 개략적으로 나타낸 것이다.
도 1을 참조하면, 초음파영상 디스플레이장치(100)는 트랜스듀서 어레이(113)를 구비하는 스캔헤더(101), T/R 스위치(102), 전송기(111), 시스템 제어기(112), 디지털 빔 형성기(103), 이득 제어부(104), B-모드 프로세서(105), 프레임 메모리(106), 합성 제어부(107), 스캔 변환부(108), 비디오 프로세서(109), 디스플레이부(110)를 포함한다.
트랜스듀서 어레이(transducer array)(113)를 구비하는 스캔헤더(101)는 실질적으로 직사각형 및 평행사변형의 일부가 절단된 사각형으로 도시된 화상 필드(image field)에 걸쳐 서로 상이한 각으로 초음파를 조사한다. 각각의 스캔라인 그룹은 스캔헤드(101)와 서로 상이한 방향으로 형성된다.
T/R 스위치(Transmit/Receive Switch)(102)는 초음파 신호를 동일한 트랜스듀서 어레이(113)에서 송신과 수신을 하기 위한 스위치 역할을 한다.
전송기(transmitter)(111)는 트랜스듀서 어레이(113)의 각 요소(113a)에 대한 위상 및 작동시간을 제어하여 소정의 각으로 트랜스듀서 어레이(113)를 따라 순차적으로 빔을 전송한다. 여기서, 각각의 스캔라인으로부터 복귀된 에코(echo)는 트랜스듀서 어레이(113)의 각 요소(113a)에 의해 수신되어, A/D 변환기(미도시)에 의해 디지털화되고, 디지털 빔 형성기(103)에서 결합된다. 또한, 전송기(111)는 시스템 제어기(112)의 제어 하에 동작한다.
시스템 제어기(system controller)(112)는 전송기(111)를 제어하여 소정의 각으로 스캔라인 그룹의 소정의 수, 에너지, 주파수, 송신각도(steer angle), 및 진폭을 전송한다. 또한, 시스템 제어기(112)는 디지털 빔 형성기(103)를 제어하여 사용된 초음파 영상의 깊이와 틈에 대한 수신된 에코 신호를 지연 및 조합한다. 다시 말해, 전송기(111)는 초음파 송신부이며, 시스템 제어부(112)는 초음파의 주파수, 송신각도(steer angle) 및 진폭을 설정한다. 또한 시스템 제어기(112)는 합성 제어부(compound controller)(107)로도 초음파 송신의 설정에 대한 정보를 전달한다.
디지털 빔 형성기(digital beamformer)(103)는 각각의 트랜스듀서 어레이(113)의 각 요소(113a)로부터 수신된 신호를 집속하는데, 즉, 트랜스듀서 어레이 요소(113a)로부터 에코를 지연 및 합산하여, 순서 및 각각의 스캔라인을 따라 코히어런트(coherent) 디지털 에코 샘플을 형성한다.
이득 제어부(gain controller)(104)는 수신 신호의 이득(gain)을 보상하는 역할을 한다.
B-모드 프로세서(B-mode processor)(105)는 초음파를 수신하여 집속한다. 여기서, B-모드(Brigtness mode)는 인체로 들어오는 에코의 크기를 밝기로 화면에 표시하는 모드로서 밝은 점은 인체 내부에 강한 반사체가 있는 것을 의미하고 어두 운 점은 하이포-에코익(hypo-echoic)한 부분이 있음을 보여준다.
프레임 메모리(frame memory)(106)는 프레임 단위로 영상을 합성하기 위해 필요한 메모리 공간으로, N개의 프레임 데이터를 저장한다.
합성 제어부(compound controller)(107)는 프레임 단위로 공간합성을 한다.
스캔 변환부(scan conversion)(108)는 스캔라인 상의 소정의 점으로부터 수신집속된 데이터를 저장하고 이를 수평 주사선 표시형식의 디스플레이부(110)에서 사용되는 데이터 형식으로 변환시킨다. 즉, B-모드 영상 신호를 실제 모니터에 표시되는 형태로 변환해 주는 역할을 한다.
비디오 프로세서(video processor)(109)는 초음파 영상을 디스플레이 하기에 적합한 형태(format)로 변환해 준다.
디스플레이부(display)(110)는 비디오 프로세서(109)로부터 영상처리된 초음파영상을 디스플레이한다.
도 2는 도 1의 초음파영상 디스플레이 장치를 이용하여 초음파영상을 공간합성하는 방법을 개략적으로 나타낸 것이다.
도 2를 참조하면, 각 요소(113a)를 포함하는 트랜스듀서 어레이(113)를 구비하는 스캔헤더(101) 및 각 스캔라인 그룹(A,B,C)이 상세하게 예시된다. 본 실시예에 의한 초음파영상 합성방법은, 제 1 방향으로 제 1 스캔라인 그룹을 획득하는 단계와, 제 2 방향으로 제 2 스캔라인 그룹을 획득하는 단계와, 제 3 방향으로 제 3 스캔라인 그룹을 획득하는 단계와, 제 1 내지 제 3 스캔라인 그룹을 합성하여 하나의 프레임을 형성하는 단계를 포함한다. 또한, 제 2 스캔라인 그룹의 영역과 중첩 되지 않는 상기 제 1 및 제 3 스캔라인 그룹은 송수신되지 않는다.
보다 상세히 설명하면, 트랜스듀서 어레이(113)의 각 요소(113a)로부터 소정의 각으로 트랜스듀서 어레이(113)를 따라 순차적으로 빔을 전송한다. 이후, 각각의 스캔라인으로부터 복귀된 에코(echo)는 트랜스듀서 어레이(113)의 각 요소(113a)로 수신된다.
실질적으로 제 1 방향을 향하는 A 스캔라인 그룹에서는, 트랜스듀서 어레이(113)의 요소(113a) 중 적어도 하나의 요소(113a)가 초음파를 송수신하지 않아 스캔라인이 형성되지 않은 영역(a1)과 앞선 요소(113a)를 제외한 각 요소(113a)로부터 초음파를 송수신하여 스캔라인이 형성된 영역(a2)이 존재한다. 여기서, PRF 주기를 가변하면서 요소(113a)가 초음파를 송수신하지 않게 구성한다. 한편, PRF는 펄스의 반복주파수를 의미하며 얻고자 하는 초음파 영상의 폭과 깊이에 의해 결정된다. 일반적으로 인체매질에 대한 음속은 1540m/s 로 보고 있으며 보고자 하는 인체내의 깊이를 10cm이라 한다면 한 개의 스캔라인을 얻기 위해서는 130us 의 시간주기의 펄스가 필요하게 된다. 이러한 주기의 펄스가 영상의 폭만큼의 필요한 다수의 스캔라인을 발생 시키기 위해서 반복적으로 만들어지는 주파수를 의미한다.
실질적으로 제 2 방향을 향하는 B 스캔라인 그룹은 트랜스듀서 어레이(113)의 요소(113a) 각각에 의해 실질적으로 스캔헤더의 종 방향으로 형성되는 복수의 스캔라인(b)으로 구성된다.
실질적으로 제 3 방향을 향하는 C 스캔라인 그룹에서는, 트랜스듀서 어레이(113)의 요소(113a) 중 적어도 하나의 요소(113a)가 초음파를 송수신하지 않아 스 캔라인이 형성되지 않은 영역(c1)과 앞선 요소(113a)를 제외한 각 요소(113a)로부터 초음파를 송수신하여 스캔라인이 형성된 영역(c2)이 존재한다.
바람직하게, 제 1 방향과 제 3 방향은 실질적으로 제 2 방향에 대하여 서로 대칭이다.
따라서, A, B 및 C 스캔라인 그룹에 의해 공간 합성된 프레임은 영상 획득의 프레임 레이트를 향상시킨다.
본 발명에 의하면, 서로 상이한 각을 가지는 스캔라인 그룹을 공간 합성하여 프레임을 형상함에 있어 프레임 레이트를 향상시킬 수 있는 효과가 있다.

Claims (3)

  1. 제 1 방향으로 제 1 스캔라인 그룹을 획득하는 단계와,
    제 2 방향으로 제 2 스캔라인 그룹을 획득하는 단계와,
    제 3 방향으로 제 3 스캔라인 그룹을 획득하는 단계와,
    상기 제 1 내지 제 3 스캔라인 그룹을 합성하여 하나의 프레임을 형성하는 단계를 포함하며,
    상기 제 1 내지 제 3 방향은 서로 다른 송신각도(steer angle)를 갖고,
    상기 제 2 스캔라인 그룹의 영역과 중첩되지 않는 상기 제 1 및 제 3 스캔라인 그룹은 송수신되지 않는 초음파영상 합성방법.
  2. 제 1 항에 있어서,
    상기 제 1 방향과 상기 제 3 방향은 실질적으로 제 2 방향에 대하여 서로 대칭인 초음파영상 합성방법.
  3. 제 1 항에 있어서,
    상기 프레임은 초음파영상의 프레임인 초음파영상 합성방법.
KR1020050076764A 2005-08-22 2005-08-22 공간합성을 이용한 초음파영상 합성방법 KR101120691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050076764A KR101120691B1 (ko) 2005-08-22 2005-08-22 공간합성을 이용한 초음파영상 합성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050076764A KR101120691B1 (ko) 2005-08-22 2005-08-22 공간합성을 이용한 초음파영상 합성방법

Publications (2)

Publication Number Publication Date
KR20070022489A KR20070022489A (ko) 2007-02-27
KR101120691B1 true KR101120691B1 (ko) 2012-04-06

Family

ID=43654175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050076764A KR101120691B1 (ko) 2005-08-22 2005-08-22 공간합성을 이용한 초음파영상 합성방법

Country Status (1)

Country Link
KR (1) KR101120691B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065513A1 (ko) * 2015-10-16 2017-04-20 삼성전자 주식회사 초음파 장치 및 초음파 촬영 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100864505B1 (ko) 2007-03-07 2008-10-20 삼성전기주식회사 영상 해상도 변환 방법 및 이를 적용한 디스플레이 장치
KR100978482B1 (ko) * 2007-11-20 2010-08-30 주식회사 메디슨 합성 영상을 형성하는 초음파 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6224552B1 (en) 1998-10-01 2001-05-01 Atl Ultrasound Ultrasonic diagnostic imaging system with reduced spatial compounding seam artifacts
US6390981B1 (en) 2000-05-23 2002-05-21 Koninklijke Philips Electronics N.V. Ultrasonic spatial compounding with curved array scanheads
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
KR20040034470A (ko) * 2002-10-15 2004-04-28 마쯔시다덴기산교 가부시키가이샤 화상 처리 장치, 방법 및 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6224552B1 (en) 1998-10-01 2001-05-01 Atl Ultrasound Ultrasonic diagnostic imaging system with reduced spatial compounding seam artifacts
US6390981B1 (en) 2000-05-23 2002-05-21 Koninklijke Philips Electronics N.V. Ultrasonic spatial compounding with curved array scanheads
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
KR20040034470A (ko) * 2002-10-15 2004-04-28 마쯔시다덴기산교 가부시키가이샤 화상 처리 장치, 방법 및 프로그램

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065513A1 (ko) * 2015-10-16 2017-04-20 삼성전자 주식회사 초음파 장치 및 초음파 촬영 방법
KR20170044872A (ko) * 2015-10-16 2017-04-26 삼성전자주식회사 초음파 장치 및 초음파 촬영 방법
US20180299538A1 (en) * 2015-10-16 2018-10-18 Sogang University Research & Business Foundation Ultrasonic device and ultrasonic imaging method
US10725158B2 (en) 2015-10-16 2020-07-28 Sogang University Research & Business Foundation Ultrasonic device and ultrasonic imaging method
KR102438119B1 (ko) * 2015-10-16 2022-08-31 삼성전자주식회사 초음파 장치 및 초음파 촬영 방법

Also Published As

Publication number Publication date
KR20070022489A (ko) 2007-02-27

Similar Documents

Publication Publication Date Title
US6790182B2 (en) Ultrasound system and ultrasound diagnostic apparatus for imaging scatterers in a medium
JP4584927B2 (ja) 複数ビームが同時送信される、超音波の空間的コンパウンド
KR100806331B1 (ko) 초음파영상 합성방법
JP5470260B2 (ja) 合成映像を用いた組織ドップラ映像形成装置および方法
KR100749973B1 (ko) Ｐｒｆ 조절 방법 및 장치, 및 초음파 촬상 장치
US20080119735A1 (en) Ultrasound imaging system and method with offset alternate-mode line
JPH09313487A (ja) 超音波３次元像撮像方法および装置
JP2002526224A (ja) 可変空間合成を備える超音波診断イメージングシステム
US20050124883A1 (en) Adaptive parallel artifact mitigation
JP2008080104A (ja) 超音波映像を形成する超音波システム及び方法
US6258030B1 (en) Ultrasonic diagnostic apparatus
WO2014021105A1 (ja) 超音波診断装置
US6485424B2 (en) Image forming method and apparatus, and ultrasonic imaging apparatus
KR101120675B1 (ko) 공간합성을 이용한 초음파영상 합성방법
KR101120691B1 (ko) 공간합성을 이용한 초음파영상 합성방법
JPH08289891A (ja) 超音波診断装置
JP2015186494A (ja) 超音波診断装置
JP2004160156A (ja) 超音波撮像装置及び超音波撮像方法
US20080030581A1 (en) Multizone Color Doppler Beam Transmission Method
KR100841704B1 (ko) 초음파 공간 합성 영상 형성 시스템 및 방법
JP2004290393A (ja) 超音波診断装置
JP4537280B2 (ja) 超音波診断装置
JP2004223109A (ja) 超音波撮像装置及び超音波撮像方法
KR101024851B1 (ko) Ｂｃ-모드 영상을 형성하는 초음파 시스템 및 방법
JP2015186493A (ja) 超音波診断装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20050822

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20100720

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20050822

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110830

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120203

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120220

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120220

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150127

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150127

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160203

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160203

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170206

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180205

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180205

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20190211

Start annual number: 8

End annual number: 8