Nothing Special   »   [go: up one dir, main page]

KR101066651B1 - 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법 - Google Patents

자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법 Download PDF

Info

Publication number
KR101066651B1
KR101066651B1 KR1020090052426A KR20090052426A KR101066651B1 KR 101066651 B1 KR101066651 B1 KR 101066651B1 KR 1020090052426 A KR1020090052426 A KR 1020090052426A KR 20090052426 A KR20090052426 A KR 20090052426A KR 101066651 B1 KR101066651 B1 KR 101066651B1
Authority
KR
South Korea
Prior art keywords
information
subtitle
data
language learning
image
Prior art date
Application number
KR1020090052426A
Other languages
English (en)
Other versions
KR20100133730A (ko
Inventor
윤창훈
Original Assignee
윤창훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤창훈 filed Critical 윤창훈
Priority to KR1020090052426A priority Critical patent/KR101066651B1/ko
Publication of KR20100133730A publication Critical patent/KR20100133730A/ko
Application granted granted Critical
Publication of KR101066651B1 publication Critical patent/KR101066651B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법에 관한 것으로서, 특히
자막데이터를 포함하는 동영상 데이터로 부터 자막이 삽입되는 구간에 대한 시간정보를 추출하고, 그 추출된 시간정보 내에 존재하는 음성정보, 자막정보, 동영상 이미지정보, 화상정보 및 단어정보를 추출하는 제 1 과정과;
상기 추출된 음성정보로 부터 파형정보를 추출하는 제 2 과정과;
제 1 과정 및 제 2 과정에서 추출된 언어학습용데이터를 데이터저장부의 독립된 저장공간에 개별 저장하되, 데이터저장부에 저장되는 각종 정보들은 다른 정보들과 구분이 되도록 저장 단계에서 파일명을 동일하게 하거나 별도의 연결정보를 갖도록 하여 일괄적으로 호출이 가능하도록 하는 제 3 과정과;
외국어학습을 위한 언어훈련제어부에 의해 특정 학습모드를 사용자가 선택할 때, 그 학습모드에 따라 데이터저장부에 저장된 언어학습용 데이터 중에서 화상정보, 음성정보, 자막정보, 동영상 이미지정보, 파형정보, 단어정보 중 어느 하나 또는 복수개를 선택적으로 호출하여 학습모드에 적용하는 제 4 과정; 으로 구성한 것을 특징으로 한다.
본 발명에 의하면, 디지털 동영상을 활용한 언어학습 시 현란한 영상에 의해 청각이 방해 받는 현상을 효과적으로 극복할 수 있으며 지문만으로 전체적인 대사의 이해가 부족하여 오는 이해력 부족 현상을 이미지를 통해 극대화할 수 있어 , 언어훈련을 효과적으로 수행할 수 있고, 추출된 이미지와 지문이 서로 연결되어 있어 이미지와 지문을 학교수업등 강의 시 활용할 수 있으며, 학습자는 어떠한 형태의 멀티미디어 데이터라도 언어학습을 위해 활용이 가능할 뿐만 아니라 추출된 파형정보를 이용하여 언어의 억양을 집중적으로 학습할 수 있는 효과를 기대할 수 있다.
자막정보, 디지털 동영상, 언어학습방법, 파형정보, 음성정보, 동영상 이미지, 화상정보,

Description

자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법{Language learning method}
본 발명은 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법에 관한 것으로서, 특히 자막정보가 포함된 디지털 동영상으로 부터 음성정보, 파형정보, 지문정보(시간정보 포함), 동영상 이미지정보, 단어정보와같은 언어학습용데이터를 추출하여 데이터저장부에 저장하고, 사용자가 선택하는 언어학습훈련모드에 따라 데이터저장부에 저장되어 있는 언어학습용 데이터들을 선택적으로 취합하여 언어학습이 이루어지도록 함으로써, 지문만으로 전체적인 대사의 이해가 부족하여 오는 이해력 부족 현상을 이미지를 통해 극대화할 수 있어 현란한 동영상으로 인하여 청각이 방해받지 않고, 언어훈련을 효과적으로 수행할 수 있고, 추출된 이미지와 지문이 서로 연결되어 있어 이미지와 지문을 학교수업등 강의시 활용할 수 있으며, 학습자는 어떠한 형태의 멀티미디어 데이터라도 언어학습을 위해 활용이 가능할 뿐만 아니라 추출된 파형정보를 이용하여 언어의 억양을 집중적으로 학습할 수 있도록 한 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법에 관한 것이다.
멀티미디어 데이터는 윈도우에 포함되는 미디어 플레이어를 비롯하여 모든 동영상 플레이어에서 기본적으로 지원되는 대표적인 동영상 포맷인 AVI(Audio Video Interleaved)와 영상과 오디오 압축에 관한 표준기구에서 제정한 형식으로 MPEG, 그리고, 인터넷방송, 동영상 강좌 등에 사용되는 asf(Advanced Streaming Format), MPEG4 V7 코덱을 사용하여 mp3와 비슷한 음질에도 불구하고 용량이 작은 wmv 등의 다양한 형태의 동영상 데이터가 있다.
이러한 멀티미디어 데이터는 최근 인터넷의 보급 및 확산에 따라 언제든지 쉽게 다운로드 할 수 있고 또한 컴퓨터 데이터 저장 기술의 발달로 PC급에서도 저비용으로 몇 백편의 영화를 담을 수 있게 되어 단순한 영화감상 자체에서 끝나지 않고 동영상 강의, 교재 및 언어 훈련용 자료등에 광범위하게 활용되고 있다.
그러나, 종래의 멀티미디어 재생 방식은 구간 반복 및 한영자막 표시제어가 전부여서 언어훈련을 위해서는 적합하지 않다.
또한, 동영상에 의존하는 언어훈련은 매우 수동적이어서 집중력이 저하되어 동영상에 의존하여 영화를 통해 영어를 공부하는 대부분의 학습자는 어학학습에 실패하게 된다. 한 언론기관에서 발표한 자료에 따르면 뉴스를 듣기만 하였을 때가 영상을 보고 들었을 때의 기억력과 이해력을 비교 분석하였는데, 귀로 듣기만 하였을 때가 40% 이상 기억력과 이해력이 높았다고 한다. 그렇지만 영상매체가 학습자에게 흥미를 줄 수 있다는 점 때문에 이를 보완하여야 할 필요성이 크게 대두되고 있다.
또한 종래의 기술은 멀티미디어 데이터를 프레임 단위로 처리함에 따라 대화단위의 언어 훈련을 위해서는 부적합한 방식을 채택하고 있다.
예를들면, 특정 프레임부터 지정한 프레임까지를 선택하여 연속적으로 반복하여 재생하여 훈련할 수 있게되어 있는 것이다. 특히 mp3 플레이어와 같이 장치를 이용한 청취력 훈련에 있어 가장 문제점은 의미단위로 재생시간 지정이 불가능하고 제어가 용이하지 않으며 능동적 참여가 불가능하여 대부분 집중력이 저하된 상태에서 실시되는 피동적인 방식의 학습기라 할 수 있는 것이다.
또한 종래기술은 멀티미디어파일로 부터 추출된 자막정보를 활용하여 동영상의 연속적인 반복 재생을 통해서만 언어학습이 이루어지는 것이기 때문에 멀티미디어파일로 부터 추출된 정보를 보다 다양한 학습모드에 활용하지 못하는 문제점이 발생하고 있었다.
따라서, 상기 문제점을 해결하기 위한 본 발명은 지문만으로 전체적인 대사의 이해가 부족하여 오는 이해력 부족 현상을 이미지를 통해 극대화할 수 있어 현란한 동영상으로 인하여 청각이 방해받지 않고, 언어훈련을 효과적으로 수행할 수 있고, 추출된 이미지와 지문이 서로 연결되어 있어 이미지와 지문을 학교수업등 강의시 활용할 수 있으며, 학습자는 어떠한 형태의 멀티미디어 데이터라도 언어학습을 위해 활용이 가능할 뿐만 아니라 추출된 파형정보를 이용하여 언어의 억양을 집중적으로 학습할 수 있도록 한 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법을 제공함을 목적으로 한다.
상기 목적달성을 위한 본 발명은,
자막데이터를 포함하는 동영상 데이터로 부터 자막이 삽입되는 구간에 대한 시간정보를 추출하고, 그 추출된 시간정보 내에 존재하는 동영상 이미지 정보, 화상정보, 자막정보, 단어정보를 추출하고 또한 동영상 데이터에서 음성정보를 추출하는 제 1 과정과;
상기 추출된 음성정보로 부터 파형정보를 추출하는 제 2 과정과;
제 1 과정 및 제 2 과정에서 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)를 데이터저장부의 독립된 저장공간에 개별 저장하되, 데이터저장부에 저장되는 자막정보가 포함된 디지털 동영상으로부터 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)는 다른 자막정보가 포함된 디지털 동영상으로부터 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)와 구분이 되도록 저장 단계에서 파일명을 동일하게 하거나 별도의 연결 정보를 갖도록 하여 일괄적으로 호출이 가능하도록 하는 제 3 과정과;
학습자가 특정 학습훈련모드를 선택할 때 사용자에게 선택한 학습훈련모드에 따라 데이터저장부에 저장된 언어학습용 데이터 중에서 음성정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보 중 어느 하나 또는 복수개를 선택적으로 호출하여 학습모드에 적용하는 제 4 과정; 으로 구성한 것을 특징으로 한다.
본 발명에 의하면, 지문만으로 전체적인 대사의 이해가 부족하여 오는 이해력 부족 현상을 이미지를 통해 극대화할 수 있어 현란한 동영상으로 인하여 청각이 방해받지 않고 언어 훈련을 효과적으로 수행할 수 있고, 추출된 이미지와 지문이 서로 연결되어 있어 이미지와 지문을 학교수업등 강의시 활용할 수 있으며, 학습자는 어떠한 형태의 멀티미디어 데이터라도 언어학습을 위해 활용이 가능할 뿐만 아니라 추출된 파형정보를 이용하여 언어의 억양을 집중적으로 학습할 수 있는 효과를 기대할 수 있다.
이하, 첨부된 도면 도 1 내지 도 14 를 참조하여 본 발명의 바람직한 실시예를 설명하면 다음과 같다.
본 발명을 설명함에 있어서 정의되는 용어들은 본 발명에서의 기능을 고려하 여 정의 내려진 것으로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 아니 될 것이다.
도 1 은 본 발명의 구현을 위한 언어학습장치를 도시한 것으로서,
언어학습을 위한 사용자가 사용하는 단말기의 학습자료 표시부(1)와;
학습자료 표시부(1)에 외국어 학습 화면과 훈련기능을 제공하는 외국어 학습훈련 제어부(2)로 구성된다.
상기 외국어학습훈련 제어부(2)는,
디지털 동영상 데이터를 입력받고, 입력된 동영상 데이터에 포함되어 있는 자막데이터로 부터 각각의 자막이 삽입되는 구간에 대한 시간정보를 추출하는 데이터 입력부(21)와,
데이터 입력부(21)에서 입력된 디지털 동영상 데이터로부터 음성데이터를 추출하는 음성데이터 추출부(22)와,
상기 음성데이터 추출부(22)에서 추출된 음성데이터로 부터 파형을 추출하는 파형추출부(23)와,
상기 데이터 입력부(21)에서 추출된 시간정보 내에 존재하는 자막정보를 자막정보에 시간정보를 포함하여 생성하는 자막정보 생성부(24)와,
자막정보가 포함된 동영상 데이터로부터 자막정보 내에 존재하는 시간정보의 시작점, 종료점 그리고 시작점과 종료점의 중간 지점에 해당하는 동영상 이미지(정지화상)를 추출하여 데이터 저장부(27)에 저장시키는 동영상 이미지 추출부(25)와,
자막정보 생성부(24)에서 추출된 자막에 포함되어 있는 단어를 추출하여 데 이터 저장부(27)에 저장시키는 단어추출부(26)와,
자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용데이터(음성정보, 파형정보, 자막정보(시간정보포함), 동영상 이미지정보, 화상정보, 단어정보)를 독립된 저장공간에 저장하는 데이터저장부(27)로 이루어진다.
상기 구성된 언어학습장치에 의해 구현되는 언어학습방법은,
자막데이터를 포함하는 동영상 데이터로 부터 자막이 삽입되는 구간에 대한 시간정보를 추출하고, 그 추출된 시간정보 내에 존재하는 음성정보, 자막정보, 동영상 이미지정보, 화상정보 및 단어정보를 추출하는 제 1 과정과;
상기 추출된 음성정보로 부터 파형정보를 추출하는 제 2 과정과;
제 1 과정 및 제 2 과정에서 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)를 데이터저장부(27)의 독립된 저장공간에 개별 저장하되, 데이터저장부(27)에 저장되는 자막정보가 포함된 디지털 동영상으로부터 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)는 다른 자막정보가 포함된 디지털 동영상으로부터 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)와 구분이 되도록 저장 단계에서 파일명을 동일하게 하거나 별도의 연결 정보를 갖도록 하여 일괄적으로 호출이 가능하도록 하는 제 3 과정과;
외국어학습훈련 제어부(2)에 의해 특정 학습모드가 사용자로부터 선택될때, 그 학습모드에 따라 데이터저장부(27)에 저장된 언어학습용 데이터 중에서 음성정보, 자막정보, 동영상 이미지정보, 화상정보(데이터입력부에서 입력된 디지털 동영상 데이터), 단어정보 중 어느 하나 또는 복수개를 선택적으로 호출하여 학습모드에 적용하는 제 4 과정; 으로 구성한 것을 특징으로 한다.
상기 제 4 과정에서 지원되는 학습모드를 통해 사용자는 읽기훈련, 청취력훈 련, 억양훈련, 쓰기훈련, 어휘력훈련, 이미지훈련, 회화훈련, 문법훈련등을 실시할 수 있으며,(도 3 a참조) 읽기훈련시에는 자막정보가 활용되고, 청취력훈련에는 음성정보+자막정보+파형정보+이미지정보+화상정보가 활용되며, 억양훈련에는 파형정보, 자막정보 및 음성정보가 활용되며, 쓰기훈련에는 자막정보와 음성정보가 활용되고, 어휘력훈련에는 자막정보와 단어정보가 활용된다.(도 3b 참조)
본 발명은 동영상 데이터에 포함되어 있는 자막데이터로 부터 음성정보, 자막정보, 동영상 이미지정보, 화상정보 및 단어정보를 추출하고, 상기 추출된 음성정보로 부터 파형정보를 추출하여 학습모드에 활용하게 된다.
여기서 각각의 정보추출에 대해서 설명하면 다음과 같다.
데이터입력부(21)로 자막데이터를 포함하는 디지털 동영상 데이터(DVD, DVIX, VIDEO CD 등)가 입력되면, 데이터입력부(21)는 그 동영상데이터에 포함되어 있는 자막데이터 중에서 자막이 삽입되는 구간에 대한 시간정보들을 추출하여 자막과함께 데이터저장부(27)에 저장시킨다.
하나의 동영상데이터에는 도 4 (a)와 같은 한글자막 데이터 만 첨부될 수 있고, 도 4 (b)와 같이 영문(일본어, 중국어등 다국어 자막포함)자막 데이터 만 첨부될 수 있으며, 때에따라서는 한글자막과 영문자막(일본어, 중국어등 다국어 자막포함)이 동시에 첨부될 수 있다.
자막 데이터 형식은 HTML을 기반으로 만들어진 Microsoft에서 제정한 SMI(SAMI; Synchronized Accessible Media Interchange) 규격의 형식이 적용된다.
일예로써
<SYNC Start=4201><P Class=KRCC>
뛰어요, 케일런 뛰어요.
<SYNC Start=5200><P Class=KRCC>&nbsp 라 할때,
'4201'은 자막의 시작시간, 즉, 동영상이 재생되기 시작한 직후부터 42.01초되는 시점에 자막이 시작되는 것을 나타내고, '5200'은 자막의 종료시간, 즉, 동영상이 재생되기 시작한 직후부터 52.00초 되는 시점에 자막이 종료되는 것을 나타내며, 'KRCC'는 한글자막을 나타내고, 'EGCC'는 영문자막을 나타낸다.
따라서, 데이터 입력부(21)는 입력된 동영상데이터에 포함되어 있는 전체 자막데이터로 부터 자막이 삽입되는 시간정보, 즉, 자막이 삽입되는 각각의 구간에 대한 시간정보(시작시간정보, 종료시간정보)를 추출하여 데이터 저장부(27)에 저장시킨다.
이때, 음성데이터 추출부(22)는 상기 데이터입력부(21)에서 입력된 디지털 동영상데이터로부터 음성 데이터를 추출하여 데이터 저장부(27)에 저장하고, 파형추출부(23)는 상기 음성데이터 추출부(22)에서 추출된 음성정보로 부터 파형을 추출한다.
파형추출부(23)의 파형추출은 도 6 의 순서도에 도시된 바와같이, 음성데이터추출부(22)에 의해 추출된 음성정보에 대하여 1초에 10~20개 음의 높낮이(고저점)을 추출하여 파형데이타로 데이터 저장부(27)에 저장하는 것이며, 이때 파형추출부(23)에서 추출되는 파형데이타에는 총 재생시간에 해당하는 시간정보와 파형의 크기를 대응시켜 구성하여 저장하며, 언어학습훈련제어부의 요청에 따라 그 자막 이 삽입되는 시간정보에 대응시켜 호출되게 한다.
한편, 자막정보 생성부(24)는 상기 데이터 입력부(21)에서 추출된 시간정보 내에 존재하는 자막정보를 추출하여 데이터 저장부(27)에 저장하는데, 동영상 데이터에 1개의 언어자막이 존재하는 경우에는 그 자막정보를 그대로 추출하여 시간정보에 대응시켜 데이터 저장부(27)에 저장하면 되지만 하나의 동영상 데이터에 2개의 언어자막, 예를들어, 영어자막과 한글자막이 동시에 존재할 경우에는 각각의 영어자막과 한글자막을 추출하는데 고려해야할 사항이 존재한다.
즉, 도 4 에 예시한 CASE1~CASE6과 같이 영문자막과 한글자막의 시작시점이 다르거나, 종료시점이 다르거나 또는 시작 및 종료시점이 모두 다르거나, 또는 영문자막은 하나로 구성되어 있는데 한글자막은 2개 이상인 경우가 그렇다.
CASE1~CASE5와 같이 영문자막과 한글자막의 시작 및 종료시점이 다를 경우는 한글자막의 시작시점과 종료시점을 그대로 영문자막의 시작시점과 종료시점에 맞추어 매핑시켜 데이터 저장부(27)에 저장시키게되고, CASE6과 같이 하나의 영문자막에 2개의 한글자막이 대응되게 연결되어 있다면, 그 한글자막 각각의 중간점(T3S,T4S)이 영문자막의 시작점(t1)과 종료점(t2) 사이에 존재할 경우 2개의 한글자막을 합한 후 그 합쳐진 한글자막의 시작점과 종료점을 영문자막에 맞추어 데이터 저장부(27)에 저장하게 된다.(도 9 참조)
상기와 같은 매핑방법을 사용하게 되면, 2가지 이상의 자막데이터를 포함하는 동영상 데이터에 대해서도 각각의 2가지 언어에 대한 시간정보가 상이하여도 그 에 대한 자막정보를 추출하여 언어학습에 활용할 수 있게된다.
한편, 단어추출부(26)는 자막정보 생성부(24)에서 추출된 자막에 포함되어 있는 단어를 추출하여(도 10 참조) 데이터 저장부(27)에 저장시킨다.
그리고, 동영상 이미지정보 추출부(25)는 데이터 입력부(21)에서 추출된 각각의 자막에 대한 시간정보 내에 존재하는 동영상 중에서 자막시간정보의 시작점, 중간점, 종료점에 해당하는 정지화상을 추출하여 데이터 저장부(27)에 저장시키는데,
그 동작은 도 7 에 도시된 바와같이 동영상 이미지정보 추출부(25)는 데이터 입력부(21)에서 추출된 자막의 시간정보를 시작점, 중간점, 종료점으로 분리하고, 각각의 시작점, 중간점, 종료점에 대응하는 이미지 정지화상을 각각 추출하여 데이터 저장부(27)에 저장시키는 것이다.
상기 설명과 같이 각각의 구성요소로 부터 추출되는 언어학습용데이터(음성정보, 파형정보, 자막정보(시간정보포함), 동영상 이미지정보, 화상정보, 단어정보)들은 데이터 저장부(27)의 독립된 저장공간에 저장되며, 각각의 정보들은 자막과 함께 제공되어지는 시간정보를 연결 매개체로하여 유기적으로 연결되도록 특정 자막정보에 대하여 그에 대응하는 음성정보, 파형정보, 동영상 이미지정보 및 화상정보들을 즉시 호출할 수 있도록 한다.
도 8 은 동영상 이미지를 이용한 학습방법을 예시한다.
외국어학습훈련제어부(2)는 단말기의 학습자료표시부(1)로 학습화면과 훈련기능을 제공하는데, 그 학습화면의 하단에는 데이터 저장부(27)에 저장되어 있는 자막정보들을 표시한다.
이 학습화면에서 사용자가 마우스나 키보드를 이용하여 특정 자막문장을 선택하면, 외국어학습훈련제어부(2)는 사용자에 의해 선택된 특정 자막문장에 대한 시간정보를 습득한 후 그 습득된 시간정보에 대응하여 데이터 저장부(27)에 저장되어 있는 동영상 이미지정보, 즉, 시작점, 중간점, 종료점에 대응되어 추출된 동영상 이미지 정보를 학습화면의 상단에 순차 출력하여 사용자가 이미지를 보면서 자막문장을 학습할 수 있도록 한다.
상기 정지화상 이미지의 표시위치는 가변될 수 있다.
본 발명의 설명에서 학습모드는 외국어학습훈련제어부(2)에 의해 사용자에게 제공되는 화면상에 데이터 저장부(27)에 저장되어 있는 자막정보들을 학습화면 하단에 표시하고, 그 자막정보들 중 사용자에 의해 선택되어진 어느 하나의 자막에 대응하는 동영상 이미지 또는 동영상 데이터(화상정보)를 학습화면 상단에 표시하는 것이며,
또한, 사용자에 의해 선택되어진 어느 하나의 자막에 대응하는 음성정보를 출력하면서, 그 음성정보에 대응하여 추출된 파형정보를 학습화면의 상단에 출력하는 것이다.
사용자에 의해 선택되어진 어느 하나의 자막(영문자막)에 대응하는 다른 언 어 자막(한글자막)을 선택된 자막(영문자막)의 윗부분에 표시하여 사용자가 직독직해 훈련을 할 수 있도록 한다.
도 11 내지 도14는 본 발명에의해 실시되는 학습모드의 실시예를 예시한 것이다.
도 11 은 학습화면 하단에 자막정보들이 표시되고, 사용자가 마우스나 키보드를 이용하여 특정 자막정보를 선택하였을때, 그 자막정보에 대한 동영상 데이터(화상정보)를 학습화면 상단에 출력하면서 자막정보에 대한 다른언어자막을 해당 자막정보의 상단에 표시하여 직독직해가 가능토록 하며, 화상정보의 상부에는 해당 자막정보에 대응하는 음성정보의 파형정보를 출력하면서 그 음성정보가 오디오신호로 출력되도록 하여 학습자가 선택한 자막정보에 대한 발음을 파형정보를 보면서 학습할 수 있도록 한 것이다.
상기 도 11 과 같은 학습모드시에는 사용자가 선택한 자막정보에 대하여 실시간으로 화상정보, 파형정보, 음성정보, 자막정보가 호출되어 학습화면에 출력된다.
도 12 는 학습화면 하단에 자막정보들이 표시되고, 사용자가 마우스나 키보드를 이용하여 특정 자막정보를 선택하였을때, 그 자막정보에 대한 화상정보를 학습화면 상단에 출력한 실시예이다.
이러한 학습모드는 영문자막에 대하여 사용자가 이미지를 보면서 학습할 수 있는 효과를 갖게된다.
도 13 은 학습화면 하단에 동영상이 출력되면서, 그 동영상에 대응하는 오 디오신호가 출력되며, 그 오디오, 즉, 음성정보에 대응하는 파형정보가 동영상의 상단에 출력되어 학습자가 동영상을 보면서 원어민의 발음과 억양을 학습할 수 있게된다.
도 14 는 자막정보들에 대응하는 정지화상만이 학습화면의 상단에 표시된 실시예를 나타낸다.
상기 설명에서와 같이 본 발명은 동영상 데이터의 자막데이터를 기본으로 추출된 각종 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)를 데이터 저장부(27)의 독립된 저장공간에 시간정보를 연결정보로하여 저장시킨 후 특정 학습모드가 진행될 때 데이터 저장부(27)에 저장되어 있는 언어학습용 데이터를 선택적으로 실시간 호출하여 적용할 수 있으므로 다양한 학습모드를 구현할 수 있게되는 것이다.
도 1 은 본 발명의 구현을 위한 하드웨어적 구성을 보인 블럭도.
도 2 는 본 발명의 언어학습방법을 보인 순서도.
도 3 은 본 발명에 의해 구현 가능한 언어훈련모듈과 각각의 훈련모듈에 적용되는 필요정보를 표시한 표.
도 4 는 본 발명에서 자막데이타로 부터 2개국 이상의 자막정보를 추출하는 것을 설명하기 위한 표.
도 5 는 디지털 동영상에 포함되어 있는 자막데이터의 예를 보인 도면.
도 6 은 본 발명에서 추출된 음성정보로 부터 파형정보를 추출하는 과정을 보인 순서도.
도 7 은 본 발명에서 자막정보에 대응하는 동영상 이미지(정지화상)을 추출하는 과정을 보인 순서도.
도 8 은 본 발명에서 학습모드 제어과정을 예시한 순서도.
도 9 는 자막정보 추출과정을 보인 순서도.
도 10 은 단어추출과정을 보인 순서도.
도 11 내지 도 14 는 본 발명에 의해 구현되는 외국어 학습모드의 실시예를 보인 도면.
도면의 주요부분에 대한 부호의 설명
1: 학습자료 표시부, 2: 언어훈련 제어부,
21: 데이터 입력부, 22: 음성데이터 추출부,
23: 파형 추출부, 24: 자막정보 생성부,
25: 동영상 이미지 추출부, 26: 단어 추출부,
27: 데이터 저장부,

Claims (5)

  1. 디지털 동영상 데이터를 입력받고, 입력된 동영상 데이터에 포함되어 있는 자막데이터로 부터 자막이 삽입되는 구간에 대한 시간정보를 추출하는 데이터 입력부(21)와, 데이터 입력부(21)에서 입력된 디지털 동영상 데이터로부터 음성데이터를 추출하는 음성데이터 추출부(22)와, 상기 음성데이터 추출부(22)에서 추출된 음성데이터로 부터 파형을 추출하는 파형추출부(23)와, 상기 데이터 입력부(21)에서 추출된 시간정보 내에 존재하는 자막정보를 추출하여 시간정보를 포함하여 자막정보를 생성하는 자막정보 생성부(24)와, 자막정보 생성부(24)에서 추출된 자막에 포함되어 있는 단어를 추출하여 데이터 저장부(27)에 저장시키는 단어추출부(26)와, 시간정보 내에 존재하는 동영상 중에서 시간정보의 시작점, 중간점, 종료점에 해당하는 이미지(정지화상)를 추출하여 데이터 저장부(27)에 저장시키는 동영상 이미지 추출부(25)와, 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)를 독립된 저장공간에 저장하는 데이터저장부(27)로 이루어진 외국어학습훈련제어부(2)에 의해 구현되는 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법에 있어서,
    자막데이터를 포함하는 동영상 데이터로 부터 자막이 삽입되는 구간에 대한 시간정보를 추출하고, 그 추출된 시간정보 내에 존재하는 자막정보, 동영상 이미지정보, 화상정보 및 단어정보와 동영상 데이터로부터 음성정보를 추출하는 제 1 과정과;
    상기 추출된 음성정보로 부터 파형정보를 추출하는 제 2 과정과;
    제 1 과정 및 제 2 과정에서 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)를 데이터저장부(27)의 독립된 저장공간에 개별 저장하되, 데이터저장부(27)에 저장되는 자막정보가 포함된 디지털 동영상으로부터 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)는 다른 자막정보가 포함된 디지털 동영상으로부터 추출된 언어학습용데이터(음성정보, 파형정보, 시간정보, 자막정보, 동영상 이미지정보, 화상정보, 단어정보)와 구분이 되도록 저장 단계에서 파일명을 동일하게 하거나 별도의 연결 정보를 갖도록 하여 일괄적으로 호출이 가능하도록 하는 제 3 과정과;
    외국어학습훈련제어부(2)에 의해 특정 학습훈련모드가 사용자로부터 선택될 때, 그 학습훈련모드에 따라 데이터저장부(27)에 저장된 언어학습용 데이터 중에서 음성정보, 자막정보, 파형정보, 동영상 이미지정보, 화상정보, 단어정보 중 어느 하나 또는 복수개를 선택적으로 호출하여 학습훈련모드에 적용하는 제 4 과정;
    으로 구성한 것을 특징으로 하는 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법.
  2. 제 1 항에 있어서, 자막정보의 추출은 자막이 삽입되는 구간에 대한 시간정보 내에 존재하는 1개국어 또는 2개국어의 자막정보를 추출하되,
    서로 시작시간과 종료시간이 다른 2개국어의 자막정보에 대해서는 외국어(영어등)자막의 시작시간과 종료시간에 맞추어 다른 언어의 자막시간정보를 변경시켜 매핑시키는 것을 특징으로 하는 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법.
  3. 제 1 항에 있어서, 동영상 이미지정보의 추출은 자막이 삽입되는 구간에 대한 시간정보 중에서 자막시작시간, 중간시간, 자막종료시간 각각에 대응하는 정지화상을 캡춰하여 추출하는 것을 특징으로 하는 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법.
  4. 제 1 항에 있어서, 학습훈련모드는 외국어학습훈련제어부(2)에 의해 사용자에게 제공되는 학습 자료 화면상에 데이터 저장부(27)에 저장되어 있는 각종 언어 학습용 데이터를 화면에 표시하는 방법에 있어 훈련모드에 따라 자막정보만 표시, 동영상정보만 표시, 음성만 재생, 자막과 이미지를 동시에 표시하거나 또는 자막과 음성, 자막과 화상을 동시에 표시하는등 , 학습 훈련자가 선택한 훈련모드에 따라 화면 구성, 즉 화면 표시 배열을 변경시켜 학습화면에 표시(도 11 내지 도 17 참고)하는 것을 특징으로 하는 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법.
  5. 제 1 항에 있어서, 데이터저장부(27)에 저장되는 각종 정보들은 다른 정보들과 구분이 되도록 각각의 지문정보에 포함된 시간정보(시작점 및 종료점)에 의해 재생 조절이 가능하도록 연결정보를 갖도록 하여 각각의 지문을 마우스로 클릭하거 나 키보드로 선택하여 부분재생 및 전체재생, 반복재생등의 재생제어를 통하여 일괄적으로 호출이 가능하도록 구성한 것을 특징으로 하는 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법.
KR1020090052426A 2009-06-12 2009-06-12 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법 KR101066651B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090052426A KR101066651B1 (ko) 2009-06-12 2009-06-12 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090052426A KR101066651B1 (ko) 2009-06-12 2009-06-12 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법

Publications (2)

Publication Number Publication Date
KR20100133730A KR20100133730A (ko) 2010-12-22
KR101066651B1 true KR101066651B1 (ko) 2011-09-22

Family

ID=43508941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090052426A KR101066651B1 (ko) 2009-06-12 2009-06-12 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법

Country Status (1)

Country Link
KR (1) KR101066651B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180006728A (ko) * 2016-07-11 2018-01-19 손솔 동영상 자막 표시 제어를 위한 전자 장치
KR101949149B1 (ko) 2017-10-20 2019-02-18 박준혁 자막 파일이 존재하는 비디오 파일을 탐색 및 가공하는 탐색가공장치
KR102093938B1 (ko) * 2018-01-04 2020-03-26 주식회사 티쓰리엔터테인먼트 학습자가 선택한 동영상을 학습 콘텐츠로 활용하는 외국어 학습시스템 및 이의 학습 콘텐츠 생성방법
KR102387046B1 (ko) 2019-07-18 2022-04-15 오상환 담보물 비보관 전당포 자동화 시스템 및 방법
KR102235789B1 (ko) * 2020-09-25 2021-04-01 박명재 강의 콘텐츠를 이용한 외국어 교습 방법 및 이를 위한 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084014A (ko) * 2000-02-23 2001-09-06 김충곤 외국어 학습이 용이한 영상물의 자막 표현 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084014A (ko) * 2000-02-23 2001-09-06 김충곤 외국어 학습이 용이한 영상물의 자막 표현 방법

Also Published As

Publication number Publication date
KR20100133730A (ko) 2010-12-22

Similar Documents

Publication Publication Date Title
US10283013B2 (en) System and method for language learning through film
US20110053123A1 (en) Method for teaching language pronunciation and spelling
Talaván Subtitling as a task and subtitles as support: Pedagogical applications
US8529264B2 (en) Method facilitating language learning
Faqe The effectiveness of english movie subtitles in vocabulary learning among iraqi kurdistan efl learners: Soran university efl learners as an example
Fazilatfar et al. The effect of standard and reversed subtitling versus no subtitling mode on L2 vocabulary learning
KR101066651B1 (ko) 자막정보가 포함된 디지털 동영상으로 부터 추출된 언어학습용 데이터를 이용한 언어학습방법
Aidinlou et al. Short-Term and Long-Term Retention of Vocabulary through Authentic Subtitled Videos.
JP2016224283A (ja) 外国語の会話訓練システム
JP2001337595A (ja) 語学学習支援プログラム及び該プログラムの構成方法
Thompson Media player accessibility: Summary of insights from interviews & focus groups
CN110675672B (zh) 原版影视外语教学系统
KR20140122807A (ko) 외국어 학습 데이터 제공 장치 및 제공 방법
Xu The Impact of Playing English Movie Clips with Bilingual Subtitles on Chinese High School Students’ Vocabulary Learning
Spina Captions
JP2006337490A (ja) コンテンツ配信システム
KR100586969B1 (ko) 외국어 교육용 데이터 구조를 기록한 컴퓨터로 읽을 수 있는 기록매체
Rędzioch-Korkuz Gaining more benefits from a film lesson: integrated subtitles
Kim A Study on the Differential Effects of Subtitling Modes–Interlingual, Intralingual, and Bilingual Subtitling–on Video Comprehension
Asmalı et al. The effects of videos on listening skill and vocabulary in the process of language learning
Shirazi et al. Effects of pedagogical movie Persian subtitles on vocabulary improvement: The case of Iranian EFL learners
Siahpour et al. Contemporary Educational Researches Journal
Khusniyah et al. Enriching English vocabularies using movie script in reading class
Roohani et al. The effects of captioning texts and caption ordering on L2 listening comprehension and vocabulary learning
Khurshedovna et al. IMPROVING LISTENING SKILLS ON ANIMATION BASED APPROACH

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170628

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 9