KR102664695B1 - 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치 - Google Patents

Abstract

본 발명은 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것으로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있고 또한, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있는 기능을 갖춘 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것이다.

Description

영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치{A Voice recognition and touch mixed input device for infants physical computing education}

본 발명은 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것으로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있고 또한, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있는 기능을 갖춘 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것이다.

기존에 널리 활용되고 있는 입력장치로는 키보드나 마우스가 있으며, 키보드나 마우스 없이 간단하게 사용할 수 있는 입력장치로 잘 알려진 것은 Sony사의 DualShock나 Microsoft사의 Xbox one과 같은 컨트롤러가 있습니다. 이러한 콘솔 컨트롤러 경우, 키보드와 마우스 없이 각 회사의 제품이나, PC에서 입력장치로 사용이 되고 있으며, 이러한 입력장치들은 게임을 하기에 최적화되어 있는 입력장치들입니다.

하지만, 조이스틱과 방향키를 이용하는 입력장치의 한계 때문에, 텍스트를 입력하여야 하는 경우에는 자판을 화면에 띄우고 포인터를 움직여서 글자를 선택하고, 다시 포인터를 움직여서 입력 버튼을 누르거나 특정 버튼을 눌러서 텍스트를 입력하게 됩니다. 이 경우 양손을 모두 사용해서 입력을 하여야 하고, 커서를 한 칸 한 칸 움직여야 하기 때문에 답답함마저 느끼게 됩니다.

키보드와 마우스 같은 기존에 널리 사용되는 HCI UI 입력장치나 컨트롤러와 같은 경우는, 널리 사용되는 만큼 많은 장점이 있습니다만, 거의 대부분의 제품들이 주로 사용하는 청소년과 청년, 중년층에 맞춰져 있기 때문에, 아이들이나 노인, 장애인 같은 디지털 취약 계층의 경우에는 익히고 사용하는 것에 어려움이 있습니다.

<특허문헌>

한국공개특허 제10-2016-0059640호 (2016.05.27.공개) "다중 음성인식모듈을 적용한 음성 인식 방법 및 이를 위한 음성인식장치"

상기 선행 특허문헌에 개시된 선행특허 역시 다양한 음성인식 서비를 위한 음성인식 속도와 성능 개선에 중점을 두고 있는 음성인식장치일 뿐, 특정 대상층 즉, 영유아들을 대상으로 한 쉬운 사용을 위한 입력장치 개발과는 무관한 선행기술일 뿐입니다.

본 발명은 이와 같은 기존의 널리 활용되는 입력장치의 문제점에 기반하여, 특히 영유아들의 피지컬 컴퓨팅 교육에 특화된 새로운 형태의 입력장치를 제공하고자 개발되었다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로,

본 발명의 목적은, 영유아용 피지컬 컴퓨팅 교육에 사용되는 입력장치로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 제공하는 것이다.

본 발명의 다른 목적은, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있도록 하는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 제공하는 것이다.

본 발명은 앞서 본 목적을 달성하기 위해서 다음과 같은 구성을 가진 실시예에 의해서 구현된다.

본 발명의 일 실시예에 따르면, 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치는, 음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 음성인식제어부; 및 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 터치인식제어부;를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 음성인식제어부는, 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB를 포함하는 데이터베이스부;와, 상기 데이터베이스부에 저장된 주요 음성데이터를 포함하는 다양한 형태의 단위 문장 음성데이터를 수집 및 학습하는 음성학습부;와, 상기 음성학습부에서 학습된 데이터를 기반으로 인식된 음성에 따른 제어명령을 생성하는 음성제어명령실행부;를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 터치인식제어부는, 음성으로는 처리하기 어려운 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 터치표면부;와, 상기 터치표면부에 인식된 터치에 따른 제어명령을 생성하는 터치제어명령실행부;를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치는 주사위 또는 블록과 같은 다면체 형태로 형성되며, 상기 터치표면부는, 상기 다면체 형태의 입력장치의 일 면에 형성되며, 상기 터치표면부 면은 1~5의 숫자가 입력되는 5구획 또는 0~5의 숫자와 특수키가 입력되는 9구획으로 분할되는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 터치제어명령실행부는, 상기 터치표면부에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 복합터치제어명령실행모듈을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치는 놀이용 블록에 대한 제어명령을 실행하는데 활용되며, 상기 음성인식제어부는 음성을 인식하여 코딩에 적용하는 음성코딩명령실행부를 추가로 포함하며, 상기 음성코딩명령실행부는, 수신된 음성에 따라 코딩에 적용될 메뉴를 선택하는 실행메뉴검색모듈과, 검색된 메뉴에 대한 확인신호를 출력하는 적용확인모듈과, 메뉴에 대한 확인이 이루어지는 경우 음성에 따른 제어명령을 수신하는 제어명령수신모듈과, 수신된 제어명령을 코딩에 적용하는 제어적용모듈을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 음성인식제어부는, 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 인터페이스부와, 상기 인터페이스부의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 코딩처리부;를 추가로 포함하며, 상기 인터페이스부는 상기 작업화면에 선택 가능한 복수의 명령어 엔트리를 표시하는 제1영역과, 상기 제1영역에서 선택된 엔트리가 드래그앤드롭(drag & drop)되는 제2영역을 포함하고, 상기 코딩처리부는 상기 제2영역에 배치된 복수의 엔트리의 배열 순서에 따라 엔트리를 컴파일하는 컴파일처리모듈과, 상기 컴파일처리모듈에 의해 컴파일된 제어코드를 스마트 블록로 전송하는 제어코드전송모듈을 포함하며, 상기 제어명령수신모듈은 음성에 의한 명령에 따라 제1영역의 엔트리를 제2영역으로 드래그앤드롭(drag & drop) 시키도록 하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서, 상기 코딩처리부는 상기 컴파일처리모듈에 의해 컴파일된 제어 코드의 흠결을 분석하는 흠결분석모듈과, 상기 흠결분석모듈에 의한 분석결과 흠결이 존재하면 상기 작업화면에 흠결을 표시하는 흠결표시모듈을 포함하고, 상기 제어코드전송모듈은 상기 흠결분석모듈에 의해 흠결이 미존재하는 경우 컴파일된 제어코드를 놀이용 블록에 전송하도록 하는 것을 특징으로 한다.

본 발명은 앞서 본 실시예와 하기에 설명할 구성과 결합, 사용관계에 의해 다음과 같은 효과를 얻을 수 있다.

본 발명은, 영유아용 피지컬 컴퓨팅 교육에 사용되는 입력장치로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있는 효과를 갖는다.

본 발명은, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있도록 하는 효과를 갖는다.

도 1은 본 발명에 따른 입력장치의 일 실시예를 도시한 참고도
도 2는 본 발명 입력장치의 음성인식제어부 세부 구성을 도시한 블럭도
도 3은 본 발명 입력장치의 터치인식제어부 세부 구성을 도시한 블럭도
도 4는 터치표면부의 실시예를 도시한 참고도
도 5는 본 발명 입력장치로 놀이용 블록에 대한 제어명령을 실행하는데 활용되는 예를 도시한 참고도
도 6은 인터페이스부에 의해 디스플레이에 표시되는 작업화면을 나타내는 참고도

이하에서는 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치의 바람직한 실시예들을 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 특별한 정의가 없는 한 본 명세서의 모든 용어는 본 발명이 속하는 기술분야의 통상의 지식을 가진 기술자가 이해하는 당해 용어의 일반적 의미와 동일하고 만약 본 명세서에 사용된 용어의 의미와 충돌하는 경우에는 본 명세서에 사용된 정의에 따른다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하고, 또한 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1 등을 참조하면, 본 발명의 일 실시예에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치는, 음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 음성인식제어부(10); 및 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 터치인식제어부(30);를 포함할 수 있다. 앞서 종래기술의 문제점으로 언급한 바와 같이, 키보드와 마우스 같은 기존에 널리 사용되는 HCI UI 입력장치나 컨트롤러와 같은 경우는, 주로 사용하는 청소년과 청년, 중년층에 맞춰져 있기 때문에, 아이들이나 노인, 장애인 같은 디지털 취약 계층 특히, 영유아를 대상으로 하는 피지컬 컴퓨팅 교육에 사용하기 어려웠던바, 이에 맞춰 (키보드나 마우스 없이도)다양한 음성명령이나 간단한 터치를 통해 교육용 스마트 블록이나 어플리케이션 등에 명령어나 텍스트를 입력할 수 있는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 제공하고자 본 발명이 개발되었다.

상기 음성인식제어부(10)는 음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 구성으로, 도 1을 참조하면, 본 발명의 입력장치 일측을 통해 음성을 인식하고 인식된 음성에 따른 제어명령을 생성하여 전송하는 기능을 수행하며, 이를 위해 기본적으로 음성인식 구성, 제어명령을 생성하기 위한 연산 구성 및 이를 전송하기 위한 통신 구성을 포함하게 되며, 보다 구체적으로 상기 음성인식제어부(10)는, 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB(111)와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB(112)를 포함하는 데이터베이스부(110);와, 상기 데이터베이스부(110)에 저장된 주요 음성데이터를 포함하는 다양한 형태의 단위 문장 음성데이터를 수집 및 학습하는 음성학습부(120);와, 상기 음성학습부(120)에서 학습된 데이터를 기반으로 인식된 음성에 따른 제어명령을 생성하는 음성제어명령실행부(130);를 포함할 수 있다.

상기 데이터베이스부(110)는 상기 음성학습부(120)를 통해 학습하게 될 다양한 교육용 음성데이터 및 음성지시문 등을 저장,제공하는 구성으로, 구체적으로 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB(111)와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB(112)를 포함할 수 있다. 상기 데이터베이스부(110)에 저장,관리되는 데이터들은 지속적으로 업데이트됨은 물론, 정밀도를 향상시키기 위해 수정이 필요한 사항들에 대한 피드백을 통해 정확도 높은 DB를 구축하게 된다.

상기 음성학습부(120)는 상기 데이터베이스부(110)에 저장된 주요 음성데이터를 포함하는 다양한 형태의 단위 문장 음성데이터를 수집 및 학습하는 구성으로, 특히 상기 음성학습부(120)는 인공지능(AI)을 이용한 신경망 학습(Neural Network)을 기반으로 다양한 음성데이터를 학습하며, 현재 BERT모델 구조를 기반으로 한 영유야 음성인식 AI API를 적용하게 됩니다. 상기 음성학습부(120)는 상기 데이터베이스부(110)의 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB(111)와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB(112)를 데이터셋에 포함하여, 다양한 학습환경 등에서의 주요 상황에서의 주요단어를 포함하는 다양한 형태의 단위 문장 음성데이터를 학습하게 됩니다. 특히, 유아와 어린이의 음성에 최적화 된 Speech To Text(STT) 엔진과 같은 특정 연령의 특성이 고려된 맞춤형 엔진을 통해, 어린이와 유아의 특성에 맞는 Natural Language Processing(NLP) 기반의 대화 관리 및 언어인식 알고리즘 적용으로 인식률 개선을 통해 사용자의 만족도를 향상시키게 됩니다.

상기 음성제어명령실행부(130)는 상기 음성학습부(120)에서 학습된 데이터를 기반으로 인식된 음성에 따른 제어명령을 생성하는 구성으로, 본 발명의 입력장치가 적용되는 다양한 학습용 교구나 어플리케이션 등에 대한 제어명령어를 인식된 음성 및 학습된 데이터를 기반으로 생성하여 전송하게 된다.

상기 터치인식제어부(30)는 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 구성으로, 앞서 상기 음성인식제어부(10)를 통해 사용자의 음성을 인식하여 제어명령을 실행하는 것만으로는 복잡하고 정밀한 명령어 실행이 어려울 수 있는 특수키(일 예로, 키보드의 스페이스키나 엔터키 등) 등과 같은 특별한 기능적 명령어 인식은 상기 터치인식제어부(30)를 통해 보다 간편하게 입력 및 그에 따른 제어명령 생성이 용이해지게 된다. 이를 위해 구체적으로 상기 터치인식제어부(30)는, 음성으로는 처리하기 어려운 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 터치표면부(310);와, 상기 터치표면부(310)에 인식된 터치에 따른 제어명령을 생성하는 터치제어명령실행부(320); 및 이를 전송하기 위한 통신 구성을 포함할 수 있다.

상기 터치표면부(310)는 음성으로는 처리하기 어려운 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 구성으로, 일 실시예로, 본 발명의 입력장치가 도 1에 도시된 바와 같이, 주사위 또는 블록과 같은 다면체 형태로 형성되는 예를 들어 설명하면, 상기 터치표면부(310)는, 상기 다면체 형태의 입력장치의 일 면에 형성되며, 상기 터치표면부(310) 면은, 도 4에 도시된 바와 같이, 1~5의 숫자가 입력되는 5구획 또는 0~5의 숫자와 특수키가 입력되는 9구획과 같은 복수의 구획으로 분할되어 각각의 구획마다 특정 입력값이 부여된 형태로 형성될 수 있다. 즉, 1~5의 숫자가 입력되는 5구획으로 구성된 예에서는, 각각의 구획에 대한 터치를 통해 1~5의 숫자를 간단하게 입력하는 명령어 실행이 가능케 되고, 0~5의 숫자와 특수키가 입력되는 9구획으로 구성된 예에서는, 각각의 구획에 대한 터치를 통해 0~5의 숫자 및 각 특수키에 해당하는 명령어 실행이 가능케 된다.

상기 터치제어명령실행부(320)는 상기 터치표면부(310)에 인식된 터치에 따른 제어명령을 생성하는 구성으로, 본 발명의 입력장치가 적용되는 다양한 학습용 교구나 어플리케이션 등에 대한 제어명령어를 터치된 입력값을 인식하고 이를 기반으로 생성하여 전송하게 된다. 이때 특히 상기 터치제어명령실행부(320)는, 상기 터치표면부(310)에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 복합터치제어명령실행모듈(321)을 포함할 수 있다.

상기 복합터치제어명령실행모듈(321)은 터치표면부(310)에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 구성으로, 앞서 설명한 바와 같이 상기 터치표면부(310)가 5구획 또는 9구획 등의 복수의 구획으로 설정된 경우, 각각의 구획에 대한 단일 터치만으로 입력이 끝나는 것이 아니라, 복수의 구획을 동시에 터치하는 동작으로도 원하는 명령어 입력이 가능하도록 하기 위함이다. 일 예로, 1~5의 숫자가 입력되는 5구획으로 구성된 경우, 5버튼과 옆의 1부터 4까지의 버튼을 함께 눌러서 6부터 9까지의 값을 입력 할 수 있거나 또는 1과 2를 함께 입력하면 0, 1과 3은 Enter, 2와 4는 space, 3과 4는 back space의 명령어 입력과 같이 복수의 구획을 동시에 터치하여 다양한 특수키에 해당하는 명령어 입력 및 실행이 가능케 하게 된다.

이와 같은 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 통해, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션 등과 같은 영유아 교육용 교구 등에 대한 명령어나 텍스트를 입력할 수 있게 된다.

한편, 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치는 특히, 영유아들의 놀이용 블록(보다 정확하게는 스마트 블록으로, 기존 레고 블록과 호환이 가능한 형태일 수 있으며, 입력블록(특정 시작 신호 내지 정지 신호를 발생시키는 스위치블록이나 특정 세기에 대한 조절 신호를 발생시키는 다이얼블록 등이 있을 수 있고, 그 외에도 온/습도블록, 조도블록, 카메라블록 등이 포함된다), 출력블록(다양한 출력신호를 발생시키는 것으로 대표적으로, 특정 소리 신호를 발생시키는 스피커블록, 특정 글자나 숫자 등을 표시할 수 있는 LED블록 등이 있을 수 있고, 그 외에도 모터블록 등이 포함된다), 논리블록(다양한 논리적 연산(알고리즘 구현 내지 코딩 구현을 위한 연산 등을 포함)에 필요한 제어신호 등을 발생시켜 전송하는 블록으로, 대표적인 예로, 수학연산에 필요한 +,-,×,÷,= 등의 연산기호 신호를 구현할 수 있는 연산기호블록, 만약(if), 참/거짓인 경우 등의 신호를 구현할 수 있는 케이스(case)블록 등이 포함될 수 있다) 등을 포함할 수 있다)에 대한 제어명령을 실행하는데 대표적으로 활용될 수 있는데(도 5 참조), 이 경우 특히, 영유아를 위한 코딩교육을 위한 입력장치로 본 발명의 입력장치가 유용하게 활용될 수 있다.

이를 위해, 본 발명의 입력장치에서, 상기 음성인식제어부(10)는, 음성을 인식하여 코딩에 적용하는 음성코딩명령실행부(140)와, 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 인터페이스부(150)와, 상기 인터페이스부(150)의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 코딩처리부(160)를 추가로 포함할 수 있다.

먼저, 상기 인터페이스부(150)는 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 구성으로, 도 6에 도시된 바와 같이, 작업화면에 선택 가능한 복수의 명령어 엔트리를 표시하는 제1영역과, 상기 제1영역에서 선택된 엔트리가 드래그앤드롭(drag & drop)되는 제2영역을 포함할 수 있다.

상기 인터페이스부(150)는 기 저장된 메뉴 정보, 작업화면의 프레임 정보를 추출해서 디스플레이에 표시할 수 있으며, 도 6에 도시된 바와 같이 디스플레이에 표시되는 작업화면의 제1영역 a에 선택 가능한 복수의 명령어 엔트리 e를 표시할 수 있다. 명령어 엔트리 e는 사용자 친화적으로 형성될 수 있다.

상기 엔트리(entry)는 프로그램 중의 하나의 문장(기술항)을 나타낼 수 있으며, 프로그램의 문장은 원칙적으로 해당 프로그래밍 언어에서 규정한 각종 문법, 문구 등을 이용해서 작성되어야 한다. 하지만, 프로그래밍 언어를 전문적을 배우지

않은 일반 사용자, 특히 저연령층의 경우에는 프로그래밍 언어에서만 사용하는 문법, 문구를 익히는 것이 쉽지 않다. 본 명세서에 등장하는 명령어 엔트리 e는 프로그래밍 언어에서 규정한 문법이나 문구를 그대로 포함할 수 있다. 또는, 사용자의 편의를 위해 본 명세서에 등장하는 명령어 엔트리 e는 복잡한 문법이나 규정을 일상 생활의 용어 등으로 변환해 놓을 것일 수 있다.

상기 인터페이스부(150)는 사용자가 자신이 원하는 엔트리 e를 쉽게 찾을 수 있도록 화면의 제1영역 a에 엔트리 e를 표시할 수 있다. 도면에서 작업화면의 가운데에 그어진 세로 점선의 좌측 영역이 제1영역 a에 해당될 수 있다. 상기 인터페이스부(150)는 제1영역 a에서 선택된 엔트리 e가 드래그앤드롭(drag & drop)되는 제2영역 b를 작업화면에 설정할 수 있다. 도면에서 작업화면의 가운데 세로 점선의 우측 영역이 제2영역 b에 해당될 수 있다. 이때, 제2영역 b에 대한 엔트리 e의 드래그앤드롭(drag & drop)은 음성 인식을 통해서도 이루어질 수 있다.

상기 코딩처리부(160)는 상기 인터페이스부(150)의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 구성으로, 스마트 블록이 인식할 수 있는 제어 코드로 변환하여 스마트 블록에 전송하도록 함으로써, 코딩에 따른 스마트 블록의 작동이 이루어지도록 한다. 상기 코딩처리부(160)는 제2영역 b에 배치된 복수의 엔트리 e의 배열 순서에 따라, 제2영역 b에 배치된 복수의 엔트리 e를 컴파일할 수 있으며, 엔트리 e가 프로그래밍 언어와 다른 일반 언어로 표시된 경우, 해당 일반 언어를 프로그래밍 언어로 변환하는 과정을 선행할 수 있다. 또한, 상기 코딩처리부(160)는 엔트리 e가 컴파일된 제어 코드의 흠결을 분석할 수 있으며, 흠결이 존재하는 경우 이를 표시하여 코딩의 오류를 즉각적으로 파악하도록 할 수 있다. 그리고 상기 코딩처리부(160)는 흠결이 존재하지 않는 경우에만 제어코드를 특정된 스마트 블록로 전송하여 제어코드에 따른 스마트 블록의 작동이 이루어질 수 있도록 한다. 또한, 상기 코딩처리부(160)는 컴파일된 제어 코드의 제어 대상을 특정할 수 있으며, 스마트 블록로부터 전송되는 식별정보를 작업화면에 표시하고, 식별정보의 선택에 따라 제어할 대상, 즉 스마트 블록을 특정하여 특정된 스마트 블록에 대한 코딩이 이루어질 수 있도록 한다.

이를 위해, 상기 코딩처리부(160)는 상기 제2영역에 배치된 복수의 엔트리의 배열 순서에 따라 엔트리를 컴파일하는 컴파일처리모듈(161)과, 상기 컴파일처리모듈(161)에 의해 컴파일된 제어코드를 대상 스마트 블록으로 전송하는 제어코드전송모듈(162)과, 상기 컴파일처리모듈(161)에 의해 컴파일된 제어 코드의 흠결을 분석하는 흠결분석모듈(163)과, 상기 흠결분석모듈(163)에 의한 분석결과 흠결이 존재하면 상기 작업화면에 흠결을 표시하는 흠결표시모듈(164)을 포함할 수 있다.

상기 컴파일처리모듈(161)은 엔트리 e를 컴파일하여 제어 코드를 생성하는 구성으로, 상기 제2영역 b에 배치된 복수의 엔트리 e의 배열 순서에 따라 컴파일이 이루어지도록 한다. 예를 들어, 엔트리 e는 대분류와 소분류를 포함할 수 있으며, 대분류는 실행 조건, 실행 내용 등을 포함할 수 있다. 실행 조건에는 '~버튼을 누르면', '~버튼을 세번 누르면'과 같은 소분류가 트리 형식 등으로 부가될 수 있고, 실행 내용에는 '~모터를 10바퀴 돌려라', '~모터를 30도만큼 돌려라'와 같은 소분류가 부가될 수 있다. 따라서, 상기 컴파일처리모듈(161)은 이러한 엔트리 e들을 컴파일하여 제어코드를 생성하고, 생성된 제어코드가 각 스마트 블록로 전송되도록 하여 엔트리 e에 따른 동작이 스마트 블록에서 실행될 수 있도록 한다.

상기 흠결분석모듈(163)은 상기 컴파일처리모듈(161)을 통해 컴파일된 제어코드의 흠결을 분석하는 구성으로, 실행할 수 없는 제어코드를 표시하여 코딩의 오류를 알릴 수 있도록 한다.

상기 흠결표시모듈(164)은 흠결분석모듈(163)에 의해 제어코드의 흠결이 있는 것으로 분석되는 경우 이를 작업화면 상에 표시하는 구성으로, 도 6에 도시된 바와 같이 'ERROR'의 형태로 흠결 i를 표시할 수 있다.

상기 제어코드전송모듈(162)은 컴파일된 제어코드를 대상 스마트 블록으로 전송하는 구성으로, 전송된 제어코드에 따라 스마트 블록의 작동이 이루어지도록 한다. 특히, 상기 제어코드전송모듈(162)은 상기 흠결분석모듈(163)에 의해 흠결이 부존재하는 경우에만 제어코드를 전송하여 스마트 블록의 원활한 작동이 이루어지도록 할 수 있으며, 상기 코딩대상특정모듈()에 의해 특정된 스마트 블록에 대해 제어코드를 전송하여 복수의 스마트 블록에 대해서도 정확한 코딩 및 작동이 이루어지도록 할 수 있다.

상기 음성코딩명령실행부(140)는 음성을 인식하여 코딩에 적용하는 구성으로, 이를 위해 구체적으로, 수신된 음성에 따라 코딩에 적용될 메뉴를 선택하는 실행메뉴검색모듈(141)과, 검색된 메뉴에 대한 확인신호를 출력하는 적용확인모듈(142)과, 메뉴에 대한 확인이 이루어지는 경우 음성에 따른 제어명령을 수신하는 제어명령수신모듈(143)과, 수신된 제어명령을 코딩에 적용하는 제어적용모듈(144)을 포함할 수 있다.

상기 실행메뉴검색모듈(141)은 수신되는 음성에 따라 적용할 수 있는 메뉴를 검색하는 구성으로, 음성이 적용될 수 있는 코딩 메뉴를 미리 저장하도록 하며, 수신된 음성과 일치하는 메뉴가 존재하는지 여부를 검색하도록 한다. 일 예로, 상기 실행메뉴검색모듈(141)은 엔트리 e의 이동, 객체 항목의 선택 등을 메뉴로 설정하도록 할 수 있으며, 사용자에 의해 '엔트리 이동', '객체 항목 선택'의 단어가 포함된 음성이 수신되는 경우 각각에 대한 작동이 이루어지도록 할 수 있다.

상기 적용확인모듈(142)은 상기 실행메뉴검색모듈(141)에 의해 검색된 메뉴를 사용자에게 확인하는 구성으로, 검색된 메뉴가 맞는지 여부를 확인하는 정보를 작업화면상에 표시하도록 한다. 따라서, 상기 적용확인모듈(142)은 '엔트리 이동이 맞습니까?' 또는 '객체 항목 선택이 맞습니까?' 등의 메시지를 작업화면 상에 표시하도록 할 수 있으며, 사용자가 이에 대한 예, 아니오의 응답을 음성을 통해 입력하도록 할 수 있다.

상기 제어명령수신모듈(143)은 검색된 메뉴가 맞는 것으로 확인되는 경우, 각 메뉴에 따른 제어명령의 음성을 수신하는 구성으로, 수신된 음성에 따라 작업화면을 통한 코딩 작업이 이루어질 수 있도록 한다. 일 예로, 상기 제어명령수신모듈(143)은 '엔트리 이동' 메뉴가 선택된 경우, 제1영역 a에 표시된 엔트리 e 중 하나에 대한 음성정보를 확인하여 제2영역 b의 특정 위치로 이동이 이루어지도록 할 수 있으며, 이때 상기 제어명령수신모듈(143)은 특정 엔트리 e에 대한 음성을 수신하고 제2영역 b의 특정 식별정보에 대한 몇 번째 엔트리 e, 또는 특정 엔트리 e의 위 또는 아래의 위치로 이동시키라는 음성을 수신하여 엔트리 e의 이동이 이동이 이루어지도록 할 수 있다. 또한, 상기 제어명령수신모듈(143)은 객체 항목에 대한 식별정보의 선택에 대해서도 특정 식별정보를 선택해라는 음성을 수신하여 식별정보의 선택이 이루어지도록 할 수 있다. 따라서, 상기 제어명령수신모듈(143)은 작업화면 상의 엔트리 e 또는 식별정보를 선택하고 드래그앤드롭(drag & drop) 하는 작업을 음성 입력을 통해 수행하도록 할 수 있다.

상기 제어적용모듈(144)은 상기 제어명령수신모듈(143)에 의해 수신되는 음성에 따른 제어 명령을 코딩에 적용하는 구성으로, 앞서 살펴본 바와 같이 엔트리 e 또는 식별정보의 선택 및 이동이 이루어지도록 할 수 있다.

이와 같은 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 통해, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있도록 하는 데에도 활용할 수 있게 된다.

이상에서, 출원인은 본 발명의 다양한 실시예들을 설명하였지만, 이와 같은 실시예들은 본 발명의 기술적 사상을 구현하는 일 실시예일 뿐이며, 본 발명의 기술적 사상을 구현하는 한 어떠한 변경예 또는 수정예도 본 발명의 범위에 속하는 것으로 해석되어야 한다.

10: 음성인식제어부 110: 데이터베이스부
111: 교육용음성DB 112: 음성지시문DB
120: 음성학습부 130: 음성제어명령실행부
140: 음성코딩명령실행부 141: 실행메뉴검색모듈
142: 적용확인모듈 143: 제어명령수신모듈
144: 제어적용모듈 150: 인터페이스부
a: 제1영역 b: 제2영역
160: 코딩처리부 161: 컴파일처리모듈
162: 제어코드전송모듈 163: 흠결분석모듈
164: 흠결표시모듈
30: 터치인식제어부 310: 터치표면부
320: 터치제어명령실행부 321: 복합터치제어명령실행모듈

Claims (8)

1. 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치로서,
   음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 음성인식제어부; 및 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 터치인식제어부;를 포함하며,
   상기 터치인식제어부는, 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 터치표면부;와, 상기 터치표면부에 인식된 터치에 따른 제어명령을 생성하는 터치제어명령실행부;를 포함하고,
   상기 터치표면부는, 주사위 또는 블록과 같은 다면체 형태의 상기 입력장치의 일 면에 형성되며, 상기 터치표면부가 형성된 일 면은 1~5의 숫자가 입력되는 5구획 또는 0~5의 숫자와 특수키가 입력되는 9구획으로 분할되고,
   상기 터치제어명령실행부는, 상기 터치표면부에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 복합터치제어명령실행모듈을 포함하고,
   상기 입력장치는, 놀이용 블록에 대한 제어명령을 실행하기 위한 코딩교육용 입력장치로 활용되며,
   상기 음성인식제어부는, 음성을 인식하여 코딩에 적용하는 음성코딩명령실행부와, 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 인터페이스부와, 상기 인터페이스부의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 코딩처리부를 포함하고,
   상기 음성코딩명령실행부는, 수신된 음성에 따라 코딩에 적용될 메뉴를 선택하는 실행메뉴검색모듈과, 검색된 메뉴에 대한 확인신호를 출력하는 적용확인모듈과, 메뉴에 대한 확인이 이루어지는 경우 음성에 따른 제어명령을 수신하는 제어명령수신모듈과, 수신된 제어명령을 코딩에 적용하는 제어적용모듈을 포함하고,
   상기 인터페이스부는, 상기 작업화면에 선택 가능한 복수의 명령어 엔트리를 표시하는 제1영역과, 상기 제1영역에서 선택된 엔트리가 드래그앤드롭(drag & drop)되는 제2영역을 포함하고,
   상기 코딩처리부는, 상기 제2영역에 배치된 복수의 엔트리의 배열 순서에 따라 엔트리를 컴파일하는 컴파일처리모듈과, 상기 컴파일처리모듈에 의해 컴파일된 제어코드를 스마트 블록로 전송하는 제어코드전송모듈과, 상기 컴파일처리모듈에 의해 컴파일된 제어 코드의 흠결을 분석하는 흠결분석모듈과, 상기 흠결분석모듈에 의한 분석결과 흠결이 존재하면 상기 작업화면에 흠결을 표시하는 흠결표시모듈과, 컴파일된 제어코드의 제어 대상인 놀이용 블록을 특정하기 위해 놀이용 블록으로부터 전송되는 식별정보를 작업화면에 표시하고 식별정보의 선택에 따라 놀이용 블록을 특정하는 코딩대상특정모듈을 포함하고,
   상기 제어코드전송모듈은 상기 흠결분석모듈에 의해 흠결이 미존재하는 경우 컴파일된 제어코드를 상기 코딩대상특정모듈에 의해 특정된 놀이용 블록에 전송하도록 하는 것을 특징으로 하는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images