Nothing Special   »   [go: up one dir, main page]

WO2011086600A1 - 情報処理装置、その方法 - Google Patents

情報処理装置、その方法 Download PDF

Info

Publication number
WO2011086600A1
WO2011086600A1 PCT/JP2010/000187 JP2010000187W WO2011086600A1 WO 2011086600 A1 WO2011086600 A1 WO 2011086600A1 JP 2010000187 W JP2010000187 W JP 2010000187W WO 2011086600 A1 WO2011086600 A1 WO 2011086600A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
indicator
processing execution
displayed
Prior art date
Application number
PCT/JP2010/000187
Other languages
English (en)
French (fr)
Inventor
章廣 岡野
Original Assignee
パイオニア株式会社
パイオニアソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社, パイオニアソリューションズ株式会社 filed Critical パイオニア株式会社
Priority to US13/521,265 priority Critical patent/US20120293555A1/en
Priority to JP2011549743A priority patent/JP5368585B2/ja
Priority to PCT/JP2010/000187 priority patent/WO2011086600A1/ja
Publication of WO2011086600A1 publication Critical patent/WO2011086600A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Definitions

  • the present invention relates to an information processing apparatus and a method thereof.
  • Patent Document 1 a display device that performs processing corresponding to an indicated position when an instruction such as a finger or a stick is used on the display surface.
  • the display device disclosed in Patent Document 1 captures an image of a point designated by a user with a pointing rod by means of a color CCD camera provided at three of four corners of a display surface. Then, a rectangular image obtained by this imaging is scanned from left to right to extract a partial image that can be distinguished from the color of the pointing bar. After that, the position of the pointer is specified by calculating the distance ratio based on the ratio of the number of pixels on the left and right of the pixel of the pointer.
  • An object of the present invention is to provide an information processing apparatus and method for easily recognizing a predetermined drawn image.
  • the information processing apparatus is an information processing apparatus that performs processing corresponding to a designated position when a predetermined position on the display surface of the display unit is designated by the designated object.
  • An indicator specifying means for specifying a second indicator, a first indicated position by the first indicator, an indicated position specifying means for specifying a second indicated position by the second indicator,
  • the first drawn image corresponding to the first designated position and the second drawn image corresponding to the second designated position are displayed in correspondence with the first designated position and the second designated position, respectively.
  • the processing execution means displays the first drawn image. Display and not display the second drawn image Based on the physical implementation request on the display unit, to display the first graphic image, characterized in that it does not display the second graphic image.
  • the information processing apparatus is an information processing apparatus that performs processing corresponding to a designated position when a predetermined position on the display surface of the display unit is designated by the designated object.
  • the indication by the indicator based on the reflected state of the emitted wireless medium, the time until the wireless medium is reflected back by the indicator, or the contact state between the indicator and the display surface
  • An indication position specifying means for specifying a position, an indication position image obtained by photographing at least the indication position in an area corresponding to the entire display surface, and a color, shape, and size of the indication object Comprising: an indicator specifying means for specifying the indicator by at least one; and a processing execution means for performing a process corresponding to the processing execution request.
  • An execution unit displays the first drawing image, displays the first drawing image on the display unit based on the processing execution request not to display the second drawing image, and displays the second drawing image. The drawn image is not displayed
  • the information processing method of the present invention is an information processing method for performing processing corresponding to an indicated position when a predetermined position on the display surface of the display means is indicated by an indicator by the calculating means.
  • the means includes a reflection state of the wireless medium emitted toward the indicator, a time until the wireless medium is reflected back by the indicator, or a contact state between the indicator and the display surface.
  • An instruction position specifying step of specifying an instruction position by the indicator an instruction position image acquiring step of acquiring an instruction position image obtained by photographing at least the instruction position of an area corresponding to the entire display surface, and An indicator specifying step of processing the indicated position image and specifying a first indicator and a second indicator by at least one of a color, a shape, and a size of the indicator; object A process execution step for performing processing corresponding to the instruction position by the indicator and a process execution request is performed, and in the process execution step, a drawing image corresponding to the movement of the first indicator is displayed, The display means displays the first drawing image and does not display the second drawing image based on the processing execution request not to display the drawing image corresponding to the movement of the second indicator.
  • FIG. 1 is a perspective view of an electronic blackboard device according to a first embodiment of the present invention. It is a block diagram which shows schematic structure of the principal part of the electronic blackboard apparatus which concerns on the said 1st Embodiment and 2nd Embodiment of this invention. It is a schematic diagram which shows the relationship between the display surface whole image by which the red pen in the said 1st Embodiment was displayed, and a pointing position image. It is a schematic diagram which shows the relationship between the display surface whole image on which the finger
  • FIG. 10 is a schematic diagram showing a state in which ideas of first to fourth students are displayed on the vertical display means in the third embodiment. It is a schematic diagram which shows the display state at the time of the writing to the display means in the said 4th Embodiment. It is a schematic diagram which shows the display state at the time of the writing to the vertical display means in the said 4th Embodiment.
  • FIG. 1 is a perspective view of the electronic blackboard device.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a main part of the electronic blackboard device.
  • FIG. 3 is a schematic diagram illustrating a relationship between the entire display surface image on which the red pen is displayed and the designated position image.
  • FIG. 4 is a schematic diagram illustrating a relationship between the entire display surface image on which the finger is displayed and the designated position image.
  • FIG. 5 is a schematic diagram showing the relationship between the entire display surface image on which the palm is displayed and the designated position image.
  • FIG. 6 is a schematic diagram showing the indicator handling processing information. Note that the upper side, lower side, right side, left side, and front side of the paper in FIG. 1 will be described as the rear side, front side, right side, left side, and upper side, respectively.
  • the electronic blackboard device 1 as a display device performs processing according to an object (hereinafter referred to as an indicator) located on the display surface 21. Specifically, when the red pen Rr, the green pen Rg, the blue pen Rb, and the finger Rf move while pointing on the display surface 21, the electronic blackboard device 1 has a red color at a position corresponding to the movement locus. When the green, blue, and black lines are displayed as the drawn images Tr, Tg, Tb, and Tf and the palm Rp moves on the display surface 21, the drawn images Tr, Tg, and Tb at positions corresponding to the movement locus are displayed. , Tf display ends (blackboard erase operation).
  • the red pen Rr, the green pen Rg, and the blue pen Rb are formed in a substantially rod shape, and at least the surfaces of the end portions are colored red, green, and blue, respectively.
  • the finger Rf and the palm Rp are a human finger, a human palm, or an object having a shape and color similar to each other.
  • indication in this embodiment means the state which the indicator and the display surface 21 contact or adjoin.
  • the electronic blackboard device 1 is particularly suitable even when an object (hereinafter referred to as a non-target indicator) such as a tie or a ruler that has a clearly different shape or color from the target indicator R indicates the display surface 21. Do not process.
  • a non-target indicator such as a tie or a ruler that has a clearly different shape or color from the target indicator R indicates the display surface 21. Do not process.
  • the electronic blackboard device 1 includes a main body 10 having a substantially square box shape with an upper surface opened.
  • the main body 10 is provided with legs (not shown) for installing the electronic blackboard device 1 so that the user can look down on the upper surface of the main body 10.
  • the main body 10 includes a display means 20, first and second infrared cameras 30, 40, a color camera 50 as a whole display surface photographing means, a storage means 60, And an arithmetic means 70.
  • the color camera 50 and the calculation means 70 constitute an information processing device 80.
  • Examples of the display means 20 include a liquid crystal panel, an organic EL (Electro Luminescence) panel, a PDP (Plasma Display Panel), a CRT (Cathode-Ray Tube), an FED (Field Emission Display), and an electrophoretic display panel.
  • the display unit 20 has a substantially rectangular display surface 21 provided so as to close the upper surface of the main body 10. That is, the display means 20 is provided so that the display surface 21 is horizontal.
  • the first and second infrared cameras 30, 40 are provided at the intersections between both ends of the back side (back side) at the top of the main body 10 and the right side and the left side.
  • the first infrared camera 30 includes a first light emitting means 31 provided on the back side of the right side, a second light emitting means 32 provided on the right side of the back side, and first and second light emitting means 31, First light receiving means 33 provided between the first light receiving means 32 and the first light receiving means 33.
  • the first and second light emitting means 31 and 32 emit light under the control of the computing means 70 and irradiate the entire display surface 21 with infrared rays.
  • the first light receiving means 33 receives the reflected light reflected by the indicator among the infrared light emitted from the first and second light emitting means 31 and 32 and transmits a signal relating to this light receiving state to the computing means 70. To do.
  • the second infrared camera 40 also operates in the same manner as the first and second light-emitting means 31 and 32 and the first light-receiving means 33, and the third and fourth light-emitting means 41 and 42 and the second light-receiving means. Means 43.
  • the color camera 50 is provided at the center in the left-right direction at the back of the upper part of the main body 10.
  • the color camera 50 captures the entire area from the display surface 21 to the upper ends of the side surface portions 11 to 13, and generates an entire display surface image 500 as shown in FIGS.
  • the entire display surface image 500 the right side surface portion 11, the front side surface portion (front side surface portion) 12 and the left side surface portion 13 of the main body 10 are displayed.
  • an indicator is present on the display surface 21, the indicator is displayed at a position corresponding to the indicated position. Then, the color camera 50 transmits the entire display screen image 500 to the calculation unit 70.
  • the storage means 60 stores the indicator corresponding processing information 600 as shown in FIG. 6 and various information necessary for the operation of the electronic blackboard device 1.
  • the instruction object handling processing information 600 is appropriately updated by the computing means 70 or the like.
  • the indicator corresponding processing information 600 includes indicator information 601, side shape information 602, side color information 603, and processing content information 604.
  • contents specifying the target indicator R such as the name of the target indicator R are recorded.
  • the shape (hereinafter referred to as a side surface shape) and the color (hereinafter referred to as a side surface color) when the target indicator R is viewed from a direction substantially parallel to the display surface 21 are displayed. Contents to represent are recorded.
  • the side surface shape recorded in the side surface shape information 602 is a concept including both the outer shape and the size.
  • the contents of the side surface shape and the side surface color information may include the side surface shape and the side surface color within a certain range in consideration of the instruction angle and the color of the illumination light.
  • the processing content information 604 records the processing content of the computing means 70 when the display surface 21 is instructed by the target indicator R specified by the indicator information 601.
  • the calculation means 70 includes a camera initial adjustment value calculation means 71, disturbance light detection means 72, indication position specification means 73, indication position image acquisition means 74, indication object specification means 75, which are composed of various programs. Processing execution means 76.
  • the camera initial adjustment value calculation means 71 performs an initial offset process between the first and second infrared cameras 30 and 40 and the color camera 50 in a state where there is no indicator on the display surface 21. Specifically, the camera initial adjustment value calculating unit 71 generates infrared rays by the first and second light emitting units 31 and 32 when the initial offset processing of the first infrared camera 30 is performed, The light reflected by the side portions 11 to 13 is received by the first light receiving means 33. Then, a received light amount adjustment value is calculated so that the received light amount of light of a predetermined color in the first light receiving means 33 is set to a preset value.
  • the camera initial adjustment value calculation means 71 causes the color camera 50 to capture the entire display surface image 500 of each side surface portion 11 to 13 when performing the initial offset processing of the color camera 50, and A color adjustment value is calculated so that the amount of light of a predetermined wavelength is set to a predetermined amount (the intensity of the predetermined color is a predetermined intensity).
  • the ambient light detection means 72 performs the ambient light confirmation scanning process in a state where there is no indicator on the display surface 21. Specifically, the ambient light detection means 72 causes the color camera 50 to capture the entire display surface image 500 of each of the side surface portions 11 to 13 and is captured during the initial offset processing of the entire display surface image 500 and the color camera 50. The entire display screen image 500 is compared. When the intensity of at least one color in the entire display surface image 500 changes by a predetermined amount or more, the amount of light irradiating the display surface 21 due to the lighting of the room being turned on or off, etc. Recognizing that the color has changed, it is determined that ambient light has been detected. On the other hand, when the intensity of at least one of the colors changes by a predetermined amount or more, it is determined that ambient light is not detected.
  • the designated position specifying unit 73 performs an indicator checking scan process after performing the initial offset process. Specifically, the pointing position specifying unit 73 recognizes the light receiving state in the first and second light receiving units 33 and 43 by generating infrared rays in the first to fourth light emitting units 31, 32, 41 and 42. The light reception state is adjusted based on the light reception amount adjustment value. The first and second light receiving means 33 and 43 may adjust the light receiving state based on the received light amount adjustment value, and the designated position specifying means 73 may recognize the adjusted light receiving state.
  • the indication position specifying means 73 When the indication position specifying means 73 recognizes that reflected light of a color other than each of the side surface portions 11 to 13 is received based on the adjusted light receiving state, the indication position specifying means 73 determines that an indicator is present. Further, the pointing position specifying means 73 uses a triangulation method based on the incident angles ⁇ and ⁇ of the reflected light from the pointing objects in the first and second light receiving means 33 and 43, respectively. The coordinates P on the display surface 21 in which is present are calculated.
  • the designated position image obtaining unit 74 obtains a part of the entire display surface image 500 as the designated position image 510 as shown in FIGS. Specifically, the indication position image acquisition unit 74 acquires the entire display surface image 500 by photographing the display surface 21 with the color camera 50, and indicates the indication position and side shape of the indication from the indication position specifying unit 73. Get information about. Based on the designated position and the side surface shape, a rectangular area having a minimum size including the entire designated object in the entire display surface image 500 is specified, and this area is extracted as the designated position image 510. For example, as shown in FIGS. 3, 4, and 5, a rectangular designated position image 510 having a minimum size including the entire red pen Rr, finger Rf, and palm Rp is displayed from the entire display surface image 500.
  • the indication position image 510 may have a size larger than the width of the indicator, or may have the same shape as the indicator.
  • the indicator specifying means 75 recognizes the side color of the indicator and the mode of the indicator based on the indication position image 510. Specifically, the pointing object specifying unit 75 acquires the specified position image 510 from the specified position image acquiring unit 74, and the color adjustment value calculated by the camera initial adjustment value calculating unit 71 is the color of the specified position image 510. Adjust based on Note that the entire display surface image 500 may be adjusted based on the color adjustment value in the color camera 50 or the indicated position image acquisition unit 74. The indicator specifying means 75 calculates the color centroid in the HSV color system of the subject with the largest area in the indicated position image 510 and recognizes this color centroid as the side color of the indicator.
  • the indicator specifying means 75 selects the indicator from the first and second light receiving means 33, 43 side based on the state of the reflected light from the indicator received by the first and second light receiving means 33, 43.
  • the side shape of the indicator viewed from the above is calculated.
  • the process execution means 76 performs a process corresponding to the target indicator R. Specifically, the processing execution means 76 stores the indicator corresponding processing information 600 having the side shape information 602 and the side color information 603 in which the side shape and the side color calculated by the indication specifying means 75 are recorded. Search from 60. When the search is successful, it is determined that the instruction indicating the display surface 21 is the target instruction R and is registered in the storage unit 60, and the processing content information 604 of the instruction corresponding processing information 600 is obtained. Process corresponding to. The processing execution means 76 displays a red dot at this indicated position every time it recognizes that the display surface 21 is indicated by, for example, the red pen Rr. For this reason, when the red pen Rr moves on the display surface 21, red dots are continuously displayed in accordance with the movement, and as a result, a red line drawing image Tr is displayed.
  • FIG. 7 is a flowchart showing display processing of the electronic blackboard device.
  • FIG. 8 is a flowchart showing the pointing object recognition process in the display process.
  • step S1 when the camera initial adjustment value calculation means 71 recognizes that the power is turned on (step S1), the calculation means 70 of the electronic blackboard apparatus 1 performs an initial offset process of the color camera 50. (Step S2). Thereafter, the calculation means 70 performs disturbance light confirmation scan processing (step S3) and initial offset processing (step S4) of the first and second infrared cameras 30 and 40. Then, the pointing position specifying unit 73 performs a pointer checking scan process (step S5), and determines whether or not the pointer is present on the display surface 21 (step S6).
  • the disturbance light detecting means 72 determines whether or not a change in disturbance light has been detected in the disturbance light confirmation scanning process in step S3 (step S7). If it is determined in step S7 that a change in disturbance light has been detected, the computing unit 70 performs a process in step S2. If it is determined that a change in disturbance light has not been detected, the calculation unit 70 performs a process in step S3. .
  • step S6 when it is determined in step S6 that the indicator is present, the calculation unit 70 performs an indicator recognition process (step S8).
  • the process execution unit 76 determines whether or not the side shape and side color (mode) indications recognized in the indication recognition process are registered as the target indication R in the storage unit 60 (step S9).
  • step S9 the processing execution means 76 determines that the indicator is a red pen Rr, a green pen Rg, a blue pen Rb, a finger Rf, and a palm Rp and is registered in the storage means 60 as the target indicator R Then, a process corresponding to the target indicator R is performed (step S10), and it is determined whether or not the electronic blackboard device 1 is powered off (step S11). If it is determined in step S11 that the power is turned off, the display process is terminated. If it is determined that the power is not turned off, the process of step S3 is performed. In addition, when it is determined in step S9 that the instruction object has not been registered, the process execution unit 76 performs the process of step S11.
  • the pointing position specifying means 73 and the pointing object specifying means 75 of the calculating means 70 calculate the coordinates of the pointing position of the pointing object and the side shape (step S21). Thereafter, the designated position image obtaining unit 74 obtains the entire display surface image 500 from the color camera 50 (step S22), and based on the designated position specified by the designated position specifying unit 73, the designated position image obtaining unit 74 obtains the side shape of the pointing object. A designated position image 510 having a corresponding size is extracted from the entire display screen image 500 (step S23).
  • the pointing object specifying means 75 calculates the color gravity center of the subject with the largest area in the pointing position image 510 (step S24). Thereafter, the processing execution means 76 requests a processing execution request for requesting display of only the drawing image Tr of the red pen Rr in a state where the drawing images Tr, Tg, Tb of the red pens Rr, Rg, Rb are displayed, for example. When the drawing image designation request is recognized, only the drawing image Tr is displayed and the drawing images Tg and Tb are erased.
  • the computing means 70 of the electronic blackboard device 1 is configured to display the indication position by the indicator on the display surface 21 based on the light receiving state of the reflected light from the indicator in the first and second infrared cameras 30 and 40. The side shape is calculated. Thereafter, a designated position image 510 obtained by photographing the designated position on the entire display surface 21 is acquired, and the designated position image 510 is processed to recognize the color of the designated object.
  • the drawing images Tr, Tg, Tb, and Tf of colors corresponding to the indication position, side shape, and color of the pointing object are displayed, and the drawing image Tr of a predetermined color is displayed based on the drawing image designation request during the drawing image display. Display only. For this reason, when recognizing the color of the pointing object, the pointing position image 510 obtained by capturing only a part of the display surface 21 and not the whole is processed. Corresponding processing can be easily speeded up. Further, since the processing speed can be increased without using the computing means 70 capable of processing information at high speed, an increase in cost can be suppressed.
  • the indicator is the target indicator R such as the red pen Rr
  • processing corresponding to this is performed, and when the indicator is a non-target indicator such as a tie, the processing is not performed.
  • a corresponding process can be performed.
  • the user since the user can perform a predetermined process only by changing the indication, the user selects an icon displayed on the display surface 21 in order to change the colors of the drawn images Tr, Tg, Tb, and Tf. This eliminates the need for troublesome operations and improves operability. Since only the drawing image Tr is displayed based on the drawing image designation request, only a predetermined drawing image can be easily recognized.
  • the computing means 70 calculates the size of the pointing object based on the light receiving states of the first and second infrared cameras 30 and 40, and the indicated position image 510 having a size corresponding to the calculated size. To get. For this reason, regardless of the size of the pointing object, the maximum area subject in the pointing position image 510 can be used as the pointing object, and the pointing object can be identified by a simple method of recognizing the maximum area subject from the pointing position image 510. it can.
  • the computing unit 70 extracts, as the designated position image 510, a portion corresponding to the designated position specified based on the light receiving state of the first and second infrared cameras 30 and 40 from the entire display screen image 500. . For this reason, for example, while using a camera with a shooting range narrower than that of the color camera 50 and moving the camera to change the shooting direction, only the specified position is shot, and the specified position image 510 is captured using mechanical control. Compared to the configuration to be acquired, the number of parts can be reduced.
  • the calculating means 70 calculates the side shape of the indicator based on the light receiving state of the first and second infrared cameras 30 and 40. For this reason, the processing load of the calculating means 70 can be reduced compared with the structure which calculates a side surface shape with the color of the pixel which comprises the display surface whole image 500. FIG. Further, since the light receiving state is used for calculating the indicated position and the side shape, for example, the indicated position is calculated using the so-called touch panel and the side shape is calculated based on the received light state. Compared with the case where a separate configuration for calculation is provided, the number of components can be reduced.
  • the calculation means 70 performs the initial offset process and the disturbance light confirmation scan process of the color camera 50 before the process of recognizing the color of the indicator. For this reason, the color of the indicator can be recognized in a state where the influence of disturbance light is minimized.
  • the computing means 70 performs the initial offset processing of the first and second infrared cameras 30 and 40 before performing the pointer confirmation scanning processing. For this reason, the first and second light receiving units 33, 43, 42, 42, 42, and the first and second light receiving units 33, 43 are contaminated. Even when the amount of received light at 43 is less than a preset value, by calculating the received light amount adjustment value based on this state, appropriate processing can be performed without removing dirt.
  • an electronic blackboard device 1A as a display device displays drawing images Tr, Tg, Tb, and Tf according to the movements of a red pen Rr, a green pen Rg, a blue pen Rb, a finger Rf, and a palm Rp, These are erased, enlarged or reduced.
  • the electronic blackboard apparatus 1A has the same configuration as the electronic blackboard apparatus 1 of the first embodiment except for the processing execution means 76A of the calculation means 70A constituting the information processing apparatus 80A.
  • the electronic blackboard device 1A of the second embodiment is installed on, for example, a classroom wall so that the display surface 21A of the display means 20A is vertical.
  • FIG. 9 is a schematic diagram showing a display state at the end of writing.
  • FIG. 10 is a schematic diagram showing an enlarged display state of one drawn image.
  • FIG. 11 is a schematic diagram showing an enlarged display state of two drawn images.
  • FIG. 12 is a schematic diagram illustrating a display state of model answers.
  • the computing means 70A of the electronic blackboard device 1A performs the same processing as the processing of steps S1 to S11 in the electronic blackboard device 1 of the first embodiment. Then, as shown in FIG. 9, the processing execution means 76A displays the drawn images Tr, Tg, Tb, Tf at the positions indicated by the red pen Rr, the green pen Rg, the blue pen Rb, and the finger Rf (instructions). Position display processing). Further, the processing execution unit 76A stores the data of the drawn images Tr, Tg, Tb, Tf in the storage unit 60.
  • the drawn image Tf (problem Tf) is a problem written by the teacher, and the drawn images Tr, Tg, Tb (first, second, and third solution methods Tr, Tg, Tb) are the first written by the student. , Second and third solutions.
  • the processing execution unit 76A enlarges and displays only the first solution Tr based on, for example, an operation for instructing the first solution Tr by the teacher and an operation of an unillustrated enlargement button on the display surface 21A.
  • the drawing image designation request is recognized, as shown in FIG. 10, only the first solution Tr is enlarged and displayed at the center of the display surface 21A (display state changing process).
  • the processing execution means 76A identifies the center of the first solution Tr by detecting the positions of the top, bottom, left and right ends of the first solution Tr before enlargement, and this center is the center of the display surface 21A. Move it so that it is in the center and enlarge it.
  • the processing execution unit 76A displays a drawing image Tf1 (comment Tf1) representing a comment according to the movement of the teacher's finger Rf, and stores the data of the comment Tf1 in the storage unit 60.
  • the processing execution unit 76A recognizes a partial enlargement request for enlarging and displaying only the second and third solution methods Tg and Tb by the teacher, as shown in FIG. 11, the process solution unit 76A displays the second solution method Tg on the display surface.
  • the third solution Tb is enlarged and displayed at the center of the right half of the display surface 21A.
  • the processing execution unit 76A recognizes the operation to write the model answer by the teacher, as shown in FIG. 12, the processing execution unit 76A enlarges and displays the question Tf on the left and right center and the upper side of the display surface 21.
  • the third solution Tr, Tg, Tb is reduced and displayed on the lower right corner of the display surface 21A.
  • a drawing image Tf2 model answer Tf2 representing the model answer is displayed, and data of the model answer Tf2 is stored in the storage unit 60.
  • the processing execution unit 76A recognizes an operation to enlarge the first solution Tr by the teacher, the process execution unit 76A displays the first solution Tr in an enlarged manner at the center of the display surface 21A, and the problem Tf, the model answer Tf2, The third solution Tg, Tb is reduced and displayed at the lower right corner. Further, when the processing execution unit 76A recognizes an operation for reviewing, for example, at the next class, the processing unit 76A displays the question Tf, the comment Tf1, and the model answer Tf2 written by the teacher on the display surface 21A as necessary. .
  • the computing means 70A displays only the first solution Tr corresponding to this request. For this reason, the teacher can increase the amount of writing about the expanded first solution method Tr, and can improve the efficiency of the lesson and the understanding level of the students.
  • the computing means 70A displays the question Tf, the comment Tf1, and the model answer Tf2 written by the teacher in the previous class on the display surface 21A. For this reason, the efficiency of a lesson can be achieved.
  • FIG. 13 is a block diagram illustrating a schematic configuration of a main part of the electronic blackboard device.
  • an electronic blackboard device 1B as a display device includes a red pen Rr, a green pen Rg, a blue pen Rb, a peach pen Rm, a finger Rf, and a palm Rp according to the movements of red, green, blue, pink and black.
  • the drawn images Tr11, Tg11, Tb11, Tm11, and Tf11 are displayed, deleted, enlarged, or reduced.
  • the electronic blackboard apparatus 1B has the same configuration as the electronic blackboard apparatus 1 of the first embodiment except for the processing execution means 76B and the vertical display means 90B of the calculation means 70B constituting the information processing apparatus 80B.
  • the electronic blackboard device 1B of the third embodiment and the electronic blackboard device 1C of the fourth embodiment to be described later are installed, for example, in the center of the classroom so that the display surface 21 of the display means 20 is horizontal.
  • the vertical display means 90B as the display means of the present invention is configured separately from the main body 10 and is provided in a main body (not shown) installed on the classroom wall, for example, and a display surface 91B as shown in FIG. Is installed vertically.
  • FIG. 14 is a schematic diagram showing a display state at the end of task writing to the vertical display means.
  • FIG. 15 is a schematic diagram showing a display state at the end of idea writing to the display means.
  • FIG. 16 is a schematic diagram showing a state in which the idea of the fourth student on the display means is displayed in the display area of the first student.
  • FIG. 17 is a schematic diagram showing a state in which the ideas of the first to fourth students are displayed on the vertical display means.
  • the calculation unit 70B performs steps S1 to S11 in the electronic blackboard device 1 of the first embodiment. A process similar to the process is performed. Then, as shown in FIGS. 14 and 15, the processing execution unit 76 ⁇ / b> B has the drawn images Tr ⁇ b> 11, Tg ⁇ b> 11, Tb ⁇ b> 11 at positions designated by the red pen Rr, green pen Rg, blue pen Rb, peach pen Rm, and finger Rf. , Tm11, Tf11 are displayed (indicated position display processing). Further, the processing execution unit 76B causes the storage unit 60 to store data of the drawn images Tr11, Tg11, Tb11, Tm11, and Tf11.
  • the processing execution means 76B is divided into two equal parts in the upper, lower, left and right directions (front and rear, left and right when viewed from the first student G1) in FIG. Fourth display areas 21B1, 21B2, 21B3, and 21B4 are set.
  • the drawing image Tr11 is displayed in the first display area 21B1
  • the first display area 21B1 is displayed with the other color pens Rg, Rb, Rm and the finger Rf. Is displayed, the drawing images Tg11, Tb11, and Tm11 are not displayed in the first display area 21B1.
  • the second, third, and fourth display areas 21B2, 21B3, and 21B4 only Tg11, Tb11, and Tm11 by the green pen Rg, blue pen Rb, and peach pen Rm are displayed, respectively, A drawing image by the finger Rf is not displayed.
  • the drawn image Tf11 (task Tf11) is a task written by the teacher, and the drawn images Tr11, Tg11, Tb11, and Tm11 (first, second, third, and fourth ideas Tr11, Tg11, Tb11, and Tm11) are The first, second, third and fourth students G1, G2, G3 and G4 wrote the first, second, third and fourth ideas.
  • the first and second students G1 and G2 sit side by side, and the third and fourth students G3 and G4 face the first and second students G1 and G2 with the display means 20 in between. Sitting on.
  • the processing execution unit 76B recognizes an operation for displaying the fourth idea Tm11 by the fourth student G4 in the other display areas (first to third display areas 21B1 to 21B3), it is shown in FIG. As described above, the icon H is displayed in the first to third display areas 21B1 to 21B3. Thereafter, for example, when the selection operation of the icon H by the first student G1 is recognized, the fourth idea Tm11 is reduced and displayed at the lower right end of the first display area 21B1. Further, when the processing execution unit 76B recognizes that the display area of the fourth idea Tm11 is instructed by the red pen Rr by the first student G1, the red color corresponding to the movement of the red pen Rr is displayed at the instructed position.
  • the processing execution unit 76B recognizes an operation to display the fourth idea Tm11 with the red drawing image added in the second to fourth display areas 21B2 to 21B4, the processing execution unit 76B displays the second to fourth display areas 21B2 to 21B4. Icon H is displayed. For example, when the icon H of the second display area 21B2 is selected, the fourth idea Tm11 with the red drawing image added is displayed at the lower right end of the second display area 21B2.
  • the processing execution unit 76B requests the drawing display designation request that the teacher displays the first idea Tr11 on the vertical display unit 90B in an enlarged manner and displays the second, third, and fourth ideas Tg11, Tb11, and Tm11 in a reduced size.
  • the teacher recognizes that the inside of the display area of the first idea Tr11 is designated by the finger Rf, a black drawing image is displayed at the designated position, and the first idea Tr11 to which the drawing image is added is displayed.
  • the storage means 60 are stored in the storage means 60.
  • the computing means 70B displays drawn images corresponding to the instructions of only the red pen Rr, the green pen Rg, the blue pen Rb, and the peach pen Rm in the first to fourth display areas 21B1 to 21B4, respectively. For this reason, for example, an unintended drawing image can be prevented from being added to the first display area 21B1.
  • the electronic blackboard device 1C as a display device displays red, green, blue, pink, and black drawn images Tr21, Tr22, and Tg21 as in the electronic blackboard device 1B of the second embodiment. Delete, zoom in, or zoom out.
  • the electronic blackboard apparatus 1C has the same configuration as the electronic blackboard apparatus 1B of the third embodiment except for the processing execution means 76C of the calculation means 70C constituting the information processing apparatus 80C.
  • FIG. 18 is a schematic diagram showing a display state at the time of writing to the display means.
  • FIG. 19 is a schematic diagram showing a display state at the time of writing to the vertical display means.
  • the computing means 70C of the electronic blackboard device 1C performs the same processing as the processing of steps S1 to S11 in the electronic blackboard device 1 of the first embodiment. Then, when the processing execution unit 76C recognizes an operation for displaying the original image Q stored in the storage unit 60 in two places on the display unit 20 and one place on the vertical display unit 90B, the processing execution unit 76C displays FIGS. As shown, the original image Q is displayed.
  • the processing execution unit 76C sets the first and second display areas 21C1 and 21C2 that are partitioned by dividing the display surface 21 into two equal parts in FIG. 18 (front and rear as viewed from the first student G1). .
  • the first student G1 sits at a position facing the second student G2.
  • the original image Q may be a drawn image previously written by the first and second students G1 and G2 or the teacher, or may be an image of a landscape or the like captured by an imaging unit.
  • the processing execution unit 76C when the inside of the original image Q in the first display area 21C1 or the outside of the original image Q is instructed with the red pen Rr, the drawing image Tr21 is displayed at the indicated position in the first display area 21C1. Is displayed (instructed position display processing), and the data of the drawn image Tr21 is stored in the storage unit 60. Further, the original image Q and the drawn image Tr21 are displayed on the second display area 21C2 and the display surface 91B so as to be in the same display state as the first display area 21C1.
  • the processing execution unit 76C deletes the portion corresponding to the indicated position in the drawing image Tr21 and updates the data in the storage unit 60. Further, the drawing image Tr21 on the second display area 21C2 and the display surface 91B is similarly deleted.
  • the processing execution unit 76C displays the first display area 21C1, 21C2, and the display surface 91B on the first display area 21C1, 21C2, even if the first display area 21C1 is indicated by an indicator other than the red pen Rr, such as the green pen Rg. Does not display the drawn image. Then, in the erasing mode, the processing execution unit 76C causes the first and second display areas 21C1 and 21C2 and the display surface 91B to be displayed even when the drawing image Tr21 of the first display area 21C1 is instructed by an indicator other than the red pen Rr. The drawn image Tr21 is not erased.
  • the processing execution unit 76C displays the drawing image Tr21 on the first and second display areas 21C1 and 21C2 and the display surface 91B only when the first display area 21C1 is designated with the red pen Rr. At least a part of the drawn image Tr21 is erased.
  • the processing execution unit 76C displays the drawing image Tg21 on the first and second display areas 21C1 and 21C2 and the display surface 91B only when the second display area 21C2 is designated with the green pen Rg. At least a part of the drawn image Tg21 is erased.
  • the processing execution unit 76C displays the drawing images Tr21, Tr22, Tg21 on the first and second display areas 21C1, 21C2 and the display surface 91B only when the display surface 91B is designated with the red pen Rr or the green pen Rg. Display or erase at least a part of the displayed drawn images Tg21, Tr22, Tg21. Further, the data in the storage means 60 is updated as appropriate.
  • the computing unit 70C displays a drawing image to be displayed when any one of the first and second display areas 21C1, 21C2 and the display surface 91B is instructed in another area. For this reason, it is possible to share information by the users of the first and second display areas 21C1 and 21C2 and the display surface 91B.
  • the following configuration may be applied as a configuration for specifying the pointing position of the pointing object.
  • the pointing position may be specified based on the reflection state of the wireless medium (light, sound) emitted toward the pointing object.
  • the position in the depth direction cannot be calculated with only one receiving means (for example, a camera) that receives the wireless medium, it is preferable to provide a plurality of receiving means.
  • the indicated position may be specified based on the time until the wireless medium is reflected by the indicator and returned. Further, the indicated position may be specified based on the contact state between the pointing object and the display surface by using a capacitance method or a resistance method.
  • the indicator may be specified based on at least one of the color, shape, and size of the indicator using the imaging unit.
  • the indicator may be specified by identifying the shape and size (and color) at a position spaced apart from the display surface to some extent. In order to increase the accuracy of specifying the pointing position, it is preferable that the pointing object and the display surface are in point contact. Then, using the TOF method, the shape and size of the indicator may be specified based on the pattern in which the wireless medium is reflected by the indicator and returns.
  • the contact position between the indicator and the display surface is almost a point, if a reflection pattern is used at a close position (for example, a few millimeters away from the display surface) away from the display surface of the indicator, the shape or the like Can be properly identified. Further, the color, shape or size may be specified using a camera provided for specifying the indicated position.
  • a configuration may be adopted in which a monochrome camera is used instead of the color camera 50 and the color is not taken into consideration when specifying the indicator.
  • the designated position is recognized based on the light receiving states of the first and second infrared cameras 30 and 40, and the designated position image 510 having the same size from the entire display screen image 500 regardless of the size of the designated object. To extract. Then, based on the pointing position image 510, at least one of the shape, size, and color of the pointing object is recognized as the pointing object mode, and processing corresponding to this mode and the pointing position is performed. Good.
  • FIG. For example, in the above embodiment, a red dot is displayed every time the indicated position of the red pen Rr is recognized, and a red line is displayed by continuously displaying the red dot. It is good also as a structure which draws the red line corresponding to this series of motions after recognizing a motion. Further, different processing may be performed according to an instruction that indicates a specific position on the display surface 21.
  • the initial offset process of the color camera 50 and the first and second infrared cameras 30 and 40 may not be performed, and the disturbance light confirmation scan process may not be performed.
  • the designated position image 510 having the same size may be extracted from the entire display surface image 500 regardless of the size of the designated object.
  • an indicator corresponding image preset for the indicator R may be displayed at the indicated position on the indicator R.
  • a red circle may be displayed regardless of the movement of the red pen Rr.
  • toe Rf was displayed, you may display the line of the thickness and line type corresponding to these. For example, a black solid line may be displayed when instructed with the red pen Rr, and a black dotted line may be displayed when instructed with the green pen Rg.
  • the display device of the present invention may be used for a portable or stationary personal computer, a portable terminal device such as a cellular phone or a PDA (Personal Digital Assistant), a display device for business information or in-vehicle information, You may use for operation apparatuses, such as an apparatus and a navigation apparatus.
  • a portable terminal device such as a cellular phone or a PDA (Personal Digital Assistant)
  • a display device for business information or in-vehicle information You may use for operation apparatuses, such as an apparatus and a navigation apparatus.
  • each function described above is constructed as a program, it may be configured by hardware such as a circuit board or an element such as a single IC (Integrated Circuit), and can be used in any form. Note that, by using a configuration that allows reading from a program or a separate recording medium, as described above, handling is easy, and usage can be easily expanded.
  • the electronic blackboard device 1 is configured so that the indication position and the side surface shape by the indicator on the display surface 21 are based on the light reception state of the reflected light from the indicator in the first and second infrared cameras 30 and 40. And an indicated position image 510 obtained by photographing the indicated position of the entire display surface 21 is obtained.
  • the indication position image 510 is processed to recognize the color of the indication, and the drawing images Tr, Tg, Tb, Tf of the colors corresponding to the indication position, the side shape, and the color of the indication are displayed. Based on a drawing image designation request during image display, only a drawing image Tr of a predetermined color is displayed. For this reason, since only the drawing image Tr is displayed based on the drawing image designation request during display of the drawing images Tr, Tg, Tb, and Tf, only a predetermined drawing image can be easily recognized.
  • the present invention can be used as an information processing apparatus and method.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 電子黒板装置1は、第1,第2の赤外線カメラ30,40における指示物からの反射光の受光状態に基づいて、表示面21上での指示物による指示位置と側面形状を算出する。この後、表示面21上の全体のうちの前記指示位置を撮影した指示位置画像を取得して、この指示位置画像を処理することで指示物の色を認識する。そして、指示物の指示位置と側面形状と色に対応する色の描画像を表示させ、描画像表示中の描画像指定要求に基づいて、所定の色の描画像のみを表示させる。

Description

情報処理装置、その方法
 本発明は、情報処理装置、その方法に関する。
 従来、表示面上が指や棒などの指示物で指示された際に、この指示位置に対応する処理を実施する表示装置が知られている(例えば、特許文献1参照)。
 この特許文献1の表示装置は、表示面の4箇所のコーナーのうちの3箇所に設けられたカラーCCDカメラにより、ユーザが指示棒で指示するところを撮像する。そして、この撮像により得られた左右方向に長い長方形の画像を左から右にスキャンし、指示棒の色と識別できる部分画像を抽出する。この後、指示棒の画素の左右にある画素数の比に基づき距離の比を算出することで、指示棒の位置を特定している。
特開2000-112616号公報
 ところで、特許文献1のような構成の応用例として、指示棒の色に基づく色の線を表示面に表示させるいわゆる電子黒板装置が挙げられる。しかしながら、複数の色の線(文字などの描画像)が表示されると、所定のユーザが書いた文字を容易に認識できないおそれがある。
 本発明は、所定の描画像を容易に認識可能な情報処理装置、その方法を提供することを一つの目的とする。
 本発明の情報処理装置は、表示手段の表示面上における所定位置が指示物で指示された際に、この指示位置に対応する処理を実施する情報処理装置であって、第1の指示物と第2の指示物を特定する指示物特定手段と、前記第1の指示物による第1の指示位置と、前記第2の指示物による第2の指示位置を特定する指示位置特定手段と、前記第1の指示位置に対応する第1の描画像、前記第2の指示位置に対応する第2の描画像を、それぞれ前記第1の指示位置、前記第2の指示位置に対応して前記表示手段に表示させるとともに、前記指示物、前記指示物による前記指示位置、及び処理実施要求に対応する処理をする処理実施手段と、を具備し、前記処理実施手段は、前記第1の描画像を表示させ、前記第2の描画像を表示させない前記処理実施要求に基づいて、前記表示手段に、前記第1の描画像を表示させ、前記第2の描画像を表示させないことを特徴とする。
 本発明の情報処理装置は、表示手段の表示面上における所定位置が指示物で指示された際に、この指示位置に対応する処理を実施する情報処理装置であって、前記指示物に向けて発せられた無線媒体の反射状態、または、前記指示物で前記無線媒体が反射して戻って来るまでの時間、あるいは前記指示物と前記表示面との接触状態に基づいて、前記指示物による指示位置を特定する指示位置特定手段と、前記表示面全体に対応する領域のうちの少なくとも前記指示位置を撮影した指示位置画像を取得し、前記指示物の色、形、および、大きさのうちの少なくとも一つによって前記指示物を特定する指示物特定手段と、前記指示物、前記指示物による前記指示位置、及び処理実施要求に対応する処理をする処理実施手段と、を具備し、前記処理実施手段は、前記第1の描画像を表示させ、前記第2の描画像を表示させない前記処理実施要求に基づいて、前記表示手段に、前記第1の描画像を表示させ、前記第2の描画像を表示させないことを特徴とする
 本発明の情報処理方法は、演算手段により、表示手段の表示面上における所定位置が指示物で指示された際に、この指示位置に対応する処理を実施する情報処理方法であって、前記演算手段は、前記指示物に向けて発せられた無線媒体の反射状態、または、前記指示物で前記無線媒体が反射して戻って来るまでの時間、あるいは前記指示物と前記表示面との接触状態に基づいて、前記指示物による指示位置を特定する指示位置特定工程と、前記表示面全体に対応する領域のうちの少なくとも前記指示位置を撮影した指示位置画像を取得する指示位置画像取得工程と、前記指示位置画像を処理して、前記指示物の色、形、および、大きさのうちの少なくとも一つによって第1の指示物と第2の指示物を特定する指示物特定工程と、前記指示物、前記指示物による前記指示位置、及び処理実施要求に対応する処理をする処理実施工程と、を実施し、前記処理実施工程では、前記第1の指示物の動きに対応した描画像を表示させ、前記第2の指示物の動きに対応した描画像を表示させない前記処理実施要求に基づいて、前記表示手段に、前記第1の描画像を表示させ、前記第2の描画像を表示させないことを特徴とする。
本発明の第1実施形態に係る電子黒板装置の斜視図である。 前記第1実施形態および本発明の第2実施形態に係る電子黒板装置の要部の概略構成を示すブロック図である。 前記第1実施形態における赤ペンが表示された表示面全体画像と指示位置画像との関係を示す模式図である。 前記第1実施形態における指が表示された表示面全体画像と指示位置画像との関係を示す模式図である。 前記第1実施形態における掌が表示された表示面全体画像と指示位置画像との関係を示す模式図である。 前記第1実施形態における指示物対応処理情報を示す模式図である。 前記第1実施形態における電子黒板装置の表示処理を示すフローチャートである。 前記第1実施形態における表示処理における指示物認識処理を示すフローチャートである。 前記第2実施形態における書込終了時の表示状態を示す模式図である。 前記第2実施形態における一つの描画像の拡大表示状態を示す模式図である。 前記第2実施形態における二つの描画像の拡大表示状態を示す模式図である。 前記第2実施形態における模範解答の表示状態を示す模式図である。 本発明の第3,第4実施形態に係る電子黒板装置の要部の概略構成を示すブロック図である。 前記第3実施形態における垂直表示手段への課題書込終了時の表示状態を示す模式図である。 前記第3実施形態における表示手段へのアイディア書込終了時の表示状態を示す模式図である。 前記第3実施形態における表示手段での第4生徒のアイディアを第1生徒の表示領域に表示させた状態を示す模式図である。 前記第3実施形態における垂直表示手段に第1~第4生徒のアイディアを表示させた状態を示す模式図である。 前記第4実施形態における表示手段への書込時の表示状態を示す模式図である。 前記第4実施形態における垂直表示手段への書込時の表示状態を示す模式図である。
 以下、本発明に係る表示装置としての電子黒板装置について説明する。
 なお、以下において、学校での授業や会社での会議に使用される電子黒板装置を例示するが、本発明の表示装置としての用途は、上述のものに限られない。
[第1実施形態]
 まず、本発明の第1実施形態に係る電子黒板装置の構成を図面に基づいて説明する。
 図1は、電子黒板装置の斜視図である。図2は、電子黒板装置の要部の概略構成を示すブロック図である。図3は、赤ペンが表示された表示面全体画像と指示位置画像との関係を示す模式図である。図4は、指が表示された表示面全体画像と指示位置画像との関係を示す模式図である。図5は、掌が表示された表示面全体画像と指示位置画像との関係を示す模式図である。図6は、指示物対応処理情報を示す模式図である。
 なお、図1における上側、下側、右側、左側、紙面手前側を、それぞれ奥側、手前側、右側、左側、上側として説明する。
 {電子黒板装置の構成}
 図1において、表示装置としての電子黒板装置1は、表示面21上に位置する物体(以下、指示物と称す)に応じた処理をする。具体的には、電子黒板装置1は、赤ペンRr、緑ペンRg、青ペンRb、指Rfが表示面21上を指示しながら動いたときに、この動きの軌跡に対応する位置に赤色、緑色、青色、黒色の線を描画像Tr,Tg,Tb,Tfとして表示させ、掌Rpが表示面21上を動いたときに、この動きの軌跡に対応する位置の描画像Tr,Tg,Tb,Tfの表示を終了(黒板消し動作)する。
 ここで、赤ペンRr、緑ペンRg、青ペンRbとは、略棒状に形成されるとともに、少なくとも端部の表面がそれぞれ赤色、緑色、青色に着色されており、形状(外形および形状)と色が赤ペンや緑ペンあるいは青ペンに類似する物体である。また、指Rf、掌Rpとは、人間の指、人間の掌、あるいは、これらにそれぞれ形状および色が類似する物体である。また、本実施形態における指示とは、指示物と表示面21とが接触あるいは近接している状態を意味する。
 なお、以下において、赤ペンRr、緑ペンRg、青ペンRb、指Rf、掌Rpのうちの少なくともいずれか一つを例示して説明する場合、対象指示物Rと称して説明する。
 一方で、電子黒板装置1は、ネクタイや定規など、対象指示物Rと明らかに形状や色が異なる物体(以下、非対象指示物と称す)が表示面21を指示したりしても、特に処理をしない。
 また、電子黒板装置1は、上面が開口された略四角箱状の本体10を備えている。この本体10には、本体10の上面を利用者が見下ろすことが可能なように電子黒板装置1を設置するための図示しない脚部が設けられている。そして、本体10には、図2にも示すように、表示手段20と、第1,第2の赤外線カメラ30,40と、表示面全体撮影手段としてのカラーカメラ50と、記憶手段60と、演算手段70と、を備えている。なお、カラーカメラ50と演算手段70とは、情報処理装置80を構成している。
 表示手段20としては、例えば液晶パネルや有機EL(Electro Luminescence)パネル、PDP(Plasma Display Panel)、CRT(Cathode-Ray Tube)、FED(Field Emission Display)、電気泳動ディスプレイパネルなどが例示できる。この表示手段20は、図1に示すように、本体10の上面を閉塞するように設けられた略長方形状の表示面21を有している。つまり、表示手段20は、表示面21が水平になるように設けられている。
 第1,第2の赤外線カメラ30,40は、本体10の上部における奥辺(奥側の辺)の両端と、右辺および左辺との交差位置に設けられている。第1の赤外線カメラ30は、右辺の奥側に設けられた第1の発光手段31と、奥辺の右側に設けられた第2の発光手段32と、第1,第2の発光手段31,32の間に設けられた第1の受光手段33と、を備えている。第1,第2の発光手段31,32は、演算手段70の制御により発光して、表示面21上の全体に赤外線を照射する。第1の受光手段33は、第1,第2発光手段31,32から発光された赤外線のうち、指示物で反射された反射光を受光して、この受光状態に関する信号を演算手段70へ送信する。
 第2の赤外線カメラ40も、第1,第2の発光手段31,32、第1の受光手段33と同様の動作をする、第3,第4の発光手段41,42と、第2の受光手段43と、を備えている。
 カラーカメラ50は、本体10の上部における奥辺の左右方向略中央に設けられている。このカラーカメラ50は、表示面21から各側面部11~13の上端までの領域全体を撮影して、図3~図5に示すような表示面全体画像500を生成する。この表示面全体画像500には、本体10の右側面部11と、手前側面部(手前側の側面部)12と、左側面部13と、が表示される。また、表示面21上に指示物が存在している場合には、この指示位置に対応する位置に、指示物が表示される。そして、カラーカメラ50は、表示面全体画像500を演算手段70へ送信する。
 記憶手段60は、図6に示すような指示物対応処理情報600や、電子黒板装置1の動作に必要な各種情報を記憶している。指示物対応処理情報600は、演算手段70などにより適宜更新される。そして、指示物対応処理情報600は、指示物情報601と、側面形状情報602と、側面色情報603と、処理内容情報604と、を備えている。
 指示物情報601には、対象指示物Rの名称など、対象指示物Rを特定する内容が記録されている。
 側面形状情報602および側面色情報603には、対象指示物Rを表示面21と略平行な方向から見たときの形状(以下、側面形状と称す)および色(以下、側面色と称す)を表す内容が記録されている。ここで、側面形状情報602に記録された側面形状とは、外形と大きさの両方を含む概念である。なお、側面形状と側面色情報の内容としては、指示角度や照明光の色などを考慮に入れて、ある程度の範囲の側面形状や側面色を含む内容としてもよい。
 処理内容情報604には、表示面21が指示物情報601で特定される対象指示物Rにより指示された場合の演算手段70の処理内容が記録されている。
 演算手段70は、各種プログラムから構成された、カメラ初期調整値算出手段71と、外乱光検出手段72と、指示位置特定手段73と、指示位置画像取得手段74と、指示物特定手段75と、処理実施手段76と、を備えている。
 カメラ初期調整値算出手段71は、表示面21上に指示物が存在しない状態において、第1,第2の赤外線カメラ30,40と、カラーカメラ50との初期オフセット処理を実施する。
 具体的には、カメラ初期調整値算出手段71は、第1の赤外線カメラ30の初期オフセット処理を実施する場合、第1,第2の発光手段31,32で赤外線を発生させ、本体10の各側面部11~13で反射された光を第1の受光手段33で受光させる。そして、第1の受光手段33における所定の色の光の受光量を、あらかじめ設定された値にするような受光量調整値を算出する。
 また、カメラ初期調整値算出手段71は、カラーカメラ50の初期オフセット処理を実施する場合、カラーカメラ50で各側面部11~13の表示面全体画像500を撮影させ、この表示面全体画像500における所定の波長の光の量をあらかじめ設定された量(所定の色の強さをあらかじめ設定された強さ)にするような色調整値を算出する。
 外乱光検出手段72は、表示面21上に指示物が存在しない状態において、外乱光確認スキャン処理を実施する。
 具体的には、外乱光検出手段72は、カラーカメラ50で各側面部11~13の表示面全体画像500を撮影させ、この表示面全体画像500と、カラーカメラ50の初期オフセット処理時に撮影された表示面全体画像500とを比較する。そして、これらの表示面全体画像500における少なくともいずれか一つの色の強度が所定量以上変化している場合、部屋の照明がオンあるいはオフされたことなどにより表示面21を照射する光の量や色が変化したと認識して、外乱光を検出したと判断する。一方、前記少なくともいずれか一つの色の強度が所定量以上変化している場合、外乱光を検出していないと判断する。
 指示位置特定手段73は、初期オフセット処理を実施した後、指示物確認スキャン処理を実施する。
 具体的には、指示位置特定手段73は、第1~第4の発光手段31,32,41,42で赤外線を発生させて、第1,第2の受光手段33,43における受光状態を認識し、この受光状態を受光量調整値に基づき調整する。なお、第1,第2の受光手段33,43において受光状態を受光量調整値に基づき調整して、この調整された受光状態を指示位置特定手段73で認識してもよい。
 そして、指示位置特定手段73は、この調整された受光状態に基づいて、各側面部11~13以外の色の反射光が受光されていることを認識すると、指示物が存在すると判断する。さらに、指示位置特定手段73は、第1,第2の受光手段33,43のそれぞれにおける指示物からの反射光の入射角度α,βに基づいて、三角測量の手法を利用して、指示物が存在している表示面21上の座標Pを算出する。
 指示位置画像取得手段74は、図3~図5に示すように、表示面全体画像500のうちの一部を指示位置画像510として取得する。
 具体的には、指示位置画像取得手段74は、カラーカメラ50で表示面21上を撮影させて表示面全体画像500を取得するとともに、指示位置特定手段73から指示物の指示位置と側面形状とに関する情報を取得する。そして、この指示位置と側面形状とに基づいて、表示面全体画像500における指示物全体が含まれる最小限の大きさの四角形状の領域を特定し、この領域を指示位置画像510として抽出する。例えば、図3,図4,図5に示すように、表示面全体画像500から、赤ペンRr、指Rf、掌Rp全体がそれぞれ含まれる最小限の大きさの四角形状の指示位置画像510を抽出する。
 このように、指示物全体が含まれる最小限の大きさの領域を指示位置画像510として抽出するため、指示位置画像510における面積が最も大きい被写体(以下、面積最大被写体と称す)は、指示物となる。なお、指示位置画像510は、大きさが指示物の幅よりも大きくてもよいし、形状が指示物の形状と同じであってもよい。
 指示物特定手段75は、指示位置画像510に基づいて、指示物の側面色と指示物の態様を認識する。
 具体的には、指示物特定手段75は、指示位置画像取得手段74から指示位置画像510を取得して、この指示位置画像510の色をカメラ初期調整値算出手段71で算出された色調整値に基づき調整する。なお、カラーカメラ50や指示位置画像取得手段74において、表示面全体画像500を色調整値に基づき調整してもよい。
 そして、指示物特定手段75は、指示位置画像510の面積最大被写体のHSV表色系でのカラー重心を算出して、このカラー重心を指示物の側面色として認識する。さらに、指示物特定手段75は、第1,第2の受光手段33,43で受光した指示物からの反射光の状態に基づいて、指示物を第1,第2の受光手段33,43側から見た指示物の側面形状を算出する。
 処理実施手段76は、対象指示物Rに対応する処理を実施する。
 具体的には、処理実施手段76は、指示物特定手段75で算出された側面形状、側面色がそれぞれ記録された側面形状情報602、側面色情報603を有する指示物対応処理情報600を記憶手段60から検索する。そして、検索できた場合、表示面21を指示している指示物が対象指示物Rであり、記憶手段60に登録されていると判断して、この指示物対応処理情報600の処理内容情報604に対応する処理をする。
 なお、処理実施手段76は、表示面21上が例えば赤ペンRrで指示されていることを認識するごとに、この指示位置に赤色の点を表示させる。このため、赤ペンRrが表示面21上を動く場合には、この動きに合わせて連続的に赤い点が表示され、結果的に赤い線の描画像Trが表示されることになる。
 {電子黒板装置の動作}
 次に、電子黒板装置1の動作について説明する。
 図7は、電子黒板装置の表示処理を示すフローチャートである。図8は、表示処理における指示物認識処理を示すフローチャートである。
 電子黒板装置1の演算手段70は、図7に示すように、カメラ初期調整値算出手段71にて、電源がオンされたことを認識すると(ステップS1)、カラーカメラ50の初期オフセット処理をする(ステップS2)。この後、演算手段70は、外乱光確認スキャン処理(ステップS3)、第1,第2の赤外線カメラ30,40の初期オフセット処理(ステップS4)をする。そして、指示位置特定手段73は、指示物確認スキャン処理をして(ステップS5)、表示面21に指示物が存在するか否かを判断する(ステップS6)。
 このステップS6において、指示物が存在しないと判断した場合、外乱光検出手段72は、ステップS3における外乱光確認スキャン処理で外乱光の変化が検出されたか否かを判断する(ステップS7)。そして、ステップS7において、外乱光の変化が検出されたと判断した場合、演算手段70は、ステップS2の処理をし、外乱光の変化が検出されていないと判断した場合、ステップS3の処理をする。
 一方、演算手段70は、ステップS6において、指示物が存在すると判断した場合、指示物認識処理を実施する(ステップS8)。この指示物認識処理では、詳しくは後述するが、指示位置の座標P、指示物の側面形状および側面色を認識する。
 そして、処理実施手段76は、指示物認識処理で認識した側面形状および側面色(態様)の指示物が記憶手段60に対象指示物Rとして登録されているか否かを判断する(ステップS9)。このステップS9において、処理実施手段76は、指示物が赤ペンRr、緑ペンRg、青ペンRb、指Rf、掌Rpであり対象指示物Rとして記憶手段60に登録されていると判断した場合、この対象指示物Rに対応する処理をして(ステップS10)、電子黒板装置1の電源がオフされたか否かを判断する(ステップS11)。そして、ステップS11において、電源がオフされたと判断した場合、表示処理を終了し、オフされていないと判断した場合、ステップS3の処理をする。
 また、処理実施手段76は、ステップS9において、指示物が登録済みでないと判断した場合、ステップS11の処理をする。
 一方、図8に示す指示物認識処理では、演算手段70の指示位置特定手段73および指示物特定手段75は、指示物の指示位置の座標と側面形状とを算出する(ステップS21)。この後、指示位置画像取得手段74は、カラーカメラ50から表示面全体画像500を取得して(ステップS22)、指示位置特定手段73で特定された指示位置に基づいて、指示物の側面形状に対応する大きさの指示位置画像510を表示面全体画像500から抽出する(ステップS23)。そして、指示物特定手段75は、指示位置画像510における面積最大被写体のカラー重心を算出する(ステップS24)。
 この後、処理実施手段76は、例えば、各赤ペンRr,Rg,Rbの描画像Tr,Tg,Tbが表示された状態において、赤ペンRrの描画像Trのみの表示を要求する処理実施要求としての描画像指定要求を認識すると、描画像Trのみを表示させて、描画像Tg,Tbを消去する。
 {第1実施形態の作用効果}
 以上の第1実施形態の電子黒板装置1によれば、以下の作用効果が期待できる。
 (1)電子黒板装置1の演算手段70は、第1,第2の赤外線カメラ30,40における指示物からの反射光の受光状態に基づいて、表示面21上での指示物による指示位置と側面形状を算出する。この後、表示面21上の全体のうちの前記指示位置を撮影した指示位置画像510を取得して、この指示位置画像510を処理することで指示物の色を認識する。そして、指示物の指示位置と側面形状と色に対応する色の描画像Tr,Tg,Tb,Tfを表示させ、描画像表示中の描画像指定要求に基づいて、所定の色の描画像Trのみを表示させる。
 このため、指示物の色を認識する際に、表示面21上の全体ではなく一部のみを撮影した指示位置画像510を処理するため、色認識処理時の負荷が大きくならず、指示位置に対応する処理の高速化を容易に図ることができる。また、情報を高速処理可能な演算手段70を用いることなく、処理の高速化を図ることができるため、コストの増大も抑制できる。また、指示物が赤ペンRrなどの対象指示物Rの場合に、これに対応する処理を実施して、ネクタイなどの非対象指示物の場合に、処理を実施しないので、利用者の意図に応じた処理を実施できる。さらに、利用者は指示物を変更するだけで所定の処理を実施させることができるため、描画像Tr,Tg,Tb,Tfの色を変えるために表示面21に表示されたアイコンを選択するなどの面倒な操作をする必要がなく、操作性を向上できる。そして、描画像指定要求に基づいて描画像Trのみを表示させるので、所定の描画像のみを容易に認識できる。
 (2)演算手段70は、第1,第2の赤外線カメラ30,40での受光状態に基づいて指示物の大きさを算出し、この算出した大きさに対応する大きさの指示位置画像510を取得する。
 このため、指示物の大きさによらず、指示位置画像510における面積最大被写体を指示物とすることができ、指示位置画像510から面積最大被写体を認識するだけの簡単な方法で指示物を特定できる。
 (3)演算手段70は、表示面全体画像500から、第1,第2の赤外線カメラ30,40での受光状態に基づき特定された指示位置に対応する部分を、指示位置画像510として抽出する。
 このため、例えばカラーカメラ50よりも狭い撮影範囲のカメラを用いるとともに、このカメラを動かして撮影方向を変更することで指示位置のみを撮影するなど、機械的な制御を用いて指示位置画像510を取得する構成と比べて、部品点数を減らすことができる。
 (4)演算手段70は、第1,第2の赤外線カメラ30,40での受光状態に基づいて指示物の側面形状を算出する。
 このため、表示面全体画像500を構成する画素の色により側面形状を算出する構成と比べて、演算手段70の処理負荷を低減できる。さらに、前記受光状態を指示位置と側面形状の算出に用いているため、例えばいわゆるタッチパネルを用いて指示位置を算出するとともに前記受光状態に基づいて側面形状を算出するなど、指示位置と側面形状を算出するための別々の構成を設ける場合と比べて、構成要素を少なくできる。
 (5)演算手段70は、指示物の色を認識する処理の前に、カラーカメラ50の初期オフセット処理と外乱光確認スキャン処理を実施している。
 このため、外乱光の影響を最小限に抑えた状態で、指示物の色を認識することができる。
 (6)演算手段70は、指示物確認スキャン処理をする前に、第1,第2の赤外線カメラ30,40の初期オフセット処理を実施している。
 このため、第1~第4の発光手段31,32,41,42や第1,第2の受光手段33,43に汚れが付着したなどの原因により、第1,第2の受光手段33,43での受光量があらかじめ設定された値に満たない場合でも、この状態を基準にした受光量調整値を算出することで、汚れの除去などをすることなく、適切な処理を実施できる。
[第2実施形態]
 次に、本発明の第2実施形態について説明する。
 {電子黒板装置の構成}
 図2において、表示装置としての電子黒板装置1Aは、赤ペンRr、緑ペンRg、青ペンRb、指Rf、掌Rpの動きに応じて描画像Tr,Tg,Tb,Tfを表示させたり、これらを消去したり、拡大、縮小したりする。
 電子黒板装置1Aは、情報処理装置80Aを構成する演算手段70Aの処理実施手段76A以外は、第1実施形態の電子黒板装置1と同様の構成を有している。なお、第2実施形態の電子黒板装置1Aは、表示手段20Aの表示面21Aが垂直になるように、例えば教室の壁に設置される。
 {電子黒板装置の動作}
 次に、電子黒板装置1Aの動作について説明する。
 図9は、書込終了時の表示状態を示す模式図である。図10は、一つの描画像の拡大表示状態を示す模式図である。図11は、二つの描画像の拡大表示状態を示す模式図である。図12は、模範解答の表示状態を示す模式図である。
 まず、電子黒板装置1Aの演算手段70Aは、第1実施形態の電子黒板装置1でのステップS1~S11の処理と同様の処理を実施する。そして、処理実施手段76Aは、図9に示すように、赤ペンRr、緑ペンRg、青ペンRb、指Rfで指示された位置に、描画像Tr,Tg,Tb,Tfを表示させる(指示位置表示処理)。また、処理実施手段76Aは、描画像Tr,Tg,Tb,Tfのデータを記憶手段60に記憶させる。
 なお、描画像Tf(問題Tf)は、教師が書いた問題であり、描画像Tr,Tg,Tb(第1,第2,第3解法Tr,Tg,Tb)は、生徒が書いた第1,第2,第3解法である。
 この後、処理実施手段76Aは、教師による、例えば第1解法Trを指示する操作と、表示面21A上の図示しない拡大ボタンの操作とに基づいて、第1解法Trのみを拡大させて表示させる旨の描画像指定要求を認識すると、図10に示すように、第1解法Trのみを表示面21Aの中央に拡大して表示させる(表示状態変更処理)。具体的には、処理実施手段76Aは、拡大前の第1解法Trの上下左右のそれぞれの端部の位置を検出することで第1解法Trの中心を特定し、この中心が表示面21Aの中央に位置するように移動させて拡大する。
 そして、処理実施手段76Aは、教師の指Rfの動きに応じて、コメントを表す描画像Tf1(コメントTf1)を表示させるとともに、このコメントTf1のデータを記憶手段60に記憶させる。
 また、処理実施手段76Aは、教師による第2,第3解法Tg,Tbのみを拡大させて表示させる旨の一部拡大要求を認識すると、図11に示すように、第2解法Tgを表示面21の左半分の中央に拡大して表示させるとともに、第3解法Tbを表示面21Aの右半分の中央に拡大して表示させる。
 さらに、処理実施手段76Aは、教師による模範解答を書く旨の操作を認識すると、図12に示すように、問題Tfを表示面21の左右中央かつ上側に拡大表示させるとともに、第1,第2,第3解法Tr,Tg,Tbを表示面21Aの右下端に縮小して表示させる。この後、教師の指Rfの動きに応じて、模範解答を表す描画像Tf2(模範解答Tf2)を表示させるとともに、この模範解答Tf2のデータを記憶手段60に記憶させる。
 また、処理実施手段76Aは、教師による第1解法Trを拡大表示させる旨の操作を認識すると、第1解法Trを表示面21Aの中央に拡大表示させ、問題Tf、模範解答Tf2、第2,第3解法Tg,Tbを右下端に縮小して表示させる。
 また、処理実施手段76Aは、例えば次回の授業のときに、復習する旨の操作を認識すると、教師により書かれた問題Tf、コメントTf1、模範解答Tf2を必要に応じて表示面21Aに表示させる。
 {第2実施形態の作用効果}
 以上の第2実施形態の電子黒板装置1Aによれば、第1実施形態の(1)~(6)と同様の作用効果に加えて、以下の作用効果が期待できる。
 (7)演算手段70Aは、第1解法Trのみの拡大を要求する一部拡大要求を認識すると、この要求に基づいて第1解法Trのみを拡大表示する。このため、教師は、任意の解法の解説をするときに、この解法のみを拡大表示させることで、生徒に解説対象を容易に認識させることができる。
 (8)演算手段70Aは、一部拡大要求に基づいて、この要求に対応する第1解法Trのみを表示させる。このため、教師は、拡大させた第1解法Trについての書込量を多くすることができ、授業の効率化、生徒の理解度の向上を図ることができる。
 (9)演算手段70Aは、復習する旨の操作を認識すると、前回の授業で教師により書かれた問題Tf、コメントTf1、模範解答Tf2を表示面21Aに表示させる。このため、授業の効率化を図ることができる。
[第3実施形態]
 次に、本発明の第3実施形態について説明する。
 図13は、電子黒板装置の要部の概略構成を示すブロック図である。
 {電子黒板装置の構成}
 図13において、表示装置としての電子黒板装置1Bは、赤ペンRr、緑ペンRg、青ペンRb、桃ペンRm、指Rf、掌Rpの動きに応じて、赤色、緑色、青色、桃色、黒色の描画像Tr11,Tg11,Tb11,Tm11,Tf11を表示させたり、これらを消去したり、拡大、縮小したりする。
 電子黒板装置1Bは、情報処理装置80Bを構成する演算手段70Bの処理実施手段76Bと垂直表示手段90B以外は、第1実施形態の電子黒板装置1と同様の構成を有している。なお、第3実施形態の電子黒板装置1Bおよび後述する第4実施形態の電子黒板装置1Cは、表示手段20の表示面21が水平になるように、例えば教室の中央に設置される。また、本発明の表示手段としての垂直表示手段90Bは、本体10と別体で構成されるとともに、例えば教室の壁に設置された図示しない本体に設けられ、図14に示すような表示面91Bが垂直になるように設置される。
 {電子黒板装置の動作}
 次に、電子黒板装置1Bの動作について説明する。
 図14は、垂直表示手段への課題書込終了時の表示状態を示す模式図である。図15は、表示手段へのアイディア書込終了時の表示状態を示す模式図である。図16は、表示手段での第4生徒のアイディアを第1生徒の表示領域に表示させた状態を示す模式図である。図17は、垂直表示手段に第1~第4生徒のアイディアを表示させた状態を示す模式図である。
 まず、電子黒板装置1Bの演算手段70Bは、表示面21への書込位置を生徒ごとに指定する表示領域指定要求を認識すると、第1実施形態の電子黒板装置1でのステップS1~S11の処理と同様の処理を実施する。そして、処理実施手段76Bは、図14,図15に示すように、赤ペンRr、緑ペンRg、青ペンRb、桃ペンRm,指Rfで指示された位置に、描画像Tr11,Tg11,Tb11,Tm11,Tf11を表示させる(指示位置表示処理)。また、処理実施手段76Bは、描画像Tr11,Tg11,Tb11,Tm11,Tf11のデータを記憶手段60に記憶させる。
 ここで、処理実施手段76Bは、表示面21を図15中上下左右(第1生徒G1から見ると前後左右)にそれぞれ2等分することにより区画形成される第1,第2,第3,第4表示領域21B1,21B2,21B3,21B4を設定する。そして、赤ペンRrで第1表示領域21B1が指示されたときに、第1表示領域21B1に描画像Tr11を表示させ、他の色のペンRg,Rb,Rmや指Rfで第1表示領域21B1が指示されたときに、第1表示領域21B1に描画像Tg11,Tb11,Tm11を表示させない。同様に、第2,第3,第4表示領域21B2,21B3,21B4には、それぞれ緑ペンRg、青ペンRb、桃ペンRmによるTg11,Tb11,Tm11のみを表示させ、他の色のペンや指Rfによる描画像を表示させない。
 なお、描画像Tf11(課題Tf11)は、教師が書いた課題であり、描画像Tr11,Tg11,Tb11,Tm11(第1,第2,第3,第4アイディアTr11,Tg11,Tb11,Tm11)は、第1,第2,第3,第4生徒G1,G2,G3,G4が書いた第1,第2,第3,第4アイディアである。
 また、第1,第2生徒G1,G2は、左右に並んで座っており、第3,第4生徒G3,G4は、表示手段20を挟んで第1,第2生徒G1,G2と向かい合う位置に座っている。
 そして、処理実施手段76Bは、例えば、第4生徒G4による第4アイディアTm11を他の表示領域(第1~第3表示領域21B1~21B3)に表示させる旨の操作を認識すると、図16に示すように、第1~第3表示領域21B1~21B3にアイコンHを表示させる。この後、例えば第1生徒G1によるアイコンHの選択操作を認識すると、第1表示領域21B1の右下端に、第4アイディアTm11を縮小して表示させる。
 また、処理実施手段76Bは、第1生徒G1により第4アイディアTm11の表示領域内が赤ペンRrで指示されたことを認識すると、この指示された位置に、赤ペンRrの動きに応じた赤色の描画像を表示させるとともに、この描画像が追加された第4アイディアTm11のデータを記憶手段60に記憶させる。
 さらに、処理実施手段76Bは、赤色の描画像が追記された第4アイディアTm11を第2~4表示領域21B2~21B4に表示させる旨の操作を認識すると、第2~4表示領域21B2~21B4にアイコンHを表示させる。そして、例えば第2表示領域21B2のアイコンHが選択されると、第2表示領域21B2の右下端に、赤色の描画像が追記された第4アイディアTm11を表示させる。
 さらに、処理実施手段76Bは、教師による垂直表示手段90Bに第1アイディアTr11を拡大表示させるとともに、第2,第3,第4アイディアTg11,Tb11,Tm11を縮小表示させる旨の描画像指定要求を認識すると、図17に示すように、表示面91Bに表示させる(表示状態変更処理)。
 そして、教師により第1アイディアTr11の表示領域内が指Rfで指示されたことを認識すると、この指示された位置に黒色の描画像を表示させるとともに、この描画像が追加された第1アイディアTr11のデータを記憶手段60に記憶させる。
 {第3実施形態の作用効果}
 以上の第3実施形態の電子黒板装置1Bによれば、第1,2実施形態の(1)~(7)、(9)と同様の作用効果に加えて、以下の作用効果が期待できる。
 (10)演算手段70Bは、第1~第4表示領域21B1~21B4に、それぞれ赤ペンRr、緑ペンRg、青ペンRb、桃ペンRmのみの指示に応じた描画像を表示させる。このため、例えば第1表示領域21B1への意図しない描画像の追加を防止できる。
[第4実施形態]
 次に、本発明の第4実施形態について説明する。
 {電子黒板装置の構成}
 図13において、表示装置としての電子黒板装置1Cは、第2実施形態の電子黒板装置1Bと同様に、赤色、緑色、青色、桃色、黒色の描画像Tr21,Tr22,Tg21を表示させたり、これらを消去したり、拡大、縮小したりする。
 電子黒板装置1Cは、情報処理装置80Cを構成する演算手段70Cの処理実施手段76C以外は、第3実施形態の電子黒板装置1Bと同様の構成を有している。
 {電子黒板装置の動作}
 次に、電子黒板装置1Cの動作について説明する。
 図18は、表示手段への書込時の表示状態を示す模式図である。図19は、垂直表示手段への書込時の表示状態を示す模式図である。
 まず、電子黒板装置1Cの演算手段70Cは、第1実施形態の電子黒板装置1でのステップS1~S11の処理と同様の処理を実施する。そして、処理実施手段76Cは、記憶手段60に記憶された元画像Qを、表示手段20の2箇所と、垂直表示手段90Bの1箇所に表示させる旨の操作を認識すると、図18,19に示すように、元画像Qを表示させる。
 ここで、処理実施手段76Cは、表示面21を図18中(第1生徒G1から見ると前後)に2等分することにより区画形成される第1,第2表示領域21C1,21C2を設定する。
 なお、第1生徒G1は、第2生徒G2と向かい合う位置に座っている。
 また、元画像Qとしては、第1,第2生徒G1,G2あるいは教師が以前に書いた描画像であってもよいし、撮像手段で撮像された風景などの画像であってもよい。
 そして、処理実施手段76Cは、描画モードにおいて、赤ペンRrで第1表示領域21C1の元画像Q内あるいは元画像Q外が指示されたときに、第1表示領域21C1の指示位置に描画像Tr21を表示させて(指示位置表示処理)、この描画像Tr21のデータを記憶手段60に記憶させる。さらに、第2表示領域21C2と表示面91Bにも、元画像Qと描画像Tr21を第1表示領域21C1と同じ表示状態になるように表示させる。
 また、処理実施手段76Cは、消去モードにおいて、赤ペンRrで描画像Tr21が指示されときに、描画像Tr21における指示位置に対応する部分を消去して、記憶手段60のデータを更新する。さらに、第2表示領域21C2と表示面91Bの描画像Tr21も、同様に消去する。
 さらに、処理実施手段76Cは、描画モードにおいて、緑ペンRgなど赤ペンRr以外の指示物で第1表示領域21C1が指示されても、第1,第2表示領域21C1,21C2、表示面91Bに描画像を表示させない。
 そして、処理実施手段76Cは、消去モードにおいて、赤ペンRr以外の指示物で第1表示領域21C1の描画像Tr21が指示されても、第1,第2表示領域21C1,21C2、表示面91Bに描画像Tr21を消去しない。
 つまり、処理実施手段76Cは、第1表示領域21C1が赤ペンRrで指示された場合のみ、第1,第2表示領域21C1,21C2、表示面91Bに、描画像Tr21を表示させたり、この表示させた描画像Tr21の少なくとも一部を消去する。
 また、処理実施手段76Cは、第2表示領域21C2が緑ペンRgで指示された場合のみ、第1,第2表示領域21C1,21C2、表示面91Bに、描画像Tg21を表示させたり、この表示させた描画像Tg21の少なくとも一部を消去する。
 さらに、処理実施手段76Cは、表示面91Bが赤ペンRrまたは緑ペンRgで指示された場合のみ、第1,第2表示領域21C1,21C2、表示面91Bに、描画像Tr21,Tr22,Tg21を表示させたり、この表示させた描画像Tg21,Tr22,Tg21の少なくとも一部を消去する。また、記憶手段60のデータを適宜更新する。
 {第4実施形態の作用効果}
 以上の第4実施形態の電子黒板装置1Cによれば、第1実施形態の(1)~(6)と同様の作用効果に加えて、以下の作用効果が期待できる。
 (11)演算手段70Cは、第1,第2表示領域21C1,21C2、表示面91Bのうちのいずれかの領域が指示されたことにより表示させる描画像を、他の領域にも表示させる。このため、第1,第2表示領域21C1,21C2、表示面91Bの利用者による情報の共有を図ることができる。
[他の実施形態]
 なお、本発明は前述の一実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
 すなわち、指示物の指示位置を特定する構成として、以下のような構成を適用してもよい。
 まず、指示物に向けて発せられた無線媒体(光、音)の反射状態に基づいて、指示位置を特定してもよい。この場合、無線媒体を受信する受信手段(例えば、カメラ)が一つでは奥行き方向の位置を算出できないため、受信手段を複数設けることが好ましい。
 また、TOF(Time-Of-Flight(飛行時間計測))方式を用いて、無線媒体が指示物で反射して戻ってくるまでの時間に基づいて、指示位置を特定してもよい。
 さらに、静電容量方式や抵抗方式を用いて、指示物と表示面との接触状態に基づいて、指示位置を特定してもよい。
 また、指示物を特定する構成として、以下のような構成を適用してもよい。
 まず、撮像手段を用いて、指示物の色、形、大きさのうちの少なくともいずれか一つに基づいて、指示物を特定してもよい。例えば、表示面上からある程度離間した位置では、形、大きさ(、色)を識別して、指示物を特定してもよい。なお、指示位置の特定精度を高くするためには、指示物と表示面とが点接触していることが好ましい。
 そして、TOF方式を用いて、無線媒体が指示物で反射して戻ってくるパターンに基づいて、指示物の形や大きさを特定してもよい。この場合、指示物と表示面との接触位置はほぼ点であるため、指示物における表示面から離間した近接位置(例えば、表示面から数ミリメートル離れた位置)における反射パターンを用いれば、形などの特定を適切にできる。
 さらに、指示位置を特定するために設けたカメラを用いて、色や形あるいは大きさを特定してもよい。
 さらに、カラーカメラ50でなく、モノクロカメラを用いて、指示物の特定の際に色を考慮しない構成としてもよい。
 さらに、第1,第2の赤外線カメラ30,40での受光状態に基づいて指示位置のみを認識するとともに、指示物の大きさによらず表示面全体画像500から同じ大きさの指示位置画像510を抽出する。そして、指示位置画像510に基づいて、指示物の形、大きさ、色のうちの少なくともいずれか一つを指示物の態様として認識して、この態様と指示位置に対応する処理をしてもよい。
 そして、指示位置特定手段73で特定された複数の指示位置に基づいて、指示物の一連の動きを認識した後に、この一連の動きに対応する処理をする構成としてもよい。例えば、上記実施形態では、赤ペンRrの指示位置を認識するごとに赤い点を表示させ、この赤い点を連続的に表示させることで赤い線を表示させていたが、赤ペンRrの一連の動きを認識した後に、この一連の動きに対応する赤い線を描く構成としてもよい。
 また、表示面21上の特定の位置を指示する指示物に応じて異なる処理をしてもよい。
 また、カラーカメラ50や第1,第2の赤外線カメラ30,40の初期オフセット処理を実施しなくてもよいし、外乱光確認スキャン処理を実施しなくてもよい。
 そして、指示物の大きさによらず、表示面全体画像500から同じ大きさの指示位置画像510を抽出してもよい。また、カラーカメラ50よりも狭い撮影範囲のカメラを用いるとともに、指示位置特定手段73で特定された指示位置に基づきカメラを動かし撮影方向を変更することで、指示位置のみを撮影した指示位置画像510を取得してもよい。
 さらに、指示物Rの動きに対応する描画像を表示させたが、指示物Rに対して予め設定された指示物対応画像を指示物Rでの指示位置に表示させてもよい。例えば、赤ペンRrで指示されたときに、赤ペンRrの動きにかかわらず、赤い丸を表示させてもよい。また、赤ペンRr、緑ペンRg、青ペンRb、指Rfに対応する色の線を表示させたが、これらに対応する太さや線種の線を表示させてもよい。例えば、赤ペンRrで指示されたときに、黒い実線を表示させ、緑ペンRgで指示されたときに、黒い点線を表示させてもよい。
 さらに、本発明の表示装置を、携帯型や設置型のパーソナルコンピュータ、携帯電話やPDA(Personal Digital Assistant)などの携帯端末装置、業務用インフォメーションや車内インフォメーションの表示装置に用いてもよいし、電子機器やナビゲーション装置などの操作装置に用いてもよい。
 また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは一つのIC(Integrated Circuit)などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、上述したように取扱が容易で、利用の拡大が容易に図れる。
 その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
[実施形態の作用効果]
 上記したように、電子黒板装置1は、第1,第2の赤外線カメラ30,40における指示物からの反射光の受光状態に基づいて、表示面21上での指示物による指示位置と側面形状を算出し、表示面21上の全体のうちの前記指示位置を撮影した指示位置画像510を取得する。そして、この指示位置画像510を処理することで指示物の色を認識して、指示物の指示位置と側面形状と色に対応する色の描画像Tr,Tg,Tb,Tfを表示させ、描画像表示中の描画像指定要求に基づいて、所定の色の描画像Trのみを表示させる。
 このため、描画像Tr,Tg,Tb,Tf表示中における描画像指定要求に基づいて、描画像Trのみを表示させるので、所定の描画像のみを容易に認識できる。
 本発明は、情報処理装置、その方法として利用できる。
  20,20A…表示手段
  21,21A…表示面
  70,70A,70B,70C…演算手段
  73…指示位置特定手段
  75…指示物特定手段
  76,76A,76B,76C…処理実施手段
  80,80A,80B,80C…情報処理装置
  90B…垂直表示手段

Claims (11)

  1.  表示手段の表示面上における所定位置が指示物で指示された際に、この指示位置に対応する処理を実施する情報処理装置であって、
     第1の指示物と第2の指示物を特定する指示物特定手段と、
     前記第1の指示物による第1の指示位置と、前記第2の指示物による第2の指示位置を特定する指示位置特定手段と、
     前記第1の指示位置に対応する第1の描画像、前記第2の指示位置に対応する第2の描画像を、それぞれ前記第1の指示位置、前記第2の指示位置に対応して前記表示手段に表示させるとともに、前記指示物、前記指示物による前記指示位置、及び処理実施要求に対応する処理をする処理実施手段と、
     を具備し、
     前記処理実施手段は、前記第1の描画像を表示させ、前記第2の描画像を表示させない前記処理実施要求に基づいて、前記表示手段に、前記第1の描画像を表示させ、前記第2の描画像を表示させない
     ことを特徴とする情報処理装置。
  2.  前記処理実施手段は、前記第1の描画像を前記第1の指示位置とは異なる第1の表示領域に表示させる前記処理実施要求に基づいて、前記第1の描画像を前記第1の表示領域に表示させる
     ことを特徴とする請求項1に記載の情報処理装置。
  3.  前記処理実施手段は、前記第1の描画像を前記第1の指示位置とは異なる第1の表示領域に表示させ、前記第2の描画像を前記第2の指示位置とは異なる第2の表示領域に表示させる前記処理実施要求に基づいて、前記第1の描画像を第1の表示領域に表示させ、前記第2の描画像を前記第2の表示領域に表示させる
     ことを特徴とする請求項1に記載の情報処理装置。
  4.  前記処理実施手段は、前記第1の描画像を第1の大きさまたは第1の拡大・縮小率に拡大または縮小して表示させる前記処理実施要求に基づいて、前記第1の描画像を第1の大きさまたは第1の拡大・縮小率に拡大または縮小して表示させる
     ことを特徴とする請求項1に記載の情報処理装置。
  5.  前記処理実施手段は、前記第1の描画像を第1の大きさまたは第1の拡大・縮小率に拡大または縮小して表示させ、前記第2の描画像を前記第1の大きさと異なる第2の大きさ、または前記第1の拡大・縮小率と異なる第2の拡大・縮小率に拡大または縮小して表示表示させる前記処理実施要求に基づいて、前記第1の描画像を第1の大きさまたは第1の拡大・縮小率に拡大または縮小して表示させ、前記第2の描画像を前記第1の大きさと異なる第2の大きさ、または前記第1の拡大・縮小率と異なる第2の拡大・縮小率に拡大または縮小して表示させる
     ことを特徴とする請求項1に記載の情報処理装置。
  6.  前記処理実施手段は、前記表示面を分割して設定される複数の表示領域に、互いに異なる指示物に対応する描画像のみを表示させる前記処理実施要求に基づいて、それぞれの表示領域に当該表示領域に対応する描画像のみを表示させる
     ことを特徴とする請求項1に記載の情報処理装置。
  7.  前記処理実施手段は、前記表示面を分割して設定される第1の表示領域と第2の表示領域に指定された同じ画像を表示させる旨の前記処理実施要求に基づいて、前記第1の表示領域と前記第2の表示領域に前記同じ画像を表示させることを特徴とする請求項1に記載の情報処理装置。
  8.  前記処理実施手段は、前記第1の表示領域に前記第1の指示物による第1の描画を行われると、前記第1の描画を前記第1の表示領域と前記第2の表示領域に同じように反映されて表示させ、
     前記第2の表示領域に前記第2の指示物による第2の描画を行われると、前記第2の描画を前記第1の表示領域と前記第2の表示領域に同じように反映されて表示させる
     ことを特徴とする請求項7に記載の情報処理装置。
  9.  前記処理実施手段は、前記第1の表示領域と前記第2の表示領域に表示させた前記第1の描画を、前記第1の指示物による第1の消去動作により消去し、前記第2の指示物による第2の消去動作により消去しないことを特徴とする請求項8に記載の情報処理装置。
  10.  表示手段の表示面上における所定位置が指示物で指示された際に、この指示位置に対応する処理を実施する情報処理装置であって、
     前記指示物に向けて発せられた無線媒体の反射状態、または、前記指示物で前記無線媒体が反射して戻って来るまでの時間、あるいは前記指示物と前記表示面との接触状態に基づいて、前記指示物による指示位置を特定する指示位置特定手段と、
     前記表示面全体に対応する領域のうちの少なくとも前記指示位置を撮影した指示位置画像を取得し、前記指示物の色、形、および、大きさのうちの少なくとも一つによって前記指示物を特定する指示物特定手段と、
     前記指示物、前記指示物による前記指示位置、及び処理実施要求に対応する処理をする処理実施手段と、
     を具備し、
     前記処理実施手段は、前記第1の描画像を表示させ、前記第2の描画像を表示させない前記処理実施要求に基づいて、前記表示手段に、前記第1の描画像を表示させ、前記第2の描画像を表示させない
     ことを特徴とする情報処理装置。
  11.  演算手段により、表示手段の表示面上における所定位置が指示物で指示された際に、この指示位置に対応する処理を実施する情報処理方法であって、
     前記演算手段は、
     前記指示物に向けて発せられた無線媒体の反射状態、または、前記指示物で前記無線媒体が反射して戻って来るまでの時間、あるいは前記指示物と前記表示面との接触状態に基づいて、前記指示物による指示位置を特定する指示位置特定工程と、
     前記表示面全体に対応する領域のうちの少なくとも前記指示位置を撮影した指示位置画像を取得する指示位置画像取得工程と、
     前記指示位置画像を処理して、前記指示物の色、形、および、大きさのうちの少なくとも一つによって第1の指示物と第2の指示物を特定する指示物特定工程と、
     前記指示物、前記指示物による前記指示位置、及び処理実施要求に対応する処理をする処理実施工程と、
     を実施し、
     前記処理実施工程では、前記第1の指示物の動きに対応した描画像を表示させ、前記第2の指示物の動きに対応した描画像を表示させない前記処理実施要求に基づいて、前記表示手段に、前記第1の描画像を表示させ、前記第2の描画像を表示させない
     ことを特徴とする情報処理方法。
PCT/JP2010/000187 2010-01-15 2010-01-15 情報処理装置、その方法 WO2011086600A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/521,265 US20120293555A1 (en) 2010-01-15 2010-01-15 Information-processing device, method thereof and display device
JP2011549743A JP5368585B2 (ja) 2010-01-15 2010-01-15 情報処理装置、その方法、および、表示装置
PCT/JP2010/000187 WO2011086600A1 (ja) 2010-01-15 2010-01-15 情報処理装置、その方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/000187 WO2011086600A1 (ja) 2010-01-15 2010-01-15 情報処理装置、その方法

Publications (1)

Publication Number Publication Date
WO2011086600A1 true WO2011086600A1 (ja) 2011-07-21

Family

ID=44303907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000187 WO2011086600A1 (ja) 2010-01-15 2010-01-15 情報処理装置、その方法

Country Status (3)

Country Link
US (1) US20120293555A1 (ja)
JP (1) JP5368585B2 (ja)
WO (1) WO2011086600A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075905A1 (ja) * 2014-11-13 2016-05-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2016186693A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2017072913A1 (ja) * 2015-10-29 2017-05-04 Necディスプレイソリューションズ株式会社 制御方法、電子黒板システム、表示装置およびプログラム
WO2019117294A1 (ja) * 2017-12-14 2019-06-20 国立研究開発法人産業技術総合研究所 物体識別装置及び物体識別システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9658717B2 (en) 2013-05-14 2017-05-23 Otter Products, Llc Virtual writing surface
US9229583B2 (en) 2013-05-29 2016-01-05 Otter Products, Llc Object location determination including writing pressure information of a stylus
US9170685B2 (en) * 2013-06-20 2015-10-27 Otter Products, Llc Object location determination
JP6094550B2 (ja) * 2013-09-17 2017-03-15 株式会社リコー 情報処理装置、プログラム
US9335866B2 (en) 2013-11-20 2016-05-10 Otter Products, Llc Retractable touchscreen adapter
EP3518222B1 (en) 2018-01-30 2020-08-19 Alexander Swatek Laser pointer
US20200026389A1 (en) * 2018-07-19 2020-01-23 Suzhou Maxpad Technologies Co., Ltd Electronic whiteboard capable of simultaneous writing and projection storage

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JP2000112616A (ja) * 1998-10-02 2000-04-21 Canon Inc 座標入力装置および情報処理装置
JP2003241872A (ja) * 2002-02-20 2003-08-29 Ricoh Co Ltd 描画処理方法、その方法によったプログラムおよびそのプログラムを記憶した記憶媒体
JP2006244078A (ja) * 2005-03-02 2006-09-14 Canon Inc 表示制御装置及びその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317140A (en) * 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US6331840B1 (en) * 1998-03-27 2001-12-18 Kevin W. Nielson Object-drag continuity between discontinuous touch screens of a single virtual desktop
JP3819654B2 (ja) * 1999-11-11 2006-09-13 株式会社シロク 指示体の識別機能を有する光デジタイザ
US20090019188A1 (en) * 2007-07-11 2009-01-15 Igt Processing input for computing systems based on the state of execution
US8358320B2 (en) * 2007-11-02 2013-01-22 National University Of Singapore Interactive transcription system and method
JP5170771B2 (ja) * 2009-01-05 2013-03-27 任天堂株式会社 描画処理プログラム、情報処理装置、情報処理システムおよび情報処理制御方法
US8330733B2 (en) * 2009-01-21 2012-12-11 Microsoft Corporation Bi-modal multiscreen interactivity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JP2000112616A (ja) * 1998-10-02 2000-04-21 Canon Inc 座標入力装置および情報処理装置
JP2003241872A (ja) * 2002-02-20 2003-08-29 Ricoh Co Ltd 描画処理方法、その方法によったプログラムおよびそのプログラムを記憶した記憶媒体
JP2006244078A (ja) * 2005-03-02 2006-09-14 Canon Inc 表示制御装置及びその制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075905A1 (ja) * 2014-11-13 2016-05-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2016095646A (ja) * 2014-11-13 2016-05-26 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2016186693A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2017072913A1 (ja) * 2015-10-29 2017-05-04 Necディスプレイソリューションズ株式会社 制御方法、電子黒板システム、表示装置およびプログラム
JPWO2017072913A1 (ja) * 2015-10-29 2018-05-24 Necディスプレイソリューションズ株式会社 制御方法、電子黒板システム、表示装置およびプログラム
WO2019117294A1 (ja) * 2017-12-14 2019-06-20 国立研究開発法人産業技術総合研究所 物体識別装置及び物体識別システム

Also Published As

Publication number Publication date
US20120293555A1 (en) 2012-11-22
JPWO2011086600A1 (ja) 2013-05-16
JP5368585B2 (ja) 2013-12-18

Similar Documents

Publication Publication Date Title
JP5368585B2 (ja) 情報処理装置、その方法、および、表示装置
KR100953606B1 (ko) 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법
KR100851977B1 (ko) 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
KR101575016B1 (ko) 현실 세계에서 표면들의 정보의 투영을 위한 동적 선택
US7161596B2 (en) Display location calculation means
US7142191B2 (en) Image information displaying device
JP3997566B2 (ja) 描画装置、及び描画方法
JP4768196B2 (ja) 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
US8827461B2 (en) Image generation device, projector, and image generation method
JP6327931B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP4513830B2 (ja) 描画装置、及び描画方法
TW201506696A (zh) 畫像辨識裝置及操作判定方法以及電腦程式
US20220277484A1 (en) Software Engine Enabling Users to Interact Directly with a Screen Using a Camera
JP2016162162A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
JP2005267257A (ja) 手書き情報入力システム
JP2018156466A (ja) 表示制御装置、表示制御方法、表示制御プログラム及び表示制御システム
CN102799344B (zh) 虚拟触摸屏系统以及方法
JPH07319616A (ja) 位置入力方法およびそれを用いた会議支援システム
JP4872610B2 (ja) カメラポインタ装置、ラベリング方法及びプログラム
US9785253B2 (en) Pointing device using camera and outputting mark
JPH07160412A (ja) 指示位置検出方法
JP2003099196A (ja) 会議等支援用画像投影装置
JP2003296379A (ja) シミュレーション方法
US10055026B2 (en) Interactive projector and method of controlling interactive projector
JPH06301477A (ja) 3次元空間に対する指示位置の入力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10842961

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2011549743

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13521265

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10842961

Country of ref document: EP

Kind code of ref document: A1