WO2014098164A1 - 画像表示装置、携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラム - Google Patents
画像表示装置、携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラム Download PDFInfo
- Publication number
- WO2014098164A1 WO2014098164A1 PCT/JP2013/084005 JP2013084005W WO2014098164A1 WO 2014098164 A1 WO2014098164 A1 WO 2014098164A1 JP 2013084005 W JP2013084005 W JP 2013084005W WO 2014098164 A1 WO2014098164 A1 WO 2014098164A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- instruction signal
- cursor
- terminal device
- mobile terminal
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
Definitions
- the present invention relates to an image display device that controls a mobile terminal device such as a smartphone, a mobile terminal device that performs a predetermined calibration process with the image display device, an information processing system, an image display device control method, and a program.
- the mobile terminal device has not only a function for sending and receiving e-mail and the like, but also a browser function for acquiring a document file described in a predetermined description language from a web server connected to the Internet and browsing a web page as standard.
- a browser function for acquiring a document file described in a predetermined description language from a web server connected to the Internet and browsing a web page as standard.
- those having touch panel means that can be input by touching the screen with a finger or the like are mainly used.
- In-vehicle information terminal devices such as car navigation systems (hereinafter referred to as “car navigation”) installed in automobiles, etc., send and receive e-mail using Internet communication in addition to the existing route search function and TV viewing function. Those that enable collection of various information such as browsing homepages and electronic commerce have been released.
- Patent Literature 1 discloses an in-vehicle information terminal device that communicates with a mobile terminal device. There is also known a technique that enables a mobile terminal device having a navigation function to be operated by an in-vehicle information terminal device. In this technology, a mobile terminal device is caused to execute an application function for remote operation for enabling remote operation from the in-vehicle information terminal device.
- a dedicated application program for remote operation from the in-vehicle information terminal device is required in the mobile terminal device, and the dedicated application program is installed in the mobile terminal device
- the work of doing was essential.
- the mobile terminal device needs to operate while sequentially analyzing information from the in-vehicle information terminal device by operating a dedicated application program for remote operation from the in-vehicle information terminal device on the own mobile terminal device.
- the followability of the in-vehicle information terminal device with respect to the operation information is poor and the operability is lowered.
- an object of the present invention is to provide an image display device, a portable terminal device, an information processing system, an image display device control method, and a program that can solve the above-described problems.
- the present invention has been made to solve the above-described problem, and includes an image display unit that displays an image displayed on a display screen of a mobile terminal device, and a touch operation that detects a touch operation on the display screen of the self-image display device.
- a detection unit a cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal in accordance with a predetermined communication method based on the touch operation; and the cursor movement instruction signal and the click instruction signal.
- the cursor movement instruction signal Based on the cursor movement instruction signal on the display screen of the portable terminal device, the position designated by the touch operation on the display screen of the self-image display device, The position of the moved cursor and the image displayed by the self-portrait display device and the mobile terminal device, respectively.
- a calibration unit for obtaining calibration information for the same relative position Te is an image display device comprising a.
- the present invention also relates to an image display device that displays an image displayed on the display screen of its own mobile terminal device and a mobile terminal device that performs a predetermined calibration process, wherein a cursor movement instruction signal that conforms to a predetermined communication method is received.
- a control unit that receives and moves the cursor on the display screen of the portable terminal device based on the cursor movement instruction signal, and the control unit further includes a part of the display screen of the portable terminal device.
- the present invention is an information processing system including an image display device that displays an image displayed on a display screen of a mobile terminal device, the image display device, and a mobile terminal device that performs a predetermined calibration process,
- the image display device generates a touch operation detection unit that detects a touch operation on the display screen of the self-image display device, and a cursor movement instruction signal and a click instruction signal that comply with a predetermined communication method based on the touch operation.
- a cursor operation information generation unit a cursor operation information transmission unit that transmits the cursor movement instruction signal and the click instruction signal according to the predetermined communication method, and the touch operation specified on the display screen of the self-image display device A position and a cursor moved on the display screen of the mobile terminal device based on the cursor movement instruction signal
- a calibration unit for acquiring calibration information for making the positions relatively the same with reference to images displayed by the image display device and the mobile terminal device, respectively, the calibration unit further comprising: The transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal are repeated a plurality of times via the cursor operation information transmission unit, and the mobile terminal device for the click instruction signal is transmitted.
- the calibration information is acquired based on the presence or absence of a predetermined response signal, and the portable terminal device receives the cursor movement instruction signal, and based on the cursor movement instruction signal, the portable terminal device A control unit that moves the cursor on the display screen; and the control unit is further provided on a part of the display screen of the mobile terminal device.
- Set the response region of the constant, in the case where the cursor was in the response area, upon receiving the click instruction signal is an information processing system for transmitting the response signal.
- the present invention displays an image displayed on the display screen of the mobile terminal device on another display screen, a position touched on the other display screen displaying the image, and the display of the mobile terminal device
- the calibration information for obtaining the relatively same position is acquired, the touch operation on the other display screen is detected, and the cursor movement instruction signal and the click instruction signal are generated based on the touch operation.
- the cursor movement instruction signal and the click instruction signal are transmitted according to a predetermined communication method.
- the present invention also provides a computer of an image display device that displays an image displayed on a display screen of a mobile terminal device, a touch operation detection unit that detects a touch operation on the display screen of the self-image display device, and the touch operation based on the touch operation.
- a cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal in accordance with a predetermined communication method; a cursor operation information transmission unit that transmits the cursor movement instruction signal and the click instruction signal according to the predetermined communication method
- FIG. 1 is a diagram showing a minimum configuration of the image display apparatus according to the embodiment.
- reference numeral 1 denotes an image display device.
- the image display device 1 includes at least a touch operation detection unit 100, a cursor operation information generation unit, a calibration unit 121, and a cursor operation information transmission unit 130.
- the touch operation detection unit 100 is a functional unit that detects a touch operation on the display screen of the image display device 1.
- the cursor operation information generation unit 120 is a functional unit that generates a cursor movement instruction signal and a click instruction signal conforming to a predetermined communication method based on the touch operation (the cursor movement instruction signal and the click instruction signal will be described later).
- the cursor operation information transmission unit 130 is a functional unit that transmits the cursor movement instruction signal and the click instruction signal according to a predetermined communication method.
- the calibration unit 121 includes a position designated by a touch operation on the display screen of the self-portrait display device, and a position of the mouse cursor moved based on the cursor movement instruction signal on the display screen of the mobile terminal device 2 (FIG. 2). Is a functional unit that obtains calibration information for making the positions relatively the same with reference to images displayed by the respective devices.
- FIG. 2 is a diagram specifically illustrating a functional configuration of the image display device and the mobile terminal device according to the embodiment of the present invention.
- the image display device 1 includes a touch panel 10, a display unit 11, a control unit 12, a wireless communication unit 13, and a wired communication unit 14.
- the touch panel 10 is a panel having a predetermined touch sensor, and is a functional unit that forms a touch sensor display together with the display unit 11.
- the display unit 11 is a flat display configured by a liquid crystal display, an organic EL (Electro Luminescence) display, and the like, and is a functional unit that transmits various types of information through a user's vision.
- the touch panel 10 is realized by using a capacitance method, a resistance method, or the like, as in a commonly used touch sensor display, and the position touched on the display screen of the display unit 11 is represented by coordinate information ( X, Y).
- the touch panel 10 is an aspect of the touch operation detection unit 100 in FIG.
- the display unit 11 in the present embodiment displays an image that is based on the image information received by the wired communication unit 14 from the mobile terminal device 2 and is equivalent to the image displayed on the display screen of the mobile terminal device 2.
- car navigation function an application function for car navigation
- the display unit 11 of the image display device 1 also displays the image for the car navigation function.
- the control unit 12 is a functional unit that executes various processes in accordance with information input from various functional units in addition to the touch panel 10 and outputs the process or result of the processing to a predetermined functional unit.
- the control unit 12 is generally configured by causing a CPU (Central Processing Unit, central processing unit) to execute a predetermined program.
- a CPU Central Processing Unit, central processing unit
- the wireless communication unit 13 is a functional unit that performs wireless communication with the mobile terminal device 2 in accordance with a predetermined communication method.
- the wireless communication unit 13 implements wireless communication using a Bluetooth (registered trademark) HID (Human Interface Device) profile (hereinafter simply referred to as “HID profile”).
- Bluetooth registered trademark
- HID profile is one of short-range wireless communication standards for electronic devices.
- the HID profile is a wireless communication standard for an input device such as a mouse or a keyboard among Bluetooth (registered trademark) profiles.
- the wireless communication unit 13 is an aspect of the cursor operation information transmission unit 130 illustrated in FIG.
- the “HID profile” is an aspect of the “predetermined communication method” in the present embodiment.
- the wireless communication unit 13 in the present embodiment transmits a cursor movement instruction signal, a press instruction signal, or a release instruction signal that is mouse operation information based on the HID profile (the contents of each instruction signal will be described later).
- the wireless communication unit 13 may transmit and receive a keyboard operation signal based on the HID profile in addition to the cursor movement instruction signal, the press instruction signal, or the release instruction signal.
- the exchange of mouse operation information between the image display device 1 and the portable terminal device 2 is realized using wireless communication (Bluetooth (registered trademark) HID profile) as described above.
- Bluetooth registered trademark
- the mouse operation information may be transmitted / received using predetermined wired communication assuming a USB (Universal Serial Bus) mouse.
- the wireless communication unit 13 performs wireless communication using a Bluetooth (registered trademark) SPP (Serial Port Profile) profile (hereinafter simply referred to as “SPP profile”).
- SPP profile is a profile for converting an electronic device that communicates with Bluetooth (registered trademark) into a virtual serial port.
- the wireless communication unit 13 receives, for example, the image resolution on the display unit 21 of the mobile terminal device 2 and the orientation (vertical, horizontal) of the mobile terminal device 2 by wireless communication compliant with the SPP profile.
- the wired communication unit 14 is a functional unit that performs wired communication with the mobile terminal device 2.
- the wired communication unit 14 is a wired connection unit having, for example, an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal.
- the wired communication unit 14 is connected to the wired communication unit 24 of the mobile terminal device 2 via the HDMI cable 3.
- the wired communication unit 14 in the present embodiment receives image information of an image being displayed on the display unit 21 of the mobile terminal device 2, for example.
- the exchange of image information between the image display device 1 and the mobile terminal device 2 is realized using wired communication (HDMI), but is limited to this aspect in other embodiments. It is not a thing. That is, when a sufficient communication speed can be realized for transmitting and receiving image information, the image information may be transmitted and received using wireless communication.
- HDMI registered trademark
- HDMI High-Definition Multimedia Interface
- the mobile terminal device 2 includes a touch panel 20, a display unit 21, a control unit 22, a wireless communication unit 23, and a wired communication unit 24.
- the basic functions of the touch panel 20 and the display unit 21 are the same as the functions of the touch panel 10 and the display unit 11 included in the image display device 1. As described above, for example, when the car navigation application function is executed in the mobile terminal device 2, the display unit 21 displays an image for the car navigation application function.
- the control unit 22 included in the mobile terminal device 2 is a functional unit that performs various processes in the mobile terminal device 2, similarly to the control unit 12 in the image display device 1.
- the control unit 22 is configured by causing the CPU to execute a predetermined program in the same manner as the control unit 12.
- the control unit 22 is a functional unit that reads out an application program describing a car navigation function, for example, and realizes the car navigation function.
- control unit 22 receives a cursor movement instruction signal conforming to the HID profile, and moves the mouse cursor on the screen of the display unit 21 based on the cursor movement instruction signal. For example, when the control unit 22 receives a “cursor movement instruction signal” as mouse operation information from an external device, the control unit 22 displays the mouse cursor displayed on the display unit 21 of the mobile terminal device from the current position. The process of moving in the distance and direction based on the is executed.
- the cursor movement instruction signal is a signal based on the HID profile that is output by the mouse itself in response to an operation of moving the mouse by the user.
- the control unit 22 executes processing based on a mouse button press operation (an operation of pressing a predetermined button provided on the mouse).
- a mouse button release operation an operation to release the pressed button.
- a mouse operation there is a “click operation” in which a release operation is performed after a press operation. Further, a “drag operation” is performed by moving the mouse cursor while maintaining the press operation.
- a series of signal sets of release instruction signals following the press instruction signal is defined as a “click instruction signal”.
- the wireless communication unit 23 establishes wireless communication based on the HID profile and the SPP profile with respect to the wireless communication unit 13 of the image display device 1. For example, the wireless communication unit 23 receives mouse operation information (cursor movement instruction signal, press instruction signal, release instruction signal) based on the HID profile from the wireless communication unit 13 of the image display apparatus 1. Similar to the wired communication unit 14 of the image display device 1, the wired communication unit 24 is a wired connection unit having an HDMI terminal, and performs wired communication with the wired communication unit 14 via the HDMI cable 3. For example, the wired communication unit 24 transmits image information of an image being displayed on the display unit 21 to the wired communication unit 14 of the image display device 1.
- the image display device 1 establishes wired communication and wireless communication with the mobile terminal device 2 in which the car navigation function is executed, and functions as a car navigation system mounted on an automobile or the like.
- the image display device 1 according to the present embodiment is an image display device that displays an image displayed on the display screen of the mobile terminal device 2, and the operation of a user performing a car navigation function realized in the mobile terminal device 2. It can be said that it is an auxiliary device used for the purpose of improving convenience.
- the mobile terminal device 2 is a device that functions as the basis of the car navigation system, while the image display device 1 uses the image displayed on the display screen of the mobile terminal device 2 as the display screen of the self-image display device.
- the image display device 1 can function as an aspect other than the car navigation system depending on the application function executed in the mobile terminal device 2. For example, when the mobile terminal device 2 is executing a video playback function, the image display device 1 functions as a video playback system by establishing wired communication and wireless communication with the mobile terminal device 2 that has executed the video playback function. .
- FIG. 3 is a first diagram illustrating operations of the image display device and the mobile terminal device according to the embodiment of the present invention.
- the portable terminal device 2 that has executed the application program for car navigation is connected to the image display device 1 by the HDMI cable 3.
- the control unit 22 (not shown in FIG. 3) of the portable terminal device 2 transmits image information of the image (main image A) being displayed on the display unit 21 of the own portable terminal device via the wired communication unit 24.
- the main image A is a display image for realizing the car navigation function in the mobile terminal device 2.
- the control unit 12 (not shown in FIG. 3) of the image display device 1 displays the main image A ′ based on the image information of the main image A received via the wired communication unit 14 as a display unit of the self-image display device. 11 is output.
- the control unit 12 simultaneously receives the resolution information for the main image A.
- the resolution information is information indicating the aspect ratio and resolution of an image based on the number of pixels W2 in the horizontal direction and the number of pixels H2 in the vertical direction of the display unit 21 of the mobile terminal device 2.
- the control unit 12 enlarges and displays the main image A to the limit that the entire main image A ′ based on the received main image A can be drawn on the display unit 11. Since the display (display unit 21) used for the ordinary portable terminal device 2 is small, it is difficult for the user to visually recognize the information as it is, but the image display device 1 displays the main image A ′ as the self-image display device. This problem can be solved by displaying the entire display unit 11.
- the control unit 12 displays the main image A ′ on the display unit 11 of the self-image display device while maintaining the aspect ratio of the main image A, and the area of the display screen of the display unit 11 where the main image A ′ is not displayed.
- a blank image B (for example, a black image) is displayed (FIG. 3).
- FIG. 4 is a second diagram illustrating operations of the image display device and the mobile terminal device according to the embodiment of the present invention.
- the cursor operation information generation unit 120 generates mouse operation information (cursor movement instruction signal, press instruction signal, release instruction signal) based on the HID profile based on the user's touch operation on the touch panel 10 of the image display device 1.
- the said mouse operation information is produced
- the cursor operation information generation unit 120 assumes that the mouse cursor in the mobile terminal device 2 is in advance at the coordinates (0, 0) that is the reference position (for example, the lower right corner on the display unit 21). In particular, a cursor movement instruction signal) is generated.
- the touch panel 10 first detects a touch operation at coordinates (X1, Y1) (right side in FIG. 4). Then, the cursor operation information generation unit 120 immediately generates a cursor movement instruction signal (X2, Y2) corresponding to the touch position (X1, Y1).
- the cursor operation information generation unit 120 generates a cursor movement instruction signal based on the scale of the display unit 21 of the mobile terminal device 2 with respect to the display unit 11 of the self-portrait display device acquired in advance and predetermined “calibration information”. (“Calibration information” will be described later). Then, the cursor operation information generation unit 120 outputs the cursor movement instruction signal (X2, Y2) and then the click instruction signal (press instruction signal and subsequent release instruction signal) to the wireless communication unit 13.
- the “touch time” of the touch operation performed by the user that is, the time from when the finger touches the touch panel 10 until it is released is from when the press instruction signal is transmitted in the click instruction signal until the release instruction signal is transmitted.
- the cursor operation information generation unit 120 outputs a press instruction signal by detecting that the finger touches the touch panel 10, and then outputs a release instruction signal by detecting that the finger has left the touch panel 10. May be.
- a so-called “long press” operation performed by the user an operation that keeps touching the touch panel 10 for a certain period of time) can be reflected as a mouse operation in the mobile terminal device 2.
- the control unit 22 (not shown in FIG. 4) of the mobile terminal device 2 receives the cursor movement instruction signal (X2, Y2) and the click instruction signal via the wireless communication unit 23.
- the control unit 22 receives the various received signals as mouse operation information based on the HID profile.
- the control unit 22 moves the cursor in accordance with the cursor movement instruction signal (X2, Y2) from the current position (reference position (0, 0)) to the X axis direction (left direction on the paper) by the X2 width and in the Y axis direction (paper surface). Move upward Y) by Y2 width (left side in FIG. 4).
- the control unit 22 executes a process when a mouse click operation is received.
- the cursor operation information generation unit 120 generates and outputs a series of mouse operation information as described above, so that the touch operation on the image display device 1 based on the user's intention is performed in the portable terminal device 2. It is processed as a mouse operation reflecting the user's intention (moving the mouse cursor and clicking).
- the cursor operation information generation unit 120 outputs a cursor movement instruction signal for returning the mouse cursor to the reference position (0, 0) after outputting a cursor movement instruction signal and a click instruction signal based on the touch operation. In this way, the cursor operation information generation unit 120 moves the cursor on the assumption that the cursor position of the mobile terminal device 2 is at the reference position (0, 0) every time a touch operation is detected in the self-image display device. An instruction signal can be generated.
- FIG. 5 is a third diagram for explaining the operation of the image display device and the mobile terminal device according to the embodiment of the present invention.
- the operation of the cursor operation information generation unit 120 when a drag operation operation in which a finger touches the touch panel 10 and slides to another position as it is
- the cursor operation information generation unit 120 generates mouse operation information based on the HID profile based on the user's drag operation, as in the case of the touch operation.
- the cursor operation information generation unit 120 detects the start of the drag operation (the finger touching the touch panel 10), the cursor movement instruction signal (X2, Y2) corresponding to the initial position (X1, Y1) of the drag operation. Is generated.
- This process is equivalent to the cursor movement process for the touch operation process described above. That is, the cursor operation information generation unit 120 generates the cursor movement instruction signal (X2, Y2) on the assumption that the mouse cursor in the mobile terminal device 2 is in the reference position (0, 0) in advance. Further, the cursor operation information generation unit 120 generates a press instruction signal following the cursor movement instruction signal and transmits the press instruction signal via the wireless communication unit 13.
- the touch panel 10 detects a drag operation from the coordinates (X1, Y1) to the coordinates (X1 ′, Y1 ′) (right side in FIG. 5). Then, the cursor operation information generation unit 120 calculates the difference (dX1, dY1) between the start point position (X1, Y1) and the end point position (X1 ′, Y1 ′) of the drag operation, and according to the difference coordinates (dX1, dY1).
- the cursor movement instruction signal (dX2, dY2) is generated. Also in this case, the cursor operation information generation unit 120 generates a cursor movement instruction signal based on the scale of the display unit 21 with respect to the display unit 11 and predetermined calibration information (described later).
- the control unit 22 (not shown in FIG. 5) of the mobile terminal device 2 receives the cursor movement instruction signal (dX2, dY2) via the wireless communication unit 23.
- the control unit 22 receives the received signal as mouse operation information based on the HID profile.
- the control unit 22 moves the mouse cursor from the current position (X2, Y2) to the X-axis direction (leftward on the paper) by the dX2 width and in the Y-axis direction (downward on the paper) ) By dY2 width (left side in FIG. 5).
- the cursor operation information generation unit 120 does not output the release instruction signal until it detects the end of the drag operation (the finger has been released from the touch panel 10) after outputting the press instruction signal at the start of the drag operation.
- the mouse button is kept pressed.
- the cursor operation information generation part 120 can make the drag operation using the finger in the image display device 1 correspond to the drag operation using the mouse in the mobile terminal device 2.
- the cursor operation information generation unit 120 outputs a cursor movement instruction signal for returning the mouse cursor to the reference position (0, 0) following the release instruction signal. By doing in this way, the cursor operation information generation part 120 can return the cursor position of the portable terminal device 2 to the reference position (0, 0) even after the end of the drag operation.
- the image display device 1 in the present embodiment reproduces the user's “touch operation” and “drag operation” on the image display device 1 as mouse operations on the mobile terminal device 2.
- the user does not need to directly operate a small display (display unit 21) of the mobile terminal device 2, and a relatively large size display (display unit 11) of the image display device 1 is used. ) To operate the mobile terminal device 2 as intended.
- the mobile terminal device 2 is remotely operated using an HID profile that can be normally used in the case of a general mobile terminal device 2. Therefore, the user does not need to install an application program for cooperative operation for causing the image display device 1 and the mobile terminal device 2 to function as a car navigation system. Further, if the HID profile is used, the mobile terminal device 2 receives a cursor movement instruction signal, a press instruction signal, and a release instruction signal as signals using a normal wireless mouse. The processing is also executed promptly as an operation using a normal wireless mouse.
- the touch operation and the drag operation in the image display device 1 in order for the touch operation and the drag operation in the image display device 1 to be reproduced as the mouse operation in the mobile terminal device 2 as intended by the user, at the touch position or the drag operation in the display unit 11.
- the designated position and the position where the mouse cursor is moved on the display unit 21 based on the cursor movement instruction signal must always be relatively the same with respect to the image displayed on each display unit. .
- the aspect ratio and resolution of the display unit 21 vary depending on the mobile terminal device 2 used by the user. Further, even if the image display apparatus 1 transmits a cursor movement instruction signal having the same content, depending on the specification (or user setting) of the mobile terminal apparatus 2 that has received the signal, the movement in which the mouse cursor actually moves on the display unit 21 The amount will vary. Therefore, the image display device 1 does not prepare a predetermined piece of calibration information, but every time the mobile terminal device 2 is connected to the image display device 1, the image display device 1 is used for calibration of the mobile terminal device 2. Need to get information.
- the calibration unit 121 and the position specified by the touch operation on the display screen of the display unit 11 and the display screen of the display unit 21 of the mobile terminal device 2 are displayed.
- the calibration information necessary to make the position of the mouse cursor moved based on the cursor movement instruction signal always the same position on the basis of the image displayed on each display unit is acquired.
- 6A and 6B are diagrams for specifically explaining the contents of the cursor movement instruction signal according to the embodiment of the present invention.
- the content of the cursor movement instruction signal will be described in detail with reference to FIGS. 6A and 6B.
- 6A and 6B show cursor movement instruction signals having different contents.
- the cursor movement instruction signal based on the HID profile is composed of a combination of two pieces of information, “movement amount L” and “movement speed V”.
- the movement amount L is a reference amount for moving the mouse cursor described above.
- the value of the movement amount L transmitted from the wireless mouse corresponds to the distance that the user actually moved the wireless mouse. That is, when the user greatly moves the wireless mouse, the movement amount L received by the receiving side (mobile terminal device 2) increases in accordance with the movement distance. However, on the receiving side, the received movement amount L is not applied as it is as the movement amount of the mouse cursor on the display unit 21. This point will be described later.
- the movement amount L is represented by a combination of a movement amount Lx in the X-axis direction and a movement amount Ly in the Y-axis direction.
- the transmission side of a cursor movement instruction signal such as a general wireless mouse divides the movement amount L into a predetermined divided movement amount Lp, and transmits this divided into a plurality of times. Then, the receiving side receives the divided movement amount Lp per transmission as “movement speed V” which is another information.
- the cursor movement instruction signal shown in FIG. 6A sets the movement amount L to “30” by transmitting the divided movement amount Lp per transmission as “15” in two steps.
- the divided movement amount Lp per transmission is set to “7.5”, and the movement amount L is set to “30” by dividing the transmission into four times.
- the receiving side receives the movement amount per unit time (for example, 1 second) based on the divided movement amount Lp as the movement speed V.
- the movement speed V is represented by a combination of a movement speed Vx in the X-axis direction and a movement speed Vy in the Y-axis direction.
- FIG. 7 is a diagram illustrating movement amount multiplying rate information included in the mobile terminal device according to the embodiment of the present invention.
- the control unit 22 of the mobile terminal device 2 determines the actual movement amount of the mouse cursor on the display unit 21 based on the movement amount L and the movement speed V defined as described above.
- the control unit 22 specifies a “multiplication rate” by which the movement amount received by referring to “movement amount multiplication rate information” set in advance in the mobile terminal device is multiplied. That is, the control unit 22 executes the movement process using the value obtained by multiplying the received movement amount by the “multiplication rate” as the actual movement amount of the mouse cursor.
- the range of moving speed V is defined in the left column of the moving amount multiplying rate information table shown in FIG. 7, and the multiplying rate corresponding to each range of moving speed V is defined in the right column. That is, the multiplication rate to be applied is specified based on the moving speed V to be received.
- the effective movement amount LA that is the actual movement amount of the mouse cursor on the display unit 21 is “39”
- the process in which the control unit 22 of the mobile terminal device 2 dynamically changes the effective movement amount LA according to the movement speed V is a known technique used to make normal mouse operations performed by the user comfortable. is there. That is, when the user quickly moves the mouse, the mobile terminal device 2 automatically increases the amount of movement of the mouse cursor on the assumption that the user intends to move the cursor greatly. On the other hand, when the user moves the mouse slowly, it is assumed that the user intends to fine-tune the cursor, and the amount of movement of the mouse cursor is automatically reduced. Note that the movement amount adjustment function according to the movement speed as described above is used not only for the mobile terminal device 2 but also for all electronic devices that accept mouse operations.
- the moving amount multiplying rate information table shown in FIG. 7 is unique information determined in the mobile terminal device 2, and It can also be customized according to user settings. Therefore, in order for the image display device 1 to realize the above-described cooperation processing with the mobile terminal device 2 (FIGS. 4 and 5), the image display device 1 has the movement amount multiplying rate information inherently possessed by the mobile terminal device 2. Need to get.
- the cursor operation information generation unit 120 associates the touch coordinates (X1, Y1) in the touch operation with the movement amounts (X2, Y2) of the mouse cursor in the mobile terminal device 2 while referring to the acquired movement amount multiplication rate information. I do.
- the calibration unit 121 of the image display device 1 performs a predetermined calibration process, and is a unique information determined in the mobile terminal device 2 and is applied to the movement amount L applied according to the movement speed V.
- the moving amount multiplying rate information defining the multiplying rate is specified based on the processing procedure shown below.
- the movement amount multiplying rate information is an aspect of “calibration information”.
- the control unit 22 of the mobile terminal device 2 reads a predetermined calibration application program in order to realize the calibration process of the calibration unit 121.
- control unit 22 that has read the calibration application program sets a predetermined response area 211 in a part of the screen of the display unit 21, and when the mouse cursor is in the response area 211, a click instruction signal Is received, a process of transmitting a predetermined response signal is executed.
- specific means for acquiring the movement amount multiplication rate information in the calibration unit 121 will be described.
- FIG. 8 is a diagram illustrating the initial operation of the calibration unit according to the embodiment of the present invention.
- the number of pixels of the display unit 21 of the mobile terminal device 2 in this embodiment is 580 in the X-axis direction (horizontal direction on the paper surface) and 350 in the Y-axis direction (vertical direction on the paper surface).
- the calibration unit 121 transmits an activation instruction signal for the calibration application function via the wireless communication unit 13 prior to the start of the calibration process.
- the control unit 22 (not shown in FIG. 8) of the mobile terminal device 2 receives the activation instruction signal via the wireless communication unit 23, the control unit 22 reads a calibration application program stored in advance in the mobile terminal device 2. To execute a predetermined calibration application function.
- a procedure in which the calibration unit 121 acquires the movement amount multiplication rate information in the X-axis direction using the calibration application function will be described.
- FIG. 8 shows a state where a display image based on the calibration application function is displayed on the display unit 21.
- the display image based on the calibration application function includes a non-response area 210 and a response area 211 as shown in FIG.
- the response area 211 is set to an area of one pixel width (at the left end of the display unit 21 in FIG. 8) farthest from the reference position (0, 0) of the mouse cursor.
- the non-response area 210 is set as all areas other than the response area 211.
- the control unit 22 When the mouse cursor is located in the response area 211, the control unit 22 receives a click instruction signal from the outside, and transmits a predetermined response signal via the wireless communication unit 23 based on the calibration application function. On the other hand, if the control unit 22 receives a click instruction signal from the outside when the mouse cursor is positioned in the non-response area 210, the control unit 22 does not transmit the predetermined response signal.
- the calibration unit 121 repeats the transmission of the cursor movement instruction signal and the subsequent transmission of the click instruction signal via the wireless communication unit 13 a plurality of times, and receives a predetermined response signal from the mobile terminal device 2 in response to the click instruction signal.
- a calibration process is executed based on the presence or absence.
- FIG. 9 is a first diagram illustrating a first specifying process of the calibration unit according to the embodiment of the present invention.
- the calibration unit 121 first performs a “first identification process” for identifying the multiplication rate A (the right column in FIG. 7) corresponding to the moving speed Vx.
- the calibration unit 121 first transmits a predetermined cursor movement instruction signal to move the mouse cursor to the reference position (0, 0).
- the calibration unit 121 can move the mouse cursor of the mobile terminal device 2 to the reference position (0, 0) even when the image display device 1 does not grasp the movement amount multiplication rate information. is there.
- the calibration unit 121 transmits a sufficiently large amount of movement with respect to the resolution of the display unit 21 of the mobile terminal device 2, the mouse cursor naturally fits at the end of the display unit 21 (that is, the reference position).
- the calibration unit 121 repeats transmission of the cursor movement instruction signal and the click instruction signal a plurality of times while increasing the movement amount Lx by a predetermined amount while the movement speed Vx is fixed to a predetermined maximum movement speed.
- the maximum movement speed is a movement speed corresponding to the maximum value of the divided movement amount Lp that can be sent in one transmission in the HID profile. In the following description, this maximum moving speed is set to 300 as an example.
- the image display device 1 cannot grasp how much the position of the mouse cursor moved in the mobile terminal device 2 has actually moved from the reference position. .
- the calibration unit 121 then transmits a click instruction signal.
- the mobile terminal device 2 receives the click instruction signal, the mobile terminal device 2 executes a process when a click operation using a mouse is received.
- a predetermined response signal is not transmitted in response to the click instruction signal.
- the image display device 1 detects that the response signal is not received for a predetermined period, and grasps that the mouse cursor has not reached the response area 211 (that is, the end of the display unit 21).
- the calibration unit 121 transmits a cursor movement instruction signal for once returning the position of the mouse cursor to the reference position.
- the mobile terminal device 2 receives the cursor movement instruction signal and moves the mouse cursor.
- the calibration unit 121 detects that there is no response signal for a predetermined period with respect to the click instruction signal transmitted subsequently, the calibration unit 121 repeats the same processing while further increasing the movement amount Lx.
- FIG. 9B shows a state after the calibration unit 121 repeats the process of transmitting the cursor movement instruction signal while increasing the movement amount Lx a plurality of times.
- the calibration unit 121 then transmits a click instruction signal.
- the mobile terminal device 2 receives the click instruction signal, the mobile terminal device 2 executes a process when a click operation using a mouse is received.
- the mobile terminal device 2 transmits a predetermined response signal in response to the click operation.
- the image display apparatus 1 receives this result and grasps that the mouse cursor has reached the response area 211.
- the image display device 1 acquires in advance the resolution information (number of pixels 580 ⁇ 350) of the display unit 21 of the mobile terminal device 2 via the HDMI cable 3 and the wired communication unit 14.
- the calibration unit 121 identifies the multiplication rate A based on the movement amount L at the time when the response signal is received.
- the specific content of the first specific process is not limited to the process described above.
- the calibration unit 121 increases the movement amount Lx by 1 from the beginning.
- the configuration is not limited to this mode.
- the calibration unit 121 first increases the movement amount Lx by 100 to determine the movement amount Lx that reaches the left end of the screen, and gradually reduces the movement amount L from the stage of reaching the left end of the screen to narrow down the amount. May be. In this way, the number of repetitions required for the first specific process performed by the calibration unit 121 is reduced, and as a result, the speed of the entire calibration process can be improved.
- the value that the calibrating unit 121 sets as the maximum moving speed may be determined by hitting a value that is recognized to be sufficiently large in consideration of general specifications of the mobile terminal device 2.
- the calibration unit 121 transmits the cursor movement instruction signal while decreasing the movement amount Lx in order from a sufficiently large value, and can receive the response signal first from the state where the response signal from the mobile terminal device 2 can be received.
- the multiplication rate A may be specified with reference to the movement amount Lx at the time of disappearance.
- FIG. 10 is a first diagram illustrating a process of the calibration unit in the embodiment of the present invention.
- FIG. 11 is a diagram illustrating a second specifying process of the calibration unit according to the embodiment of the present invention.
- the calibration unit 121 obtains a range (lower limit) of the moving speed Vx to which “2” is applied for the obtained multiplication rate A.
- the calibration unit 121 performs a “second specifying process” for specifying the range of the moving speed to which the multiplication rate A specified in the first specifying process is applied.
- the calibration unit 121 moves the cursor while decreasing the moving speed Vx by a predetermined amount in a state where the moving amount Lx is fixed to the moving amount when reaching the left end of the screen in the first specific process.
- the transmission of the instruction signal and the click instruction signal is repeated a plurality of times.
- the calibration unit 121 then transmits a click instruction signal.
- An instruction signal is transmitted.
- the mobile terminal device 2 receives the cursor movement instruction signal and moves the mouse cursor. And if the calibration part 121 receives the response signal which should respond to the click instruction
- FIG. 11B shows a state after the calibration unit 121 repeats the process of transmitting the cursor movement instruction signal while decreasing the moving speed Vx a plurality of times.
- the calibration unit 121 then transmits a click instruction signal.
- the mobile terminal apparatus 2 since the mouse cursor in the mobile terminal device 2 departs from the response area 211 and belongs to the non-response area 210 as shown in FIG. 11B, the mobile terminal apparatus 2 has a predetermined response to the click instruction signal. Do not send a response signal.
- FIG. 12 is a second diagram showing the progress of the processing of the calibration unit in the embodiment of the present invention.
- the calibration unit 121 receives the fact that the moving speed Vx at which “2” is no longer applied as the multiplication rate A is “249” as a result of the first specific processing described above, and as the multiplication rate A, It is specified that the lower limit of the moving speed Vx to which “2” is applied is “250” immediately before “249” (FIG. 12).
- the calibration unit 121 detects that the response signal from the mobile terminal device 2 is not received while gradually reducing the moving speed Vx, and applies “2” to the multiplication rate A.
- the lower limit of the moving speed Vx is specified.
- the above processing in the calibration unit 121 of the present embodiment is not limited to this mode. That is, the calibration unit 121 can first receive the response signal from a state where it cannot receive the response signal from the mobile terminal device 2 by transmitting the cursor movement instruction signal while increasing the moving speed Vx sequentially from “1”, for example.
- the lower limit of the moving speed Vx at which “2” is applied to the multiplication rate A may be specified with reference to the moving speed Vx at the time of transition to the state.
- the calibrating unit 121 moves the mouse cursor to the response area 211 (the left end of the screen of the display unit 21). ) Is no longer reached. Further, the calibration unit 121 knows that the movement amount Lx when the mouse cursor stops reaching the response area 211 is “290”. Therefore, the calibration unit 121 repeats the transmission of the cursor movement instruction signal and the click instruction signal a plurality of times while increasing the movement amount Lx by a predetermined amount from “290” in a state where the movement speed Vx is fixed at “249”.
- the image display device 1 cannot grasp how much the position of the mouse cursor in the mobile terminal device 2 has actually moved from the reference position.
- the calibration unit 121 then transmits a click instruction signal.
- the mobile terminal device 2 receives the click instruction signal, the mobile terminal device 2 executes a process when a click operation using a mouse is received.
- the mobile terminal device 2 since the mouse cursor in the mobile terminal device 2 belongs to the non-response area 210 as shown in FIG. 13A, the mobile terminal device 2 does not transmit a predetermined response signal in response to the click operation.
- the image display device 1 receives this result and grasps that the mouse cursor has not reached the response area 211 (that is, the end of the display unit 21).
- the mobile terminal device 2 receives the cursor movement instruction signal and moves the mouse cursor.
- the calibration unit 121 determines that there is no response signal to be responded to the click instruction signal transmitted subsequently, the calibration unit 121 repeats the same processing while further increasing the movement amount Lx.
- FIG. 13B shows a state after the calibration unit 121 repeats the process of transmitting the cursor movement instruction signal while increasing the movement amount Lx a plurality of times.
- the calibration unit 121 then transmits a click instruction signal.
- the mobile terminal device 2 since the mouse cursor in the mobile terminal device 2 has reached the response area 211 as shown in FIG. 13B, the mobile terminal device 2 transmits a predetermined response signal in response to the click instruction signal.
- the image display apparatus 1 receives this result and grasps that the mouse cursor has reached the response area 211.
- FIG. 14 is a third diagram illustrating the progress of the processing of the calibration unit according to the embodiment of the present invention.
- the calibration unit 121 repeatedly executes the contents of the “first specifying process” and the “second specifying process” described with reference to FIGS. 9 to 14, and the movement amount set in the mobile terminal device 2. All the contents of the multiplication rate information table are specified. Note that all the above explanations are processing procedures for specifying the movement amount multiplication rate information in the X-axis direction, but the calibration unit 121 specifies the movement amount multiplication rate information in the Y-axis direction according to the same processing procedure. To do.
- 15 and 16 are a first diagram and a second diagram illustrating a processing flow of the calibration unit and the mobile terminal device according to the embodiment of the present invention.
- the processing flow of the calibration unit 121 of the image display device 1 and the mobile terminal device 2 described above will be described in order with reference to FIGS. 15 and 16.
- 15 and 16 show a processing flow after the mobile terminal device 2 is connected to the image display device 1 by wire.
- the image display device 1 receives a predetermined connection signal from the portable terminal device 2 via the wired communication unit 14, the image display device 1 establishes wired communication and wireless communication with the portable terminal device 2 (step S10). At this stage, the image display device 1 acquires information related to the mobile terminal device 2, particularly the aspect ratio of the display unit 21, resolution information, and the like.
- the calibration unit 121 transmits a predetermined calibration application activation instruction signal to the mobile terminal device 2 via the wireless communication unit 13 (step S11).
- the control unit 22 of the portable terminal device 2 reads and activates the calibration application program (step S12). When the activation of the calibration application function is completed, the control unit 22 of the portable terminal device 2 notifies that (step S13).
- the proofreading unit 121 starts the calibration process upon receiving the start completion notification of the calibration application function.
- the calibration unit 121 starts the “first identification process” (step S14).
- the calibration unit 121 transmits a cursor movement instruction signal and a click instruction signal set to predetermined values (step S15).
- the mobile terminal device 2 When receiving the cursor movement instruction signal, the mobile terminal device 2 moves the mouse cursor based on the cursor movement instruction signal, and subsequently executes a mouse click operation based on the received click instruction signal (step S16). . However, when the position of the moved mouse cursor belongs to the non-response area 210, the mobile terminal device 2 does not transmit a predetermined response signal (step S17 (state shown in FIG. 9A)). Note that the portable terminal device 2 may separately transmit a signal notifying that the position of the mouse cursor belongs to the non-response area 210 in step S17.
- the calibration unit 121 When the calibration unit 121 detects that there is no response signal from the mobile terminal device 2 for a predetermined period after transmitting the click instruction signal, the calibration unit 121 transmits a cursor movement instruction signal for returning the mouse cursor in the mobile terminal device 2 to the reference position ( Step S18).
- the portable terminal device 2 moves the mouse cursor to the reference position based on the cursor movement instruction signal (step S19).
- the calibration unit 121 receives the absence of a predetermined response signal from the mobile terminal device 2 and increases the movement amount L in a state where the movement speed V in the cursor movement instruction signal is fixed (step S20). Steps S15 to S20 are repeated until a predetermined response signal is received from 2.
- the mobile terminal device 2 When the mobile terminal device 2 receives the click instruction signal when the mouse cursor reaches the response area 211, the mobile terminal device 2 notifies the response signal (step S21 (state shown in FIG. 9B)). Upon receiving the response signal, the calibration unit 121 identifies the multiplication rate A in the movement amount multiplication rate information table determined by the mobile terminal device 2 and ends the first identification process (step S22).
- the calibration unit 121 of the image display device 1 starts the “second specifying process” (step S23 in FIG. 16).
- the calibration unit 121 first transmits a cursor movement instruction signal and a click instruction signal based on the first specifying process (step S24).
- the calibration unit 121 sets the movement amount L of the cursor movement instruction signal to a value when the response signal is first received in the first specific process.
- the calibration unit 121 sets the moving speed V to be lower than the value when the response signal is first received in the first specific process.
- the mobile terminal device 2 When receiving the cursor movement instruction signal, the mobile terminal device 2 moves the mouse cursor based on the cursor movement instruction signal, and subsequently executes a mouse click operation based on the received click instruction signal (step S25). . However, even if the moving speed V is decreased, if the position of the moved mouse cursor still belongs to the response area 211, the mobile terminal device 2 transmits a predetermined response signal (step S26 (shown in FIG. 11A)). Status)).
- the calibration unit 121 When the calibration unit 121 detects that there is a response signal from the mobile terminal device 2, the calibration unit 121 transmits a cursor movement instruction signal for returning the mouse cursor in the mobile terminal device 2 to the reference position (step S27).
- the portable terminal device 2 moves the mouse cursor to the reference position based on the cursor movement instruction signal (step S28).
- the calibration unit 121 receives the response signal from the mobile terminal device 2 and decreases the moving speed V in a state where the movement amount L in the cursor movement instruction signal is fixed (step S29). Steps S24 to S29 are repeated until no predetermined response signal is received.
- the mobile terminal device 2 When the mobile terminal device 2 receives the click instruction signal when the mouse cursor is out of the response area 211, the mobile terminal device 2 does not notify the response signal (step S30 (state shown in FIG. 11B)).
- the calibration unit 121 detects that the response signal has not been received, specifies the lower limit of the moving speed V to which the multiplication rate A specified in the first specifying process is applied, and performs the second specifying process. The process ends (step S31).
- the calibration unit 121 sets the next stage multiplication rate A and the range of the moving speed V to which the multiplication rate A is applied.
- the second “first specifying process” is started (step S32).
- FIG. 17 is a diagram for specifically explaining the operation of the cursor operation information generation unit according to the embodiment of the present invention.
- an example of processing performed by the cursor operation information generation unit 120 based on the movement amount multiplication rate information specified by the calibration unit 121 in the above-described processing will be described.
- the resolution in the display unit 21 of the mobile terminal device 2 is 600 ⁇ 400 and the resolution in the display unit 11 of the image display device 1 according to the aspect ratio of the display unit 21 is 900 ⁇ 600 (FIG. 17).
- the calibration unit 121 has already completed the calibration process.
- the cursor operation information generation unit 120 further determines the movement amount Lx in consideration of the multiplication rate A to the movement amount Lx corresponding to the movement speed Vx. That is, the cursor operation information generation unit 120 needs to immediately reflect the touch operation on the self-image display device on the mobile terminal device 2, so the mouse cursor on the mobile terminal device 2 moves to the coordinates (200, 0) at the fastest speed.
- a cursor movement instruction signal is generated so that the That is, the cursor operation information generation unit 120 sets the movement speed Vx as the maximum movement speed (for example, “300”).
- the portable terminal device 2 moves the mouse cursor from the reference position (0, 0) based on the contents thereof.
- the cursor operation information generation unit 120 determines the amount of movement of the cursor movement instruction signal to be generated based on Expression (1).
- the touch position (X) is a touch position (X coordinate value) detected by the touch panel 10 of the image display device 1.
- X 300.
- the resolution ratio (P) between the two display units is a resolution ratio between an image displayed on the display unit 11 of the image display device 1 and an image displayed on the display unit 21 of the mobile terminal device 2.
- the resolution in the display unit 21 of the mobile terminal device 2 is 600 ⁇ 400
- the resolution in the display unit 11 of the image display device 1 according to the aspect ratio of the display unit 21 is 900 ⁇ 600.
- P 2/3.
- the applied multiplication rate (A) is a multiplication rate A corresponding to the moving speed Vx to be transmitted by the cursor operation information generation unit 120.
- the cursor operation information generation unit 120 acquires the multiplication rate A with reference to the movement amount multiplication rate information table acquired in advance by the calibration unit 121.
- the moving speed Vx is “300” which is the maximum moving speed, “2” is applied to the multiplication rate A.
- the cursor operation information generation unit 120 applies the above value to Expression (1) to obtain the movement amount Lx.
- the cursor operation information generation unit 120 obtains “100” as the movement amount Lx.
- the cursor operation information generation unit 120 performs the same processing as in the case of the touch operation by referring to the movement amount multiplying rate information table. be able to. In other words, the cursor operation information generation unit 120 sets various movement speeds Vx according to the speed of the finger that the user slides in the drag operation. Each time, the multiplication applied from the movement amount multiplication rate information table is performed. What is necessary is just to acquire the rate A and apply it to Formula (1).
- the image display device of the present embodiment described above it becomes possible to operate the mobile terminal device 2 from the image display device 1 without requiring a dedicated application program for remote operation from the image display device 1, and The effect of improving operability can be obtained.
- the image display device 1 needs to install a calibration application program in the portable terminal device 2 for the calibration process, the calibration application program does not operate after the calibration process is completed. The operability is not affected.
- the image display device 1 includes a calibration unit 121, and the image display device 1 performs automatic calibration processing. In this way, the image display device 1 can reflect the operation intended by the user on the mobile terminal device 2 regardless of the model of the mobile terminal device 2 to be linked, the user setting, the difference in mouse acceleration, and the like.
- the image display apparatus 1 in this embodiment is not limited to the aspect used as a car navigation system mentioned above.
- the image display device 1 is a large-screen television having a display unit larger than that of the mobile terminal device 2, a display for a personal computer, or a tablet-type terminal device, and a predetermined information processing system ( In addition to a car navigation system, it may function as a video player, game machine, or the like.
- the portable terminal device 2 was demonstrated as a general smart phone, the portable terminal device 2 in this embodiment may be a tablet-type terminal device of a size larger than a smart phone, for example.
- the image display device 1 and the mobile terminal device 2 described above have a computer system inside.
- the processes of the image display device 1 and the portable terminal device 2 described above are stored in a computer-readable recording medium in the form of a program, and the program is read and executed by the computer.
- the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM (Compact Disk Only Memory), a semiconductor memory, or the like.
- the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
- the present invention can be used, for example, for remote operation of a mobile terminal device such as a smartphone.
- a mobile terminal device such as a smartphone.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Telephone Function (AREA)
Abstract
遠隔操作用の専用のアプリケーションプログラムを必要とせずに、携帯端末装置を遠隔操作することが可能となり、また、操作性が向上する画像表示装置を提供する。画像表示装置は、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、当該カーソル移動指示信号及びクリック指示信号を、当該所定の通信方式に従って送信するカーソル操作情報送信部と、自画像表示装置の表示画面上においてタッチ操作で指定された位置と、携帯端末装置の表示画面上において当該カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、を備える。
Description
本発明は、スマートフォン等の携帯端末装置を制御する画像表示装置、当該画像表示装置と所定の校正処理を行う携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラムに関する。
近年、通信技術の進歩に伴って情報端末装置は多機能化し、スマートフォンやタブレット端末など、持ち運び可能な携帯端末装置が普及している。携帯端末装置は、電子メールなどの送受信機能だけでなく、インターネットに接続したウェブサーバから所定の記述言語で記述された文書ファイルを取得し、ウェブページを閲覧するブラウザ機能を標準的に備えている。このような携帯端末装置では、押下式のボタン入力に加えて、画面を指でタッチ等することで入力操作できるタッチパネル手段を備えているものが主流となっている。
自動車などに搭載されるカーナビゲーションシステム(以下、「カーナビ」と呼ぶ。)などの車載情報端末装置においても、既存のルート検索機能やテレビ視聴機能に加えて、インターネット通信を利用した電子メールの送受信、ホームページの閲覧、電子商取引など様々な情報の収集を可能とするものが発売されている。
ところで自動車を所有するユーザの多くは、自動車に搭載される車載情報端末装置とともに、無線通信を利用してデータ送受信する機能を有する携帯端末装置を保有している。車載情報端末装置において上記インターネット通信を利用するためには通信機能が必要となるが、ユーザがカーナビなどの車載情報端末装置について別途通信費を支払うことは高コストとなるため難しい。したがって、ユーザが所有している携帯端末装置と車載情報端末装置を無線LAN(Local Area Network)、Bluetooth(登録商標)、有線ケーブル等のインターフェイスを介して接続し、携帯端末装置の通信機能を利用して、車載情報端末装置に通信機能を提供する形態をとるのが一般的となっている。
ここで、特許文献1には、携帯端末装置と通信する車載情報端末装置が開示されている。
また車載情報端末装置で、ナビゲーション機能を有する携帯端末装置を操作することを可能にする技術も知られている。この技術では、車載情報端末装置からの遠隔操作を可能にするための遠隔操作用のアプリケーション機能を携帯端末装置に実行させる。
また車載情報端末装置で、ナビゲーション機能を有する携帯端末装置を操作することを可能にする技術も知られている。この技術では、車載情報端末装置からの遠隔操作を可能にするための遠隔操作用のアプリケーション機能を携帯端末装置に実行させる。
車載情報端末装置で携帯端末装置の操作を可能とする技術では、車載情報端末装置から遠隔操作するための専用のアプリケーションプログラムが携帯端末装置において必要となり、当該専用のアプリケーションプログラムを携帯端末装置にインストールするという作業が必須であった。また、携帯端末装置は、車載情報端末装置から遠隔操作するための専用のアプリケーションプログラムを自携帯端末装置にて動作させて、車載情報端末装置からの情報を逐次解析しながら動作する必要があるため、車載情報端末装置の操作情報に対する追従性が悪く、操作性の低下を招いていた。
そこでこの発明は、上述の問題を解決することのできる画像表示装置、携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラムを提供することを目的としている。
本発明は、上述の課題を解決すべくなされたもので、携帯端末装置の表示画面に表示された画像を表示する画像表示部と、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、を備える画像表示装置である。
また本発明は、自携帯端末装置の表示画面に表示された画像を表示する画像表示装置と、所定の校正処理を行う携帯端末装置であって、所定の通信方式に準拠したカーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、自携帯端末装置の前記表示画面上においてカーソルを移動させる制御部を備え、前記制御部はさらに、自携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記画像表示装置から所定のクリック指示信号を受信した場合には、所定のレスポンス信号を送信する携帯端末装置である。
また本発明は、携帯端末装置の表示画面に表示された画像を表示する画像表示装置と、前記画像表示装置と、所定の校正処理を行う携帯端末装置と、を備える情報処理システムであって、前記画像表示装置は、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、を備え、前記校正部はさらに、前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得し、前記携帯端末装置は、前記カーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、前記携帯端末装置の前記表示画面上において前記カーソルを移動させる制御部を備え、前記制御部はさらに、前記携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記クリック指示信号を受信した場合には、前記レスポンス信号を送信する情報処理システムである。
また本発明は、携帯端末装置の表示画面に表示された画像を他の表示画面に表示し、当該画像を表示する前記他の表示画面上においてタッチされた位置と、前記携帯端末装置の前記表示画面上において所定のカーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記他の表示画面に表示される前記画像および前記携帯端末装置の前記表示画面に表示される前記画像を基準にして相対的に同一の位置とするための校正用情報を取得し、前記他の表示画面上におけるタッチ操作を検出し、前記タッチ操作に基づいて、前記カーソル移動指示信号及びクリック指示信号を生成し、前記カーソル移動指示信号及び前記クリック指示信号を、所定の通信方式に従って送信する画像表示装置制御方法である。
また本発明は、携帯端末装置の表示画面に表示された画像を表示する画像表示装置のコンピュータを、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部、前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部、自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部、として機能させるプログラムである。
本発明では、遠隔操作用の専用のアプリケーションプログラムを必要とせずに携帯端末装置を遠隔操作することが可能となり、また、操作性が向上する効果が得られる。
以下、本発明の一実施形態における画像表示装置を、図面を参照して説明する。
図1は同実施形態における画像表示装置の最小構成を示す図である。この図において、符号1は画像表示装置である。
図1は同実施形態における画像表示装置の最小構成を示す図である。この図において、符号1は画像表示装置である。
図1に示すように、画像表示装置1は少なくとも、タッチ操作検出部100、カーソル操作情報生成部、校正部121及びカーソル操作情報送信部130を備えている。
タッチ操作検出部100は、画像表示装置1の表示画面上におけるタッチ操作を検出する機能部である。
カーソル操作情報生成部120は、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成する機能部である(カーソル移動指示信号及びクリック指示信号については後述する)。
カーソル操作情報送信部130は、当該カーソル移動指示信号及びクリック指示信号を、所定の通信方式に従って送信する機能部である。
校正部121は、自画像表示装置の表示画面上においてタッチ操作で指定された位置と、携帯端末装置2(図2)の表示画面上においてカーソル移動指示信号に基づいて移動させたマウスカーソルの位置と、を各々の装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する機能部である。
タッチ操作検出部100は、画像表示装置1の表示画面上におけるタッチ操作を検出する機能部である。
カーソル操作情報生成部120は、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成する機能部である(カーソル移動指示信号及びクリック指示信号については後述する)。
カーソル操作情報送信部130は、当該カーソル移動指示信号及びクリック指示信号を、所定の通信方式に従って送信する機能部である。
校正部121は、自画像表示装置の表示画面上においてタッチ操作で指定された位置と、携帯端末装置2(図2)の表示画面上においてカーソル移動指示信号に基づいて移動させたマウスカーソルの位置と、を各々の装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する機能部である。
図2は、本発明の一実施形態における画像表示装置と携帯端末装置の機能構成を具体的に示す図である。
図2に示す通り、画像表示装置1は、タッチパネル10、表示部11、制御部12、無線通信部13及び有線通信部14を備えている。
図2に示す通り、画像表示装置1は、タッチパネル10、表示部11、制御部12、無線通信部13及び有線通信部14を備えている。
タッチパネル10は所定のタッチセンサを有するパネルであり、表示部11と一体となってタッチセンサディスプレイを構成する機能部である。一方、表示部11は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイなどで構成されるフラットディスプレイであり、ユーザの視覚を通じて各種情報を伝達する機能部である。
本実施形態におけるタッチパネル10は、一般的に用いられるタッチセンサディスプレイと同様、静電容量方式、抵抗方式等を利用して実現され、表示部11の表示画面上においてタッチされた位置を座標情報(X、Y)として検出する。なお、タッチパネル10は、図1におけるタッチ操作検出部100の一態様である。
また本実施形態における表示部11は、有線通信部14が携帯端末装置2から受信した画像情報に基づく画像であって、携帯端末装置2の表示画面に表示された画像と同等の画像を表示する。例えば携帯端末装置2にてカーナビゲーション用アプリケーション機能(以下、「カーナビゲーション機能」)が実行されており、その表示画面(表示部21)に当該カーナビゲーション機能用の画像が表示されている場合、画像表示装置1の表示部11も、当該カーナビゲーション機能用の画像を表示することとなる。
制御部12は、タッチパネル10の他、種々の機能部から入力される情報に応じて様々な処理を実行し、当該処理の過程または結果を所定の機能部へと出力する機能部である。制御部12は、一般的にはCPU(Central Proccessing Unit、中央演算装置)に所定のプログラムを実行させることで構成される。なお本実施形態においては、図1に示したカーソル操作情報生成部120及び校正部121は、制御部12にて実現されるものとする。これらカーソル操作情報生成部120及び校正部121の具体的な機能については後述する。
無線通信部13は、携帯端末装置2と、所定の通信方式に準拠した無線通信を行う機能部である。具体的には、本実施形態における無線通信部13は、Bluetooth(登録商標)のHID(Human Interface Device)プロファイル(以下、単に「HIDプロファイル」と称する。)を用いた無線通信を実現する。ここでBluetooth(登録商標)とは、電子機器の近距離無線通信規格の一つである。またHIDプロファイルとは、Bluetooth(登録商標)のプロファイルのうち、マウスやキーボードなどの入力装置用の無線通信規格である。
なお、無線通信部13は、図1に示すカーソル操作情報送信部130の一態様である。また、「HIDプロファイル」は本実施形態における「所定の通信方式」の一態様である。すなわち、本実施形態における無線通信部13は、HIDプロファイルに基づいたマウス操作情報であるカーソル移動指示信号、プレス指示信号またはリリース指示信号を送信する(各指示信号の内容については後述する)。なお無線通信部13は、当該カーソル移動指示信号、プレス指示信号またはリリース指示信号の他、HIDプロファイルに基づくキーボードの操作信号等を送受信してもよい。
なお本実施形態においては、画像表示装置1と携帯端末装置2の間におけるマウス操作情報のやり取りを、上述した通り、無線通信(Bluetooth(登録商標)のHIDプロファイル)を利用して実現しているが、他の実施形態においてこの態様に限定されるものではない。すなわちマウス操作情報を送受信するにあたって、USB(Universal Serial Bus)マウスを想定した所定の有線通信を用いて当該マウス操作情報の送受信を行ってもよい。
なお、無線通信部13は、図1に示すカーソル操作情報送信部130の一態様である。また、「HIDプロファイル」は本実施形態における「所定の通信方式」の一態様である。すなわち、本実施形態における無線通信部13は、HIDプロファイルに基づいたマウス操作情報であるカーソル移動指示信号、プレス指示信号またはリリース指示信号を送信する(各指示信号の内容については後述する)。なお無線通信部13は、当該カーソル移動指示信号、プレス指示信号またはリリース指示信号の他、HIDプロファイルに基づくキーボードの操作信号等を送受信してもよい。
なお本実施形態においては、画像表示装置1と携帯端末装置2の間におけるマウス操作情報のやり取りを、上述した通り、無線通信(Bluetooth(登録商標)のHIDプロファイル)を利用して実現しているが、他の実施形態においてこの態様に限定されるものではない。すなわちマウス操作情報を送受信するにあたって、USB(Universal Serial Bus)マウスを想定した所定の有線通信を用いて当該マウス操作情報の送受信を行ってもよい。
また無線通信部13は、Bluetooth(登録商標)のSPP(Serial Port Profile)プロファイル(以下、単に「SPPプロファイル」とする。)を用いた無線通信を行う。SPPプロファイルは、Bluetooth(登録商標)で通信する電子機器を仮想シリアルポート化するためのプロファイルである。無線通信部13はこのSPPプロファイルに準拠した無線通信で、例えば、携帯端末装置2の表示部21における画像解像度や携帯端末装置2の向き(縦、横)を受信する。
有線通信部14は、携帯端末装置2と有線通信を行う機能部である。有線通信部14は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)端子を有する有線接続部である。有線通信部14は、HDMIケーブル3を介して携帯端末装置2の有線通信部24と接続する。本実施形態における有線通信部14は、例えば携帯端末装置2の表示部21に表示中の画像の画像情報を受信する。
なお本実施形態においては、画像表示装置1と携帯端末装置2の間における画像情報のやり取りを有線通信(HDMI)を利用して実現しているが、他の実施形態においてこの態様に限定されるものではない。すなわち画像情報を送受信するにあたって十分な通信速度が実現できる場合には、無線通信を用いて当該画像情報の送受信を行ってもよい。
なお本実施形態においては、画像表示装置1と携帯端末装置2の間における画像情報のやり取りを有線通信(HDMI)を利用して実現しているが、他の実施形態においてこの態様に限定されるものではない。すなわち画像情報を送受信するにあたって十分な通信速度が実現できる場合には、無線通信を用いて当該画像情報の送受信を行ってもよい。
一方、携帯端末装置2は、タッチパネル20、表示部21、制御部22、無線通信部23及び有線通信部24を備えている。
タッチパネル20及び表示部21の基本的な機能は、画像表示装置1が備えるタッチパネル10及び表示部11の機能と同等である。上述のとおり、表示部21は、例えば携帯端末装置2にてカーナビゲーション用アプリケーション機能が実行されている場合は、当該カーナビゲーション用アプリケーション機能用の画像を表示する。
携帯端末装置2が備える制御部22は、画像表示装置1における制御部12と同じく、携帯端末装置2における種々の処理を行う機能部である。制御部22は、制御部12と同様にCPUに所定のプログラムを実行させることで構成される。また制御部22は、例えばカーナビゲーション機能が記述されたアプリケーションプログラムを読み出して、当該カーナビゲーション機能を実現する機能部となる。
また制御部22は、HIDプロファイルに準拠したカーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、表示部21の画面上においてマウスカーソルを移動させる。
例えば制御部22は、外部装置からマウス操作情報として「カーソル移動指示信号」を受信すると、自携帯端末装置の表示部21上において表示されるマウスカーソルを、現在の位置から、当該カーソル移動指示信号に基づいた距離及び方向へ移動させる処理を実行する。なおカーソル移動指示信号は、ユーザがマウスを移動させる操作に応じてマウス自身が出力する、HIDプロファイルに準拠した信号である。
また、制御部22は、外部装置からマウス操作情報として「プレス指示信号」を受信すると、マウスボタンのプレス操作(マウスに備えられた所定のボタンを押下する操作)に基づく処理を実行する。同様に、制御部22はマウス操作情報として「リリース指示信号」を受信すると、マウスボタンのリリース操作(当該押下されたボタンを離す操作)に基づく処理を実行する。
なお一般的に知られているマウス操作として、プレス操作の後にリリース操作する「クリック操作」がある。また、プレス操作を維持したままマウスカーソルを移動させることで「ドラッグ操作」となる。また本実施形態においては、上記プレス指示信号に続くリリース指示信号の一連の信号セットを「クリック指示信号」と定義する。
例えば制御部22は、外部装置からマウス操作情報として「カーソル移動指示信号」を受信すると、自携帯端末装置の表示部21上において表示されるマウスカーソルを、現在の位置から、当該カーソル移動指示信号に基づいた距離及び方向へ移動させる処理を実行する。なおカーソル移動指示信号は、ユーザがマウスを移動させる操作に応じてマウス自身が出力する、HIDプロファイルに準拠した信号である。
また、制御部22は、外部装置からマウス操作情報として「プレス指示信号」を受信すると、マウスボタンのプレス操作(マウスに備えられた所定のボタンを押下する操作)に基づく処理を実行する。同様に、制御部22はマウス操作情報として「リリース指示信号」を受信すると、マウスボタンのリリース操作(当該押下されたボタンを離す操作)に基づく処理を実行する。
なお一般的に知られているマウス操作として、プレス操作の後にリリース操作する「クリック操作」がある。また、プレス操作を維持したままマウスカーソルを移動させることで「ドラッグ操作」となる。また本実施形態においては、上記プレス指示信号に続くリリース指示信号の一連の信号セットを「クリック指示信号」と定義する。
無線通信部23は、画像表示装置1の無線通信部13に対し、HIDプロファイル及びSPPプロファイルに準拠した無線通信を確立する。無線通信部23は例えば、画像表示装置1の無線通信部13からHIDプロファイルに準拠したマウス操作情報(カーソル移動指示信号、プレス指示信号、リリース指示信号)を受信する。
有線通信部24は、画像表示装置1の有線通信部14と同様で、HDMI端子を有する有線接続部であり、有線通信部14とHDMIケーブル3を介して有線通信を行う。有線通信部24は、例えば表示部21に表示中の画像の画像情報を画像表示装置1の有線通信部14に送信する。
有線通信部24は、画像表示装置1の有線通信部14と同様で、HDMI端子を有する有線接続部であり、有線通信部14とHDMIケーブル3を介して有線通信を行う。有線通信部24は、例えば表示部21に表示中の画像の画像情報を画像表示装置1の有線通信部14に送信する。
上述の内容をまとめると、本実施形態における画像表示装置1は、カーナビゲーション機能が実行された携帯端末装置2と有線通信及び無線通信を確立し、自動車等に搭載されるカーナビゲーションシステムとして機能する装置である。本実施形態における画像表示装置1は、携帯端末装置2の表示画面に表示された画像を表示する画像表示装置であって、携帯端末装置2において実現されるカーナビゲーション機能を、ユーザが行う操作の利便性を向上させる用途で使用する補助装置であるといえる。
ただしこの場合、携帯端末装置2は当該カーナビゲーションシステムの根幹として機能する装置である一方、画像表示装置1はあくまで、携帯端末装置2の表示画面に表示された画像を、自画像表示装置の表示画面に表示し、さらに当該表示画像に対するユーザの意思に基づく操作を、携帯端末装置2に対する操作として反映させるユーザインターフェイス装置である。すなわち画像表示装置1は、携帯端末装置2にて実行されるアプリケーション機能次第では、当該カーナビゲーションシステム以外の態様として機能し得るものである。例えば、携帯端末装置2が動画再生機能を実行中の場合、画像表示装置1は、当該動画再生機能が実行された携帯端末装置2と有線通信及び無線通信を確立して動画再生システムとして機能する。
ただしこの場合、携帯端末装置2は当該カーナビゲーションシステムの根幹として機能する装置である一方、画像表示装置1はあくまで、携帯端末装置2の表示画面に表示された画像を、自画像表示装置の表示画面に表示し、さらに当該表示画像に対するユーザの意思に基づく操作を、携帯端末装置2に対する操作として反映させるユーザインターフェイス装置である。すなわち画像表示装置1は、携帯端末装置2にて実行されるアプリケーション機能次第では、当該カーナビゲーションシステム以外の態様として機能し得るものである。例えば、携帯端末装置2が動画再生機能を実行中の場合、画像表示装置1は、当該動画再生機能が実行された携帯端末装置2と有線通信及び無線通信を確立して動画再生システムとして機能する。
図3は、本発明の一実施形態における画像表示装置と携帯端末装置の動作を説明する第一の図である。
次に、カーナビゲーションシステムとして機能する画像表示装置1と携帯端末装置2の具体的な動作について説明する。まず、カーナビゲーション用アプリケーションプログラムを実行させた携帯端末装置2を画像表示装置1にHDMIケーブル3にて接続する。すると、携帯端末装置2の制御部22(図3には図示せず)は有線通信部24を介して自携帯端末装置の表示部21に表示中の画像(主画像A)の画像情報を送信する。主画像Aは、携帯端末装置2において当該カーナビゲーション機能を実現するための表示画像である。
次に、カーナビゲーションシステムとして機能する画像表示装置1と携帯端末装置2の具体的な動作について説明する。まず、カーナビゲーション用アプリケーションプログラムを実行させた携帯端末装置2を画像表示装置1にHDMIケーブル3にて接続する。すると、携帯端末装置2の制御部22(図3には図示せず)は有線通信部24を介して自携帯端末装置の表示部21に表示中の画像(主画像A)の画像情報を送信する。主画像Aは、携帯端末装置2において当該カーナビゲーション機能を実現するための表示画像である。
そして、画像表示装置1の制御部12(図3には図示せず)は、有線通信部14を介して受信した主画像Aの画像情報に基づいた主画像A’を自画像表示装置の表示部11に出力する。なお制御部12は、主画像Aについての解像度情報を同時に受信している。解像度情報とは、携帯端末装置2の表示部21の横方向の画素数W2及び縦方向の画素数H2に基づいた、画像の縦横比及び解像度を示す情報である。
ここで制御部12は、図3に示すように、受信した主画像Aに基づいた主画像A’の全体が表示部11に描画できる限度まで主画像Aを拡大して表示する。普通の携帯端末装置2に用いられるディスプレイ(表示部21)は小型であるためこのままではユーザが情報を視認しにくく不都合であったが、画像表示装置1が上記主画像A’を自画像表示装置の表示部11いっぱいに表示することでこの問題を解決できる。
しかしこの際、携帯端末装置2の機種次第では、携帯端末装置2の表示部21と画像表示装置1の表示部11の縦横比が合致しない場合も考えられる。そこで制御部12は、主画像Aの縦横比を維持したまま自画像表示装置の表示部11に主画像A’を表示し、表示部11の表示画面のうち主画像A’が表示されない領域については余白画像B(例えば黒一色の画像)を表示することとする(図3)。例えば、携帯端末装置2の表示部21が「W2=600、H2=400」(いずれも画素数)の解像度であり、一方、画像表示装置1の表示部11が「W1=900、H1=700」であったとする。この場合、制御部12は、主画像Aを1.5倍(=900/600)に拡大した画像を主画像A’として「W1=900、H1’=600」の解像度で表示部11に表示し、さらに上下の余白部分(H1=700からH1’=600を差し引いた幅分の領域)には余白画像Bを表示する。
図4は、本発明の一実施形態における画像表示装置と携帯端末装置の動作を説明する第二の図である。
以下、画像表示装置1のタッチパネル10にてタッチ操作(指をタッチパネル10に接触させ、接触させた指を離す操作)を検出した際の、カーソル操作情報生成部120の動作について詳細に説明する。カーソル操作情報生成部120は、画像表示装置1のタッチパネル10に対するユーザのタッチ操作に基づいて、HIDプロファイルに準拠したマウス操作情報(カーソル移動指示信号、プレス指示信号、リリース指示信号)を生成する。そして、ユーザの意思に基づく画像表示装置1へのタッチ操作が、携帯端末装置2においてのマウス操作として反映されるように、当該マウス操作情報を生成する。ここでカーソル操作情報生成部120は、携帯端末装置2におけるマウスカーソルが予め基準位置である座標(0、0)(例えば表示部21上における右下端)にあることを前提として、マウス操作情報(特にカーソル移動指示信号)を生成する。
以下、画像表示装置1のタッチパネル10にてタッチ操作(指をタッチパネル10に接触させ、接触させた指を離す操作)を検出した際の、カーソル操作情報生成部120の動作について詳細に説明する。カーソル操作情報生成部120は、画像表示装置1のタッチパネル10に対するユーザのタッチ操作に基づいて、HIDプロファイルに準拠したマウス操作情報(カーソル移動指示信号、プレス指示信号、リリース指示信号)を生成する。そして、ユーザの意思に基づく画像表示装置1へのタッチ操作が、携帯端末装置2においてのマウス操作として反映されるように、当該マウス操作情報を生成する。ここでカーソル操作情報生成部120は、携帯端末装置2におけるマウスカーソルが予め基準位置である座標(0、0)(例えば表示部21上における右下端)にあることを前提として、マウス操作情報(特にカーソル移動指示信号)を生成する。
ここで、まずタッチパネル10が座標(X1、Y1)におけるタッチ操作を検出したとする(図4右)。すると、カーソル操作情報生成部120は直ちにタッチ位置(X1、Y1)に応じたカーソル移動指示信号(X2、Y2)を生成する。ここでカーソル操作情報生成部120は、予め取得していた自画像表示装置の表示部11に対する携帯端末装置2の表示部21の縮尺及び所定の「校正用情報」に基づいてカーソル移動指示信号を生成する(「校正用情報」については後述する)。そしてカーソル操作情報生成部120は、当該カーソル移動指示信号(X2、Y2)と、続いてクリック指示信号(プレス指示信号とその後に続くリリース指示信号)を無線通信部13に出力する。
ここで、ユーザが行うタッチ操作の「タッチ時間」すなわち、指がタッチパネル10に接触してから離れるまでの時間は、クリック指示信号においてプレス指示信号が送信されてからリリース指示信号が送信されるまでの時間と対応させてもよい。すなわち、カーソル操作情報生成部120は、指がタッチパネル10に接触することを感知してプレス指示信号を出力し、続いて、指がタッチパネル10から離れたことを感知してリリース指示信号を出力してもよい。このようにすることで、ユーザが行ういわゆる“長押し”操作(一定の期間タッチパネル10に接触し続ける操作)についても、携帯端末装置2におけるマウス操作として反映させることができる。
携帯端末装置2の制御部22(図4には図示せず)は、当該カーソル移動指示信号(X2、Y2)及びクリック指示信号を、無線通信部23を介して受信する。ここで制御部22は、当該各種受信信号をHIDプロファイルに準拠したマウス操作情報として受信する。そうすると制御部22は、当該カーソル移動指示信号(X2、Y2)に従ってカーソルを現在の位置(基準位置(0、0))からX軸方向(紙面左方向)にX2幅分、Y軸方向(紙面上方向)にY2幅分だけ移動させる(図4左)。そして制御部22は、続いて受信したクリック指示信号に基づいて、マウスのクリック操作を受け付けた際の処理を実行する。
カーソル操作情報生成部120が、以上のような一連のマウス操作用情報を生成して出力することで、ユーザの意思に基づく画像表示装置1へのタッチ操作が、携帯端末装置2においては、当該ユーザの意思を反映したマウス操作(マウスカーソルを移動させてクリック)として処理される。なお、カーソル操作情報生成部120は、タッチ操作に基づくカーソル移動指示信号及びクリック指示信号を出力した後に、マウスカーソルを基準位置(0、0)に戻すためのカーソル移動指示信号を出力する。このようにすることで、カーソル操作情報生成部120は、自画像表示装置において検出するタッチ操作の度に、携帯端末装置2のカーソル位置が基準位置(0、0)にあることを前提としてカーソル移動指示信号を生成することができる。
図5は、本発明の一実施形態における画像表示装置と携帯端末装置の動作を説明する第三の図である。
次に、画像表示装置1のタッチパネル10にてドラッグ操作(指をタッチパネル10に接触させてそのまま他の位置まで滑らせる操作)を検出した際の、カーソル操作情報生成部120の動作について詳細に説明する。カーソル操作情報生成部120は、上記タッチ操作の場合と同様に、ユーザのドラッグ操作に基づいて、HIDプロファイルに準拠したマウス操作情報を生成する。
次に、画像表示装置1のタッチパネル10にてドラッグ操作(指をタッチパネル10に接触させてそのまま他の位置まで滑らせる操作)を検出した際の、カーソル操作情報生成部120の動作について詳細に説明する。カーソル操作情報生成部120は、上記タッチ操作の場合と同様に、ユーザのドラッグ操作に基づいて、HIDプロファイルに準拠したマウス操作情報を生成する。
まず、カーソル操作情報生成部120はドラッグ操作の開始(タッチパネル10に指が接触したこと)を検出すると、ドラッグ操作の最初の位置(X1、Y1)に対応するカーソル移動指示信号(X2、Y2)を生成する。当該処理は、上述したタッチ操作の処理についてのカーソル移動処理と同等である。すなわち、カーソル操作情報生成部120は、携帯端末装置2におけるマウスカーソルが予め基準位置(0、0)にあることを前提としてカーソル移動指示信号(X2、Y2)を生成する。またカーソル操作情報生成部120は、当該カーソル移動指示信号に続いてプレス指示信号を生成し、無線通信部13を介して送信する。
次に、タッチパネル10が座標(X1、Y1)から座標(X1’、Y1’)までのドラッグ操作を検出したとする(図5右)。すると、カーソル操作情報生成部120はドラッグ操作の始点位置(X1、Y1)及び終点位置(X1’、Y1’)の差分(dX1、dY1)を算出し、当該差分座標(dX1、dY1)に応じたカーソル移動指示信号(dX2、dY2)を生成する。この場合においても、カーソル操作情報生成部120は、表示部11に対する表示部21の縮尺及び所定の校正用情報(後述)に基づいたカーソル移動指示信号を生成する。
携帯端末装置2の制御部22(図5には図示せず)は、当該カーソル移動指示信号(dX2、dY2)を、無線通信部23を介して受信する。ここで制御部22は、当該受信信号をHIDプロファイルに準拠したマウス操作情報として受信する。そうすると、制御部22は、当該カーソル移動指示信号(dX2、dY2)に従ってマウスカーソルを現在の位置(X2、Y2)からX軸方向(紙面左方向)にdX2幅分、Y軸方向(紙面下方向)にdY2幅分だけ移動させる(図5左)。
またカーソル操作情報生成部120は、上記ドラッグ操作の開始時にてプレス指示信号を出力した後、ドラッグ操作の終了(タッチパネル10から指が離れたこと)を検出するまではリリース指示信号を出力しないで、マウスボタンが押下された状態を継続する。このようにすることで、カーソル操作情報生成部120は、画像表示装置1における指を利用したドラッグ操作を、携帯端末装置2におけるマウスを利用したドラッグ操作として対応させることができる。なお、カーソル操作情報生成部120は、当該ドラッグ操作の終了を検出すると、当該リリース指示信号に続いてマウスカーソルを基準位置(0、0)に戻すためのカーソル移動指示信号を出力する。このようにすることで、カーソル操作情報生成部120は、ドラッグ操作の終了後においても、携帯端末装置2のカーソル位置を基準位置(0、0)に戻すことができる。
以上に説明したとおり、本実施形態における画像表示装置1は、当該画像表示装置1に対するユーザの「タッチ操作」及び「ドラッグ操作」を、携帯端末装置2に対するマウス操作として再現させる。このような画像表示装置1を用いると、ユーザは携帯端末装置2の小さいディスプレイ(表示部21)に対して直接操作を要することなく、画像表示装置1の比較的大きいサイズのディスプレイ(表示部11)に対する操作で携帯端末装置2を意図する通りに操作することができる。
また本実施形態においては、上述した通り、一般的な携帯端末装置2であれば普通に利用できるHIDプロファイルを利用して携帯端末装置2を遠隔操作する。したがってユーザは、画像表示装置1と携帯端末装置2を、カーナビゲーションシステムとして機能させるための連携操作用のアプリケーションプログラムをインストールする必要が生じない。さらに当該HIDプロファイルを利用すれば、携帯端末装置2は、通常の無線マウスを利用した信号としてカーソル移動指示信号、プレス指示信号およびリリース指示信号を受信するため、カーソル移動、クリック及びドラッグ等の各処理も、通常の無線マウスを利用した操作として俊敏に実行される。
以上説明した本実施形態の画像表示装置では、画像表示装置1から遠隔操作するためのアプリケーションプログラムを必要とせずに、画像表示装置1から携帯端末装置2を操作することが可能となり、また、操作性が向上する効果が得られる。
ところで、上述したように画像表示装置1におけるタッチ操作及びドラッグ操作が、ユーザが意図する通りに携帯端末装置2におけるマウス操作として再現されるためには、表示部11におけるタッチ位置またはドラッグ操作時において指定される位置と、表示部21においてカーソル移動指示信号に基づいてマウスカーソルを移動させる位置とが、各々の表示部が表示する画像を基準にして相対的に常に同一の位置となることを要する。
ところが、実際にはユーザが使用する携帯端末装置2ごとに、表示部21の縦横比や解像度はまちまちである。また画像表示装置1が同じ内容のカーソル移動指示信号を送信したとしても、それを受信した携帯端末装置2の仕様(或いはユーザ設定)次第では、表示部21上においてマウスカーソルが実際に移動する移動量は異なってくる。したがって画像表示装置1は、予め定められた一つの校正用情報を用意しておくのではなく、携帯端末装置2が画像表示装置1に接続される度に、当該携帯端末装置2についての校正用情報を取得する必要がある。
そこで校正部121は、上述したカーソル操作情報生成部120の処理に先立って、表示部11の表示画面上においてタッチ操作で指定された位置と、携帯端末装置2の表示部21の表示画面上においてカーソル移動指示信号に基づいて移動させたマウスカーソルの位置と、を各々の表示部が表示する画像を基準にして常に同一の位置とするために必要な校正用情報を取得する。
図6Aおよび図6Bは、本発明の一実施形態におけるカーソル移動指示信号の内容を具体的に説明する図である。
まず校正部121における校正処理の具体的内容を説明する前に、カーソル移動指示信号の内容を、図6Aおよび図6Bを参照して詳細に説明する。図6A及び図6Bは、それぞれ異なる内容のカーソル移動指示信号を示している。
まず校正部121における校正処理の具体的内容を説明する前に、カーソル移動指示信号の内容を、図6Aおよび図6Bを参照して詳細に説明する。図6A及び図6Bは、それぞれ異なる内容のカーソル移動指示信号を示している。
ここで、HIDプロファイルに基づくカーソル移動指示信号は、「移動量L」と「移動速度V」の二つの情報の組み合わせからなる。移動量Lとは、上述したマウスカーソルを移動させる大きさの基準となる量である。一般的な無線マウスであれば、当該無線マウスから送信される移動量Lの値は、ユーザが無線マウスを実際に移動させた距離に対応する。すなわちユーザが無線マウスを大きく移動させた場合、受信側(携帯端末装置2)が受信する移動量Lはその移動距離に応じて大きくなる。ただし、受信側においては、受信した移動量Lがそのまま表示部21上におけるマウスカーソルの移動量として適用されるわけではない。この点については後述する。
受信側は、X軸方向の移動量Lxについて“Lx=100”を受信すると、X軸方向に“Lx=100”に応じてマウスカーソルを現在の位置から移動させる処理を行う。なおY軸方向についても同様であり、移動量Lは、X軸方向への移動量Lx、Y軸方向への移動量Lyの組み合わせで表される。
また、一般的な無線マウス等のカーソル移動指示信号の送信側は、上記移動量Lを、所定の分割移動量Lpに分割し、これを複数回に分けて送信する。そして受信側は、一回の送信当たりの分割移動量Lpを、もう一つの情報である「移動速度V」として受信する。例えば図6A及び図6Bに示すカーソル移動指示信号は、いずれも受信側にとっては移動量“L=30”と認識される。しかし、図6Aに示すカーソル移動指示信号は、一回の送信当たりの分割移動量Lpを“15”として2回に分けて送信することで移動量Lを“30”としている。一方、図6Bに示すカーソル移動指示信号では、一回の送信当たりの分割移動量Lpを“7.5”として4回に分けて送信することで移動量Lを“30”としている。
受信側は、分割移動量Lpに基づく単位時間(例えば1秒)当たりの移動量を移動速度Vとして受信する。例えば、図6Aの場合、受信側は、一回の送信当たりの分割移動量“Lp=15”に基づく単位時間当たりの移動量である“90”を移動速度Vとして受信する。同様に、図6Bの場合、一回の送信当たりの分割移動量“Lp=7.5”に基づく単位時間当たりの移動量である“45”を移動速度Vとして受信する。
なお移動速度Vも移動量Lと同様、X軸方向への移動速度Vx、Y軸方向への移動速度Vyの組み合わせで表される。
なお移動速度Vも移動量Lと同様、X軸方向への移動速度Vx、Y軸方向への移動速度Vyの組み合わせで表される。
図7は、本発明の一実施形態における携帯端末装置が有する移動量掛け率情報を示す図である。
携帯端末装置2の制御部22は、上記のように定義された移動量Lと移動速度Vに基づいて、表示部21上におけるマウスカーソルの実際の移動量を定める。ここで制御部22は、予め自携帯端末装置に設定されている「移動量掛け率情報」を参照して受信した移動量に対して乗ずる「掛け率」を特定する。すなわち制御部22は、受信した移動量に当該「掛け率」を乗算した値を、実際のマウスカーソルの移動量として移動処理を実行する。
図7に示す移動量掛け率情報テーブルの左列には移動速度Vの範囲が定義されており、右列には各移動速度Vの範囲に対応する掛け率が定義されている。すなわち、適用される掛け率は受信する移動速度Vに基づいて特定される。
携帯端末装置2の制御部22は、上記のように定義された移動量Lと移動速度Vに基づいて、表示部21上におけるマウスカーソルの実際の移動量を定める。ここで制御部22は、予め自携帯端末装置に設定されている「移動量掛け率情報」を参照して受信した移動量に対して乗ずる「掛け率」を特定する。すなわち制御部22は、受信した移動量に当該「掛け率」を乗算した値を、実際のマウスカーソルの移動量として移動処理を実行する。
図7に示す移動量掛け率情報テーブルの左列には移動速度Vの範囲が定義されており、右列には各移動速度Vの範囲に対応する掛け率が定義されている。すなわち、適用される掛け率は受信する移動速度Vに基づいて特定される。
例えば、携帯端末装置2が、HIDプロファイル送信側からカーソル移動指示信号として移動量“L=100”、移動速度“V=200”を受信したとする。すると制御部22は、移動量掛け率情報テーブルを参照して、移動速度“V=200”に対応する掛け率“A=3”を特定する(図7)。そして、受信した移動量“L=100”に“A=3”を乗じ、掛け率適用後の移動量“LA=300”を算出する。制御部22は、表示部21上において当該掛け率適用後の移動量“LA=300”の幅分だけマウスカーソルを移動させる処理を行う(以下、LAを「実効移動量」と称する)。
また、図6Aに示す例(移動量“L=30”、移動速度“V=90”)の場合、表示部21上におけるマウスカーソルの実際の移動量である実効移動量LAは“39”(=30×1.3)となるのに対し、図6Bに示す例(移動量“L=30”、移動速度“V=45”)の場合、実効移動量LAは“30”(=30×1)となる(図7の表を参照)。このように携帯端末装置2は、移動量Lが同じであってもその移動速度Vが大きいほど、実効移動量LAを大きくさせるような処理を行う。
携帯端末装置2の制御部22が、移動速度Vに応じて動的に実効移動量LAを変化させる処理は、ユーザが行う通常のマウス操作を快適にするために用いられる既に知られた技術である。すなわち携帯端末装置2は、ユーザがマウスを素早く動かした場合には、ユーザがカーソルを大きく動かす意思があるものとして、自動的にマウスカーソルの移動量を大きくする。一方、ユーザがマウスをゆっくりと動かした場合には、ユーザはカーソルを微調整する意思があるものとして、自動的にマウスカーソルの移動量を小さくする。
なお以上のような移動速度に応じた移動量の調整機能は、携帯端末装置2のみならず、マウス操作を受け付ける電子機器全般に利用されているものである。
なお以上のような移動速度に応じた移動量の調整機能は、携帯端末装置2のみならず、マウス操作を受け付ける電子機器全般に利用されているものである。
しかし、どの程度の移動速度に応じて移動量がどの程度増加するのか、という情報、すなわち図7に示す移動量掛け率情報テーブルは、携帯端末装置2において定められた固有の情報であり、さらにユーザ設定に応じて自由にカスタマイズできるものでもある。
したがって、画像表示装置1が上述した携帯端末装置2との連携処理(図4及び図5)を実現するためには、画像表示装置1は、携帯端末装置2が固有に有する移動量掛け率情報を取得する必要がある。カーソル操作情報生成部120は、当該取得した移動量掛け率情報を参照しながら、タッチ操作におけるタッチ座標(X1、Y1)と携帯端末装置2におけるマウスカーソルの移動量(X2、Y2)の対応付けを行う。
したがって、画像表示装置1が上述した携帯端末装置2との連携処理(図4及び図5)を実現するためには、画像表示装置1は、携帯端末装置2が固有に有する移動量掛け率情報を取得する必要がある。カーソル操作情報生成部120は、当該取得した移動量掛け率情報を参照しながら、タッチ操作におけるタッチ座標(X1、Y1)と携帯端末装置2におけるマウスカーソルの移動量(X2、Y2)の対応付けを行う。
そこで本実施形態における画像表示装置1の校正部121は、所定の校正処理を行い、携帯端末装置2において定められた固有の情報であって、移動速度Vに応じて適用される移動量Lへの掛け率を定めた移動量掛け率情報を以下に示す処理手順に基づいて特定する。本実施形態においては、当該移動量掛け率情報が「校正用情報」の一態様である。
一方、携帯端末装置2の制御部22は、校正部121の校正処理を実現するために、所定の校正用アプリケーションプログラムを読み込む。そして、当該校正用アプリケーションプログラムを読み込んだ制御部22は、表示部21の画面上の一部に所定の応答領域211を設定し、マウスカーソルが当該応答領域211にあった場合において、クリック指示信号を受信した場合には、所定のレスポンス信号を送信する処理を実行する。
以下、校正部121における移動量掛け率情報の具体的な取得手段について説明する。
一方、携帯端末装置2の制御部22は、校正部121の校正処理を実現するために、所定の校正用アプリケーションプログラムを読み込む。そして、当該校正用アプリケーションプログラムを読み込んだ制御部22は、表示部21の画面上の一部に所定の応答領域211を設定し、マウスカーソルが当該応答領域211にあった場合において、クリック指示信号を受信した場合には、所定のレスポンス信号を送信する処理を実行する。
以下、校正部121における移動量掛け率情報の具体的な取得手段について説明する。
図8は、本発明の一実施形態における校正部の初期動作を説明する図である。
ここで本実施形態における携帯端末装置2の表示部21の画素数が、X軸方向(紙面横方向)に580、Y軸方向(紙面縦方向)に350であったとする。
まず校正部121は校正処理の開始に先立って、無線通信部13を介して校正用アプリケーション機能の起動指示信号を送信する。一方、携帯端末装置2の制御部22(図8には図示せず)は、無線通信部23を介して当該起動指示信号を受信すると携帯端末装置2に予め記憶された校正用アプリケーションプログラムを読み出して、所定の校正用アプリケーション機能を実行する。以下、校正部121が当該校正用アプリケーション機能を利用してX軸方向に関する移動量掛け率情報を取得する手順を説明する。
ここで本実施形態における携帯端末装置2の表示部21の画素数が、X軸方向(紙面横方向)に580、Y軸方向(紙面縦方向)に350であったとする。
まず校正部121は校正処理の開始に先立って、無線通信部13を介して校正用アプリケーション機能の起動指示信号を送信する。一方、携帯端末装置2の制御部22(図8には図示せず)は、無線通信部23を介して当該起動指示信号を受信すると携帯端末装置2に予め記憶された校正用アプリケーションプログラムを読み出して、所定の校正用アプリケーション機能を実行する。以下、校正部121が当該校正用アプリケーション機能を利用してX軸方向に関する移動量掛け率情報を取得する手順を説明する。
図8には、当該校正用アプリケーション機能に基づく表示画像が表示部21に表示された状態を示している。校正用アプリケーション機能に基づく表示画像は、図8に示す通り、非応答領域210と応答領域211で構成される。応答領域211は、マウスカーソルの基準位置(0、0)から最も離れた(図8における表示部21左端の)一画素幅分の領域に設定される。また非応答領域210は、応答領域211以外の全ての領域として設定される。
制御部22は、マウスカーソルが応答領域211に位置する場合にクリック指示信号を外部から受信すると、当該校正用アプリケーション機能に基づいて所定のレスポンス信号を、無線通信部23を介して送信する。一方、制御部22は、マウスカーソルが非応答領域210に位置する場合にクリック指示信号を外部から受信すると、当該所定のレスポンス信号を送信しない。
校正部121は、無線通信部13を介して、カーソル移動指示信号の送信、及びこれに続くクリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する携帯端末装置2からの所定のレスポンス信号の有無に基づいて校正処理を実行する。
図9は、本発明の一実施形態における校正部の第一の特定処理を説明する第一の図である。
校正部121は、最初に移動速度Vxに対応する掛け率A(図7の表右列)を特定するための「第一の特定処理」を行う。
校正部121は、まず所定のカーソル移動指示信号を送信してマウスカーソルを基準位置(0、0)に移動させておく。ここで校正部121が携帯端末装置2のマウスカーソルを基準位置(0、0)に移動させることは、画像表示装置1が、移動量掛け率情報を把握していない段階であっても可能である。例えば校正部121は、携帯端末装置2の表示部21の解像度に対し十分に大きな移動量を送信すれば、マウスカーソルは表示部21の端部(すなわち基準位置)に自然に収まることとなる。
校正部121は、最初に移動速度Vxに対応する掛け率A(図7の表右列)を特定するための「第一の特定処理」を行う。
校正部121は、まず所定のカーソル移動指示信号を送信してマウスカーソルを基準位置(0、0)に移動させておく。ここで校正部121が携帯端末装置2のマウスカーソルを基準位置(0、0)に移動させることは、画像表示装置1が、移動量掛け率情報を把握していない段階であっても可能である。例えば校正部121は、携帯端末装置2の表示部21の解像度に対し十分に大きな移動量を送信すれば、マウスカーソルは表示部21の端部(すなわち基準位置)に自然に収まることとなる。
次に、校正部121は移動速度Vxを所定の最大移動速度に固定させた状態で、移動量Lxを所定量ずつ増加させながら、カーソル移動指示信号及びクリック指示信号の送信を複数回繰り返す。ここで最大移動速度とは、HIDプロファイルにおいて一回の送信で送ることができる分割移動量Lpの最大値に対応する移動速度である。以降の説明においては、例としてこの最大移動速度を300とする。
まず図9(a)では、校正部121が移動量“Lx=100”、移動速度“Vx=300”(最大移動速度)でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=100”、移動速度“Vx=300”)に基づいてマウスカーソルを移動させる。この時点で、画像表示装置1は、携帯端末装置2における掛け率Aが不明であるため、携帯端末装置2において移動したマウスカーソルの位置が、基準位置から実際にどの程度移動したかは把握できない。
校正部121は、続いてクリック指示信号を送信する。携帯端末装置2は、当該クリック指示信号を受信すると、マウスを利用したクリック操作を受け付けた場合の処理を実行する。ここで、携帯端末装置2におけるマウスカーソルは、図9(a)に示す通り非応答領域210に属しているので、当該クリック指示信号に対して所定のレスポンス信号を送信しない。画像表示装置1は所定の期間当該レスポンス信号を受信しないことを検知して、マウスカーソルが応答領域211(すなわち表示部21の端部)に到達していないことを把握する。
次に校正部121は、一旦マウスカーソルの位置を基準位置に戻すカーソル移動指示信号を送信する。そして校正部121はマウスカーソルを基準位置に戻した後、移動速度Vxを“300”に固定したまま、移動量Lxを前回よりも増加させ、“Lx=101”として再度カーソル移動指示信号を送信する。携帯端末装置2は、当該カーソル移動指示信号を受信してマウスカーソルを移動させる。そして校正部121は、続いて送信したクリック指示信号に対し所定の期間レスポンス信号がないことを検知すると、移動量Lxをさらに増加させながら同様の処理を繰り返す。
校正部121が、移動量Lxを増加させながらカーソル移動指示信号を送信する処理を複数回繰り返した後の状態を図9(b)に示す。図9(b)では、校正部121が移動量“Lx=290”、移動速度“Vx=300”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=290”、移動速度“Vx=300”)に基づいてマウスカーソルを移動させる。
校正部121は、続いてクリック指示信号を送信する。携帯端末装置2は、当該クリック指示信号を受信すると、マウスを利用したクリック操作を受け付けた場合の処理を実行する。ここで、携帯端末装置2におけるマウスカーソルは、図9(b)に示す通り応答領域211に到達しているので、携帯端末装置2は当該クリック操作に対して所定のレスポンス信号を送信する。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211に到達したことを把握する。
図9(b)は、携帯端末装置2が、移動量“Lx=290”を受信して、移動速度“Vx=300”で適用される掛け率Aを乗算し求めた値(実効移動量LA)だけマウスカーソルを動かした結果、マウスカーソルがちょうど表示部21の画面左端まで移動した状態を示している。一方、画像表示装置1は、携帯端末装置2の表示部21の解像度情報(画素数580×350)については、HDMIケーブル3及び有線通信部14を介して予め取得している。したがって校正部121は、移動量“Lx=290”、移動速度“Vx=300”を送信した結果、マウスカーソルが表示部21の画面左端に到達したことを受け、携帯端末装置2において最大移動速度“Vx=300”に適用される掛け率Aは“2”(580÷290)であると特定することができる。
以上のとおり、校正部121は「第一の特定処理」の過程において、レスポンス信号を受信した場合には、当該レスポンス信号を受信した時点における移動量Lに基づいて掛け率Aを特定する。
以上のとおり、校正部121は「第一の特定処理」の過程において、レスポンス信号を受信した場合には、当該レスポンス信号を受信した時点における移動量Lに基づいて掛け率Aを特定する。
なお第一の特定処理の具体的内容は、上述した処理に限定されるものではない。上述した例では、校正部121は移動量Lxを最初から1ずつ増加させているが、他の実施形態ではこの態様に限らない。例えば校正部121は、移動量Lxをまず100ずつ増加させて画面左端に到達する移動量Lxに当たりをつけ、画面左端に到達した段階から徐々に移動量Lを減らして絞り込みを行うという処理を行ってもよい。このようにすることで、校正部121が行う第一の特定処理に要する繰り返し回数が低減し、結果として校正処理全体の速度を向上させることができる。また、校正部121が最大移動速度とする値は、携帯端末装置2の一般的な仕様を考慮して十分に大きいと認められる値から当たりをつけて決定してもよい。
また校正部121は、移動量Lxを、十分に大きい値から順に減少させながらカーソル移動指示信号を送信し、携帯端末装置2からのレスポンス信号が受信できる状態から、当該レスポンス信号を最初に受信できなくなった際の移動量Lxを参照して、掛け率Aを特定してもよい。
また校正部121は、移動量Lxを、十分に大きい値から順に減少させながらカーソル移動指示信号を送信し、携帯端末装置2からのレスポンス信号が受信できる状態から、当該レスポンス信号を最初に受信できなくなった際の移動量Lxを参照して、掛け率Aを特定してもよい。
図10は、本発明の一実施形態における校正部の処理の経過を示す第一の図である。
校正部121は、上述した一回目の第一の特定処理の結果、最大移動速度“Vx=300”に対応する掛け率Aが“2”であることを特定する(図10)。
校正部121は、上述した一回目の第一の特定処理の結果、最大移動速度“Vx=300”に対応する掛け率Aが“2”であることを特定する(図10)。
図11は、本発明の一実施形態における校正部の第二の特定処理を説明する図である。
続いて校正部121は、求めた掛け率Aについて“2”が適用される移動速度Vxの範囲(下限)を求める。校正部121は、第一の特定処理にて特定した掛け率Aが適用される移動速度の範囲を特定するための「第二の特定処理」を行う。
具体的には、校正部121は移動量Lxを、第一の特定処理にて画面左端に到達した際の移動量に固定させた状態で、移動速度Vxを所定量ずつ減少させながら、カーソル移動指示信号及びクリック指示信号の送信を複数回繰り返す。
続いて校正部121は、求めた掛け率Aについて“2”が適用される移動速度Vxの範囲(下限)を求める。校正部121は、第一の特定処理にて特定した掛け率Aが適用される移動速度の範囲を特定するための「第二の特定処理」を行う。
具体的には、校正部121は移動量Lxを、第一の特定処理にて画面左端に到達した際の移動量に固定させた状態で、移動速度Vxを所定量ずつ減少させながら、カーソル移動指示信号及びクリック指示信号の送信を複数回繰り返す。
まず図11(a)では、校正部121が移動量“Lx=290”、移動速度“Vx=299”でカーソル移動指示信号を送信する。ここで校正部121は、移動速度Vxを、第一の特定処理で固定していた値300から1だけ減じて“Vx=299”としている。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=290”、移動速度“Vx=299”)に基づいてマウスカーソルを移動させる。
校正部121は、続いてクリック指示信号を送信する。ここで、携帯端末装置2におけるマウスカーソルは、図11(a)に示す通り応答領域211に属しているので、携帯端末装置2は、当該クリック指示信号に対して所定のレスポンス信号を送信する。画像表示装置1は、移動速度を300から1だけ減じて“Vx=299”としても、掛け率Aは依然として“2”が適用されていることを把握する。
次に校正部121は、一旦マウスカーソルを基準位置に戻した後、移動量Lxを“290”に固定したまま、移動速度Vxを前回よりもさらに減少させ、“Vx=298”として再度カーソル移動指示信号を送信する。携帯端末装置2は、当該カーソル移動指示信号を受信してマウスカーソルを移動させる。そして校正部121は、続いて送信したクリック指示信号に応答すべきレスポンス信号を引き続き受信すると、移動速度Vxをさらに減少させながら同様の処理を繰り返す。
校正部121が、移動速度Vxを減少させながらカーソル移動指示信号を送信する処理を複数回繰り返した後の状態を図11(b)に示す。図11(b)では、校正部121が移動量“Lx=290”、移動速度“Vx=249”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=290”、移動速度“Vx=249”)に基づいてマウスカーソルを移動させる。
校正部121は、続いてクリック指示信号を送信する。ここで、携帯端末装置2におけるマウスカーソルは、図11(b)に示す通り応答領域211を外れ、非応答領域210に属しているので、携帯端末装置2は当該クリック指示信号に対して所定のレスポンス信号を送信しない。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211を外れたことを把握する。すなわちこの結果は、移動速度Vxを“300”から“249”まで減らして初めて、移動量“Lx=290”に対する掛け率Aに“2”が適用されなくなったことを示している。
図12は、本発明の一実施形態における校正部の処理の経過を示す第二の図である。
校正部121は、以上に説明した一回目の第二の特定処理の結果、掛け率Aとして“2”が適用されなくなった移動速度Vxが“249”であったことを受け、掛け率Aとして“2”が適用される移動速度Vxの下限が“249”の一つ前の“250”であることを特定する(図12)。
なお以上に説明した処理において、校正部121は、移動速度Vxを徐々に減じながら、携帯端末装置2からのレスポンス信号を受信しなくなったことを検知して、掛け率Aに“2”が適用される移動速度Vxの下限を特定した。しかし本実施形態の校正部121における上記処理はこの態様に限定されるものではない。すなわち校正部121は、移動速度Vxを、例えば“1”から順に増加させながらカーソル移動指示信号を送信し、携帯端末装置2からのレスポンス信号を受信できない状態から、当該レスポンス信号を最初に受信できた状態に移行した際の移動速度Vxを参照して、掛け率Aに“2”が適用される移動速度Vxの下限を特定してもよい。
校正部121は、以上に説明した一回目の第二の特定処理の結果、掛け率Aとして“2”が適用されなくなった移動速度Vxが“249”であったことを受け、掛け率Aとして“2”が適用される移動速度Vxの下限が“249”の一つ前の“250”であることを特定する(図12)。
なお以上に説明した処理において、校正部121は、移動速度Vxを徐々に減じながら、携帯端末装置2からのレスポンス信号を受信しなくなったことを検知して、掛け率Aに“2”が適用される移動速度Vxの下限を特定した。しかし本実施形態の校正部121における上記処理はこの態様に限定されるものではない。すなわち校正部121は、移動速度Vxを、例えば“1”から順に増加させながらカーソル移動指示信号を送信し、携帯端末装置2からのレスポンス信号を受信できない状態から、当該レスポンス信号を最初に受信できた状態に移行した際の移動速度Vxを参照して、掛け率Aに“2”が適用される移動速度Vxの下限を特定してもよい。
図13は、本発明の一実施形態における校正部の第一の特定処理を説明する第二の図である。
続いて校正部121は、次の移動速度Vx(249の移動速度Vx)について適用される掛け率Aを求める。校正部121は、最初に移動速度“Vx=249”に対応する掛け率Aを特定するための二回目の「第一の特定処理」を行う。
続いて校正部121は、次の移動速度Vx(249の移動速度Vx)について適用される掛け率Aを求める。校正部121は、最初に移動速度“Vx=249”に対応する掛け率Aを特定するための二回目の「第一の特定処理」を行う。
校正部121は先の第二の特定処理において、移動速度Vxを“249”としたときに、掛け率Aについて“2”が適用されなくなり、マウスカーソルが応答領域211(表示部21の画面左端)に到達しなくなったことを把握している。また校正部121は、このマウスカーソルが応答領域211に到達しなくなったときの移動量Lxが“290”であることを把握している。したがって校正部121は、移動速度Vxを“249”に固定させた状態で、移動量Lxを“290”から所定量ずつ増加させながら、カーソル移動指示信号及びクリック指示信号の送信を複数回繰り返す。
まず図13(a)では、校正部121が移動量“Lx=291”、移動速度“Vx=249”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=291”、移動速度“Vx=249”)に基づいてマウスカーソルを移動させる。この時点で、画像表示装置1は、携帯端末装置2におけるマウスカーソルの位置が、基準位置から実際にどの程度移動したかは把握できない。
校正部121は、続いてクリック指示信号を送信する。携帯端末装置2は、当該クリック指示信号を受信すると、マウスを利用したクリック操作を受け付けた場合の処理を実行する。ここで、携帯端末装置2におけるマウスカーソルは、図13(a)に示す通り非応答領域210に属しているので、携帯端末装置2は、当該クリック操作に対して所定のレスポンス信号を送信しない。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211(すなわち表示部21の端部)に到達していないことを把握する。
次に校正部121はマウスカーソルを基準位置に戻した後、移動速度Vxを“249”に固定したまま、移動量Lxを前回よりも増加させ、“Lx=292”として再度カーソル移動指示信号を送信する。携帯端末装置2は、当該カーソル移動指示信号を受信してマウスカーソルを移動させる。そして校正部121は、続いて送信したクリック指示信号に応答すべきレスポンス信号がないと判断すると、移動量Lxをさらに増加させながら同様の処理を繰り返す。
校正部121が、移動量Lxを増加させながらカーソル移動指示信号を送信する処理を複数回繰り返した後の状態を図13(b)に示す。図13(b)では、校正部121が移動量“Lx=310”、移動速度“Vx=249”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=310”、移動速度“Vx=249”)に基づいてマウスカーソルを移動させる。
校正部121は、続いてクリック指示信号を送信する。ここで、携帯端末装置2におけるマウスカーソルは、図13(b)に示す通り応答領域211に到達しているので、携帯端末装置2は当該クリック指示信号に対して所定のレスポンス信号を送信する。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211に到達したことを把握する。
校正部121は、移動量“Lx=310”を送信してマウスカーソルが表示部21の画面左端に到達したことを受けて、移動速度“Vx=249”に対する掛け率Aは“1.87”(580÷310)であると特定することができる。
図14は、本発明の一実施形態における校正部の処理の経過を示す第三の図である。
校正部121は、二回目の「第一の特定処理」の結果、移動速度“Vx=249”に対応する掛け率Aが“1.87”であることを特定する(図14)。続いて校正部121は、二回目の「第二の特定処理」を実行し、掛け率Aについて“1.87”が適用される移動速度Vxの範囲(下限)を求める。
校正部121は、二回目の「第一の特定処理」の結果、移動速度“Vx=249”に対応する掛け率Aが“1.87”であることを特定する(図14)。続いて校正部121は、二回目の「第二の特定処理」を実行し、掛け率Aについて“1.87”が適用される移動速度Vxの範囲(下限)を求める。
以降、校正部121は、図9から図14で説明した「第一の特定処理」及び「第二の特定処理」の内容を繰り返して実行し、携帯端末装置2にて設定されていた移動量掛け率情報テーブルの内容を全て特定する。なお、以上の説明は全てX軸方向についての移動量掛け率情報を特定する処理手続であったが、校正部121は、同様の処理手続に従って、Y軸方向についての移動量掛け率情報を特定する。
図15及び図16は、本発明の一実施形態における校正部及び携帯端末装置の処理フローを示す第一の図及び第二の図である。
以上に説明した画像表示装置1の校正部121及び携帯端末装置2の処理フローを、図15及び図16を参照して順を追って説明する。図15及び図16は、画像表示装置1に携帯端末装置2が有線接続されてからの処理フローを示している。
以上に説明した画像表示装置1の校正部121及び携帯端末装置2の処理フローを、図15及び図16を参照して順を追って説明する。図15及び図16は、画像表示装置1に携帯端末装置2が有線接続されてからの処理フローを示している。
まず画像表示装置1は、携帯端末装置2から所定の接続信号を、有線通信部14を介して受信すると、携帯端末装置2との有線通信、無線通信を確立する(ステップS10)。画像表示装置1はこの段階で携帯端末装置2に関する情報、特に表示部21の縦横比、解像度情報などを取得しておく。次に、校正部121が無線通信部13を介して携帯端末装置2に向けて所定の校正用アプリケーション起動指示信号を送信する(ステップS11)。携帯端末装置2の制御部22は、当該校正用アプリケーション起動指示信号を受信すると、校正用アプリケーションプログラムを読み込んで起動させる(ステップS12)。携帯端末装置2の制御部22は、当該校正用アプリケーション機能の起動を完了すると、その旨を通知する(ステップS13)。
校正部121は、当該校正用アプリケーション機能の起動完了通知を受けると校正処理を開始する。まず校正部121は「第一の特定処理」を開始する(ステップS14)。校正部121は、所定の値に設定したカーソル移動指示信号及びクリック指示信号を送信する(ステップS15)。ここで校正部121は、カーソル移動指示信号のうち移動速度Vを最大移動速度(例えばV=300)に設定しておく。
携帯端末装置2は、当該カーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを移動させ、続いて受信するクリック指示信号に基づいてマウスのクリック操作を実行する(ステップS16)。しかし、移動したマウスカーソルの位置が非応答領域210に属している場合、携帯端末装置2は所定のレスポンス信号を送信しない(ステップS17(図9(a)に示す状態))。なお携帯端末装置2はステップS17にて、マウスカーソルの位置が非応答領域210に属していることを通知する信号を別途送信してもよい。
校正部121は、クリック指示信号を送信後に携帯端末装置2から所定の期間レスポンス信号がないことを検知すると、携帯端末装置2におけるマウスカーソルを基準位置へ戻すためのカーソル移動指示信号を送信する(ステップS18)。携帯端末装置2は、ステップS18において送信されたカーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを基準位置まで移動させる(ステップS19)。一方、校正部121は、携帯端末装置2から所定のレスポンス信号がないことを受け、カーソル移動指示信号における移動速度Vを固定させた状態で移動量Lを増加させ(ステップS20)、携帯端末装置2から所定のレスポンス信号を受信するまでステップS15~ステップS20の処理を繰り返す。
携帯端末装置2は、マウスカーソルが応答領域211に到達した段階でクリック指示信号を受信すると、レスポンス信号を通知する(ステップS21(図9(b)に示す状態))。校正部121は、当該レスポンス信号を受信すると、携帯端末装置2にて定められている移動量掛け率情報テーブルの掛け率Aを特定して、第一の特定処理を終了する(ステップS22)。
続いて画像表示装置1の校正部121は、「第二の特定処理」を開始する(図16のステップS23)。校正部121は、第二の特定処理において、まず、第一の特定処理に基づいたカーソル移動指示信号及びクリック指示信号を送信する(ステップS24)。校正部121は、カーソル移動指示信号のうち移動量Lを、第一の特定処理において最初にレスポンス信号を受信したときの値に設定しておく。また校正部121は、移動速度Vを、第一の特定処理において最初にレスポンス信号を受信したときの値から下げて設定する。
携帯端末装置2は、当該カーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを移動させ、続いて受信するクリック指示信号に基づいてマウスのクリック操作を実行する(ステップS25)。しかし移動速度Vを下げても、移動したマウスカーソルの位置が未だ応答領域211に属している場合は、携帯端末装置2は所定のレスポンス信号を送信する(ステップS26(図11(a)に示す状態))。
校正部121は、携帯端末装置2からのレスポンス信号があることを検知すると、携帯端末装置2におけるマウスカーソルを基準位置へ戻すためのカーソル移動指示信号を送信する(ステップS27)。携帯端末装置2は、ステップS27において送信されたカーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを基準位置まで移動させる(ステップS28)。一方、校正部121は、携帯端末装置2からレスポンス信号があったことを受け、カーソル移動指示信号における移動量Lを固定させた状態で移動速度Vを減少させ(ステップS29)、携帯端末装置2から所定のレスポンス信号の受信がなくなるまでステップS24~ステップS29の処理を繰り返す。
携帯端末装置2は、マウスカーソルが応答領域211から外れた段階でクリック指示信号を受信すると、レスポンス信号を通知しない(ステップS30(図11(b)に示す状態))。校正部121は、当該レスポンス信号の受信がなかったことを検知して、第一の特定処理で特定した掛け率Aが適用される移動速度Vの下限を特定して、第二の特定処理を終了する(ステップS31)。そして、一回目の「第一の特定処理」及び「第二の特定処理」を完了すると、校正部121は次の段階の掛け率A及びその掛け率Aが適用される移動速度Vの範囲を特定すべく、二回目の「第一の特定処理」を開始する(ステップS32)。
図17は、本発明の一実施形態におけるカーソル操作情報生成部の動作を具体的に説明する図である。
次に、校正部121が上述した処理で特定した移動量掛け率情報に基づいて、カーソル操作情報生成部120が行う処理の例を説明する。まず、携帯端末装置2の表示部21における解像度が600×400であり、表示部21の縦横比に応じた画像表示装置1の表示部11における解像度が900×600であったとする(図17)。校正部121は既に校正処理を完了しているものとする。
次に、校正部121が上述した処理で特定した移動量掛け率情報に基づいて、カーソル操作情報生成部120が行う処理の例を説明する。まず、携帯端末装置2の表示部21における解像度が600×400であり、表示部21の縦横比に応じた画像表示装置1の表示部11における解像度が900×600であったとする(図17)。校正部121は既に校正処理を完了しているものとする。
ここでタッチパネル10が表示部11上の座標(300、0)にタッチ操作を検出したとする(図17右)。するとカーソル操作情報生成部120は、携帯端末装置2の表示部21上で、当該タッチ検出箇所に対応する位置をクリックさせるためのカーソル移動指示信号を生成する。具体的には、カーソル操作情報生成部120は、表示部11と表示部21の縮尺である解像度比P(600/900=2/3)を考慮して、表示部11上の座標(300、0)に、当該解像度比P(2/3)を乗じた値(200、0)だけマウスカーソルを基準位置(0、0)から移動させればよい。
そこでカーソル操作情報生成部120は、さらに移動速度Vxに応じた移動量Lxへの掛け率Aを考慮して移動量Lxを決定する。すなわち、カーソル操作情報生成部120は、自画像表示装置へのタッチ操作を即座に携帯端末装置2に反映させる必要があるため、携帯端末装置2におけるマウスカーソルを最速で座標(200、0)に移動させるようにカーソル移動指示信号を生成する。すなわちカーソル操作情報生成部120は、移動速度Vxを最大移動速度(例えば“300”)と設定する。
そしてカーソル操作情報生成部120は、校正部121が取得した移動量掛け率情報テーブルを参照し、当該最大移動速度に対応する掛け率A(例えば“2”)を取得する。そしてカーソル操作情報生成部120は、マウスカーソルを200だけ移動させるように(実効移動量LAが200となるように)掛け率“A=2”を考慮して移動量Lxを“100”に設定する。
以上より、カーソル操作情報生成部120が生成したカーソル移動指示信号の内容は、移動量“Lx=100”、移動速度“Vx=300”となる。携帯端末装置2は、カーソル移動指示信号を受信するとその内容に基づいて、基準位置(0、0)からマウスカーソルを移動させる。携帯端末装置2は、移動速度“Vx=300”に基づいて、移動量“Lx=100”に掛け率“2”を乗じて、実効移動量“LAx=200”に基づいてマウスカーソルをX軸方向に200移動させる(図17左)。
すなわちカーソル操作情報生成部120は、生成すべきカーソル移動指示信号の移動量を、式(1)に基づいて決定する。
式(1)において、タッチ位置(X)とは、画像表示装置1のタッチパネル10が検出したタッチ位置(X座標の値)である。図17の例ではX=300となる。また、両表示部の解像度比(P)とは、画像表示装置1の表示部11に表示されている画像と携帯端末装置2の表示部21に表示されている画像の解像度比である。図17の例では、携帯端末装置2の表示部21における解像度が600×400であり、表示部21の縦横比に応じた画像表示装置1の表示部11における解像度が900×600であるから、P=2/3である。そして、適用される掛け率(A)とは、カーソル操作情報生成部120が送信しようとする移動速度Vxに応じた掛け率Aである。カーソル操作情報生成部120は、校正部121が予め取得している移動量掛け率情報テーブルを参照して当該掛け率Aを取得する。図17に示す例では、移動速度Vxが最大移動速度である“300”であるから、掛け率Aには“2”が適用される。
カーソル操作情報生成部120は、以上の値を式(1)に当てはめて移動量Lxを得る。図17に示す例では、カーソル操作情報生成部120は移動量Lxとして“100”を得る。
なお、ユーザが画像表示装置1に対しドラッグ操作を行った場合であっても、カーソル操作情報生成部120は、移動量掛け率情報テーブルを参照することで、タッチ操作の場合と同様に処理することができる。すなわちカーソル操作情報生成部120は、ドラッグ操作においてユーザが滑らせる指の速さに応じて様々な移動速度Vxを設定することとなるが、その都度、移動量掛け率情報テーブルから適用される掛け率Aを取得して、式(1)に当てはめればよい。
以上説明した本実施形態の画像表示装置では、画像表示装置1から遠隔操作するための専用のアプリケーションプログラムを必要とせずに、画像表示装置1から携帯端末装置2を操作することが可能となり、また、操作性が向上する効果が得られる。なお画像表示装置1は校正処理のため、携帯端末装置2に校正用のアプリケーションプログラムをインストールする必要があるものの、当該校正用アプリケーションプログラムは校正処理の完了以降では動作しないため、画像表示装置1の操作性に影響を与えることはない。
また、画像表示装置1が校正部121を備えており、画像表示装置1は、自動的な校正処理を実施する。このようにすることで、画像表示装置1は連携する携帯端末装置2の機種やユーザ設定、マウスの加速の違い等に関わらずユーザが意図した操作を携帯端末装置2へ反映させることができる。
なお本実施形態における画像表示装置1は、上述したカーナビゲーションシステムとして用いられる態様に限定されるものではない。例えば画像表示装置1は、携帯端末装置2よりも大きい表示部を有する大画面テレビや、パソコン用ディスプレイ、タブレット型端末装置であって、携帯端末装置2のアプリケーション機能に基づく所定の情報処理システム(カーナビゲーションシステムの他、動画再生機やゲーム機等)として機能してもよい。一方、携帯端末装置2は、一般的なスマートフォンとして説明したが、本実施形態における携帯端末装置2は、例えば、スマートフォンよりも大きいサイズのタブレット型端末装置などであっても構わない。
なお、上述の画像表示装置1及び携帯端末装置2は、内部にコンピュータシステムを有している。そして、上述した画像表示装置1及び携帯端末装置2の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行し、上記処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM(Compact Disk Read Only Memory)または半導体メモリ等をいう。また、このコンピュータプログラムを通信回線経由でコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は、上述した実施形態に記載の範囲に限定されるものではない。上記実施形態に多様な変更又は改良を加えることが可能であることが、当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
この出願は、2012年12月21日に出願された日本出願特願2012-279622号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、例えば、スマートフォン等の携帯端末装置を遠隔操作する用途に利用可能である。本発明を適用することで、遠隔操作用の専用のアプリケーションプログラムを必要とせずに、携帯端末装置を遠隔操作することが可能となり、また、操作性が向上する。
1・・・画像表示装置
10、20・・・タッチパネル
100・・・タッチ検出部
11、21・・・表示部
210・・・非応答領域
211・・・応答領域
12、22・・・制御部
120・・・カーソル操作情報生成部
121・・・校正部
13、23・・・無線通信部
130・・・カーソル操作情報送信部
14、24・・・有線通信部
3・・・HDMIケーブル
10、20・・・タッチパネル
100・・・タッチ検出部
11、21・・・表示部
210・・・非応答領域
211・・・応答領域
12、22・・・制御部
120・・・カーソル操作情報生成部
121・・・校正部
13、23・・・無線通信部
130・・・カーソル操作情報送信部
14、24・・・有線通信部
3・・・HDMIケーブル
Claims (10)
- 携帯端末装置の表示画面に表示された画像を表示する画像表示部と、
自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、
当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、
前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、
自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、
を備える画像表示装置。 - 前記校正部は、
前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得する
請求項1に記載の画像表示装置。 - 前記カーソル移動指示信号は、
移動量と移動速度の二つの情報の組み合わせであり、
前記校正部は、
前記携帯端末装置において定められた固有の情報であって、前記移動速度に応じて適用される前記移動量への掛け率を定めた移動量掛け率情報を特定することで前記校正用情報を取得する
請求項2に記載の画像表示装置。 - 前記校正部は、
前記移動速度を固定させた状態で前記移動量を所定量ずつ変化させながら、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返す第一の特定処理と、
前記移動量を固定させた状態で前記移動速度を所定量ずつ変化させながら、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返す第二の特定処理と、をそれぞれ複数回行う
請求項3に記載の画像表示装置。 - 前記校正部は、
前記第一の特定処理の過程において前記レスポンス信号を受信した場合には、当該レスポンス信号を受信した時点における移動量に基づいて前記掛け率を特定するとともに、前記第二の特定処理を開始し、
前記第二の特定処理の過程において前記レスポンス信号を受信しなくなった場合には、当該レスポンス信号を受信しなくなった時点における移動速度に基づいて、前記第一の特定処理にて特定した前記掛け率が適用される移動速度の範囲を特定する
請求項4に記載の画像表示装置。 - 前記カーソル操作情報生成部は、
前記移動量を、一回の送信当たりに送信する分割移動量に分割し、当該分割移動量を移動速度として前記カーソル移動指示信号を生成し、
前記カーソル操作情報送信部は、
当該分割移動量を一回の送信ごとに複数回に分けて送信することで、前記移動量及び前記移動速度の情報を送信する
請求項3から請求項5の何れか一項に記載の画像表示装置。 - 自携帯端末装置の表示画面に表示された画像を表示する画像表示装置と、所定の校正処理を行う携帯端末装置であって、
所定の通信方式に準拠したカーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、自携帯端末装置の前記表示画面上においてカーソルを移動させる制御部を備え、
前記制御部はさらに、
自携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記画像表示装置から所定のクリック指示信号を受信した場合には、所定のレスポンス信号を送信する
携帯端末装置。 - 携帯端末装置の表示画面に表示された画像を表示する画像表示装置と、
前記画像表示装置と、所定の校正処理を行う携帯端末装置と、
を備える情報処理システムであって、
前記画像表示装置は、
自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、
当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、
前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、
自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、
を備え、
前記校正部はさらに、
前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得し、
前記携帯端末装置は、
前記カーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、前記携帯端末装置の前記表示画面上において前記カーソルを移動させる制御部を備え、
前記制御部はさらに、
前記携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記クリック指示信号を受信した場合には、前記レスポンス信号を送信する
情報処理システム。 - 携帯端末装置の表示画面に表示された画像を他の表示画面に表示し、
当該画像を表示する前記他の表示画面上においてタッチされた位置と、前記携帯端末装置の前記表示画面上において所定のカーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記他の表示画面に表示される前記画像および前記携帯端末装置の前記表示画面に表示される前記画像を基準にして相対的に同一の位置とするための校正用情報を取得し、
前記他の表示画面上におけるタッチ操作を検出し、
前記タッチ操作に基づいて、前記カーソル移動指示信号及びクリック指示信号を生成し、
前記カーソル移動指示信号及び前記クリック指示信号を、所定の通信方式に従って送信する
画像表示装置制御方法。 - 携帯端末装置の表示画面に表示された画像を表示する画像表示装置のコンピュータを、
自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部、
当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部、
前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部、
自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014553194A JP5871080B2 (ja) | 2012-12-21 | 2013-12-19 | 画像表示装置、携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-279622 | 2012-12-21 | ||
JP2012279622 | 2012-12-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014098164A1 true WO2014098164A1 (ja) | 2014-06-26 |
Family
ID=50978484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/084005 WO2014098164A1 (ja) | 2012-12-21 | 2013-12-19 | 画像表示装置、携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5871080B2 (ja) |
WO (1) | WO2014098164A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104503722A (zh) * | 2014-12-19 | 2015-04-08 | 广东欧珀移动通信有限公司 | 兼容显示屏的方法、装置及移动终端 |
CN104731457A (zh) * | 2015-03-31 | 2015-06-24 | 北京极简时代软件科技有限公司 | 一种移动终端时钟显示方法及装置 |
CN105373307A (zh) * | 2015-10-12 | 2016-03-02 | 广东欧珀移动通信有限公司 | 图片的控制方法和装置 |
JP2016110470A (ja) * | 2014-12-09 | 2016-06-20 | 株式会社Will Smart | 電子機器の連携システム |
CN105867736A (zh) * | 2016-03-29 | 2016-08-17 | 努比亚技术有限公司 | 多层级界面截图装置和方法 |
CN110088720A (zh) * | 2016-12-27 | 2019-08-02 | 松下知识产权经营株式会社 | 电子设备、输入控制方法以及程序 |
TWI739673B (zh) * | 2020-11-24 | 2021-09-11 | 明基電通股份有限公司 | 觸控顯示裝置與其游標控制方法 |
EP4002071A1 (en) * | 2020-11-24 | 2022-05-25 | BenQ Corporation | Touch-sensing display apparatus and cursor controlling method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122870A (ja) * | 2007-11-13 | 2009-06-04 | Sharp Corp | カーソル制御装置、カーソル制御システムおよびカーソル制御装置の制御方法 |
JP2012177998A (ja) * | 2011-02-25 | 2012-09-13 | Panasonic Corp | 車載端末装置 |
JP2012253736A (ja) * | 2011-05-06 | 2012-12-20 | Denso Corp | 車両用表示装置および情報表示システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012221487A (ja) * | 2012-02-02 | 2012-11-12 | Pioneer Electronic Corp | 移動体の周囲状況検知システム |
JP6124169B2 (ja) * | 2012-06-08 | 2017-05-10 | クラリオン株式会社 | 表示装置 |
-
2013
- 2013-12-19 WO PCT/JP2013/084005 patent/WO2014098164A1/ja active Application Filing
- 2013-12-19 JP JP2014553194A patent/JP5871080B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122870A (ja) * | 2007-11-13 | 2009-06-04 | Sharp Corp | カーソル制御装置、カーソル制御システムおよびカーソル制御装置の制御方法 |
JP2012177998A (ja) * | 2011-02-25 | 2012-09-13 | Panasonic Corp | 車載端末装置 |
JP2012253736A (ja) * | 2011-05-06 | 2012-12-20 | Denso Corp | 車両用表示装置および情報表示システム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110470A (ja) * | 2014-12-09 | 2016-06-20 | 株式会社Will Smart | 電子機器の連携システム |
CN104503722A (zh) * | 2014-12-19 | 2015-04-08 | 广东欧珀移动通信有限公司 | 兼容显示屏的方法、装置及移动终端 |
CN104503722B (zh) * | 2014-12-19 | 2017-11-10 | 广东欧珀移动通信有限公司 | 兼容显示屏的方法、装置及移动终端 |
CN104731457A (zh) * | 2015-03-31 | 2015-06-24 | 北京极简时代软件科技有限公司 | 一种移动终端时钟显示方法及装置 |
CN105373307A (zh) * | 2015-10-12 | 2016-03-02 | 广东欧珀移动通信有限公司 | 图片的控制方法和装置 |
CN105867736A (zh) * | 2016-03-29 | 2016-08-17 | 努比亚技术有限公司 | 多层级界面截图装置和方法 |
CN110088720A (zh) * | 2016-12-27 | 2019-08-02 | 松下知识产权经营株式会社 | 电子设备、输入控制方法以及程序 |
CN110088720B (zh) * | 2016-12-27 | 2023-09-05 | 松下知识产权经营株式会社 | 电子设备、输入控制方法以及存储介质 |
TWI739673B (zh) * | 2020-11-24 | 2021-09-11 | 明基電通股份有限公司 | 觸控顯示裝置與其游標控制方法 |
EP4002071A1 (en) * | 2020-11-24 | 2022-05-25 | BenQ Corporation | Touch-sensing display apparatus and cursor controlling method thereof |
CN114546145A (zh) * | 2020-11-24 | 2022-05-27 | 明基智能科技(上海)有限公司 | 游标控制方法及应用其的触控显示装置 |
US11586350B2 (en) | 2020-11-24 | 2023-02-21 | Benq Corporation | Touch-sensing display apparatus and cursor controlling method thereof |
CN114546145B (zh) * | 2020-11-24 | 2024-03-01 | 明基智能科技(上海)有限公司 | 游标控制方法及应用其的触控显示装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014098164A1 (ja) | 2017-01-12 |
JP5871080B2 (ja) | 2016-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5871080B2 (ja) | 画像表示装置、携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラム | |
US10656895B2 (en) | System for linking and controlling terminals and user terminal used in the same | |
US10948950B2 (en) | Information processing device, table, display control method, program, portable terminal, and information processing system | |
US8847978B2 (en) | Information processing apparatus, information processing method, and information processing program | |
US9632642B2 (en) | Terminal apparatus and associated methodology for automated scroll based on moving speed | |
JP6032286B2 (ja) | 車載機、携帯端末制御方法およびプログラム | |
US8542199B2 (en) | Image processing apparatus, image processing method, and program | |
CN101751286A (zh) | 直觉化档案传输方法 | |
US10735607B2 (en) | Device for generating display data, information device, and display system for displaying scroll region and operation region | |
JP5384706B2 (ja) | マルチタッチの操作方法及びそのシステム | |
TWI678657B (zh) | 控制方法、電子裝置及非暫態電腦可讀取記錄媒體 | |
US20140035816A1 (en) | Portable apparatus | |
US20130244730A1 (en) | User terminal capable of sharing image and method for controlling the same | |
TW201037687A (en) | Method for moving a cursor and display apparatus using the same | |
JP6722239B2 (ja) | 情報処理装置、入力方法及びプログラム | |
CN111078012A (zh) | 一种利用滑按手势操作智能终端缩放功能的方法及装置 | |
JP2014160416A (ja) | 閲覧システム及びプログラム | |
JP2020013472A (ja) | 画像出力装置、制御方法及びプログラム | |
KR101000891B1 (ko) | 디지털 방송용 셋탑박스 제어장치, 그 구동방법 및 디지털방송 시스템 | |
US20200333888A1 (en) | System and method of annotation of a shared display using a mobile device | |
JP2016110470A (ja) | 電子機器の連携システム | |
JP2017011654A (ja) | 画像投影システム | |
JP2015087835A (ja) | 情報処理装置、情報処理システム、および画像表示システム | |
JP2016018239A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13864882 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014553194 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13864882 Country of ref document: EP Kind code of ref document: A1 |