JP6785524B2

JP6785524B2 - 表示装置、表示方法及び表示プログラム

Info

Publication number: JP6785524B2
Application number: JP2016174363A
Authority: JP
Inventors: 康弘持田; 藤井　竜也; 竜也藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-09-07
Filing date: 2016-09-07
Publication date: 2020-11-18
Anticipated expiration: 2036-09-07
Also published as: JP2018041240A

Description

本開示は、ネイティブアプリケーションをウェブアプリケーションに連携させるための表示装置、表示方法及び表示プログラムに関する。

アプリケーションをウェブブラウザ上で実行可能なウェブアプリケーションとして実装することで、専用ソフトウェアをインストールする必要がなくなり、利便性が向上する。非特許文献１には、遠隔協調作業システムをウェブアプリケーションとして実装する方法が記載されている。ユーザの端末から所定のＵＲＬにウェブブラウザでアクセスすることによって、ドキュメント・画像・映像等を閲覧・編集するための機能を配置する共有作業スペースをウェブブラウザ上に表示することができる。ドキュメント等の配置や内容の変更は、協調作業に参加する全ユーザの端末にリアルタイムに反映される。

ウェブアプリケーションは、専用ソフトウェアのインストールが不要であるという利点があるが、ウェブアプリケーションで実現可能な機能は限定的である。例えば、現在ポストスクリプト形式のファイルの内容をウェブブラウザ上で表示することはできない。ウェブブラウザでサポートされていないファイルをウェブアプリケーション上で扱うためには、そのような機能をウェブアプリケーションとして開発する必要があるが、これには多大な労力を要する。一方で、Ｃ＋＋等で実装されたネイティブアプリケーションには、ポストスクリプト形式のファイルの内容を表示できるものが存在する。

Ｔ．Ｍａｒｒｉｎａｎ，Ｊ．Ａｕｒｉｓａｎｏ，Ａ．Ｎｉｓｈｉｍｏｔｏ，Ｋ．Ｂｈａｒａｄｗａｊ，Ｖ．Ｍａｔｅｅｖｉｔｓｉ，Ｌ．Ｒｅｎａｍｂｏｔ，Ｌ．Ｌｏｎｇ，Ａ．Ｊｏｈｎｓｏｎ，ａｎｄＪ．Ｌｅｉｇｈ， "ＳＡＧＥ２：ＡＮｅｗＡｐｐｒｏａｃｈｆｏｒＤａｔａＩｎｔｅｎｓｉｖｅＣｏｌｌａｂｏｒａｔｉｏｎＵｓｉｎｇＳｃａｌａｂｌｅＲｅｓｏｌｕｔｉｏｎＳｈａｒｅｄＤｉｓｐｌａｙｓ"，ＣｏｌｌａｂｏｒａｔｅＣｏｍ．２０１４．

前記課題を解決するために、本開示は、ウェブアプリケーションでは実現できない機能を持つネイティブアプリケーションを、ウェブアプリケーションに連携させることを目的とする。

本開示は、ウェブブラウザ上で実行されるウェブアプリケーションと、ネイティブアプリケーションを連携させることによって、ウェブアプリケーションの機能拡張を可能にするものである。具体的には、ウェブアプリケーションでは実現できない機能を持つネイティブアプリケーションを、ウェブアプリケーションと位置・サイズを合わせて表示し、ユーザからの操作を伝える。

具体的には、本開示に係る表示装置は、
ウェブアプリケーションでは実行できないネイティブアプリケーションを実行するネイティブアプリケーション部と、
ネイティブアプリケーションを表示するための領域がウェブアプリケーションの表示領域において透明になるように、ウェブアプリケーションを表示するウェブブラウザ部と、
前記ウェブブラウザ部からの要求に従ってネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねる端末制御部と、
を備え、
前記ウェブブラウザ部は、前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
前記端末制御部は、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のＯＳのＡＰＩを用いて前記ネイティブアプリケーション部に発生させる。

前記ウェブブラウザ部は、ウェブアプリケーションの表示領域においてネイティブアプリケーションの使用の要求を取得すると、使用の要求のあったネイティブアプリケーション及び表示領域を含む情報をサーバ装置に送信し、前記情報を前記サーバ装置から受信すると、当該表示領域を透明にする。

具体的には、本開示に係る表示方法は、表示装置が実行する表示方法であって、
ウェブブラウザ部がウェブアプリケーションを表示するステップと、
ウェブブラウザ部がネイティブアプリケーションを表示するための領域をウェブアプリケーションの表示領域において透明にし、端末制御部がネイティブアプリケーションを実行するネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねるステップと、
を有し、
前記ウェブブラウザ部は、前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
前記端末制御部は、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のＯＳのＡＰＩを用いて前記ネイティブアプリケーション部に発生させる。

本開示に係る表示プログラムは、本開示に係る表示装置に備わる各機能部としてコンピュータを機能させ、本開示に係る表示方法に備わる各ステップをコンピュータに実行させる。本開示に係る表示プログラムは、記録媒体に記録することも、ネットワークを通して提供することも可能である。

本開示によれば、ウェブアプリケーションでは実現できない機能を持つネイティブアプリケーションを、ウェブアプリケーションと連携させることができる。

本開示の第１のシステム構成例を示す。本開示の第２のシステム構成例を示す。表示装置が複数ある場合の第１のシステム構成例を示す。表示装置が複数ある場合の第２のシステム構成例を示す。表示装置における代表的な画面構成例を示す。ＯＰＥＮリクエストのフォーマットの一例を示す。管理テーブルの一例を示す。端末制御部の設定情報の一例を示す。Ｍｏｖｅリクエストのフォーマットの一例を示す。ユーザ入力イベントの相対座標の一例を示す。ユーザ入力イベントの通知例を示す。実施形態１に係る表示装置の画面構成例を示す。実施形態２に係る表示装置の画面構成例を示す。

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

本開示の基本的な構成例を図１に示す。本開示に係るシステムは、サーバ装置９１と表示装置９２を備える。サーバ装置９１はウェブサーバとして機能する。表示装置９２は、ウェブブラウザ部２１、ネイティブアプリケーション部２３、端末制御部２２を備える。サーバ装置９１と表示装置９２のウェブブラウザ部２１は、ネットワークを介して通信が可能である。本開示の装置は、コンピュータを各機能部として機能させることで実現してもよい。

ウェブブラウザ部２１は、サーバ装置９１からウェブアプリケーションをダウンロードして実行する。これにより、ウェブブラウザ部２１は、ウェブページを表示装置９２上に表示することができる。ここでの通信には、ＨＴＴＰ（ＨｙｐｅｒｔｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）を用いてもよい。さらに、通信のリアルタイム性を高めるためにＷｅｂＳｏｃｋｅｔを用いてもよい。ウェブアプリケーションは、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプトに挙動を記述されたアプリケーションであることが一般的であるが、ウェブブラウザ部２１上で実行可能であれば他の形式で挙動を記述してもよい。

ネイティブアプリケーション部２３は、ウェブアプリケーションでは実現できない機能を持つアプリケーションを実行する。既存のネイティブアプリケーションをそのまま使用してもよい。ネイティブアプリケーション部２３を使用せず、ウェブブラウザ部２１だけを使用する表示装置９２があってもよい。また、ネイティブアプリケーション部２３の使用するネイティブアプリケーションは複数であってもよい。

ウェブブラウザ部２１と端末制御部２２の間の通信は、図１のようにサーバ装置９１を経由してもよい。あるいは、図２及び図４のように、端末制御部２２がＨＴＴＰやＷｅｂＳｏｃｋｅｔに対応したサーバ機能を備え、ウェブブラウザ部２１と直接通信してもよい。

また、表示装置９２が複数あってもよい。その場合には、全ての表示装置９２で同じ画面表示を行う。図１の構成で表示装置９２が複数ある場合には、図３のように各表示装置９２のウェブブラウザ部２１と端末制御部２２がサーバ装置９１とネットワークを介して通信する。図２の構成で表示装置９２が複数ある場合には、図４のように、ひとつのウェブブラウザ部２１が全ての表示装置９２に備わる端末制御部２２と直接通信する。以降では、ウェブブラウザ部２１と端末制御部２２の間の通信は、両方の場合を含むものとする。また、ウェブブラウザ部２１同士の通信は、サーバ装置９１を経由するものとする。

図５に、表示装置９２における本開示の代表的な画面構成を示す。例えばＷｉｎｄｏｗｓ（登録商標）ＯＳを搭載したコンピュータを表示装置として用いて、デスクトップ上でウェブアプリケーションＡ_Ｗの下に位置を合わせてネイティブアプリケーションＡ_Ｎを表示することで、統合されたアプリケーションのように表示する。ネイティブアプリケーションＡ_Ｎの表示領域と重なるウェブアプリケーションＡ_Ｗ上の領域では、バックグラウンドを透明化する。ウェブアプリケーションＡ_Ｗ上の透明領域と、ネイティブアプリケーションＡ_Ｎの位置及びサイズの整合は端末制御部２２が管理する。

ネイティブアプリケーションＡ_Ｎを表示するまでの手順は以下の通りである。ウェブアプリケーションは、これに対応した振る舞いをするように作成する必要がある。
まず、ウェブブラウザ部２１が所定のＵＲＬにアクセスしウェブアプリケーションをダウンロードする。ウェブアプリケーション上でユーザがネイティブアプリケーションＡ_Ｎの使用を要求すると、当該ウェブブラウザ部２１がＯＰＥＮリクエストをサーバ装置９１に送る。サーバ装置９１は、受け取ったＯＰＥＮリクエストを各表示装置９２のウェブブラウザ部２１に送信する。

ＯＰＥＮリクエストには、図６に示すようなフォーマットのＪａｖａＳｃｒｉｐｔ（登録商標）ＯｂｊｅｃｔＮｏｔａｔｉｏｎ（ＪＳＯＮ）を使用してもよい。ＯＰＥＮリクエストには、使用したい機能を示す識別番号（”ａｐｐ”）と、表示する位置（”ｐｏｓｉｔｉｏｎ”）を含む。図６の例では”ｐｏｓｉｔｉｏｎ”に、順に始点水平位置座標ｘ、始点垂直位置座標ｙ、水平方向サイズｗ、垂直方向サイズｈを含んでいる。

ＯＰＥＮリクエストを受け取ったウェブブラウザ部２１は、”ｐｏｓｉｔｉｏｎ”で指定された領域のバックグラウンドを透明化する。透明化する領域は、機能の識別番号ごとに定められる。さらにこのときウェブブラウザ部２１は、図７のような管理テーブルにエントリを追加して位置とサイズ、さらに上下の重なりを表すためのレイヤ情報を保持する。ここでは、レイヤは数字が小さいほど上にあることを表すものとし、最も上にあるときのレイヤの値を１とする。レイヤの値の更新タイミングは、ウェブアプリケーションの実装に依存する。新しくネイティブアプリケーションが配置されたときや、位置・サイズが変更されたときに、レイヤの値を１に設定してもよい。このような仕組みにより、ウェブブラウザ部２１はネイティブアプリケーションａｐｐ１及びネイティブアプリケーションａｐｐ２の上下関係を把握する。

ネイティブアプリケーションを動作させるため、ウェブブラウザ部２１の送信したＯＰＥＮリクエストは端末制御部２２に送信される。ＯＰＥＮリクエストを受け取った端末制御部２２は、ＯＳのＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）を利用してネイティブアプリケーションＡ_Ｎを透明領域の下に重ねて配置する。ＡＰＩは、例えば、Ｗｉｎｄｏｗｓ（登録商標）におけるＳｅｔＷｉｎｄｏｗＰｏｓである。端末制御部２２は、予め機能識別番号”ａｐｐ”と、表示装置９２におけるネイティブアプリケーションＡ_Ｎのパス（”ｐａｔｈ”）を対応付ける情報を有しており、ＯＰＥＮリクエストに含まれる”ａｐｐ”から、どのネイティブアプリケーションＡ_Ｎを起動するかを決定する。対応付けのために端末制御部２２に与える設定情報の例を図８に示す。

ウェブアプリケーション上でネイティブアプリケーションＡ_Ｎの表示の位置・サイズを変更する場合にも、同様にウェブブラウザ部２１からサーバ装置９１経由で変更内容を含むＭＯＶＥリクエストを送り、ネイティブアプリケーションＡ_Ｎの透明領域とウェブアプリケーションＡ_Ｗの位置及びサイズを整合させる。ＭＯＶＥリクエストには、図９に示すようなフォーマットを用いてもよい。

端末制御部２２へのＯＰＥＮリクエストの伝達経路は、図１から図４の各構成で異なる。例えば、図１及び図３の構成の場合、サーバ装置９１は、ＯＰＥＮリクエストを各表示装置９２の端末制御部２２に送信する。例えば、図２及び図４の構成の場合、ＯＰＥＮリクエストを送信するウェブブラウザ部２１は、自装置の端末制御部２２にもＯＰＥＮリクエストを送る。そして、サーバ装置９１からＯＰＥＮリクエストを受信したウェブブラウザ部２１は、受信したＯＰＥＮリクエストを自装置の端末制御部２２に送る。例えば、図４の構成の場合、ＯＰＥＮリクエストを送信するウェブブラウザ部２１は、他の表示装置９２における端末制御部２２にもＯＰＥＮリクエストを送ることも可能である。

ネイティブアプリケーションＡ_Ｎを使用する表示装置９２と、使用しない表示装置９２が混在する場合には、例えばＵＲＬの中にフラグを含めることで、これらを区別することができる。ウェブアプリケーションのＵＲＬが”ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｉｎｄｅｘ．ｈｔｍｌ”の場合、ネイティブアプリケーションを使用しない場合のＵＲＬを”ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｉｎｄｅｘ．ｈｔｍｌ？ｎａｔｉｖｅ＝ｆａｌｓｅ”、使用する場合のＵＲＬを”ｈｔｔｐ：／／ｆｏｏ．ｂａｒ／ｉｎｄｅｘ．ｈｔｍｌ？ｎａｔｉｖｅ＝ｔｒｕｅ”としてもよい。以上の方法によって、ネイティブアプリケーションＡ_Ｎに手を加えることなく、ウェブアプリケーションＡ_ＷとネイティブアプリケーションＡ_Ｎを連携させた画面表示が可能になる。

しかし、表示を重ねただけでは、ネイティブアプリケーションＡ_Ｎに対してユーザがマウスクリックなどの操作をしようとしたときに、上に重なっているウェブアプリケーションＡ_Ｗが操作を受け取ってしまう。そこで、本実施形態は、ウェブアプリケーションＡ_Ｗの透明領域に対するユーザ入力イベントを、ネイティブアプリケーションＡ_Ｎに伝える仕組みを有する。

図１０に示すように、ユーザ入力イベントが発生したウェブブラウザＢ_Ｗ上でのユーザ入力位置Ｐ_Ｉの座標を（ａ，ｂ）とする。ウェブブラウザ部２１は、ウェブアプリケーションＡ_Ｗの表示領域においてユーザ入力を検出すると、図７のテーブルを参照して座標（ａ，ｂ）がどの機能の領域に含まれるかを決定する。該当するエントリが複数ある場合には、レイヤの値の小さいエントリを選択する。

ウェブブラウザ部２１は、選択された機能の識別番号（”ａｐｐ”）と操作内容（”ｉｎｐｕｔ”）を含むユーザ入力イベントを全ての表示装置９２に備わる端末制御部２２に送信する。このとき送信する座標は、ネイティブアプリケーションＡ_Ｎの表示領域内での相対座標に変換したものである。すなわち、入力位置Ｐ_Ｉの座標（ａ，ｂ）がネイティブアプリケーションＡ_Ｎの表示領域内であり、ネイティブアプリケーションＡ_Ｎの領域の始点位置を座標（Ｘ，Ｙ）とすると、座標（ａ−Ｘ，ｂ−Ｙ）を送る。ユーザ入力イベントの通知に、図１１のようなＪＳＯＮフォーマットを用いてもよい。

端末制御部２２は、”ａｐｐ”からイベントを渡すネイティブアプリケーションを決定する。端末制御部２２によって決定されたネイティブアプリケーションは、ＯＳのＡＰＩを用いて当該ネイティブアプリケーションＡ_Ｎ上での相対座標（ａ−Ｘ，ｂ−Ｙ）にイベントを発生させる。

（実施形態１）
ウェブアプリケーションＡ_ＷとネイティブアプリケーションＡ_Ｎを連携させるサイネージの構成例を図１２に示す。本実施形態では、ソフトウェアの広告において、テキスト等をウェブアプリケーションＡ_Ｗで表示し、実際のソフトウェアをネイティブアプリケーションＡ_ＮとしてウェブアプリケーションＡ_Ｗの下に重ねて表示する。

本実施形態では、ウェブブラウザ部２１は、ウェブアプリケーションをダウンロードする。ネイティブアプリケーションは、予め表示装置９２内に格納しておいてもよい。あるいは、ウェブブラウザ部２１がダウンロードしてもよい。ネイティブアプリケーションは、ネイティブアプリケーション部２３として表示装置９２内に格納される。

本実施形態では、ウェブアプリケーションＡ_ＷにおけるネイティブアプリケーションＡ_Ｎの表示領域は予め透明に設定されている。そして、ネイティブアプリケーションＡ_Ｎの表示領域内でユーザ入力があった場合、ネイティブアプリケーション部２３は、ネイティブアプリケーションＡ_Ｎ上でのイベントを発生させる。これにより、ソフトウェアに興味をもったユーザは、ネイティブアプリケーションＡ_Ｎにおいて表示されている枠内に数値を入力してボタンを押すなど、ソフトウェアを実際に操作して挙動を確認することができる。

（実施形態２）
本実施形態では、車をデザインするためのＣＡＤソフトウェアが動作するワークステーションの画面映像をネイティブアプリケーションＡ_Ｎが表示し、それを見ながら複数の表示装置９２が遠隔協調作業を行う場合の例を図１３に示す。

表示装置９２−１が狭帯域ネットワークのみが利用できるモバイル環境から参加するユーザの端末であり、表示装置９２−２が高性能端末と広帯域ネットワークが利用可能なユーザの端末である。サーバ装置９１は、これらの表示装置９２−１及び９２−２に対して、共通のウェブアプリケーションＡ_Ｗを提供する。このとき、ワークステーションの画面映像の表示に異なるネイティブアプリケーション部２３を用いることで、ワークステーションの画面映像において異なる品質のサービスを提供する。

これらのユーザ端末を区別するために、表示装置９２−１及び９２−２に備わるウェブブラウザ部２１は、異なるＵＲＬにアクセスする。ウェブブラウザ部２１は、ドキュメント・画像・映像等を閲覧・編集するための機能を配置する共有作業スペースとしてウェブアプリケーションＡ_Ｗを表示し、画面映像表示機能以外はどちらのＵＲＬに対しても同様に振る舞う。

モバイル環境から参加するユーザの表示装置９２−１に対しては、新しいソフトウェアのインストールを発生させないために、ウェブアプリケーションＡ_Ｗ上で全ての機能を実行できるようにする。そのため、モバイル環境用のＵＲＬからのアクセス時には、ウェブブラウザ上で実行可能な映像送受信の仕組みを利用して、ワークステーションの画面映像を表示するようにウェブアプリケーションを記述する。そのような映像送受信の仕組みには例えば、ＷｅｂＲＴＣ（ＷｅｂＲｅａｌ−ＴｉｍｅＣｏｍｍｕｎｉｃａｔｉｏｎ）がある。ＷｅｂＲＴＣによる映像送受信の品質はそれほど高くないが、事前にネイティブアプリケーションをインストールすることなく協調作業に参加できるようになることで利便性が向上する。

一方、社内の会議室のように、高性能端末と広帯域ネットワークが利用可能な表示装置９２−２では、ネイティブアプリケーション部２３がネイティブアプリケーションＡ_Ｎへの画面映像を表示する。そのため、高性能端末用のＵＲＬからのアクセス時には、本開示の方法を用いて映像送受信用のネイティブアプリケーションを起動するように、ウェブアプリケーションを記述する。ネイティブアプリケーション部２３は、例えば、広帯域を必要とするかわりに高精細な映像が得られるＪＰＥＧ２０００コーデックを利用可能なアプリケーションである。このように、ネイティブアプリケーション部２３を用いてネイティブアプリケーションＡ_Ｎへの画面映像を表示することで、端末の計算リソースとネットワーク帯域を有効に活用し、デザインの細部まで確認を行うことができる。

（開示の効果）
以上説明したように、本開示は、ウェブブラウザ上で実行されるウェブアプリケーションＡ_ＷとネイティブアプリケーションＡ_Ｎを連携させることによって、ウェブアプリケーションＡ_Ｗの機能拡張を可能にする。具体的には、ウェブアプリケーションＡ_Ｗでは実現できない機能を持つネイティブアプリケーションＡ_Ｎを、ウェブアプリケーションＡ_Ｗと位置・サイズを合わせて表示し、ユーザからの操作を伝えることで実現する。ネイティブアプリケーションＡ_Ｎは、予めウェブアプリケーションＡ_Ｗと連携するよう作られたものである必要はなく、既存のネイティブアプリケーションＡ_Ｎをそのまま利用することができる。また、複数の表示装置に対して同じ画面表示をすることが可能になることから、遠隔協調作業に応用することができる。さらに、同じ協調作業に参加するユーザの中でも、異なった品質のサービスを提供することが可能になる。

本開示は情報通信産業に適用することができる。

２１：ウェブブラウザ部
２２：端末制御部
２３：ネイティブアプリケーション部
９１：サーバ装置
９２、９２−１、９２−２：表示装置

Claims

ウェブアプリケーションでは実行できないネイティブアプリケーションを実行するネイティブアプリケーション部と、
ネイティブアプリケーションを表示するための領域がウェブアプリケーションの表示領域において透明になるように、ウェブアプリケーションを表示するウェブブラウザ部と、
前記ウェブブラウザ部からの要求に従ってネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねる端末制御部と、
を備え、
前記ウェブブラウザ部は、
前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
ネイティブアプリケーションの実行前と実行後でウェブアプリケーションの表示領域を変化させず、
ネイティブアプリケーションの実行後、ウェブアプリケーションの表示領域においてはウェブアプリケーションに従って表示し、
前記端末制御部は、ネイティブアプリケーションの表示領域において、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のＯＳのＡＰＩを用いて前記ネイティブアプリケーション部に発生させる、
表示装置。
前記ウェブブラウザ部は、
ウェブアプリケーションの表示領域においてネイティブアプリケーションの使用の要求を取得すると、使用の要求のあったネイティブアプリケーション及び表示領域を含む情報をサーバ装置に送信し、
前記情報を前記サーバ装置から受信すると、当該表示領域を透明にする、
請求項１に記載の表示装置。
ウェブブラウザ部がウェブアプリケーションを表示するステップと、
ウェブブラウザ部がネイティブアプリケーションを表示するための領域をウェブアプリケーションの表示領域において透明にし、端末制御部がネイティブアプリケーションを実行するネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねるステップと、
を有し、
前記ウェブブラウザ部は、前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
前記端末制御部は、ネイティブアプリケーションの表示領域において、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のＯＳのＡＰＩを用いて前記ネイティブアプリケーション部に発生させ、
前記ウェブブラウザ部は、ネイティブアプリケーションの実行前と実行後でウェブアプリケーションの表示領域を変化させず、ネイティブアプリケーションの実行後、ウェブアプリケーションの表示領域においてはウェブアプリケーションに従って表示する、
表示方法。
請求項１又は２に記載の表示装置に備わる各機能部としてコンピュータを機能させる表示プログラム。