Nothing Special   »   [go: up one dir, main page]

JP7365935B2 - display device - Google Patents

display device Download PDF

Info

Publication number
JP7365935B2
JP7365935B2 JP2020033487A JP2020033487A JP7365935B2 JP 7365935 B2 JP7365935 B2 JP 7365935B2 JP 2020033487 A JP2020033487 A JP 2020033487A JP 2020033487 A JP2020033487 A JP 2020033487A JP 7365935 B2 JP7365935 B2 JP 7365935B2
Authority
JP
Japan
Prior art keywords
comment
content
input
control unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020033487A
Other languages
Japanese (ja)
Other versions
JP2021135912A (en
Inventor
季穂 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020033487A priority Critical patent/JP7365935B2/en
Priority to US17/168,658 priority patent/US20210271380A1/en
Publication of JP2021135912A publication Critical patent/JP2021135912A/en
Application granted granted Critical
Publication of JP7365935B2 publication Critical patent/JP7365935B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は表示装置に関する。 The present invention relates to a display device.

近年、タッチやペン入力に対応するパソコンやタブレットが普及しており、手書き入力に関する技術も様々提案されている。 In recent years, personal computers and tablets that support touch and pen input have become popular, and various technologies related to handwritten input have been proposed.

例えば、複数の手書きストロークがテキスト入力である場合に1以上の手書き単語ブロックを生成し、第1の所定のレイアウト基準に従って位置付け、複数の手書きストロークがスケッチである場合に、スケッチコンテンツオブジェクトを生成し、第1の所定のレイアウト基準とは異なる第2の所定のレイアウト基準に従って位置づけることによって、複数の手書きストロークを入力エリアで受信することに応答する技術が提案されている(特許文献1参照)。 For example, generating one or more handwritten word blocks when the plurality of handwritten strokes are text input, positioning them according to a first predetermined layout criterion, and generating a sketch content object when the plurality of handwritten strokes are sketches. , a technique has been proposed that responds to receiving a plurality of handwritten strokes in an input area by positioning them according to a second predetermined layout criterion that is different from a first predetermined layout criterion (see Patent Document 1).

また、直前に入力したイメージデータに対して、所定のコマンド(ジェスチャ)を入力することで、イメージデータを削除する技術が提案されている(特許文献2参照)。 Furthermore, a technique has been proposed in which image data is deleted by inputting a predetermined command (gesture) to the image data that was input immediately before (see Patent Document 2).

特表2018-530042号公報Special table 2018-530042 publication 特開平6-309093号公報Japanese Patent Application Publication No. 6-309093

文書ファイル等のコンテンツをブラッシュアップする上で、他者によるレビューは欠かせず、コンテンツに対してコメントが入力できるアプリケーション等の利用も進んでいる。しかしながら、特許文献1や特許文献2に開示された技術では、ユーザがコンテンツの中の所定の領域に対してコメントを付加させることを考えても、簡易な方法により、コメントを付加する対象となったコンテンツの領域を知り得ることはできなかった。 Reviews by others are essential for improving content such as document files, and the use of applications that allow users to enter comments on content is also increasing. However, with the technology disclosed in Patent Document 1 and Patent Document 2, even if the user wants to add a comment to a predetermined area in the content, there is a simple method that allows the user to add a comment to a predetermined area of the content. It was not possible to know the area of content that was created.

上述した課題を解決するために、本発明の表示装置は、領域を特定し、当該領域のコンテンツをコメントとして記憶する表示装置を提供することを目的とする。 In order to solve the above-mentioned problems, it is an object of the present invention to provide a display device that specifies an area and stores the content of the area as a comment.

上述した課題を解決するための第1の実施態様は、コンテンツを表示する表示部(例えば、図2の表示部110)と、入力部(例えば、図2の入力部120)と、記憶部(例えば、図2の記憶部150)と、制御部(例えば、図2の制御部100)と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記制御部は、
前記表示部に表示されたコンテンツのうち、前記入力部により入力された領域を特定し、
前記特定された領域のコンテンツに基づく第1の画像をコメントとして記憶する、
ことを特徴とする表示装置である。
A first embodiment for solving the above-mentioned problems includes a display unit that displays content (for example, the display unit 110 in FIG. 2), an input unit (for example, the input unit 120 in FIG. 2), and a storage unit ( For example, in a display device including a storage unit 150 in FIG. 2) and a control unit (for example, control unit 100 in FIG. 2),
The storage unit is capable of storing characters or images as comments in association with the content,
The control unit includes:
identifying an area input by the input unit among the content displayed on the display unit;
storing a first image based on the content of the identified area as a comment;
This is a display device characterized by the following.

第2の実施態様は、コンテンツを表示する表示部(例えば、図2の表示部110)と、入力部(例えば、図2の入力部120)と、記憶部(例えば、図2の記憶部150)と、制御部(例えば、図2の制御部100)と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記制御部は、
前記表示部に、第1の画像を入力するための入力領域を前記コンテンツに重畳させて表示し、
前記入力領域が重畳された範囲を含む領域を特定し、
前記入力領域に入力された第1の画像と、前記特定された領域のコンテンツに基づく第2の画像とをコメントとして記憶する、
ことを特徴とする表示装置である。
The second embodiment includes a display unit that displays content (for example, the display unit 110 in FIG. 2), an input unit (for example, the input unit 120 in FIG. 2), and a storage unit (for example, the storage unit 150 in FIG. 2). ) and a control unit (for example, the control unit 100 in FIG. 2),
The storage unit is capable of storing characters or images as comments in association with the content,
The control unit includes:
displaying an input area for inputting a first image on the display unit superimposed on the content;
identifying an area including a range where the input area is superimposed;
storing a first image input into the input area and a second image based on the content of the identified area as a comment;
This is a display device characterized by the following.

本発明の表示装置によれば、領域を特定し、当該領域のコンテンツをコメントとして記憶することができる。 According to the display device of the present invention, it is possible to specify an area and store the content of the area as a comment.

第1実施形態におけるシステムの概要を説明するための図である。FIG. 1 is a diagram for explaining an overview of a system in a first embodiment. 第1実施形態における表示装置の機能構成を説明するための図である。FIG. 2 is a diagram for explaining the functional configuration of a display device in the first embodiment. 第1実施形態におけるコンテンツ情報、手書き図形情報、コメント情報を説明するための図である。FIG. 3 is a diagram for explaining content information, handwritten figure information, and comment information in the first embodiment. 第1実施形態におけるコメント記憶処理を説明するための図である。FIG. 3 is a diagram for explaining comment storage processing in the first embodiment. 第1実施形態における動作例を説明するための図である。FIG. 3 is a diagram for explaining an example of operation in the first embodiment. 第1実施形態における動作例を説明するための図である。FIG. 3 is a diagram for explaining an example of operation in the first embodiment. 第2実施形態におけるコメント記憶・追記処理を説明するための図である。FIG. 7 is a diagram for explaining comment storage/addition processing in the second embodiment. 第2実施形態における動作例を説明するための図である。FIG. 7 is a diagram for explaining an example of operation in the second embodiment. 第3実施形態におけるコメント記憶処理を説明するための図である。FIG. 7 is a diagram for explaining comment storage processing in a third embodiment. 第3実施形態における動作例を説明するための図である。FIG. 7 is a diagram for explaining an example of operation in a third embodiment. 第4実施形態におけるコメント記憶処理を説明するための図である。It is a figure for explaining comment storage processing in a 4th embodiment. 第5実施形態におけるファイル添付処理を説明するための図である。FIG. 7 is a diagram for explaining file attachment processing in the fifth embodiment. 第5実施形態における動作例を説明するための図である。It is a figure for explaining the example of operation in a 5th embodiment. 第6実施形態における表示切り替え処理を説明するための図である。FIG. 7 is a diagram for explaining display switching processing in a sixth embodiment. 第6実施形態における動作例を説明するための図である。It is a figure for explaining the example of operation in a 6th embodiment.

以下、本発明の表示装置を適用した場合の実施形態について説明する。なお、各実施形態は本発明を説明する都合上記載したものであり、本発明の技術的範囲が以下の実施形態に限定されるものではない。 Hereinafter, embodiments in which the display device of the present invention is applied will be described. Note that each embodiment is described for convenience of explaining the present invention, and the technical scope of the present invention is not limited to the following embodiments.

[1.第1実施形態]
[1.1 全体構成]
図1(a)は、表示装置10の外観を示した図である。表示装置10は、例えば、タブレット型の端末装置や、ノートパソコンといった情報処理装置であってもよいし、電子ホワイトボード、電子黒板(IWB:Interactive Whiteboard)で利用されるような大型の表示装置や、テーブル型の表示装置であってもよい。表示装置10に対するユーザの操作は、例えば、タッチパネルによるタッチを検出したり、入力装置15を用いた操作を検出したりすることで入力される。
[1. First embodiment]
[1.1 Overall configuration]
FIG. 1A is a diagram showing the appearance of the display device 10. As shown in FIG. The display device 10 may be, for example, an information processing device such as a tablet terminal device or a notebook computer, or a large display device such as the one used in an electronic whiteboard or an interactive whiteboard (IWB). , or a table type display device. A user's operation on the display device 10 is input by, for example, detecting a touch on a touch panel or detecting an operation using the input device 15.

本システムでは、表示装置10にコンテンツやコメントが記憶されている。表示装置10は、記憶されたコンテンツやコメントを参照することで、コンテンツにコメントを付加して表示することができる。 In this system, content and comments are stored in the display device 10. The display device 10 can add comments to content and display the content by referring to the stored content and comments.

なお、本実施形態において、表示装置10は単一の装置として説明するが、複数の表示装置を含む構成や、表示装置とサーバとが連携するような構成であってもよい。 In this embodiment, the display device 10 will be described as a single device, but it may also have a configuration including a plurality of display devices or a configuration in which a display device and a server cooperate.

例えば、図1(b)のように、管理者であるユーザが利用する表示装置10Hと、他のユーザが使用する複数の表示装置を含むシステムの構成としてもよい。以下、システム全体の動作の概要について説明する。 For example, as shown in FIG. 1(b), the system may be configured to include a display device 10H used by a user who is an administrator, and a plurality of display devices used by other users. An overview of the operation of the entire system will be explained below.

(1)管理者であるユーザHが利用する表示装置10Hにおいて、ユーザHは、コンテンツを選択する(F10)。このとき、ユーザHは、コンテンツに対して自らコメントを付加してもよい。コメントは、コンテンツとは別のファイル(データ)として記憶されてもよい。 (1) On the display device 10H used by the user H who is the administrator, the user H selects content (F10). At this time, user H may add a comment to the content himself/herself. Comments may be stored as a file (data) separate from the content.

(2)ユーザAは、ユーザAが利用する表示装置10Aにおいて、表示装置10Hからコンテンツと、必要に応じてコメントを読み出す(F12)。 (2) User A reads the content and, if necessary, comments from the display device 10H on the display device 10A used by the user A (F12).

(3)ユーザAは、読み出されたコンテンツにコメントを付加する処理を実行する(F14)。 (3) User A executes a process of adding a comment to the read content (F14).

(4)ユーザAがコンテンツに付加したコメントは、表示装置10Hに送信される(F16)。表示装置10Hは、受信したコメントに基づいて、コンテンツに対応するコメントを更新することで、コンテンツに、ユーザAが付加したコメントが反映されることになる。 (4) The comment added to the content by user A is transmitted to the display device 10H (F16). The display device 10H updates the comment corresponding to the content based on the received comment, so that the comment added by the user A is reflected in the content.

(5)同様に、ユーザB、ユーザCでも、ユーザHが選択したコンテンツにコメントを付加する処理を実行する。 (5) Similarly, users B and C also perform the process of adding comments to the content selected by user H.

このように、本システムを利用することで、各ユーザはコンテンツに対してそれぞれコメントを付加することが可能である。 In this way, by using this system, each user can add a comment to the content.

また、表示装置は、サーバ装置と接続可能なシステムであってもよい。例えば、図1(c)に示すように、表示装置10が通信可能なサーバ装置20をシステムに接続する。サーバ装置20は、同一ネットワークであってもよいし、クラウドにあってもよい。図1(c)に示すように、表示装置10は、それぞれサーバ装置20と通信可能に構成されている。すなわち、図1(b)の構成において表示装置10Hに記憶されているコンテンツや、コメントに関するデータをサーバ装置20に記憶する。表示装置10H、表示装置10A、表示装置10Bは、それぞれサーバ装置20を参照することで、上述した構成と同じ動作が実現できる。 Further, the display device may be a system connectable to a server device. For example, as shown in FIG. 1C, a server device 20 with which the display device 10 can communicate is connected to the system. The server device 20 may be in the same network or in the cloud. As shown in FIG. 1(c), the display devices 10 are configured to be able to communicate with the server device 20, respectively. That is, data related to content and comments stored in the display device 10H in the configuration of FIG. 1(b) is stored in the server device 20. The display device 10H, the display device 10A, and the display device 10B can realize the same operation as the configuration described above by referring to the server device 20, respectively.

なお、以下の説明は、1台の表示装置で実現する場合について説明するが、いわゆる当業者であれば第2の構成、第3の構成にも適用できる。 Note that although the following description will be made regarding the case where the display device is implemented with one display device, those skilled in the art can also apply it to the second configuration and the third configuration.

[1.2 機能構成]
つづいて、図2を参照して、表示装置10の機能構成について説明する。各構成は、動作に必要なものを備えれば十分であり、必須の構成ではない。
[1.2 Functional configuration]
Next, the functional configuration of the display device 10 will be described with reference to FIG. 2. Each configuration is sufficient if it includes what is necessary for operation, and is not an essential configuration.

制御部100は、表示装置10の全体を制御するための機能部である。制御部100は、記憶部150に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、1又は複数の演算装置(例えば、CPU(Central Processing Unit))により構成される。 The control unit 100 is a functional unit for controlling the entire display device 10. The control unit 100 realizes various functions by reading and executing various programs stored in the storage unit 150, and is composed of one or more arithmetic units (for example, a CPU (Central Processing Unit)). .

また、制御部100は、プログラムを実行することにより、コメント処理部102、UI(User Interface)処理部104、ユーザ認証部106として動作する。 Further, the control unit 100 operates as a comment processing unit 102, a UI (User Interface) processing unit 104, and a user authentication unit 106 by executing programs.

コメント処理部102は、ユーザから入力された操作に応じてコメントの入力・変更・削除といった編集処理を実行する。コメント処理部102は、ユーザにより入力されたコメントに、必要な情報を付加して記憶部150のコメント情報156に記憶する。また、他の表示装置10や、サーバ装置20にコメント情報が記憶されている場合、コメント処理部102は、通信部160を介して他の装置とコメントを送受信してもよい。 The comment processing unit 102 executes editing processing such as inputting, changing, and deleting comments in response to operations input by the user. The comment processing unit 102 adds necessary information to the comment input by the user and stores it in the comment information 156 of the storage unit 150. Further, if comment information is stored in another display device 10 or server device 20, the comment processing unit 102 may transmit and receive comments to and from the other device via the communication unit 160.

コメント処理部102は、ユーザから入力されたオブジェクトを、コンテンツに対して入力されたコメントとして処理する。ユーザによって入力されるオブジェクトには、例えば、図形、テキスト(文字)、記号が含まれる。 The comment processing unit 102 processes an object input by a user as a comment input for the content. Objects input by the user include, for example, figures, text (characters), and symbols.

本実施形態において、コンテンツとは、表示装置10の表示部110に表示される内容であり、例えば、画像や文書である。また、文書とは、ワープロソフトや、表計算ソフト、プレゼンテーションソフトを用いて作成されたデータや、PDF(Portable Document Format)形式のデータをいう。 In this embodiment, the content is content displayed on the display unit 110 of the display device 10, and is, for example, an image or a document. Further, a document refers to data created using word processing software, spreadsheet software, presentation software, or data in PDF (Portable Document Format) format.

また、本実施形態において、コメントとは、コンテンツ対応付けるためにユーザによって入力される情報であって、当該内容を入力したユーザの情報や当該内容が入力されたときに表示されたコンテンツの情報に対応付けられるものをいう。ユーザによってコメントとして入力される情報は、コンテンツに対する注釈や指摘等、他のユーザに対して伝達する情報であってもよいし、備忘録等、私的な情報であってもよい。 Furthermore, in this embodiment, a comment is information input by a user in order to associate content, and corresponds to the information of the user who inputted the content or the information of the content displayed when the content was input. Refers to something that can be attached. The information input by the user as a comment may be information to be communicated to other users, such as annotations or suggestions regarding the content, or may be private information, such as a memorandum.

オブジェクトの入力については、例えば、コメント処理部102は、ユーザからソフトウェアキーボードや、ハードウェアキーボードから入力された場合はテキストのコメントの入力を受け付ける。また、コメント処理部102は、タッチパネルにより図形が描画された場合や、操作ペンで図形が描画された場合は、当該入力された図形のコメントの入力を受け付ける。以下の説明において、タッチパネルに対するタッチ操作や操作ペンによる操作によって入力された図形を、手書き図形という。手書き図形には、例えば、文字や記号を構成する図形や、点、線、矢印、矩形等の図形が含まれる。また、コメント処理部102は、タッチボタンや操作によって、テキストによるコメントと、図形によるコメントとを切り替えて入力を受け付けてもよい。 Regarding object input, for example, the comment processing unit 102 accepts a text comment input from a user using a software keyboard or a hardware keyboard. Furthermore, when a figure is drawn with a touch panel or a figure is drawn with an operation pen, the comment processing unit 102 receives input of a comment for the input figure. In the following description, a figure input by a touch operation on a touch panel or an operation using an operation pen will be referred to as a handwritten figure. Handwritten figures include, for example, figures constituting characters and symbols, and figures such as points, lines, arrows, and rectangles. Further, the comment processing unit 102 may receive input by switching between a text comment and a graphic comment using a touch button or an operation.

さらに、コメント処理部102は、手書き図形を文字認識することでテキストに変換してもよいし、テキストを画像化してもよい。本実施形態では、ユーザは、テキスト入力と、手書き入力とを意識しないでコメントを付加することができる。 Furthermore, the comment processing unit 102 may convert a handwritten figure into text by character recognition, or may convert the text into an image. In this embodiment, the user can add a comment without being aware of text input and handwritten input.

さらに、コメント処理部102は、ユーザが付加するコメントとして、スタンプのような画像を処理してもよい。 Furthermore, the comment processing unit 102 may process an image such as a stamp as a comment added by the user.

なお、コメント処理部102は、その他の一般的な編集処理、例えば、挿入、削除、変更、置換、移動といった操作や、文字種の変更、カーソルの移動、フォントの変更、線の色・太さの変更、線の変形といった公知の編集処理は実行可能である。 Note that the comment processing unit 102 performs other general editing processing, such as operations such as inserting, deleting, changing, replacing, and moving, changing the character type, moving the cursor, changing the font, and changing the color and thickness of the line. Known editing processes such as modification and line deformation can be performed.

UI処理部104は、ユーザインタフェースの画面を生成し、表示部110に表示する。本実施形態においては、UI処理部104は、表示部110に、コンテンツと、コメントに関する情報及びコメントの一覧とを表示する処理を行う。例えば、図5(a)に示すように、表示画面W100の全体にコンテンツを表示し、領域R100にコメントを縦方向に並べて一覧で表示する。コメントは、時系列に並べてもよいし、ユーザ毎に表示してもよい。例えば、図5(a)の領域R102に、ユーザアイコンが表示されている。ユーザによりユーザアイコンが選択されると、UI処理部104は選択されたユーザに対応するコメントを、コメント情報156から読み出して表示する。UI処理部104は、コメントの一覧を、コンテンツに重畳して表示してもよいし、表示部110の表示領域を分割し、コンテンツが表示される領域とは異なる領域にコメントの一覧を表示してもよい。また、UI処理部104は、コメントの一覧の表示と非表示とを切り替えられてもよい。 The UI processing unit 104 generates a user interface screen and displays it on the display unit 110. In this embodiment, the UI processing unit 104 performs a process of displaying content, information regarding comments, and a list of comments on the display unit 110. For example, as shown in FIG. 5(a), content is displayed on the entire display screen W100, and comments are vertically arranged and displayed in a list in the area R100. Comments may be arranged in chronological order or may be displayed for each user. For example, a user icon is displayed in area R102 in FIG. 5(a). When a user icon is selected by the user, the UI processing unit 104 reads a comment corresponding to the selected user from the comment information 156 and displays it. The UI processing unit 104 may display the list of comments superimposed on the content, or may divide the display area of the display unit 110 and display the list of comments in an area different from the area where the content is displayed. It's okay. Furthermore, the UI processing unit 104 may be able to switch between displaying and hiding a list of comments.

ユーザ認証部106は、ユーザを認証する。具体的には、ユーザ認証部106は、ユーザ情報158を参照して、例えば、コメントを付けるユーザを認証したり、コンテンツの所有者(ユーザ)の認証をしたりする。なお、ユーザ認証部106は、外部の認証サーバを利用してもよい。認証サーバを利用した場合、ユーザ認証部106及びユーザ情報158は、認証サーバに記憶してもよい。 User authentication section 106 authenticates the user. Specifically, the user authentication unit 106 refers to the user information 158 to authenticate a user who adds a comment or authenticates the owner (user) of the content, for example. Note that the user authentication unit 106 may use an external authentication server. When an authentication server is used, the user authentication unit 106 and user information 158 may be stored in the authentication server.

表示部110は、コンテンツやコメントを表示したり、表示装置10の各種状態や、操作入力の状態を表示したりする。例えば、液晶ディスプレイ(LCD:liquid crystal display)や、有機ELパネル、電気泳動方式を利用した電子ペーパ等により構成されている。 The display unit 110 displays content and comments, various states of the display device 10, and the state of operation input. For example, it is configured with a liquid crystal display (LCD), an organic EL panel, electronic paper using an electrophoresis method, or the like.

入力部120は、ユーザからの操作入力を受け付ける。例えば、静電容量式や、感圧式のタッチパネルにより構成される。入力部120は、タッチパネルと操作ペンを組み合わせてもよいし、キーボード、マウスといった入力装置であってもよい。その他にも、例えば、マイク等と組み合わせて音声入力を行う等、入力部120は、ユーザが情報を入力できればよい。 The input unit 120 receives operation input from the user. For example, it is configured with a capacitive or pressure-sensitive touch panel. The input unit 120 may be a combination of a touch panel and an operation pen, or may be an input device such as a keyboard or a mouse. In addition, the input unit 120 may be used as long as the user can input information, such as performing voice input in combination with a microphone or the like.

また、入力部120は、ユーザから入力の操作があった位置を検出し、入力位置として制御部100に出力する。入力位置は、例えば、タッチパネルにおいて検出された位置として、表示部110に表示されている表示画面上の座標であることが好ましい。それ以外にも、カーソルの位置(文章中の行、列の位置)や、配置されているレイアウトの情報(例えば、ボタン上や、スクロールバー上)といった位置であってもよい。 Further, the input unit 120 detects a position where an input operation is performed by the user, and outputs the detected position to the control unit 100 as an input position. The input position is preferably, for example, a coordinate on a display screen displayed on the display unit 110 as a position detected on a touch panel. In addition to this, the position may also be the position of the cursor (row or column position in the text) or information on the layout in which it is placed (for example, on a button or on a scroll bar).

記憶部150は、表示装置10の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部150は、例えば、半導体メモリであるSSD(Solid State Drive)や、HDD(Hard Disk Drive)等により構成されている。また、記憶部150は、コンテンツ情報152と、手書き図形情報154と、コメント情報156と、ユーザ情報158とを記憶している。 The storage unit 150 is a functional unit in which various programs and various data necessary for the operation of the display device 10 are stored. The storage unit 150 includes, for example, a semiconductor memory such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive). The storage unit 150 also stores content information 152, handwritten graphic information 154, comment information 156, and user information 158.

コンテンツ情報152は、コンテンツと、コンテンツに関する情報とを記憶している。コンテンツ情報152には、例えば、図3(a)に示すように、以下の情報が含まれている。 The content information 152 stores content and information regarding the content. The content information 152 includes the following information, for example, as shown in FIG. 3(a).

・コンテンツID:コンテンツを識別するための情報。
・コンテンツ:コンテンツに関する情報。コンテンツは、例えば、文章ファイル、画像ファイル、PDF(Portable Document Format)ファイル、オフィスファイル等である。これらのコンテンツとしては、実際のデータが記憶されてもよいし、記憶されている場所(例えば、フォルダの場所、URL(uniform resource locator))が記憶されてもよい。また、コンテンツは、1又は複数のページで構成されてもよい。
・コメントIDリスト:コメントIDのリスト。当該コンテンツに付加されたコメントに対応するコメントIDが含まれている。
- Content ID: Information for identifying content.
- Content: Information regarding the content. The contents include, for example, text files, image files, PDF (Portable Document Format) files, office files, and the like. As these contents, actual data may be stored, or the location where the data is stored (eg, folder location, URL (uniform resource locator)) may be stored. Furthermore, the content may be composed of one or more pages.
-Comment ID list: List of comment IDs. A comment ID corresponding to a comment added to the content is included.

手書き図形情報154は、コンテンツに対して入力された手書き図形に関する情報を記憶している。コンテンツに対して入力された手書き図形とは、コンテンツが表示されている領域に対して、ユーザによるタッチ操作や操作ペン等の操作がされることにより、コンテンツ対して直接入力された手書き図形をいう。 The handwritten figure information 154 stores information regarding handwritten figures input to the content. A handwritten figure input to the content refers to a handwritten figure that is directly input to the content by the user performing a touch operation or operation with an operating pen, etc. on the area where the content is displayed. .

手書き図形情報154には、例えば、図3(b)に示すように、以下の情報が含まれている。
・コンテンツID:コンテンツを識別するための情報。
・位置:手書き図形が入力された領域と対応付けられた位置。当該コンテンツ又はコンテンツのページ内での位置であり、例えば、座標(XY座標)で示される。
・作成者:手書き図形を入力したユーザに関する情報。
・手書き図形情報:手書き図形を示す情報。
The handwritten figure information 154 includes the following information, for example, as shown in FIG. 3(b).
- Content ID: Information for identifying content.
-Position: The position associated with the area where the handwritten figure is input. This is the content or the position of the content within the page, and is indicated by, for example, coordinates (XY coordinates).
-Creator: Information about the user who input the handwritten figure.
・Handwritten figure information: Information indicating a handwritten figure.

手書き図形情報154に記憶される位置は、手書き図形を含む領域の内部又はその周辺の位置が記憶される。また、手書き図形情報154に記憶される手書き図形情報は、ラスタ形式の画像で記憶されてもよいし、ベクタ形式の画像で記憶されてもよい。 The position stored in the handwritten figure information 154 is a position inside or around the area containing the handwritten figure. Further, the handwritten figure information stored in the handwritten figure information 154 may be stored as a raster format image, or may be stored as a vector format image.

コメント情報156は、ユーザがコンテンツに付加したコメントと、当該コンテンツに関する情報を記憶している。コメント情報156には、例えば、図3(c)に示すように、以下の情報が含まれている。 The comment information 156 stores comments added to content by the user and information regarding the content. The comment information 156 includes the following information, for example, as shown in FIG. 3(c).

・コメントID:コメントを識別するための情報。
・コンテンツID:コメントに対応するコンテンツを識別するための情報。
・位置:コンテンツの中でコメントが付加されている位置の情報。当該コンテンツ又はコンテンツのページ内での位置であり、例えば、座標(XY座標)で示される。また、コンテンツがテキストデータ等の文章データの場合、行・列で表されてもよい。
・作成者:コメントの作成者に関する情報。
・参照先ID:当該コメントが参照するコメント(親コメント)を識別するための情報。ユーザが、コメントを階層的に付加した場合に、親となるコメントを識別するため、親となるコメントIDを記憶する。なお、親と子のコメントとなるような、関連のあるコメントをコメント群と表現する。
・コメント:実際にユーザが入力した(付加した)コメントの内容を示す情報。内容には、例えば、テキストデータ、画像データ、添付ファイルに関するデータ等が記憶される。
-Comment ID: Information for identifying a comment.
- Content ID: Information for identifying the content corresponding to the comment.
・Position: Information about the position where the comment is added in the content. This is the content or the position of the content within the page, and is indicated by, for example, coordinates (XY coordinates). Furthermore, if the content is text data such as text data, it may be represented by rows and columns.
- Author: Information about the author of the comment.
- Reference ID: Information for identifying the comment (parent comment) referred to by the comment. When a user adds comments hierarchically, the parent comment ID is stored in order to identify the parent comment. Note that related comments such as parent and child comments are expressed as a comment group.
-Comment: Information indicating the content of the comment actually input (added) by the user. The contents include, for example, text data, image data, data regarding attached files, and the like.

なお、コメントは、複数の内容が記憶されてもよい。例えば、コメントとして画像データとテキストデータとが記憶されてもよいし、複数の画像データが記憶されてもよい。また、コメントとして複数のデータが記憶される場合は、記憶された順番(入力された順番)が保持されてもよい。例えば、1番目に入力された画像(第1の画像)と、2番目に入力された画像(第2の画像)とが、順番を保持した上でコメントとして記憶されてもよい。この場合は、コメント処理部102は、第2の画像を、第1の画像に対する追記としてのコメント(第1の画像に対応付けられる情報)として扱ってもよい。 Note that a plurality of comments may be stored. For example, image data and text data may be stored as comments, or a plurality of image data may be stored. Furthermore, when a plurality of pieces of data are stored as comments, the order in which they are stored (the order in which they are input) may be maintained. For example, an image input first (first image) and an image input second (second image) may be stored as comments while maintaining their order. In this case, the comment processing unit 102 may treat the second image as a comment added to the first image (information associated with the first image).

ユーザ情報158は、ユーザに関する情報を記憶している。例えば、ユーザを識別するための情報として、ユーザ毎のログインID、パスワード、氏名、使用端末、ユーザの生体情報、使用する入力ペンのID等を記憶してもよい。また、ユーザ情報158は、ユーザ毎にアイコンを対応づけて記憶している。 User information 158 stores information regarding users. For example, as information for identifying users, the login ID, password, name, terminal used, biometric information of the user, ID of the input pen used, etc. for each user may be stored. Further, the user information 158 stores icons associated with each user.

通信部160は、他の装置と通信を行う。例えば、LAN(Local Area Network)に接続して、他の装置とコメントに関する情報を送受信したり、ドキュメントを送受信したりする。通信方式は、一般的なイーサネット(登録商標)であるLANの他にも、LTE/4G/5Gといった通信を利用してもよい。 The communication unit 160 communicates with other devices. For example, it connects to a LAN (Local Area Network) and sends and receives information regarding comments and documents to and from other devices. As the communication method, in addition to the general Ethernet (registered trademark) LAN, communication such as LTE/4G/5G may be used.

なお、上述した各構成は、必要に応じた機能を表示装置10が備えていればよい。例えば、管理者でないユーザ(一般ユーザ)が使用する表示装置10や、サーバ装置20に各データを記憶する場合であればコンテンツ情報152、コメント情報156は記憶部150に記憶する必要はない。また、必要に応じて各種情報は、クラウド上のサーバに記憶してもよい。 Note that each of the above-described configurations may be provided as long as the display device 10 has functions as required. For example, if each data is stored in the display device 10 or server device 20 used by a user who is not an administrator (general user), the content information 152 and comment information 156 do not need to be stored in the storage unit 150. Further, various information may be stored in a server on the cloud as necessary.

図2に記載された構成は、少なくとも制御部100及び記憶部150を備えていればよく、本実施形態における動作を実現できるものを備えていればよい。また、一部の機能は外部の装置で実現されてもよい。例えば、表示部110を、ディスプレイ等の外部装置として構成してもよい。すなわち、表示装置10は、表示装置と、端末装置とで構成されてもよく、制御部100、記憶部150は、端末装置に備えていればよい。 The configuration shown in FIG. 2 only needs to include at least the control section 100 and the storage section 150, and only needs to include something that can realize the operation in this embodiment. Further, some functions may be realized by an external device. For example, the display unit 110 may be configured as an external device such as a display. That is, the display device 10 may be composed of a display device and a terminal device, and the control section 100 and the storage section 150 may be provided in the terminal device.

[1.3 処理の流れ]
本実施形態のコメント記憶処理の流れについて、図4を参照して説明する。制御部100が、図4に示したコメント記憶処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。
[1.3 Process flow]
The flow of comment storage processing in this embodiment will be explained with reference to FIG. 4. The control unit 100 executes the comment storage process shown in FIG. 4 when the UI processing unit 104 generates a user interface screen for displaying content and comments and displays it on the display unit 110. Later.

はじめに、制御部100は、表示部110にメニューを表示する(ステップS102)。制御部100は、入力部120を介して、長押しやダブルタップ等のジェスチャや、メニューを表示するためのアイコンやボタンを選択する操作が入力された場合に、メニューを表示する。 First, the control unit 100 displays a menu on the display unit 110 (step S102). The control unit 100 displays a menu when a gesture such as a long press or a double tap, or an operation to select an icon or button for displaying a menu is input via the input unit 120.

ステップS102において表示されるメニューには、制御部100が実行可能な処理を示す項目が1又は複数表示される。ユーザは、メニューから1の項目を選択することで、所定の処理を実行させることができる。なお、本実施形態では、ステップS102において表示されるメニューに含まれる項目の中には、コンテンツの一部を画像として取得し、当該取得した画像(対象画像)をコメントとして出力する処理である「画像切り出し」が含まれる。 The menu displayed in step S102 displays one or more items indicating processes that can be executed by the control unit 100. The user can execute a predetermined process by selecting one item from the menu. In this embodiment, among the items included in the menu displayed in step S102, there is a process to obtain a part of the content as an image and output the obtained image (target image) as a comment. Includes "Image Cutout".

制御部100は、メニューから、「画像切り出し」が選択されたか否かを判定する(ステップS104)。ここで、メニューから、「画像切り出し」が選択されず、他の処理を示す項目が選択された場合は、制御部100は、選択された処理を実行する(ステップS104;No→ステップS106)。 The control unit 100 determines whether "image cutting out" is selected from the menu (step S104). Here, if "image cutting out" is not selected from the menu but an item indicating another process is selected, the control unit 100 executes the selected process (step S104; No→step S106).

一方で、メニューから、「画像切り出し」が選択された場合は、制御部100は、入力部120を介して入力された操作に基づき、コンテンツの領域を特定する(ステップS104;Yes→ステップS108)。 On the other hand, if "image cutting" is selected from the menu, the control unit 100 specifies the content area based on the operation input via the input unit 120 (step S104; Yes → step S108). .

例えば、制御部100は、入力部120を介して、ユーザからの、タッチ操作、操作ペンの操作、マウスによる操作によるドラッグ操作の入力を受け付け、受け付けたドラッグ操作により領域を指定することが可能な画面を表示部110に表示する。そして、ユーザによってドラッグ操作がされた場合、制御部100は、当該ドラッグ操作に基づく領域を、表示部110に表示されたコンテンツから特定する。 For example, the control unit 100 can receive an input of a drag operation by a touch operation, an operation pen operation, or a mouse operation from the user via the input unit 120, and can specify an area by the accepted drag operation. A screen is displayed on the display unit 110. When the user performs a drag operation, the control unit 100 identifies the area based on the drag operation from the content displayed on the display unit 110.

制御部100が特定する領域は、矩形領域や円形領域であってもよいし、ドラッグ操作がされた位置をそのまま領域の境界とする自由形状の領域であってもよい。 The area specified by the control unit 100 may be a rectangular area or a circular area, or may be a free-form area with the position where the drag operation is performed as the boundary of the area.

つづいて、制御部100は、特定したコンテンツの領域を決定するか否かを判定する(ステップS110)。例えば、制御部100は、ドロップ操作など、ドラッグ操作が終了したことを検出した場合に、領域を決定するか否かを選択させるメニューを表示部110に表示する。ユーザによって領域を決定することが選択された場合は、制御部100は、特定したコンテンツの領域を決定することを判定する。 Subsequently, the control unit 100 determines whether to determine the area of the specified content (step S110). For example, when the control unit 100 detects that a drag operation such as a drop operation has ended, the control unit 100 displays a menu on the display unit 110 that allows the user to select whether or not to determine an area. If the user selects to determine the area, the control unit 100 determines to determine the area of the specified content.

なお、制御部100は、ドラッグ操作が終了したことを検出した時点で、メニューなどを表示することなく、そのまま特定したコンテンツの領域を決定してもよい。また、制御部100は、ドラッグ操作が終了したことを検出した後に、所定時間(例えば、3秒)経過するまでに、ユーザによって操作が入力されなかった場合に、特定したコンテンツの領域を決定してもよい。 Note that when the control unit 100 detects that the drag operation has ended, the control unit 100 may directly determine the area of the specified content without displaying a menu or the like. Further, the control unit 100 determines the area of the specified content if the user does not input an operation within a predetermined period of time (for example, 3 seconds) after detecting that the drag operation has ended. It's okay.

なお、コンテンツの領域を決定しなかった場合は、制御部100は、ステップS108に戻る(ステップS110;No→ステップS108)。 Note that if the content area has not been determined, the control unit 100 returns to step S108 (step S110; No→step S108).

つづいて、制御部100は、ステップS110においてコンテンツの領域を決定した場合、当該特定した領域のコンテンツに基づく画像を取得し、コメントとして記憶する(ステップS110;Yes→ステップS112)。 Subsequently, when the content area is determined in step S110, the control unit 100 acquires an image based on the content of the specified area and stores it as a comment (step S110; Yes→step S112).

コンテンツに基づく画像を取得するために、制御部100は、表示部110に表示されているコンテンツから、コメントとして記憶する画像を生成する。例えば、制御部100は、ステップS110において決定した領域をキャプチャする(切り出す)ことで、コンテンツに基づく画像を取得する。なお、制御部100は、キャプチャする領域内に、オブジェクト(例えば、コンテンツに対して直接入力された手書き図形)が含まれる場合は、コンテンツに基づく画像とオブジェクトとを重ねた画像を取得してもよい。 In order to obtain an image based on the content, the control unit 100 generates an image to be stored as a comment from the content displayed on the display unit 110. For example, the control unit 100 acquires an image based on the content by capturing (cutting out) the area determined in step S110. Note that if an object (for example, a handwritten figure input directly to the content) is included in the area to be captured, the control unit 100 may obtain an image in which an image based on the content and the object are superimposed. good.

また、制御部100は、取得した画像をコメントとして含み、表示部110に表示されているコンテンツのコンテンツIDと、コメントIDと、位置と、作成者とを含んだコメント情報を生成し、コメント情報156として記憶する。このようにすることで、ユーザによって選択された領域に基づくコンテンツに基づく画像は、コメントとして記憶される。 Further, the control unit 100 generates comment information including the acquired image as a comment, the content ID, comment ID, position, and creator of the content displayed on the display unit 110, and generates comment information. 156. By doing so, the image based on the content based on the area selected by the user is stored as a comment.

なお、制御部100は、コメント情報156として記憶するコメントIDを、連番としてもよいし、所定の規則によって生成した文字列としてもよいし、ランダムな文字列としてもよい。 Note that the control unit 100 may store the comment ID as the comment information 156 as a serial number, as a character string generated according to a predetermined rule, or as a random character string.

また、制御部100は、コメント情報156として記憶する位置を、例えば、ステップS102においてメニューを表示する際に、長押しやダブルタップ等のジェスチャが入力された位置とする。なお、制御部100は、コメント情報156として記憶される位置を、ドラッグ操作が終了した位置としてもよいし、ユーザに選択させてもよいし、キャプチャする領域に基づいて決定してもよい。キャプチャする領域に基づいて決定される位置とは、例えば、キャプチャする領域の中心であってもよいし、キャプチャする領域が矩形領域であれば、矩形領域の四隅のいずれかの位置であってもよい。 Furthermore, the control unit 100 stores the position as the comment information 156, for example, the position where a gesture such as a long press or a double tap is input when displaying the menu in step S102. Note that the control unit 100 may set the position to be stored as the comment information 156 as the position where the drag operation ends, may allow the user to select the position, or may determine the position to be stored as the comment information 156 based on the area to be captured. The position determined based on the area to be captured may be, for example, the center of the area to be captured, or if the area to be captured is a rectangular area, the position determined based on the area to be captured may be any of the four corners of the rectangular area. good.

また、制御部100は、コメント情報156として記憶する作成者を、ステップS102においてメニューを表示する前に予めユーザに選択させてもよいし、ステップS108において、ユーザによってコンテンツの領域を入力する際に用いられた操作ペンに基づいて特定してもよい。 Further, the control unit 100 may allow the user to select the creator to be stored as the comment information 156 before displaying the menu in step S102, or may allow the user to select the creator to be stored as the comment information 156 in advance when the user inputs the content area in step S108. The identification may be based on the operating pen used.

つづいて、制御部100(UI処理部104)は、コメント情報156を読み出して、コメントが付加された位置に、当該コメントを付加したユーザ(作成者)を示す識別表示として、ユーザアイコンを表示部110に表示する(ステップS114)。ここで、ユーザアイコンとは、コメントを付加したユーザ(作成者)を識別する識別表示の1つであり、コメントを付加したユーザを識別するための図形、記号、文字、画像のことをいう。識別表示は、コメントを付加したユーザを識別できる表示であればよい。 Next, the control unit 100 (UI processing unit 104) reads the comment information 156 and places a user icon on the display section at the position where the comment is added as an identification display indicating the user (creator) who added the comment. 110 (step S114). Here, the user icon is one of the identification displays for identifying the user (creator) who added the comment, and refers to a figure, symbol, character, or image for identifying the user who added the comment. The identification display may be any display that can identify the user who added the comment.

また、制御部100(UI処理部104)は、表示部110に、コメントを一覧で表示する処理を行う(ステップS116)。なお、制御部100(UI処理部104)は、コメントとして記憶されたコンテンツの一部分の画像の縦の長さ又は横の長さが大きい場合は、当該コンテンツの一部分の画像を縮小して表示してもよい。 Further, the control unit 100 (UI processing unit 104) performs a process of displaying a list of comments on the display unit 110 (step S116). Note that if the vertical or horizontal length of the image of a portion of the content stored as a comment is large, the control unit 100 (UI processing unit 104) reduces and displays the image of the portion of the content. It's okay.

このように、コンテンツの一部分の画像がコメントとして記憶されることにより、ユーザは、コメントとして付加する対象となった領域のコンテンツに基づく画像を、表示部110に一覧で表示されたコメントを見ることで把握することができる。また、ユーザは、コメント処理部102に編集処理を実行させることにより、コメントの編集やコメントの削除を行うことができる。 In this way, by storing an image of a part of the content as a comment, the user can view the comments displayed in a list on the display unit 110, including images based on the content of the area to be added as a comment. It can be grasped by Further, the user can edit comments or delete comments by causing the comment processing unit 102 to execute editing processing.

[1.4 動作例]
本実施形態の動作例について、図5及び図6を参照して説明する。はじめに、図5(a)を参照して、UI処理部104によって生成されたユーザインタフェースである表示画面W100について説明する。表示画面W100には、表示部110の表示可能領域全体にコンテンツが表示されており、画面右端の領域R100に、コメントが一覧で表示されている。なお、領域R100は、画面端の上下左右の何れの位置であってもよい。また、領域R100は、画面端に位置しなくても、例えば、ウィンドウ形式でコンテンツに重畳表示されてもよい。
[1.4 Operation example]
An example of the operation of this embodiment will be described with reference to FIGS. 5 and 6. First, the display screen W100, which is the user interface generated by the UI processing unit 104, will be described with reference to FIG. 5(a). On the display screen W100, content is displayed in the entire displayable area of the display unit 110, and comments are displayed in a list in the area R100 at the right end of the screen. Note that the region R100 may be located at any position above, below, left, or right of the screen edge. Moreover, the region R100 does not have to be located at the edge of the screen, but may be displayed in a window format overlapping the content, for example.

領域R100には、コンテンツに付加されたコメントが一覧で表示されている。例えば、コメントC100としてユーザAのコメントが、コメントC102としてユーザBのコメントが、それぞれ表示されている。また、表示画面W100には、ユーザアイコンU100やユーザアイコンU102が示すように、コメントが付加された位置に、ユーザアイコンが表示されている。 In area R100, comments added to the content are displayed in a list. For example, user A's comment is displayed as comment C100, and user B's comment is displayed as comment C102. Further, on the display screen W100, user icons are displayed at positions where comments have been added, as shown by the user icons U100 and U102.

なお、コメントを一覧で表示する場合においては、親コメント/子コメントが確認できるように表示されるようにしてもよい。例えば、コメントC100の子コメントであるコメントC102は、親コメントであるコメントC100にぶら下がるように表示(入れ子となるように表示)してもよい。 Note that when comments are displayed in a list, parent comments/child comments may be displayed so that they can be confirmed. For example, comment C102, which is a child comment of comment C100, may be displayed so as to hang from comment C100, which is a parent comment (displayed so as to be nested).

つづいて、制御部100によってコメント記憶処理が実行されるときに、表示部110に表示される表示画面について説明する。まず、コメント記憶処理のステップS102において、メニューを表示する処理が実行された場合、表示部110には、図5(b)に示した表示画面W110が表示される。表示画面W110には、メニューM110が表示される。メニューM110には、項目として「画像切り出し」が含まれる。なお、メニューM110に表示される項目のうち、ユーザが選択できない項目はグレーアウトされてもよい。 Next, a display screen displayed on display section 110 when comment storage processing is executed by control section 100 will be described. First, in step S102 of the comment storage process, when the process of displaying a menu is executed, the display screen W110 shown in FIG. 5(b) is displayed on the display unit 110. A menu M110 is displayed on the display screen W110. The menu M110 includes "image cutting" as an item. Note that among the items displayed in the menu M110, items that cannot be selected by the user may be grayed out.

表示画面W110に表示されたメニューから「画像切り出し」が選択された場合、表示部110に表示される表示画面は、表示画面W110から図5(c)に示した表示画面W120に遷移する。表示画面W120は、図5(c)に示すように、コンテンツ全体に暗幕を掛けたような表示がされ、コンテンツが暗く表示される。 When "Image Cutout" is selected from the menu displayed on the display screen W110, the display screen displayed on the display unit 110 transitions from the display screen W110 to the display screen W120 shown in FIG. 5(c). As shown in FIG. 5C, the display screen W120 displays the entire content as if it were covered with a blackout curtain, and the content is displayed darkly.

このとき、ユーザによって操作がされた場合に表示される表示画面W130を、図6(a)に示す。例えば、ユーザによって操作ペンP130を用いたドラッグ操作が入力された場合、ドラッグ操作に基づいて表示装置10によって特定された領域が、図6(a)の領域R130に示すように、明るく表示されてもよい。このようにすることで、表示装置10は、ユーザに対して、コメントとして記憶されるコンテンツの領域を確認させることができる。 At this time, the display screen W130 that is displayed when the user performs the operation is shown in FIG. 6(a). For example, when the user inputs a drag operation using the operating pen P130, the area specified by the display device 10 based on the drag operation is displayed brightly, as shown in area R130 in FIG. 6(a). Good too. By doing so, the display device 10 can allow the user to confirm the content area to be stored as a comment.

表示画面W130において、表示装置10によって、ドラッグ操作が終了したことを検出された場合、表示部110に表示される表示画面は、表示画面W130から図6(b)に示した表示画面W140に遷移する。表示画面W140には、メニューM140が表示される。メニューM140には、項目として、ユーザによって入力された操作に基づき特定された領域を決定するための「OK」と、領域を選択し直すための「キャンセル」とが含まれる。このとき、ユーザによって、メニューM140から「キャンセル」が選択された場合は、表示部110に表示される表示画面は、表示画面W140から図5(c)に示した表示画面W120に遷移する。なお、図6(a)に示した表示画面W130に遷移し、特定された領域(例えば、領域R130のように明るく表示された領域)を変形させる操作が受け付けられるようにしてもよい。 When the display device 10 detects that the drag operation has ended on the display screen W130, the display screen displayed on the display unit 110 transitions from the display screen W130 to the display screen W140 shown in FIG. 6(b). do. A menu M140 is displayed on the display screen W140. The menu M140 includes, as items, "OK" for determining the area specified based on the operation input by the user, and "Cancel" for reselecting the area. At this time, if the user selects "Cancel" from the menu M140, the display screen displayed on the display unit 110 transitions from the display screen W140 to the display screen W120 shown in FIG. 5(c). Note that the display screen W130 shown in FIG. 6A may be displayed, and an operation for changing the specified area (for example, a brightly displayed area like the area R130) may be accepted.

一方で、ユーザによって、メニューM140から「OK」が選択された場合、表示部110に表示される表示画面は、表示画面W140から図6(c)に示した表示画面W150に遷移する。表示画面W150は、ユーザの操作に基づき特定された領域(図6(a)の領域R130)のコンテンツに基づく画像がコメントとして新たに記憶されたときの表示画面である。 On the other hand, when the user selects "OK" from the menu M140, the display screen displayed on the display unit 110 transitions from the display screen W140 to the display screen W150 shown in FIG. 6(c). The display screen W150 is a display screen when an image based on the content of the area specified based on the user's operation (region R130 in FIG. 6A) is newly stored as a comment.

例えば、ユーザの操作に基づき特定された領域である図6(a)の領域130に基づくコンテンツの画像として、図6(b)の領域R140で示した矩形領域のコンテンツの画像がキャプチャされ、コメントとして記憶される。この結果、コンテンツの一部分の画像として、領域R140の範囲をキャプチャした画像がコメントとして新たに記憶される、例えば、コメントが一覧で表示される領域R150には、コメントC150に示すように、コメントの一覧の中に、新たに記憶されたコメント(領域R140のコンテンツの画像)が表示される。また、コメントC150が付加された位置には、ユーザアイコンU150が表示される。 For example, as an image of content based on area 130 in FIG. 6(a), which is an area specified based on a user's operation, an image of content in a rectangular area shown in area R140 in FIG. 6(b) is captured, and a comment is is stored as. As a result, an image that captures the range of area R140 is newly stored as a comment as a part of the image of the content. For example, in area R150 where comments are displayed in a list, comments are displayed as shown in comment C150. The newly stored comment (image of the content in area R140) is displayed in the list. Further, a user icon U150 is displayed at the position where the comment C150 is added.

本実施形態によれば、表示装置は、ユーザからの入力に基づき、コンテンツの領域を特定し、特定した領域に基づき、コンテンツを取得し、コメントとして記憶する。したがって、ユーザは、コンテンツの領域を選択することで、選択した領域に基づくコンテンツをコメントとして記憶させることができる。 According to this embodiment, the display device specifies a content area based on input from the user, acquires the content based on the specified area, and stores it as a comment. Therefore, by selecting a content area, the user can store content based on the selected area as a comment.

[2.第2実施形態]
つづいて、第2実施形態について説明する。第2実施形態は、コメントとして記憶したコンテンツに基づく画像に対して、更にコメントを追記することが可能な実施形態である。
[2. Second embodiment]
Next, a second embodiment will be described. The second embodiment is an embodiment in which a comment can be added to an image based on content stored as a comment.

[2.1 処理の流れ]
本実施形態では、制御部100は、図7に示したコメント記憶・追記処理を実行する。制御部100が、図7に示したコメント記憶・追記処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。
[2.1 Process flow]
In this embodiment, the control unit 100 executes the comment storage/addition process shown in FIG. 7 . The control unit 100 executes the comment storage/addition process shown in FIG. after it has been done.

はじめに、制御部100は、第1実施形態において説明したコメント記憶処理を実行する(ステップS202)。これにより、制御部100は、ユーザの操作に基づき特定した領域に基づくコンテンツをコメントとして記憶する。また、制御部100(UI処理部104)は、コメント記憶処理よって記憶されたコメントに基づき、表示部110に、ユーザアイコンを表示させる。 First, the control unit 100 executes the comment storage process described in the first embodiment (step S202). Thereby, the control unit 100 stores the content based on the area specified based on the user's operation as a comment. Further, the control unit 100 (UI processing unit 104) causes the display unit 110 to display a user icon based on the comment stored by the comment storage process.

つづいて、制御部100は、表示部110にコメントボックスを表示する(ステップS204)。コメントボックスとは、表示部110に表示されたコンテンツに重畳して表示される領域であり、タッチ操作や操作ペンによる操作に基づき、コメント(オブジェクト)の入力を受け付ける領域(入力領域)である。なお、本実施形態では、ステップS204において表示されるコメントボックスは、ステップS202において記憶されたコメントに対するコメントを入力するために表示されることとして説明する。 Subsequently, the control unit 100 displays a comment box on the display unit 110 (step S204). The comment box is an area that is displayed superimposed on the content displayed on the display unit 110, and is an area (input area) that accepts the input of a comment (object) based on a touch operation or an operation using an operating pen. In this embodiment, the comment box displayed in step S204 will be described as being displayed for inputting a comment for the comment stored in step S202.

つづいて、制御部100は、コメントボックスが操作ペンによってタッチされたか否かを判定する(ステップS206)。コメントボックスが操作ペンによってタッチされた場合は、制御部100は、操作ペンによるコメント(手書き図形)の入力を受け付ける(ステップS206;Yes→ステップS208)。これにより、ユーザは、コメントボックスに、コメント(手書き図形)を入力することができる。 Subsequently, the control unit 100 determines whether the comment box has been touched with the operating pen (step S206). If the comment box is touched with the operating pen, the control unit 100 accepts input of a comment (handwritten figure) using the operating pen (step S206; Yes→step S208). This allows the user to input a comment (handwritten figure) into the comment box.

つづいて、制御部100は、コメントボックスの外がタッチされたか否かを判定する(ステップS210)。コメントボックスの外がタッチされない場合は、引き続き、操作ペンによるコメントの入力を受け付ける(ステップS210;No→ステップS208)。 Subsequently, the control unit 100 determines whether or not the area outside the comment box has been touched (step S210). If the area outside the comment box is not touched, input of a comment using the operation pen is continuously accepted (step S210; No→step S208).

コメントボックスの外がタッチされた場合は、制御部100は、コメントボックスに入力されたコメントを、ステップS202において記憶したコメント(コンテンツに基づく画像)に対する追記のコメントとして記憶する(ステップS210;Yes→ステップS216)。 If the outside of the comment box is touched, the control unit 100 stores the comment input in the comment box as an additional comment for the comment (image based on the content) stored in step S202 (step S210; Yes→ Step S216).

例えば、ステップS208において操作ペンによるコメントの入力を受け付けた場合、制御部100は、ステップS202において記憶したコメント(コンテンツの一部分の画像)を第1の画像とし、操作ペンの入力に基づくコメント(手書き図形)の画像を第2の画像としたコメント情報156を記憶する。これにより、制御部100は、操作ペンを用いてコメントボックスに入力されたコメントの画像を、コンテンツに基づく画像に対するコメントとして記憶させることができる。 For example, when receiving a comment input using the operating pen in step S208, the control unit 100 sets the comment (an image of a portion of the content) stored in step S202 as the first image, and sets the comment (handwritten) based on the input using the operating pen as the first image. Comment information 156 is stored in which the image of the figure (figure) is used as the second image. Thereby, the control unit 100 can store the image of the comment input into the comment box using the operation pen as a comment for the image based on the content.

ステップS206において、コメントボックスが操作ペンによってタッチされたと判定しなかった場合は、制御部100は、テキストのコメントの入力を受け付ける(ステップS206;No→ステップS212)。例えば、ユーザは、キーボード等を用いて、コメントボックスに対してテキストを入力する。 If it is not determined in step S206 that the comment box has been touched by the operation pen, the control unit 100 accepts input of a text comment (step S206; No→step S212). For example, the user inputs text into the comment box using a keyboard or the like.

つづいて、制御部100は、コメントボックスの外がタッチされたか否かを判定する(ステップS214)。コメントボックスの外がタッチされない場合は、引き続き、テキストによるコメントの入力を受け付ける(ステップS214;No→ステップS212)。 Subsequently, the control unit 100 determines whether or not the area outside the comment box has been touched (step S214). If the area outside the comment box is not touched, input of a text comment is subsequently accepted (step S214; No→step S212).

コメントボックスの外がタッチされた場合は、制御部100は、コメントボックスに入力されたコメントを、ステップS202において記憶したコメント(コンテンツに基づく画像)に対するコメントとして記憶する(ステップS214;Yes→ステップS216)。例えば、制御部100は、ステップS202において記憶したコメント情報156のコメントに、ステップS212において入力を受け付けたテキストを追加して記憶する。これにより、制御部100は、コメントボックスに入力されたテキストのコメントを、コンテンツに基づく画像に対する追記のコメントとして記憶させることができる。 If the outside of the comment box is touched, the control unit 100 stores the comment input in the comment box as a comment for the comment (image based on the content) stored in step S202 (step S214; Yes→step S216). ). For example, the control unit 100 adds and stores the text input in step S212 to the comment of the comment information 156 stored in step S202. Thereby, the control unit 100 can store the text comment input in the comment box as an additional comment for the image based on the content.

つづいて、制御部100(UI処理部104)は、表示部110に、コメントを一覧で表示する(ステップS218)。これにより、ステップS202において記憶されたコンテンツに基づく画像と、コメントボックスに入力されたコメントとが、グループとして表示部110に表示されることとなる。 Subsequently, the control unit 100 (UI processing unit 104) displays a list of comments on the display unit 110 (step S218). As a result, the image based on the content stored in step S202 and the comment input in the comment box are displayed as a group on the display unit 110.

[2.2 動作例]
本実施形態の動作例について、図8を参照して説明する。図8(a)は、コメントボックスを表示する処理が実行された場合、表示部110に表示される表示画面W200を示した図である。表示画面W200には、ユーザアイコンU200とコメントボックスE200とが表示される。また、ユーザアイコンU200とコメントボックスE200とを接続する線等が表示されることにより、追記の対象となるコメントを示されてもよい。
[2.2 Operation example]
An example of the operation of this embodiment will be described with reference to FIG. 8. FIG. 8A is a diagram showing a display screen W200 displayed on the display unit 110 when the process of displaying a comment box is executed. A user icon U200 and a comment box E200 are displayed on the display screen W200. Further, a comment to be added may be indicated by displaying a line or the like connecting the user icon U200 and the comment box E200.

図8(b)は、コメントボックスE210に操作ペンP210を用いて、コメント(手書き図形)が入力された場合に、表示部110に表示される表示画面W210を示した図である。このようにすることで、ユーザは、例えば、タッチ操作や操作ペンによる操作によって選択した領域に基づくコンテンツに基づく画像に対するコメントを、コメントボックスE210を介して入力することができる。 FIG. 8B is a diagram showing a display screen W210 displayed on the display unit 110 when a comment (handwritten figure) is input into the comment box E210 using the operating pen P210. By doing so, the user can input a comment on the image based on the content based on the area selected by, for example, a touch operation or an operation using an operation pen, via the comment box E210.

図8(c)は、コメントボックスの外がタッチされた場合に、表示部110に表示される表示画面W220を示した図である。コメントボックスの外がタッチされることにより、コメントボックスに入力されたコメントが確定される。また、表示画面W220に表示されたコメントC220には、コメントとして記憶されたコンテンツの一部分の画像C222と、コメントボックスに対して入力されたコメントの画像C224とが表示される。ユーザは、コメントC220を見ることで、ユーザによって入力されたコメントが、コンテンツのどの部分に対して入力されたコメントであるかを確認することができる。 FIG. 8C is a diagram showing a display screen W220 displayed on the display unit 110 when an area outside the comment box is touched. By touching outside the comment box, the comment entered in the comment box is confirmed. Further, in the comment C220 displayed on the display screen W220, an image C222 of a portion of the content stored as a comment and an image C224 of the comment input into the comment box are displayed. By looking at the comment C220, the user can confirm for which part of the content the comment input by the user is input.

本実施形態によれば、表示装置は、コメントとして記憶したコンテンツの一部分の画像に対するコメントの入力を受け付け、入力されたコメントをコンテンツの一部分の画像に対するコメントとして記憶することができる。これにより、コンテンツの一部分の画像と、コンテンツの一部分の画像に対するコメントとが一覧として表示されるため、ユーザは、コンテンツに対するコメントの内容と、そのコメントが付加されたコンテンツの内容とを把握することができる。 According to this embodiment, the display device can accept input of a comment on an image of a portion of content stored as a comment, and store the input comment as a comment on an image of a portion of content. As a result, images of a part of the content and comments on the images of part of the content are displayed as a list, so the user can understand the content of the comment on the content and the content of the content to which the comment has been added. I can do it.

[3.第3実施形態]
つづいて、第3実施形態について説明する。第3実施形態は、第2実施形態とは異なり、先にオブジェクトの入力を受け付けてから、コメントとして記憶するコンテンツの領域を選択する実施形態である。本実施形態は、特に、先に受け付けるコメントが、コンテンツに対して直接入力された手書き図形である場合の実施形態である。本実施形態は、第1実施形態の図4を図9に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
[3. Third embodiment]
Next, a third embodiment will be described. The third embodiment, unlike the second embodiment, is an embodiment in which an object input is first received, and then a content area to be stored as a comment is selected. This embodiment is particularly an embodiment in which the first comment to be accepted is a handwritten figure directly input to the content. In this embodiment, FIG. 4 of the first embodiment is replaced with FIG. 9. Note that the same functional units and processes are denoted by the same reference numerals, and description thereof will be omitted.

[3.1 処理の流れ]
本実施形態では、制御部100は、図9に示したコメント記憶処理を実行する。制御部100が、図9に示したコメント記憶処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。
[3.1 Process flow]
In this embodiment, the control unit 100 executes the comment storage process shown in FIG. 9. The control unit 100 executes the comment storage process shown in FIG. 9 when the UI processing unit 104 generates a user interface screen for displaying content and comments and displays it on the display unit 110. Later.

はじめに、制御部100は、コンテンツに対する手書き図形の入力を受け付ける(ステップS302)。例えば、制御部100は、入力部120(タッチパネル)に対するタッチダウンを検出した場合や、入力部120に対する操作ペンによる入力を検出した場合に、手書きコメント入力状態(モード)に遷移し、手書き図形の入力を受け付ける。手書きコメント入力状態(モード)とは、表示されているコンテンツに対して、直接手書き図形を入力することができる状態(モード)である。制御部100は、手書き図形入力処理を実行すると、タッチパネルに対する入力の軌跡に基づいて手書き図形として出力する。制御部100は、入力が終了するまで手書き図形を記憶部150に一時的に出力してもよいし、手書き図形情報154に出力してもよい。 First, the control unit 100 receives an input of a handwritten figure for the content (step S302). For example, when the control unit 100 detects a touch down on the input unit 120 (touch panel) or when it detects an input using an operation pen on the input unit 120, the control unit 100 transitions to a handwritten comment input state (mode) and inputs a handwritten figure. Accept input. The handwritten comment input state (mode) is a state (mode) in which handwritten figures can be directly input to the displayed content. When the control unit 100 executes the handwritten figure input process, it outputs the handwritten figure based on the trajectory of the input to the touch panel. Control unit 100 may temporarily output the handwritten figure to storage unit 150 until the input is completed, or may output it to handwritten figure information 154.

つづいて、制御部100は、手書き図形の入力が完了したか否かを判定する(ステップS304)。としては、例えば、以下の場合が挙げられる。 Subsequently, the control unit 100 determines whether input of the handwritten figure is completed (step S304). Examples of this include the following cases.

(1)タッチアップしてから所定時間経過した場合
入力部120(例えば、タッチパネル)が、ユーザのタッチ入力について、タッチアップを検出してから所定時間経過した場合、制御部100は、手書き図形の入力が終了したと判定する。所定時間は、予め設定されていてもよいし、ユーザによって設定されてもよい。所定時間は、好ましくは100ミリ秒~3秒程度であり、より好ましくは1秒程度である。これにより、複数の手書き図形が連続して入力されることにより、タッチダウンとタッチアップとが複数回検出される場合であっても、制御部100は、所定時間が経過する前に再度のタッチダウンを検出した場合、手書き図形の入力を継続させることができる。
(1) When a predetermined period of time has elapsed since a touch-up When a predetermined period of time has elapsed since the input unit 120 (for example, a touch panel) detects a touch-up with respect to a touch input by a user, the control unit 100 Determine that input is complete. The predetermined time may be set in advance or may be set by the user. The predetermined time is preferably about 100 milliseconds to 3 seconds, more preferably about 1 second. As a result, even if touch-down and touch-up are detected multiple times due to continuous input of a plurality of handwritten figures, control unit 100 detects touch-down and touch-up again before the predetermined time elapses. If the down state is detected, input of handwritten figures can be continued.

(2)手書き図形入力における操作以外の操作を検出した場合
手書き図形の入力における操作は、例えば、タッチパネルをタッチしたままタッチした位置を動かしたり、操作ペンを接触させたまま動かしたりする操作(ドラッグ操作)である。ここで、通常の手書き図形の入力の操作以外の操作(例えば、ダブルタップや、長押し等)を検出したとき、制御部100は、手書き図形の入力が終了したと判定する。
(2) When an operation other than the operation in inputting handwritten figures is detected Operations in inputting handwritten figures include, for example, touching the touch panel and moving the touched position, or moving the operation pen while touching it (drag). operation). Here, when an operation other than a normal handwritten figure input operation (for example, a double tap, a long press, etc.) is detected, the control unit 100 determines that the handwritten figure input has ended.

(3)手書き図形の入力が終了したことを示す操作がされた場合
ユーザから手書き図形の入力が終了した操作がなされた場合に、制御部100は手書き図形の入力が終了したと判定する。例えば、制御部100は、「入力終了」といったボタンを表示部110にさせ、当該ボタンがユーザによって選択されたとき、手書き図形の入力が終了したと判定する。
(3) When an operation indicating that the input of a handwritten figure is finished When the user performs an operation that indicates that the input of a handwritten figure is finished, the control unit 100 determines that the input of the handwritten figure is finished. For example, the control unit 100 causes the display unit 110 to display a button such as “end input”, and when the button is selected by the user, determines that the input of the handwritten figure has ended.

なお、手書き図形の入力が完了していない場合は、制御部100は、ステップS302へ戻ることで、手書き図形の入力の受け付けを継続する(ステップS304;No→ステップS302)。 Note that if the input of the handwritten figure is not completed, the control unit 100 returns to step S302 to continue accepting the input of the handwritten figure (step S304; No → step S302).

手書き図形の入力が完了したと判定した場合は、制御部100は、入力された手書き図形を、表示部110に表示されているコンテンツのコンテンツID、作成者、位置の情報とともに、手書き図形情報154として記憶する(ステップS304;Yes→ステップS306)。 If it is determined that the input of the handwritten figure has been completed, the control unit 100 displays the input handwritten figure in the handwritten figure information 154 together with the content ID, creator, and position information of the content displayed on the display unit 110. (Step S304; Yes→Step S306).

ここで、制御部100は、手書き図形情報154に記憶する位置として、例えば、コンテンツに対して入力された手書き図形を含む領域の境界線上の所定の位置(矩形領域であれば四隅のうちの何れか)を記憶する。なお、制御部100は、手書き図形情報154に記憶する位置を、手書き図形を含む領域の中心としてもよいし、手書き図形の入力が開始された位置又はその周辺の位置としてもよい。 Here, the control unit 100 stores the handwritten figure information 154 at a predetermined position on the boundary line of the area including the handwritten figure input for the content (in the case of a rectangular area, any of the four corners). ). Note that the control unit 100 may store the position in the handwritten figure information 154 as the center of the area including the handwritten figure, or may set the position where input of the handwritten figure is started or a position around it.

また、制御部100は、作成者として記憶されるユーザを、ステップS302を実行する前に予めユーザに選択させてもよいし、手書き図形を入力する際に用いられた操作ペンに基づいて特定してもよい。 Further, the control unit 100 may allow the user to select the user to be stored as the creator in advance before executing step S302, or may specify the user based on the operation pen used when inputting the handwritten figure. It's okay.

手書き図形情報を記憶したら、制御部100は、表示部110にメニューを表示する(ステップS102)。メニューには、第1実施形態と同様に、項目に「画像切り出し」が含まれる。なお、「画像切り出し」以外の項目として、例えば、コンテンツに基づく画像を取得せずに手書き図形だけをコメントとして記憶する項目や、手書き図形をコメントとして記憶せず、単にコンテンツ上に手書き図形を残す項目が含まれてもよい。 After storing the handwritten graphic information, the control unit 100 displays a menu on the display unit 110 (step S102). Similar to the first embodiment, the menu includes "image cutting" as an item. In addition, items other than "image cutting" include, for example, an item that stores only handwritten figures as comments without acquiring images based on the content, and an item that does not store handwritten figures as comments but simply leaves handwritten figures on the content. Items may be included.

つづいて、制御部100は、ステップS104~ステップS110の処理を実行することにより、入力部120を介して入力された操作に基づき、コンテンツの領域を特定する。 Subsequently, the control unit 100 specifies the content area based on the operation input via the input unit 120 by executing the processes of steps S104 to S110.

つづいて、制御部100は、ステップS302において入力を受け付けた手書き図形の画像と、ステップS110において決定した領域に基づいて取得したコンテンツに基づく画像とを、コメントとして記憶する(ステップS308)。 Subsequently, the control unit 100 stores the image of the handwritten figure input in step S302 and the image based on the content acquired based on the area determined in step S110 as a comment (step S308).

例えば、制御部100は、ステップS110において決定した領域に基づいて取得したコンテンツに基づく画像を第1の画像とし、ステップS302において入力を受け付けた手書き図形の画像を第2の画像としたコメントを、コメント情報156として記憶する。なお、コメント情報156として記憶される位置及び作成者は、ステップS306で記憶された位置及び作成者と同一であってよい。なお、コメント情報156として記憶されるコメントIDは、所定の方法により生成されたものが記憶されればよい。 For example, the control unit 100 may write a comment in which the first image is an image based on the content acquired based on the area determined in step S110, and the second image is the image of the handwritten figure that was input in step S302. It is stored as comment information 156. Note that the location and creator stored as the comment information 156 may be the same as the location and creator stored in step S306. Note that the comment ID stored as the comment information 156 may be one generated by a predetermined method.

[3.2 動作例]
本実施形態の動作例について、図10を参照して説明する。図10(a)は、コンテンツに対して、手書き図形が入力された場合、表示部110に表示される表示画面W300を示した図である。例えば、ユーザによって文字を構成する線L300が手書き図形として入力され、表示部110に表示される。
[3.2 Operation example]
An example of the operation of this embodiment will be described with reference to FIG. FIG. 10A is a diagram showing a display screen W300 displayed on the display unit 110 when a handwritten figure is input for the content. For example, a line L300 forming a character is input by the user as a handwritten figure and displayed on the display unit 110.

コンテンツに対する手書き図形の入力が完了し、メニューから「画像切り出し」が選択された場合、表示部110に表示される表示画面は、表示画面W300から図10(b)に示した表示画面W310に遷移する。図10(b)は、第1実施形態の図5(c)に示した表示画面W120と同様の画面であり、ユーザによって操作ペンP310を用いたドラッグ操作が入力された場合に、ドラッグ操作に基づいて特定された領域を明るく表示させた画面である。 When the input of handwritten figures for the content is completed and "image cutting" is selected from the menu, the display screen displayed on the display unit 110 changes from the display screen W300 to the display screen W310 shown in FIG. 10(b). do. FIG. 10(b) is a screen similar to the display screen W120 shown in FIG. 5(c) of the first embodiment, and when the user inputs a drag operation using the operating pen P310, This is a screen that brightly displays the area identified based on the image.

コンテンツの領域が決定した場合、表示部110に表示される表示画面は、表示画面W310から図10(c)に示した表示画面W320に遷移する。表示画面W320に表示されたコメントC320には、コメントとして記憶されたコンテンツの一部分の画像C322と、コンテンツに対して入力された手書き図形の画像C324とが表示される。ユーザは、コメントC320を見ることで、ユーザによって入力された手書き図形のコメントが、コンテンツのどの部分に対して入力されたコメントであるかを確認することができる。 When the content area is determined, the display screen displayed on the display unit 110 transitions from the display screen W310 to the display screen W320 shown in FIG. 10(c). In the comment C320 displayed on the display screen W320, an image C322 of a portion of the content stored as a comment and an image C324 of a handwritten figure input for the content are displayed. By looking at the comment C320, the user can confirm to which part of the content the handwritten graphic comment input by the user is input.

また、手書き図形が含まれる矩形領域E320の右下の隅の位置に、ユーザアイコンU320が表示される。ユーザは、ユーザアイコンU320を見ることで、ユーザアイコンU320の周囲に入力された手書き図形(手書きのコメント)を入力したユーザ(図10(c)の例では「C」)を識別することができる。 Further, a user icon U320 is displayed at the lower right corner of the rectangular area E320 that includes the handwritten figure. By looking at the user icon U320, the user can identify the user ("C" in the example of FIG. 10(c)) who has input the handwritten figure (handwritten comment) input around the user icon U320. .

本実施形態によれば、表示装置は、コンテンツに対する手書き図形の入力を受け付けたあとで、コンテンツの一部分の画像を取得し、手書き図形の画像とコンテンツの一部分の画像とをコメントとして記憶する。したがって、ユーザは、手書きによるコメントの入力と、コンテンツの領域の選択を、効率的に行うことが可能となる。 According to this embodiment, after receiving an input of a handwritten figure for the content, the display device acquires an image of a portion of the content, and stores the image of the handwritten figure and the image of the portion of the content as a comment. Therefore, the user can efficiently input handwritten comments and select content areas.

[4.第4実施形態]
つづいて、第4実施形態について説明する。第4実施形態は、コメントボックスの背景となっているコンテンツに基づく画像を自動で取得し、コメントとして記憶する実施形態である。
[4. Fourth embodiment]
Next, a fourth embodiment will be described. The fourth embodiment is an embodiment in which an image based on the content that is the background of a comment box is automatically acquired and stored as a comment.

本実施形態では、制御部100は、図11に示したコメント記憶処理を実行する。制御部100が、図11に示したコメント記憶処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。 In this embodiment, the control unit 100 executes the comment storage process shown in FIG. 11. The control unit 100 executes the comment storage process shown in FIG. 11 when the UI processing unit 104 generates a user interface screen for displaying content and comments and displays it on the display unit 110. Later.

はじめに、制御部100は、入力部120を介して、表示部110に表示されたコンテンツ上にタッチ操作がされた場合、タッチ操作がされた位置に、ユーザアイコンを表示する(ステップS402→ステップS404)。なお、制御部100は、ステップS402において、シングルタッチを検出したときにタッチ操作がされたと判定してもよいし、長押しやダブルタップ等のジェスチャを検出したときにタッチ操作がされたと判定してもよい。これにより、ユーザは、コメントを付加する場所を指定することができる。 First, when a touch operation is performed on the content displayed on the display unit 110 via the input unit 120, the control unit 100 displays a user icon at the position where the touch operation was performed (step S402 → step S404). ). Note that in step S402, the control unit 100 may determine that a touch operation has been performed when a single touch is detected, or may determine that a touch operation has been performed when a gesture such as a long press or double tap is detected. It's okay. This allows the user to specify a location to add a comment.

つづいて、制御部100は、コメントボックスを表示する(ステップS406)。例えば、制御部100は、コメントボックスを表示する位置を、ステップS404で表示したユーザアイコンの周囲とする。 Subsequently, the control unit 100 displays a comment box (step S406). For example, the control unit 100 sets the comment box to be displayed around the user icon displayed in step S404.

つづいて、制御部100は、コメントボックスが操作ペンによってタッチされた場合は、操作ペンによるコメント(手書き図形)の入力を受け付ける(ステップS408;Yes→ステップS410)。 Subsequently, when the comment box is touched with the operating pen, the control unit 100 accepts input of a comment (handwritten figure) using the operating pen (step S408; Yes→step S410).

つづいて、制御部100は、操作ペンによるコメント(手書き図形)の入力が完了したか否かを判定する(ステップS412)。なお、操作ペンによるコメント(手書き図形)の入力が完了したか否かの判定については、制御部100は、第3実施形態で説明したコメント記憶処理のステップS304と同様の処理を行えばよい。 Subsequently, the control unit 100 determines whether input of a comment (handwritten figure) using the operation pen is completed (step S412). Note that to determine whether or not input of a comment (handwritten figure) using the operation pen is completed, the control unit 100 may perform the same process as step S304 of the comment storage process described in the third embodiment.

なお、操作ペンによるコメント(手書き図形)の入力が完了していない場合は、制御部100は、ステップS410へ戻ることで、操作ペンによるコメントの入力の受け付けを継続する(ステップS412;No→ステップS410)。 Note that if the input of the comment (handwritten figure) using the operation pen is not completed, the control unit 100 returns to step S410 to continue accepting the input of the comment using the operation pen (step S412; No→Step S410).

一方で、ステップS408において、コメントボックスが操作ペンによってタッチされたと判定しなかった場合は、制御部100は、テキストのコメントの入力を受け付ける(ステップS408;No→ステップS414)。つづいて、制御部100は、ステップS402で表示したユーザアイコンがタッチされたか否かを判定する(ステップS416)。 On the other hand, if it is not determined in step S408 that the comment box has been touched with the operating pen, the control unit 100 accepts input of a text comment (step S408; No→step S414). Subsequently, the control unit 100 determines whether the user icon displayed in step S402 has been touched (step S416).

操作ペンによるコメント(手書き図形)の入力が完了した場合(ステップS412;Yes)、又は、ステップS402で表示したユーザアイコンがタッチされた場合(ステップS416;Yes)は、制御部100は、メニューを表示する(ステップS418)。本実施形態では、ステップS418において表示されるメニューの項目には、「コメント化」と「画像切り出し」とが含まれることとする。 If the input of a comment (handwritten figure) using the operation pen is completed (step S412; Yes), or if the user icon displayed in step S402 is touched (step S416; Yes), the control unit 100 displays the menu. Display (step S418). In this embodiment, the menu items displayed in step S418 include "Comment" and "Image Cutout".

つづいて、制御部100は、ステップS418で表示したメニューから「コメント化」が選択されたか否かを判定する(ステップS420)。 Subsequently, the control unit 100 determines whether "comment" has been selected from the menu displayed in step S418 (step S420).

コメント化が選択された場合は、コメントボックスに入力された内容(オブジェクト)を、コンテンツID、コメントID、作成者、位置の情報とともに、コメントとして記憶する(ステップS420;Yes→ステップS422)。具体的には、制御部100は、コメントボックスに入力された内容(オブジェクト)をコメントとして、コンテンツID、コメントID、作成者、位置の情報とともに、コメント情報156として記憶する。コンテンツID、コメントID、作成者、位置の情報に関しては、第1実施形態のコメント記憶処理のステップS112において記憶される情報と同様の情報である。 If commenting is selected, the content (object) input in the comment box is stored as a comment along with the content ID, comment ID, creator, and position information (step S420; Yes→step S422). Specifically, the control unit 100 stores the content (object) input in the comment box as a comment as comment information 156 along with information on the content ID, comment ID, creator, and location. The information on the content ID, comment ID, creator, and location is the same information as the information stored in step S112 of the comment storage process in the first embodiment.

つづいて、制御部100(UI処理部104)は、コメントを一覧で表示する(ステップS424)。なお、メニューから「コメント化」が選択された場合は、コンテンツに基づく画像はコメントとして記憶されないため、ステップS424において表示されるコメントには、コメントボックスに入力された内容(オブジェクト)のみが含まれる。 Subsequently, the control unit 100 (UI processing unit 104) displays the comments in a list (step S424). Note that if "comment" is selected from the menu, the image based on the content is not stored as a comment, so the comment displayed in step S424 includes only the content (object) entered in the comment box. .

一方で、ステップS420において、「コメント化」が選択されなかった場合は、制御部100は、「画像切り出し」が選択されたか否かを判定する(ステップS420;No→ステップS426)。 On the other hand, in step S420, if "comment" is not selected, the control unit 100 determines whether "image cutting" is selected (step S420; No→step S426).

「画像切り出し」が選択された場合(ステップS426;Yes)、制御部100は、コメントボックスの背景となっている領域のコンテンツに基づく画像を取得する。そして、制御部100は、コメントボックスに対して入力された内容と、コンテンツに基づく画像とを、コメントとして記憶する(ステップS428)。 When "image cutting out" is selected (step S426; Yes), the control unit 100 acquires an image based on the content of the area that is the background of the comment box. Then, the control unit 100 stores the content input into the comment box and the image based on the content as a comment (step S428).

ここで、コメントボックスの背景となっている領域のコンテンツに基づく画像の取得方法について説明する。コンテンツに基づく画像を取得するために、例えば、制御部100は、コメントボックスが重畳されている領域を特定し、特定した領域をコンテンツに基づく画像を取得する領域とみなして、当該領域のコンテンツに基づく画像を取得する。 Here, a method of acquiring an image based on the content of the area that is the background of the comment box will be described. In order to obtain an image based on the content, for example, the control unit 100 specifies an area in which a comment box is superimposed, regards the specified area as an area for obtaining an image based on the content, and applies the content to the content in the area. Get an image based on.

なお、制御部100は、コンテンツに基づく画像を取得する領域を、所定の方法により拡張させてもよい。例えば、制御部100は、コメントボックスが重畳されている領域に含まれる文字または画像に隣接する他の文字または画像との間隔を測り、間隔が所定値よりも広くなったところまで、領域を拡張させてもよい。なお、表示装置10が検索する文字は、オブジェクトのテキスト(文字)であってもよいし、手書き図形によって構成される文字であってもよいし、コンテンツに基づく画像に含まれるテキスト(文字)であってもよい。さらに、制御部100は、領域に含まれる画像に隣接する画像(かたまり)を含めたグループ画像を含むように、領域を拡張させてもよい。 Note that the control unit 100 may expand the area for acquiring images based on the content using a predetermined method. For example, the control unit 100 measures the distance between characters or images included in the area overlaid with the comment box and other adjacent characters or images, and expands the area until the distance becomes wider than a predetermined value. You may let them. Note that the characters searched by the display device 10 may be text (characters) of an object, characters composed of handwritten figures, or text (characters) included in an image based on content. There may be. Furthermore, the control unit 100 may expand the area to include a group image including images (clumps) adjacent to the images included in the area.

なお、制御部100は、コンテンツに基づく画像を取得する領域に含まれるオブジェクトと領域外のオブジェクトとの間の間隔を求め、それに基づきコンテンツに基づく画像を取得する領域を拡張するか否かを判定してもよい。また、制御部100は、オブジェクト間の間隔だけでは領域を拡張するか否かの判定ができない場合は、文字認識と意味認識、図形認識とを実行し、文章が通じる範囲まで、コンテンツに基づく画像を取得する領域を拡張させてもよい。 Note that the control unit 100 determines the distance between an object included in the area for acquiring an image based on the content and an object outside the area, and determines whether or not to expand the area for acquiring the image based on the content based on the distance. You may. In addition, if it is not possible to determine whether or not to expand the area based only on the spacing between objects, the control unit 100 performs character recognition, meaning recognition, and graphic recognition to create an image based on the content to the extent that the text can be understood. The area for acquiring the data may be expanded.

制御部100は、上述した方法によってコンテンツに基づく画像を取得する領域を拡張させ、当該領域のコンテンツに基づく画像を取得することにより、意味として通じるコンテンツに基づく画像を取得することができ、コメントの意味をより明確にすることができる。 The control unit 100 expands the area for acquiring content-based images using the method described above, and acquires images based on the content of the area, thereby being able to acquire images based on content that has a common meaning. The meaning can be made clearer.

なお、制御部100は、ステップS426において、コメントボックスに入力された内容と、取得したコンテンツに基づく画像とをコメントとして、コンテンツID、コメントID、作成者、位置の情報とともに、コメント情報156として記憶する。コンテンツID、コメントID、作成者、位置の情報に関しては、第1実施形態のコメント記憶処理のステップS112において記憶される情報と同様の情報である。 Note that in step S426, the control unit 100 stores the content input in the comment box and the image based on the acquired content as a comment, along with information on the content ID, comment ID, creator, and location as comment information 156. do. The information on the content ID, comment ID, creator, and location is the same information as the information stored in step S112 of the comment storage process in the first embodiment.

ステップS428の処理が完了したら、制御部100(UI処理部104)は、コメントを一覧で表示する(ステップS424)。なお、メニューから「画像切り出し」が選択された場合は、ステップS428において取得されたコンテンツに基づく画像もコメントとして記憶される。したがって、ステップS424において表示されるコメントには、コンテンツの一部分の画像と、コメントボックスに入力された内容(オブジェクト)とが含まれる。 When the process of step S428 is completed, the control unit 100 (UI processing unit 104) displays a list of comments (step S424). Note that when "image cutting" is selected from the menu, the image based on the content acquired in step S428 is also stored as a comment. Therefore, the comment displayed in step S424 includes an image of a portion of the content and the content (object) input in the comment box.

ステップS416においてユーザアイコンがタッチされなかった場合(ステップS416;No)や、ステップS426においてメニューから「画像切り出し」が選択されなかった場合(ステップS426;No)は、制御部100は、コメントボックスの外をタッチする操作がされたか否かを判定する(ステップS430)。 If the user icon is not touched in step S416 (step S416; No) or if "Image cropping" is not selected from the menu in step S426 (step S426; No), the control unit 100 controls the comment box. It is determined whether an operation of touching outside has been performed (step S430).

コメントボックスの外がタッチされた場合は、制御部100は、ステップS422の処理を実行することで、コメントボックスに入力された内容をコメントとして記憶する(ステップS430;Yes→ステップS422)。一方で、コメントボックスの外がタッチされなかった場合は、制御部100は、ステップS408へ戻る(ステップS430;No→ステップS408)。 If the outside of the comment box is touched, the control unit 100 stores the content input in the comment box as a comment by executing the process of step S422 (step S430; Yes→step S422). On the other hand, if the area outside the comment box is not touched, the control unit 100 returns to step S408 (step S430; No→step S408).

本実施形態によれば、表示装置は、コメントに対する背景となるコンテンツに基づく画像を自動的に取得する。したがって、ユーザは、コメントを付加したい場所を選択してコメントを入力するだけで、入力したコメントの内容とコンテンツの一部分の画像とを、コメントとすることができる。 According to this embodiment, the display device automatically acquires an image based on the content that serves as the background for the comment. Therefore, the user can make the content of the input comment and the image of a portion of the content into a comment by simply selecting a place to add a comment and inputting the comment.

[5.第5実施形態]
つづいて、第5実施形態について説明する。第5実施形態は、コメントに対してファイルを添付することができる実施形態である。本実施形態は、第1実施形態~第4実施形態において実行される処理に加えて、制御部100は、図12に示すファイル添付処理を実行する。
[5. Fifth embodiment]
Next, a fifth embodiment will be described. The fifth embodiment is an embodiment in which files can be attached to comments. In this embodiment, in addition to the processes executed in the first to fourth embodiments, the control unit 100 executes the file attachment process shown in FIG. 12.

[5.1 処理の流れ]
図12を参照して、ファイル添付処理について説明する。制御部100が、図12に示したファイル添付処理を実行するのは、コメント記憶処理又はコメント記憶・追記処理が実行されているときである。例えば、制御部100は、コメント記憶処理又はコメント記憶・追記処理とファイル添付処理とを並列で実行する。
[5.1 Process flow]
The file attachment process will be described with reference to FIG. 12. The control unit 100 executes the file attachment process shown in FIG. 12 when the comment storage process or the comment storage/addition process is being executed. For example, the control unit 100 executes comment storage processing or comment storage/addition processing and file attachment processing in parallel.

なお、本実施形態では、制御部100(UI処理部104)は、コメント情報156を読み出し、表示部110に表示されたコンテンツ上に、コメント情報156に記憶された位置に基づき、識別表示(例えば、ユーザアイコン)を表示する。また、制御部100(UI処理部104)は、ユーザによってユーザアイコンが選択されたときにコメントボックスを表示する。制御部100(UI処理部104)は、コメントボックスに、ユーザによって選択されたユーザアイコンが表示された場所に付加されたコメントと、クリップボタンとを表示させる。 Note that in the present embodiment, the control unit 100 (UI processing unit 104) reads the comment information 156 and adds an identification display (for example, , user icon). Further, the control unit 100 (UI processing unit 104) displays a comment box when a user icon is selected by the user. The control unit 100 (UI processing unit 104) causes the comment box to display a comment added to the location where the user icon selected by the user is displayed, and a clip button.

はじめに、制御部100は、ファイルを添付する操作があったか否かを判定する(ステップS502)。ファイルを添付する操作とは、例えば、コメントボックスに表示されたクリップボタンをユーザによって選択される操作である。なお、ファイルを添付する操作は、添付するファイルをドラッグし、コメントボックスや、一覧で表示されたコメントに対してドロップする操作(ドラッグ&ドロップ)であってもよい。 First, the control unit 100 determines whether there is an operation to attach a file (step S502). The operation of attaching a file is, for example, an operation in which the user selects a clip button displayed in a comment box. Note that the operation of attaching a file may be an operation of dragging the file to be attached and dropping it onto a comment box or a comment displayed in a list (drag and drop).

ファイルを添付する操作があった場合は、制御部100は、表示部110に、コメントに添付するファイルを選択するためのファイル選択画面を表示する制御を行う(ステップS502;Yes→ステップS504)。 If there is an operation to attach a file, the control unit 100 controls the display unit 110 to display a file selection screen for selecting a file to be attached to the comment (step S502; Yes→step S504).

制御部100は、ユーザによってファイルが選択されるまで、ファイル選択画面を表示する(ステップS506;No→ステップS504)。他方、ユーザによってファイルが選択された場合は、制御部100は、コメントに、ユーザによって選択されたファイルを添付する(ステップS506;Yes→ステップS508)。 The control unit 100 displays the file selection screen until the user selects a file (step S506; No → step S504). On the other hand, if a file is selected by the user, the control unit 100 attaches the file selected by the user to the comment (step S506; Yes→step S508).

具体的には、制御部100は、ファイルを添付する対象のコメントに対応するコメント情報156と、ステップS206においてユーザによって選択されたファイルの情報とを対応付ける。例えば、制御部100は、ファイルを添付する対象のコメントに対応するコメント情報156に、添付するファイルそのものやファイルの記憶場所(例えば、ファイルパスやURL)を記憶する。なお、コメントとファイルとを対応付けられれば、どのような方法を用いてもよく、制御部100は、ファイルを添付する対象のコメントのコメントIDと、ユーザによって選択されたファイルとを対応付けて記憶部150に記憶する方法を用いてもよい。 Specifically, the control unit 100 associates the comment information 156 corresponding to the comment to which the file is attached with the information of the file selected by the user in step S206. For example, the control unit 100 stores the file to be attached and the storage location of the file (eg, file path or URL) in the comment information 156 corresponding to the comment to which the file is attached. Note that any method may be used as long as a comment and a file can be associated with each other, and the control unit 100 associates the comment ID of the comment to which a file is to be attached with the file selected by the user. A method of storing the information in the storage unit 150 may also be used.

なお、コメントに添付されたファイルを表示する操作がユーザによってされた場合は、制御部100は、ユーザの操作に基づき、コメントに添付されたファイルを表示部110に表示する。 Note that when the user performs an operation to display a file attached to a comment, the control unit 100 displays the file attached to the comment on the display unit 110 based on the user's operation.

[5.2 動作例]
本実施形態の動作例について、図13を参照して説明する。図13(a)は、コンテンツが表示された表示画面W500の一例を示した図である。表示画面W500の右端には、コメントの一覧を表示する領域R500が確保されている。
[5.2 Operation example]
An example of the operation of this embodiment will be described with reference to FIG. 13. FIG. 13(a) is a diagram showing an example of a display screen W500 on which content is displayed. At the right end of the display screen W500, a region R500 for displaying a list of comments is reserved.

また、表示画面W500には、ユーザアイコンU500が表示されている。ユーザによってユーザアイコンU500が選択された場合、選択されたユーザアイコンU500が表示された位置に付加されたコメントが、コメントボックスE500に表示される。 Further, a user icon U500 is displayed on the display screen W500. When the user icon U500 is selected by the user, a comment added to the position where the selected user icon U500 is displayed is displayed in the comment box E500.

コメントボックスE500には、クリップボタンM500が含まれる。ユーザにより、クリップボタンM500を選択する操作がされた場合、図10(b)に示すように、ファイル選択画面R210を含む表示画面W210が表示される。ユーザは、ファイル選択画面R210から、コメントに添付するファイルを選択する。これにより、コメントにファイルが添付される。 Comment box E500 includes a clip button M500. When the user selects the clip button M500, a display screen W210 including a file selection screen R210 is displayed as shown in FIG. 10(b). The user selects a file to be attached to the comment from the file selection screen R210. This will attach the file to the comment.

図10(c)は、ユーザによって、コメントに添付するファイルが選択された場合の表示画面W520の一例を示した図である。表示画面W520の右端に確保されたコメントの一覧を表示する領域R520において、ファイルが添付されたコメントには、ファイルが添付されていることを示す表示がされる。例えば、ファイルが添付されたコメントC520のように、コメントにファイルが添付されていることを示す表示として、クリップ留めボタンM520が表示される。また、この場合、クリップ留めボタンM520をコメントに添付されたファイルを表示する操作を受け付けるボタンとしてもよい。 FIG. 10C is a diagram showing an example of the display screen W520 when the user selects a file to be attached to a comment. In a region R520 that displays a list of comments secured at the right end of the display screen W520, a comment to which a file is attached is displayed to indicate that a file is attached. For example, like comment C520 with a file attached, a clip button M520 is displayed to indicate that a file is attached to the comment. Further, in this case, the clip button M520 may be used as a button that accepts an operation to display a file attached to a comment.

ここで、ユーザによって、クリップ留めボタンM520が選択された場合は、図10(d)に示すように、コメントに添付されたファイルが、既定のアプリケーションで開かれ、ファイルの内容が表示された表示画面W530が表示される。 Here, if the user selects the clip button M520, the file attached to the comment will be opened in the default application and a display displaying the contents of the file will be displayed, as shown in FIG. 10(d). Screen W530 is displayed.

本実施形態によれば、ユーザは、コメントに対して、関連するファイルを添付することが可能となる。また、添付されたファイルは、一覧として表示されたコメントに対する操作により、ファイルの内容を表示することができる。このように、ユーザは、コメントの一覧を閲覧するだけで、コンテンツに付加されたコメントと、コメントに関連するファイルを把握することができる。 According to this embodiment, a user can attach a related file to a comment. Furthermore, the contents of the attached file can be displayed by operating the comments displayed as a list. In this way, the user can understand the comments added to the content and the files related to the comments simply by viewing the list of comments.

[6.第6実施形態]
つづいて、第6実施形態について説明する。第6実施形態は、制御部100が、コンテンツに重畳して表示された手書き図形の表示又は非表示を切り替える制御を行う実施形態である。本実施形態は、第1実施形態~第5実施形態において実行される処理に加えて、制御部100は、図14に示す表示切り替え処理を実行する。
[6. Sixth embodiment]
Next, a sixth embodiment will be described. The sixth embodiment is an embodiment in which the control unit 100 performs control to switch between displaying and non-displaying a handwritten figure displayed superimposed on content. In this embodiment, in addition to the processes executed in the first to fifth embodiments, the control unit 100 executes the display switching process shown in FIG. 14.

[6.1 処理の流れ]
図14を参照して、表示切り替え処理について説明する。制御部100が、図14に示した表示切り替え処理を実行するのは、コメント記憶処理又はコメント記憶・追記処理が実行されているときである。例えば、制御部100は、コメント記憶処理又はコメント記憶・追記処理と表示切り替え処理とを並列で実行する。
[6.1 Process flow]
The display switching process will be described with reference to FIG. 14. The control unit 100 executes the display switching process shown in FIG. 14 when the comment storage process or the comment storage/addition process is being executed. For example, the control unit 100 executes comment storage processing or comment storage/addition processing and display switching processing in parallel.

なお、本実施形態では、制御部100は、手書き図形情報154を読み出して、コンテンツに手書き図形を重畳して表示させる。また、制御部100は、表示部110に表示されたコンテンツ上に、手書き図形情報154に記憶された位置に基づき、手書き図形を入力したユーザを示す識別表示(例えば、ユーザアイコン)を表示する。 In this embodiment, the control unit 100 reads the handwritten figure information 154 and displays the handwritten figure superimposed on the content. Furthermore, the control unit 100 displays an identification display (for example, a user icon) indicating the user who has input the handwritten figure, on the content displayed on the display unit 110, based on the position stored in the handwritten figure information 154.

はじめに、制御部100は、コンテンツ上に手書き図形が表示されているか否かを判定する(ステップS602)。ここで、手書き図形が表示されていない場合とは、手書き図形情報154が記憶部150に記憶されていない場合(コンテンツに対する手書き図形の入力がされていない場合)である。手書き図形が表示されていない場合は、表示切り替え処理を終了する(ステップS602;No)。 First, the control unit 100 determines whether a handwritten figure is displayed on the content (step S602). Here, the case where the handwritten figure is not displayed is the case where the handwritten figure information 154 is not stored in the storage unit 150 (the case where the handwritten figure is not input to the content). If the handwritten figure is not displayed, the display switching process ends (step S602; No).

つづいて、コンテンツ上に手書き図形が表示されている場合、つづいて、制御部100は、コンテンツ上のユーザアイコンに対するタッチ入力がされたか否かを判定する(ステップS604)。コンテンツ上のユーザアイコンに対するタッチ入力がされたと判定した場合は、制御部100は、選択されたユーザアイコンによって示された位置に入力された手書き図形を非表示にする(ステップS604;Yes→ステップS606)。 Subsequently, when a handwritten figure is displayed on the content, the control unit 100 subsequently determines whether or not a touch input has been made to the user icon on the content (step S604). If it is determined that a touch input has been made to the user icon on the content, the control unit 100 hides the handwritten figure input at the position indicated by the selected user icon (step S604; Yes → step S606 ).

具体的には、制御部100は、タッチ入力がされたユーザアイコンによって示された位置に入力された手書き図形情報を手書き図形情報154から読み出さないようにする。その上で、制御部100は、手書き図形を再表示することで、選択されたユーザアイコンによって示された位置に入力された手書き図形を、コンテンツに重畳して表示しないようにする。なお、制御部100は、コンテンツ上のユーザアイコンを表示させたままにする。 Specifically, the control unit 100 prevents the handwritten figure information input at the position indicated by the user icon to which the touch input has been made from being read out from the handwritten figure information 154. Then, the control unit 100 redisplays the handwritten figure so that the handwritten figure input at the position indicated by the selected user icon is not displayed superimposed on the content. Note that the control unit 100 keeps the user icon displayed on the content.

つづいて、制御部100は、ステップS604においてユーザによって選択されたユーザアイコンに対するタッチ入力がされたか否かを判定する(ステップS608)。ユーザアイコンに対するタッチ入力がされたと判定した場合は、制御部100は、選択されたユーザアイコンによって示された位置に入力された手書き図形を表示する(ステップS608;Yes→ステップS610)。具体的には、制御部100は、タッチ入力されたユーザアイコンによって示された位置に入力された手書き図形情報154から読み出し、読み出した手書き図形を、表示部110に表示されたコンテンツに重畳して表示するようにする。 Subsequently, the control unit 100 determines whether a touch input has been made to the user icon selected by the user in step S604 (step S608). If it is determined that a touch input has been made to the user icon, the control unit 100 displays the input handwritten figure at the position indicated by the selected user icon (step S608; Yes→step S610). Specifically, the control unit 100 reads out the handwritten figure information 154 input at the position indicated by the touch-input user icon, and superimposes the read handwritten figure on the content displayed on the display unit 110. Make it visible.

なお、制御部100は、ステップS610の処理を実行した後、再び、手書き図形を非表示にする処理を実行するために、ステップS604へ処理を遷移してもよい。 Note that, after executing the process of step S610, the control unit 100 may transition the process to step S604 in order to execute the process of hiding the handwritten figure again.

[6.2 動作例]
本実施形態の動作例について、図15を参照して説明する。図15(a)は、コンテンツに手書き図形が重畳して表示された表示画面W600の一例を示した図である。図15(a)に示した領域R600は、ユーザCによって入力された手書き図形を含む領域である。また、図15(a)に示すように、ユーザCによって入力された手書き図形の近傍に、識別表示として、当該ユーザCを示すユーザアイコンU600が表示される。
[6.2 Operation example]
An example of the operation of this embodiment will be described with reference to FIG. 15. FIG. 15A is a diagram showing an example of a display screen W600 on which a handwritten figure is displayed superimposed on content. Region R600 shown in FIG. 15(a) is a region including a handwritten figure input by user C. Furthermore, as shown in FIG. 15A, a user icon U600 indicating the user C is displayed near the handwritten figure input by the user C as an identification display.

ユーザアイコンU600を選択する操作であるタッチ入力が検出された場合、図15(b)に示すように、ユーザアイコンU600によって示された位置に入力された手書き図形が非表示にされた表示画面W610が表示される。なお、ユーザCを示すユーザアイコンM610は表示される。 When a touch input, which is an operation for selecting user icon U600, is detected, as shown in FIG. 15(b), display screen W610 is displayed in which the handwritten figure input at the position indicated by user icon U600 is hidden. is displayed. Note that a user icon M610 indicating user C is displayed.

また、表示画面W610において、ユーザアイコンU610を選択する操作であるタッチ入力が検出された場合、ユーザアイコンU610によって示された位置に入力された手書き図形が表示される。その結果、再度、図15(a)の表示画面W600に示すような表示画面が表示される。このように、ユーザアイコンを選択されるたびに、ユーザアイコンによって示された位置に入力された手書き図形の表示・非表示を切り替えることができる。 Further, when a touch input, which is an operation for selecting user icon U610, is detected on display screen W610, the handwritten figure inputted at the position indicated by user icon U610 is displayed. As a result, a display screen as shown in display screen W600 in FIG. 15(a) is displayed again. In this way, each time the user icon is selected, display/non-display of the handwritten figure input at the position indicated by the user icon can be switched.

本実施形態によれば、ユーザは、一般的に非表示にできない又は非表示にするために煩雑な操作を必要とする手書き図形の表示・非表示の切り替えを、識別表示を選択するという簡易な操作で行うことができる。これにより、ユーザは、手書き図形の入力を行う領域を常に確保することが可能となる。 According to the present embodiment, the user can switch between displaying and hiding a handwritten figure, which generally cannot be hidden or requires a complicated operation, by simply selecting the identification display. This can be done by operation. This allows the user to always secure an area for inputting handwritten figures.

なお、本実施形態では、手書き図形が入力された領域毎に手書き図形の表示・非表示の切り替えを行うこととして説明したが、ユーザ毎に手書き図形の表示・非表示の切り替えを行ってもよいし、また、手書き図形の表示・非表示の切り替えを全コメントに対して一斉にできてもよい。 In addition, in this embodiment, the handwritten figure is switched between display and non-display for each area where the handwritten figure is input, but the display and non-display of the handwritten figure may be switched for each user. However, it is also possible to switch between display and non-display of handwritten figures for all comments at once.

[7.変形例]
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
[7. Modified example]
The present invention is not limited to the embodiments described above, and various modifications are possible. That is, embodiments obtained by combining appropriate modified technical means without departing from the gist of the present invention are also included within the technical scope of the present invention.

また、各機能はプログラムで構成されていてもよいし、ハードウェアで構成されてもよい。そして、プログラムで実現されている場合は、記録媒体に記録されており、当該記録媒体からプログラムを読み出して実行してもよいし、ネットワークに保存され、ダウンロードして実行してもよい。 Moreover, each function may be configured by a program or may be configured by hardware. If it is realized by a program, it is recorded on a recording medium, and the program may be read from the recording medium and executed, or it may be saved on a network and downloaded and executed.

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。 In addition, although some of the embodiments described above are explained separately for convenience of explanation, it goes without saying that they may be combined and executed within the technically possible range.

例えば、第1実施形態と第3実施形態とを組み合わせてもよい。例えば、表示装置10の制御部100は、長押しなど特定のジェスチャを検出した場合は、第1実施形態で説明したようにメニューを表示させ、特定のジェスチャ以外の入力を検出した場合は、コンテンツに対する手書き図形の入力を受け付ける。 For example, the first embodiment and the third embodiment may be combined. For example, when the control unit 100 of the display device 10 detects a specific gesture such as a long press, it displays the menu as described in the first embodiment, and when it detects an input other than the specific gesture, it displays the menu. Accepts input of handwritten shapes.

また、第6実施形態と第7実施形態とを組み合わせてもよい。例えば、表示装置10の制御部100は、コンテンツに対して入力された手書き入力について、コメントとして記憶されている場合はファイルの添付を受け付け、コメントとして記憶されていない場合は表示・非表示を切り替える。 Further, the sixth embodiment and the seventh embodiment may be combined. For example, the control unit 100 of the display device 10 accepts a file attachment when the handwritten input input to the content is stored as a comment, and switches display/non-display when the handwritten input is not stored as a comment. .

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROMやHDD、SSDの記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。 Further, in the embodiment, the program that runs on each device is a program that controls the CPU, etc. (a program that causes the computer to function) so as to realize the functions of the embodiment described above. The information handled by these devices is temporarily stored in a temporary storage device (for example, RAM) during processing, and then stored in various ROM, HDD, and SSD storage devices, and read out by the CPU as necessary. , corrections and writing are performed.

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。 Furthermore, when distributing the program on the market, the program can be stored in a portable recording medium and distributed, or it can be transferred to a server computer connected via a network such as the Internet. In this case, it goes without saying that the storage device of the server computer is also included in the present invention.

また、各機能を備えたアプリケーションを、スマートフォンやタブレット、画像形成装置といった各種装置にインストールし、実行することで実現してもよい。 Alternatively, applications with each function may be installed and executed on various devices such as smartphones, tablets, and image forming apparatuses.

10 表示装置
100 制御部
102 コメント処理部
104 UI処理部
106 ユーザ認証部
110 表示部
120 入力部
150 記憶部
152 コンテンツ情報
154 手書き図形情報
156 コメント情報
158 ユーザ情報
160 通信部
10 Display device 100 Control unit 102 Comment processing unit 104 UI processing unit 106 User authentication unit 110 Display unit 120 Input unit 150 Storage unit 152 Content information 154 Handwritten figure information 156 Comment information 158 User information 160 Communication unit

Claims (7)

コンテンツを表示する表示部と、入力部と、記憶部と、制御部と、選択操作受付部と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記選択操作受付部は、第1の処理、または第2の処理の何れかを選択する選択操作を受け付け可能であり、
前記制御部は、前記表示部に表示された前記コンテンツに対して前記入力部による位置指定操作を受け付けた場合に、前記表示部における前記位置指定操作を受け付けた位置の周辺に、前記表示部に表示されたコンテンツに対して第2の画像を入力するための入力領域を前記表示部に表示し、
前記選択操作受付部は、前記入力領域に前記第2の画像が入力された後に、前記選択操作を受付け、
前記記憶部は、
前記選択操作受付部が前記第1の処理を選択する前記選択操作を受け付けた場合には、前記コンテンツと前記入力領域とが重畳する範囲を含むキャプチャ領域を特定し、前記コンテンツの前記キャプチャ領域をキャプチャした画像である第1の画像と、前記入力領域に入力された前記第2の画像と、を前記コメントとして記憶し、
前記選択操作受付部が前記第2の処理を選択する前記選択操作を受け付けた場合には、前記入力領域に入力された前記第2の画像を前記コメントとして記憶する、
ことを特徴とする表示装置。
A display device including a display unit that displays content, an input unit, a storage unit, a control unit, and a selection operation reception unit,
The storage unit is capable of storing characters or images as comments in association with the content,
The selection operation reception unit is capable of accepting a selection operation for selecting either the first process or the second process,
When the control unit receives a position specifying operation by the input unit for the content displayed on the display unit, the control unit may cause the display unit to add information to the display unit around the position at which the position specifying operation is received on the display unit. displaying on the display section an input area for inputting a second image for the displayed content;
The selection operation accepting unit accepts the selection operation after the second image is input into the input area,
The storage unit includes:
When the selection operation reception unit receives the selection operation for selecting the first process, it specifies a capture area including a range where the content and the input area overlap, and selects the capture area of the content. storing a first image that is a captured image and the second image input into the input area as the comment;
When the selection operation reception unit receives the selection operation for selecting the second process, storing the second image input in the input area as the comment;
A display device characterized by:
前記入力部はタッチパネルであって、
前記位置指定操作は前記入力部により受け付けられたタッチ操作である
ことを特徴とする請求項1に記載の表示装置。
The input unit is a touch panel,
The display device according to claim 1, wherein the position designation operation is a touch operation accepted by the input unit.
前記制御部は、
前記表示部に表示されたコンテンツに対して入力された手書き図形に基づく画像を、
前記第2の画像とする、
ことを特徴とする請求項1又は2に記載の表示装置。
The control unit includes:
An image based on a handwritten figure input for the content displayed on the display unit,
the second image;
The display device according to claim 1 or 2, characterized in that:
前記制御部は、
前記手書き図形の表示又は非表示を切り替える制御を行う
ことを特徴とする請求項3に記載の表示装置。
The control unit includes:
The display device according to claim 3, wherein the display device controls switching between displaying and non-displaying the handwritten figure.
前記制御部は、
前記手書き図形の近傍に、当該手書き図形を入力したユーザを示す識別表示を行う
ことを特徴とする請求項3に記載の表示装置。
The control unit includes:
The display device according to claim 3, wherein an identification display indicating a user who inputs the handwritten figure is displayed near the handwritten figure.
前記制御部は、
前記識別表示が選択されることにより、前記手書き図形の表示又は非表示を切り替え
る制御を行う
ことを特徴とする請求項5に記載の表示装置。
The control unit includes:
The display device according to claim 5, wherein the display device controls switching between displaying and non-displaying the handwritten figure by selecting the identification display.
前記制御部は、前記コメントに、ファイルを対応付けて記憶することを特徴とする請求項1から6の何れか一項に記載の表示装置。 7. The display device according to claim 1, wherein the control unit stores the comment in association with a file.
JP2020033487A 2020-02-28 2020-02-28 display device Active JP7365935B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020033487A JP7365935B2 (en) 2020-02-28 2020-02-28 display device
US17/168,658 US20210271380A1 (en) 2020-02-28 2021-02-05 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020033487A JP7365935B2 (en) 2020-02-28 2020-02-28 display device

Publications (2)

Publication Number Publication Date
JP2021135912A JP2021135912A (en) 2021-09-13
JP7365935B2 true JP7365935B2 (en) 2023-10-20

Family

ID=77661380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020033487A Active JP7365935B2 (en) 2020-02-28 2020-02-28 display device

Country Status (1)

Country Link
JP (1) JP7365935B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7543788B2 (en) * 2020-08-31 2024-09-03 株式会社リコー Display device, input method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196283A (en) 2001-12-25 2003-07-11 Minolta Co Ltd Image forming program and image forming device
JP2004355255A (en) 2003-05-28 2004-12-16 Nippon Telegr & Teleph Corp <Ntt> Electronic bulletin board control method, controller, program, and storage medium
JP2012216097A (en) 2011-03-31 2012-11-08 Fujifilm Corp Proofreading information processor, proofreading information processing method, program and electronic proofreading system
JP2012256259A (en) 2011-06-10 2012-12-27 Dainippon Screen Mfg Co Ltd Client server system, client apparatus, server apparatus, comment screen generation method in client server system, program of client apparatus, and program of server apparatus
JP2018165880A (en) 2017-03-28 2018-10-25 株式会社ドワンゴ User posting information server, user posting information display system, user posting information display method, and user posting information display program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196283A (en) 2001-12-25 2003-07-11 Minolta Co Ltd Image forming program and image forming device
JP2004355255A (en) 2003-05-28 2004-12-16 Nippon Telegr & Teleph Corp <Ntt> Electronic bulletin board control method, controller, program, and storage medium
JP2012216097A (en) 2011-03-31 2012-11-08 Fujifilm Corp Proofreading information processor, proofreading information processing method, program and electronic proofreading system
JP2012256259A (en) 2011-06-10 2012-12-27 Dainippon Screen Mfg Co Ltd Client server system, client apparatus, server apparatus, comment screen generation method in client server system, program of client apparatus, and program of server apparatus
JP2018165880A (en) 2017-03-28 2018-10-25 株式会社ドワンゴ User posting information server, user posting information display system, user posting information display method, and user posting information display program

Also Published As

Publication number Publication date
JP2021135912A (en) 2021-09-13

Similar Documents

Publication Publication Date Title
JP6038927B2 (en) Establishing content navigation direction based on directional user gestures
JP5666239B2 (en) Information processing apparatus, information processing apparatus control method, program, and recording medium
EP3008575B1 (en) Natural quick function gestures
CN105302784B (en) Method and system for copying/cutting and pasting data
US9165534B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP2011238226A (en) Apparatus and method for displaying transparent pop-up including additional information corresponding to information selected on touch-screen
US20120144306A1 (en) Method and system for interacting or collaborating with exploration
JP2012088804A (en) Information processor, control method for information processor, control program and recording medium
EP3416039A1 (en) Image processing device, image processing system, and image processing method
US20150154443A1 (en) Electronic device and method for processing handwritten document
US20180121084A1 (en) Information display device
JP2014106625A (en) Portable terminal, control method of portable terminal, program and recording medium
US20210271380A1 (en) Display device
JP7496699B2 (en) Display device
US20130127745A1 (en) Method for Multiple Touch Control Virtual Objects and System thereof
JP7520195B2 (en) Display device, program and display method
JP6271125B2 (en) Electronic device, display method, and program
JP7365935B2 (en) display device
JP6456203B2 (en) Information processing apparatus, information processing program, and information processing method
JP7333738B2 (en) system
JP2013077231A (en) Display method of document data, display device of portable terminal
JP2014106596A (en) Information processor, control method thereof, and program
JP5906713B2 (en) Display device, display method, and program
WO2023120052A1 (en) Information processing device, pdf file display method, pdf file creation method, pdf file display program, and pdf file creation program
JP2017033421A (en) Image display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231010

R150 Certificate of patent or registration of utility model

Ref document number: 7365935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150