Nothing Special   »   [go: up one dir, main page]

JP2024085778A - Information processing apparatus, printing device, method, and program - Google Patents

Information processing apparatus, printing device, method, and program Download PDF

Info

Publication number
JP2024085778A
JP2024085778A JP2022200506A JP2022200506A JP2024085778A JP 2024085778 A JP2024085778 A JP 2024085778A JP 2022200506 A JP2022200506 A JP 2022200506A JP 2022200506 A JP2022200506 A JP 2022200506A JP 2024085778 A JP2024085778 A JP 2024085778A
Authority
JP
Japan
Prior art keywords
printing
nail
data
print
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022200506A
Other languages
Japanese (ja)
Inventor
雄介 内田
Yusuke Uchida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022200506A priority Critical patent/JP2024085778A/en
Publication of JP2024085778A publication Critical patent/JP2024085778A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Ink Jet (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

To provide an information processing apparatus, a printing device, a method, and a program that, even when an object is not correctly printed on a printing target (nail art is not printed on the nails), corrects the state of the printing target into a re-printable state.SOLUTION: A printing system prints an object on a printing target by a printer based on print data. A photographing unit of the printer photographs a predetermined area including a printing object (the nails of a user), and control means controls the printing unit to perform printing of concealing the object printed on the printing object (perform printing by using the same ink as the ink used in printing the background color of the print data) based on a result of determination as to whether the printing is successful or not.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置、印刷装置、方法、及びプログラムに関する。 The present invention relates to an information processing device, a printing device, a method, and a program.

ユーザの爪にネイルアートを印刷可能なプリンターがある。以下、ユーザの爪にネイルアートを印刷するためのプリンターを「ネイルプリンター」と称する。ネイルプリンターは、ユーザの爪の位置及びサイズに基づく印刷領域を設定し、爪にネイルアートを印刷する。その際、ユーザの満足度を向上させるため、可能な限り綺麗に爪にネイルアートを印刷することが求められている。そのため、印刷領域抽出時に機械学習が用いられている。 There are printers that can print nail art on a user's nails. Hereinafter, a printer for printing nail art on a user's nails will be referred to as a "nail printer." The nail printer sets a printing area based on the position and size of the user's nail, and prints the nail art on the nail. In order to increase user satisfaction, it is necessary to print the nail art on the nail as neatly as possible. For this reason, machine learning is used when extracting the printing area.

例えば、特許文献1は、印刷処理中に何らかのエラーが発生した場合に印刷を中断し、エラーの原因が取り除かれると印刷を再開する印刷方法を提案している。 For example, Patent Document 1 proposes a printing method in which printing is interrupted if an error occurs during printing processing, and printing is resumed once the cause of the error has been eliminated.

特開平9-95016号公報Japanese Patent Application Publication No. 9-95016

特許文献1は、印刷処理中に何らかのエラーで印刷が失敗した場合には、画像形成装置が再印刷用のデータを要求し、別の印刷用紙に再印刷を行う。しかし、ネイルプリンターの印刷対象はユーザの爪であるため、爪に対してネイルアートを正しく印刷できなかった場合、同一の爪に対してネイルアートを再印刷できないといった課題がある。 In Patent Document 1, if printing fails due to some error during the printing process, the image forming device requests data for reprinting and reprints on a different sheet of paper. However, because the printing target of a nail printer is the user's nail, there is an issue that if the nail art cannot be printed correctly on the nail, the nail art cannot be reprinted on the same nail.

そこで、本発明は、印刷対象にオブジェクトを正しく印刷できなかった場合であっても、印刷対象の状態を再印刷可能な状態に修正する情報処理装置を提供することを目的とする。 The present invention aims to provide an information processing device that corrects the state of a print target so that it can be reprinted even if an object cannot be printed correctly on the print target.

本発明の目的を達成するために、本発明の一実施形態に係る情報処理装置は、印刷データに基づいて印刷対象にオブジェクトを印刷部で印刷する印刷手段と、前記印刷の成否判定結果に基づいて、前記印刷対象に印刷されたオブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する制御手段と、を備える、ことを特徴とする。 In order to achieve the object of the present invention, an information processing device according to one embodiment of the present invention is characterized by comprising a printing means for printing an object on a printing target using a printing unit based on print data, and a control means for controlling the printing unit to perform printing on the printing target to conceal the object printed on the printing target based on a result of determining whether the printing has been successful.

本発明によれば、印刷対象にオブジェクトを正しく印刷できなかった場合であっても、印刷対象の状態を再印刷可能な状態に修正する情報処理装置を提供することができる。 According to the present invention, it is possible to provide an information processing device that corrects the state of the print target so that it can be reprinted even if an object cannot be printed correctly on the print target.

印刷システムの構成を説明する図。FIG. 1 is a diagram illustrating the configuration of a printing system. ネイルアートデータの選択画面を示す図。FIG. 13 is a diagram showing a nail art data selection screen. 印刷データ作成画面を示す図。FIG. 4 is a diagram showing a print data creation screen. 印刷領域を設定する領域設定モードを説明する図。5A and 5B are diagrams for explaining an area setting mode for setting a print area. ネイル画像データ設定画面を示す図。FIG. 4 is a diagram showing a nail image data setting screen. 情報処理装置の機能ブロック図。FIG. 2 is a functional block diagram of an information processing device. 本実施形態の処理の一例を示すシーケンス図。FIG. 4 is a sequence diagram showing an example of processing according to the present embodiment. 印刷成功判定処理後の処理を示すフローチャート。10 is a flowchart showing a process after a print success determination process.

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 The following embodiments are described in detail with reference to the attached drawings. Note that the following embodiments do not limit the invention according to the claims. Although the embodiments describe multiple features, not all of these multiple features are necessarily essential to the invention, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations are omitted.

(第1実施形態)
<システムの構成>
本実施形態は、情報処理装置とプリンターとを含むシステムで構成される。本実施形態の情報処理装置は、タブレット端末であるが、タブレット端末に限定されるものではない。情報処理装置は、例えば、携帯端末、ノートPC、スマートフォン、PDA(Personal Digital Assistant)、デジタルカメラであっても良い。また、プリンターは、例えば、インクジェットプリンター、3Dプリンターである。プリンターは、複写機能、FAX機能、印刷機能などの複数の機能を備える複合機であっても良い。本実施形態のプリンターは、人の手の爪に直接オブジェクトを描画する機能を有する。なお、本実施形態は、情報処理装置とプリンターをそれぞれ独立した装置として説明するが、情報処理装置とプリンターとが一体となった形態を含むことができる。
First Embodiment
<System Configuration>
The present embodiment is configured as a system including an information processing device and a printer. The information processing device of the present embodiment is a tablet terminal, but is not limited to a tablet terminal. The information processing device may be, for example, a mobile terminal, a notebook PC, a smartphone, a PDA (Personal Digital Assistant), or a digital camera. The printer may be, for example, an inkjet printer or a 3D printer. The printer may be a multifunction device having multiple functions such as a copying function, a fax function, and a printing function. The printer of the present embodiment has a function of drawing an object directly on the nails of a person's hand. Note that, although the present embodiment will be described as an information processing device and a printer being independent devices, the present embodiment may include a form in which the information processing device and the printer are integrated together.

図1は、印刷システムの構成を説明する図である。 Figure 1 is a diagram explaining the configuration of a printing system.

印刷システムは、情報処理装置101及びプリンター151を備える。図1(a)は、情報処理装置101及びプリンター151のハードウェア構成を示すブロック図を示す。図1(b)は、プリンター151の外観の模式図を示す。以下、図1を用いて情報処理装置101及びプリンター151の構成を説明する。 The printing system includes an information processing device 101 and a printer 151. FIG. 1(a) shows a block diagram illustrating the hardware configuration of the information processing device 101 and the printer 151. FIG. 1(b) shows a schematic diagram of the exterior of the printer 151. The configuration of the information processing device 101 and the printer 151 will be described below with reference to FIG. 1.

<情報処理装置>
図1(a)に示すように、情報処理装置101は、入力インターフェース102、CPU103、ROM104、RAM105、外部記憶装置106、出力インターフェース107、通信部109、及びGPU110を有する。情報処理装置101の各部は、システムバスを介して互いに接続されている。
<Information processing device>
1A, the information processing apparatus 101 includes an input interface 102, a CPU 103, a ROM 104, a RAM 105, an external storage device 106, an output interface 107, a communication unit 109, and a GPU 110. The units of the information processing apparatus 101 are connected to each other via a system bus.

入力インターフェース102は、物理キーボード、ボタン、及びタッチパネルなどの操作部(不図示)を介して、ユーザからのデータ入力や操作指示を受け付けるためのインターフェースである。なお、本実施形態は、後述の表示部108と操作部との少なくとも一部が一体である形態を含む。本実施形態は、例えば、画面の出力とユーザからの操作の受け付けとを同一の画面において行う形態を含む。 The input interface 102 is an interface for accepting data input and operation instructions from a user via an operation unit (not shown) such as a physical keyboard, buttons, and a touch panel. Note that this embodiment includes a form in which at least a part of the display unit 108 and the operation unit described below are integrated. This embodiment includes a form in which, for example, the screen output and the acceptance of operations from the user are performed on the same screen.

CPU103は、システム制御部であり、プログラムの実行及びハードウェアの起動などを行い、情報処理装置101の全体を制御する。 The CPU 103 is a system control unit that executes programs and starts up hardware, and controls the entire information processing device 101.

ROM104は、CPU103が実行する制御プログラム、データテーブル、組み込みオペレーティングシステム(以下、OS)、及びプログラムなどのデータを格納する。ROM104の各制御プログラムは、組み込みOSの管理下で、例えば、スケジューリング、タスクスイッチ、及び割り込み処理などのソフトウエア実行制御を行うプログラムである。 ROM 104 stores data such as control programs executed by CPU 103, data tables, an embedded operating system (hereinafter, OS), and programs. Each control program in ROM 104 is a program that performs software execution control such as scheduling, task switching, and interrupt processing under the management of the embedded OS.

RAM105は、SRAM(Static Random Access Memory)又はDRAM(Dinamic Random Access Memory)である。なお、RAM105は、不図示のデータバックアップ用の1次電池によってデータを保持しても良い。その場合、RAM105は、プログラム制御変数などのデータを揮発させずに格納することができる。また、RAM105には、情報処理装置101の設定情報及び情報処理装置101の管理データなどを格納するメモリエリアも設けられている。また、RAM105は、CPU103の主メモリ及びワークメモリとして用いられる。 The RAM 105 is a static random access memory (SRAM) or a dynamic random access memory (DRAM). The RAM 105 may retain data using a primary battery (not shown) for data backup. In this case, the RAM 105 can store data such as program control variables without volatilizing the data. The RAM 105 also has a memory area for storing setting information and management data for the information processing device 101. The RAM 105 is used as the main memory and work memory for the CPU 103.

外部記憶装置106は、印刷実行機能を提供するアプリケーション及びプリンター151が解釈可能な印刷情報を生成する印刷情報生成プログラムなどを記憶する。また、外部記憶装置106は、通信部109を介して、プリンター151との間で情報を送受信する情報送受信制御プログラムなどの各種プログラム及び各種プログラムで使用する各種情報を記憶する。 The external storage device 106 stores an application that provides a print execution function, a print information generation program that generates print information that can be interpreted by the printer 151, and the like. The external storage device 106 also stores various programs, such as an information transmission/reception control program that transmits and receives information to and from the printer 151 via the communication unit 109, and various pieces of information used by the various programs.

出力インターフェース107は、表示部108によるデータの表示及び情報処理装置101の状態の通知などの制御を行うインターフェースである。 The output interface 107 is an interface that controls the display of data by the display unit 108 and notification of the status of the information processing device 101.

表示部108は、LED(発光ダイオード)又はLCD(液晶ディスプレイ)であり、データの表示及び情報処理装置101の状態の通知を行う。なお、表示部108は、数値入力キー、モード設定キー、決定キー、取り消しキー、電源キーなどのキーを備えるソフトキーボードを備える。これにより、表示部108は、ユーザからの入力を受け付けることができる。また、表示部108は、タッチパネルディスプレイであっても良い。表示部108は、出力インターフェース107を介してシステムバスと接続されている。 The display unit 108 is an LED (light emitting diode) or LCD (liquid crystal display) that displays data and notifies the status of the information processing device 101. The display unit 108 also includes a soft keyboard that includes keys such as numeric input keys, a mode setting key, a confirmation key, a cancel key, and a power key. This allows the display unit 108 to accept input from the user. The display unit 108 may also be a touch panel display. The display unit 108 is connected to the system bus via the output interface 107.

通信部109は、プリンター151などの外部装置との間でデータ通信を実行する。通信部109は、例えば、プリンター151内のアクセスポイント(不図示)に接続可能である。通信部109とプリンター151内のアクセスポイントとが接続することで、情報処理装置101及びプリンター151は、相互に無線通信可能となる。なお、通信部109は、無線通信でプリンター151と直接通信しても良いし、外部のアクセスポイント131を介してプリンター151と通信しても良い。無線通信方式は、例えば、Wi-Fi(WirelessFidelity)(登録商標)及びBluetooth(登録商標)である。また、アクセスポイント131は、例えば、無線LANルーターである。本実施形態において、情報処理装置101とプリンター151とがアクセスポイント131を介さずにダイレクトに接続する方式をダイレクト接続方式という。また、情報処理装置101とプリンター151とがアクセスポイント131を介して接続する方式をインフラストラクチャー接続方式という。なお、情報処理装置101とプリンター151は、USBケーブル、LANケーブルなどの有線で接続されても良い。 The communication unit 109 executes data communication with an external device such as the printer 151. The communication unit 109 can be connected to, for example, an access point (not shown) in the printer 151. By connecting the communication unit 109 to the access point in the printer 151, the information processing device 101 and the printer 151 can wirelessly communicate with each other. The communication unit 109 may directly communicate with the printer 151 by wireless communication, or may communicate with the printer 151 via an external access point 131. Examples of the wireless communication method are Wi-Fi (Wireless Fidelity) (registered trademark) and Bluetooth (registered trademark). The access point 131 is, for example, a wireless LAN router. In this embodiment, a method in which the information processing device 101 and the printer 151 are directly connected without going through the access point 131 is called a direct connection method. A method in which the information processing device 101 and the printer 151 are connected through the access point 131 is called an infrastructure connection method. The information processing device 101 and the printer 151 may be connected via a wire such as a USB cable or a LAN cable.

GPU110は、データを並列処理することで効率的な演算を行うことができる。そのため、ディープラーニングのような学習モデルの処理を、GPU110に実行させることが有効である。本実施形態は、学習モデルを使用する処理をCPU103とGPU110に実行させる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPU103とGPU110が協働して演算を行うことで学習モデルを処理する。なお、学習モデルを使用する処理は、CPU103又はGPU110の一方のみで実行されても良い。 The GPU 110 can perform efficient calculations by processing data in parallel. For this reason, it is effective to have the GPU 110 execute processing of a learning model such as deep learning. In this embodiment, the CPU 103 and the GPU 110 execute processing that uses the learning model. Specifically, when executing a learning program that includes a learning model, the CPU 103 and the GPU 110 cooperate to perform calculations to process the learning model. Note that the processing that uses the learning model may be executed by only one of the CPU 103 or the GPU 110.

情報処理装置101は、ROM104又は外部記憶装置106に所定のアプリケーションを格納する。所定のアプリケーションは、例えば、ユーザからの操作に応じて、ネイルアートデータを印刷させるための印刷ジョブを、プリンター151に送信するためのアプリケーションプログラムである。このような機能を有するアプリケーションを、以後ネイルアプリという。なお、ネイルアプリは、印刷機能以外に他の機能を備えていても良い。例えば、ネイルアプリは、プリンター151と通信し、プリンター151の撮影部157のカメラを起動する機能を備えていても良い。すなわち、ネイルアプリは、印刷ジョブ以外に、カメラ起動ジョブをプリンター151に送信する機能を有する。また、ROM104又は外部記憶装置106に格納済みの所定のアプリケーションは、ネイルアプリに限定されず、印刷機能以外の機能を備えているアプリケーションプログラムであっても良い。 The information processing device 101 stores a predetermined application in the ROM 104 or the external storage device 106. The predetermined application is, for example, an application program for sending a print job to the printer 151 to print nail art data in response to a user operation. An application having such a function is hereinafter referred to as a nail app. Note that the nail app may have other functions in addition to the print function. For example, the nail app may have a function for communicating with the printer 151 and activating the camera of the photographing unit 157 of the printer 151. That is, the nail app has a function for sending a camera activation job to the printer 151 in addition to the print job. Also, the predetermined application stored in the ROM 104 or the external storage device 106 is not limited to the nail app, and may be an application program having a function in addition to the print function.

<プリンター>
プリンター151は、ROM152、RAM153、CPU154、プリントエンジン155、通信部156、及び撮影部157を有する。プリンター151の各部は、システムバスを介して互いに接続される。図1(b)に示すように、プリンター151には、印刷対象(例えば、ユーザの手の爪)を挿入するための空間である印刷対象挿入部158が設けられている。図1(b)は、印刷対象挿入部158にユーザの手が挿入される様子を示す。印刷対象は、ユーザの手の爪である。印刷対象挿入部158にはユーザの指を載せるための4本のレールが搭載されており、ユーザは1~4本の指をレールに載せることができる。4本のレールは、各々独立しており、各レールがそれぞれ図1(b)の上下方向に昇降することで印刷に最適な高さにレールの高さを調整可能である。レールの昇降動作は、ネイルアプリからの指示で実行される。プリンター151は、ネイルアプリから受け取ったレール番号に対応するレールの昇降動作を行う。なお、本実施形態の印刷対象は手の爪であるが、手に限らず足の爪であっても良い。
<Printer>
The printer 151 includes a ROM 152, a RAM 153, a CPU 154, a print engine 155, a communication unit 156, and an image capture unit 157. The units of the printer 151 are connected to each other via a system bus. As shown in FIG. 1B, the printer 151 is provided with a print object insertion unit 158, which is a space for inserting a print object (for example, a user's fingernail). FIG. 1B shows a state in which a user's hand is inserted into the print object insertion unit 158. The print object is the user's fingernail. The print object insertion unit 158 is equipped with four rails for placing the user's fingers, and the user can place one to four fingers on the rails. The four rails are independent of each other, and each rail can be raised and lowered in the up and down directions of FIG. 1B to adjust the height of the rails to an optimal height for printing. The rail raising and lowering operation is performed in response to an instruction from the nail app. The printer 151 performs the rail raising and lowering operation corresponding to the rail number received from the nail app. In this embodiment, the printing target is a fingernail, but it is not limited to the fingernails and may be a toenail.

ROM152は、CPU154が実行する制御プログラム、データテーブル、及びOSプログラムなどのデータを格納する。ROM152の各制御プログラムは、組み込みOSの管理下で、スケジューリング、タスクスイッチ、及び割り込み処理などのソフトウエア実行制御を行うプログラムである。 ROM 152 stores data such as control programs, data tables, and OS programs executed by CPU 154. Each control program in ROM 152 is a program that performs software execution control such as scheduling, task switching, and interrupt processing under the management of the embedded OS.

RAM153は、SRAM又はDRAMである。なお、RAM153は、不図示のデータバックアップ用の1次電池によってデータを保持しても良い。この場合、RAM153は、プログラム制御変数などのデータを揮発させずに格納することができる。また、プリンター151の設定情報及び管理データなどを格納するメモリエリアは、RAM153に設けられている。RAM153は、CPU154の主メモリ及びワークメモリとして用いられ、情報処理装置101から受信した印刷情報及び各種情報を一時保存できる。 RAM 153 is an SRAM or DRAM. The RAM 153 may retain data using a primary battery (not shown) for data backup. In this case, the RAM 153 can store data such as program control variables without volatilizing the data. A memory area for storing setting information and management data of the printer 151 is also provided in the RAM 153. The RAM 153 is used as the main memory and work memory of the CPU 154, and can temporarily store printing information and various information received from the information processing device 101.

CPU154は、システム制御部であり、プログラムの実行及びハードウェアの起動により、プリンター151の全体を制御する。 The CPU 154 is a system control unit that controls the entire printer 151 by executing programs and starting up hardware.

プリントエンジン155は、RAM153の情報又は情報処理装置101から受信した印刷ジョブに基づき、記録剤(CMYKインク、白インクなど)を用いて、印刷対象挿入部158内の印刷対象(ユーザの爪)に画像を形成する。 Based on the information in RAM 153 or the print job received from the information processing device 101, the print engine 155 forms an image on the printing object (user's nail) in the printing object insertion section 158 using a recording material (CMYK ink, white ink, etc.).

通信部156は、情報処理装置101などの外部装置と接続するためのアクセスポイントを有している。このアクセスポイントは、情報処理装置101の通信部109と接続可能なアクセスポイントである。通信部156は、無線通信で情報処理装置101と直接通信しても良いし、外部のアクセスポイント131を介して情報処理装置101と通信しても良い。また、通信部156は、アクセスポイントとして機能するハードウェアを備えていても良いし、アクセスポイントとして機能させるためのソフトウエアにより、アクセスポイントとして動作しても良い。 The communication unit 156 has an access point for connecting to an external device such as the information processing device 101. This access point is an access point that can be connected to the communication unit 109 of the information processing device 101. The communication unit 156 may directly communicate with the information processing device 101 by wireless communication, or may communicate with the information processing device 101 via an external access point 131. The communication unit 156 may also be provided with hardware that functions as an access point, or may operate as an access point using software for functioning as an access point.

撮影部157は、撮影機能を有するデバイスである。撮影機能を有するデバイスは、プリンター151に設置されている。撮影部157は、印刷対象挿入部158内の印刷対象(ユーザの爪)を含む所定の領域を撮影し、撮影した画像(静止画又は動画)をリアルタイムに情報処理装置101に送る機能を有する。撮影部157は、印刷対象の動画及び静止画を撮影する。撮影機能を有するデバイスは、少なくともレンズ及びイメージセンサーにより構成されるカメラモジュールである。レンズは、印刷対象挿入部158内の印刷対象を写してイメージセンサー上に結像する。イメージセンサーは、レンズが写した光をCPU154が処理できる電気信号に変換する。撮影機能を有するデバイスは、例えば、スマートフォン、携帯端末、又はデジタルカメラなどであっても良い。プリントエンジン155は、印刷対象挿入部158内の印刷対象に対して印刷を行う。 The photographing unit 157 is a device having a photographing function. The device having the photographing function is installed in the printer 151. The photographing unit 157 has a function of photographing a predetermined area including the printing target (user's nail) in the printing target insertion unit 158 and sending the photographed image (still image or video) to the information processing device 101 in real time. The photographing unit 157 photographs videos and still images of the printing target. The device having the photographing function is a camera module composed of at least a lens and an image sensor. The lens photographs the printing target in the printing target insertion unit 158 and forms an image on the image sensor. The image sensor converts the light photographed by the lens into an electrical signal that can be processed by the CPU 154. The device having the photographing function may be, for example, a smartphone, a mobile terminal, or a digital camera. The print engine 155 prints the printing target in the printing target insertion unit 158.

なお、プリンター151は、外付けHDD及びSDカードなどのメモリを備えていても良い。プリンター151に保存される情報は、上記メモリに保存されても良い。また、図1の情報処理装置101及びプリンター151は一例であり、情報処理装置101及びプリンター151は、上記で説明した構成以外の構成を含み得るが、ここでの説明は省略する。 The printer 151 may also be equipped with a memory such as an external HDD or SD card. Information stored in the printer 151 may be stored in the memory. The information processing device 101 and printer 151 in FIG. 1 are merely examples, and the information processing device 101 and printer 151 may include configurations other than those described above, but a description of these will be omitted here.

<用語の定義>
次に、本実施形態で使用する用語の定義を説明する。本実施形態は、主に爪にネイルアートを印刷する。また、本実施形態は、片方の手の各爪にネイルアートを施す(印刷する)。一般的に、各爪に印刷されるネイルアートは、同一のコンセプトに基づくネイルアートであるが、各爪に印刷されるネイルアートは、完全に同一のコンセプトに基づくネイルアートではない場合がある。例えば、デザインAのネイルアートセットには、10個のネイルアート(10本の各爪に対応するネイルアート)が含まれている。10個のネイルアートは、相互に共通のデザインコンセプトに基づくネイルアートであるが、完全に同一の模様などを有していないことがある。以上の点を踏まえて、本実施形態の用語を以下の通り定義する。
<Definition of terms>
Next, definitions of terms used in this embodiment will be described. In this embodiment, nail art is mainly printed on nails. In addition, in this embodiment, nail art is applied (printed) on each nail of one hand. Generally, the nail art printed on each nail is based on the same concept, but the nail art printed on each nail may not be based on a completely identical concept. For example, a nail art set of design A includes 10 nail arts (nail art corresponding to each of the 10 nails). The 10 nail arts are based on a common design concept, but may not have completely identical patterns. In light of the above, the terms used in this embodiment are defined as follows.

・「ネイル画像データ」:1つの爪に印刷するネイルアートの画像データを指す。
・「ネイルアートデータ」:複数のネイル画像データの集合体を指す。つまり、ネイルアートデータは、複数のネイル画像データのデータセットともいえる。典型的には、ネイルアートデータは、右手と左手の10本の爪のネイルアートに対応する各ネイル画像データを集約した画像データである。ネイルアートデータは、10本の各ネイル画像データが集まったデータ(つまり、10個の画像データのセット)でも良いし、10本の各ネイル画像データを1つに合成した画像データであっても良い。
"Nail image data": refers to image data of nail art to be printed on one nail.
"Nail art data" refers to a collection of multiple nail image data. In other words, nail art data can also be said to be a data set of multiple nail image data. Typically, nail art data is image data that aggregates nail image data corresponding to the nail art of ten nails on a right hand and a left hand. The nail art data may be data that aggregates image data of ten nails (i.e., a set of ten image data), or may be image data that combines the image data of ten nails into one.

このように、「ネイル画像データ」は、個別の爪のネイルアートの画像のデータを指す。「ネイルアートデータ」は、10本分のネイルアートの画像データセットのことを指す。 Thus, "nail image data" refers to the data of images of nail art on individual nails. "Nail art data" refers to a data set of images of nail art for 10 nails.

<ネイルアート印刷の概要>
情報処理装置101のCPU103が、ROM104又は外部記憶装置106のネイルアプリのプログラムを実行することで、ネイルアプリを起動する。そして、ネイルアプリを用いることで、ユーザは、自身が選択したネイルアートデータのネイル画像データを印刷領域に反映して、爪にネイルアートを印刷することができる。つまり、以下の一連の動作がネイルアプリを用いて行われる。(1)ユーザが、アプリケーションでネイル画像データのセット(すなわち、ネイルアートデータ)を選択する。(2)アプリケーションが、ネイルプリンター(プリンター151)のカメラを起動する。(3)アプリケーションは、プリンター151から送信されたカメラの撮像画像を表示する。(4)ユーザが、プリンター151の印刷対象挿入部158に手を挿入する。(5)アプリケーションがカメラの撮像画像から爪領域を検出し、ネイルアートを印刷する爪領域を設定する。(6)アプリケーションは、設定した印刷領域に、ネイルアートデータに含まれるネイル画像データを反映させる。(7)設定した印刷領域を調整する場合、ユーザは印刷領域を編集する。(8)アプリケーションは、反映された画像データを用いてプリンター151に印刷を実行させる。(9)アプリケーションがカメラの撮像画像から爪領域を検出し、設定した印刷領域に、ネイルアートデータに含まれるネイル画像データに基づくオブジェクトが正しく印刷されたか否かを判定する。(10)(9)の工程で正しく印刷されていないと判定された場合、アプリケーションは印刷領域を印刷前の状態に修正する修正データを用いて、プリンター151に印刷を実行させる。(11)アプリケーションは、プリンター151のカメラの撮影設定を変更し、プリンター151のメンテナンス処理を実行させた後、(5)の工程に戻る。本実施形態は、上記の(9)~(11)の工程において、印刷領域に対する印刷が失敗していた場合に印刷領域を印刷前の状態に修正し、再度印刷をやり直す形態を説明する。なお、プリンター151の印刷対象挿入部158に手を挿入するユーザと、アプリケーションを操作するユーザは、同一のユーザであっても良いし、相互に異なるユーザであっても良い。
<Outline of Nail Art Printing>
The CPU 103 of the information processing device 101 executes the program of the nail app in the ROM 104 or the external storage device 106 to start the nail app. Then, by using the nail app, the user can print nail art on the nail by reflecting the nail image data of the nail art data selected by the user in the printing area. That is, the following series of operations are performed using the nail app. (1) The user selects a set of nail image data (i.e., nail art data) in the application. (2) The application starts the camera of the nail printer (printer 151). (3) The application displays the captured image of the camera transmitted from the printer 151. (4) The user inserts his/her hand into the print target insertion section 158 of the printer 151. (5) The application detects the nail area from the captured image of the camera and sets the nail area on which the nail art is to be printed. (6) The application reflects the nail image data included in the nail art data in the set printing area. (7) When adjusting the set printing area, the user edits the printing area. (8) The application causes the printer 151 to execute printing using the reflected image data. (9) The application detects the nail area from the captured image of the camera, and determines whether the object based on the nail image data included in the nail art data has been correctly printed in the set printing area. (10) If it is determined that the printing has not been correctly done in the step (9), the application causes the printer 151 to execute printing using correction data for correcting the printing area to the state before printing. (11) The application changes the shooting settings of the camera of the printer 151, executes a maintenance process for the printer 151, and then returns to the step (5). In this embodiment, an embodiment will be described in which, if printing on the printing area has failed in the above steps (9) to (11), the printing area is corrected to the state before printing and printing is performed again. Note that the user who inserts his/her hand into the print object insertion section 158 of the printer 151 and the user who operates the application may be the same user, or may be different users.

<ネイルアプリのユーザインターフェース>
理解を容易にするために、ネイルアプリで表示されるグラフィカルユーザインターフェース(以下、GUIという)画面を説明する。以下で説明するGUI画面は、ネイルアプリを実行するCPU103によって、表示部108に表示される。また、入力インターフェース102は、表示部108と一体となった操作部として機能する。ネイルアプリのGUI画面は、3種類存在する(第1GUI画面~第3GUI画面)。第1GUI画面は、図2に示すように、ネイルアートデータの選択画面である。第2GUI画面は、図5に示すように、ネイル画像データ設定画面である。第3GUI画面は、図3に示すように、印刷データ作成画面である。
<Nail app user interface>
For ease of understanding, a graphical user interface (hereinafter referred to as GUI) screen displayed in the nail application will be described. The GUI screen described below is displayed on the display unit 108 by the CPU 103 that executes the nail application. The input interface 102 functions as an operation unit integrated with the display unit 108. There are three types of GUI screens in the nail application (first GUI screen to third GUI screen). The first GUI screen is a nail art data selection screen as shown in FIG. 2. The second GUI screen is a nail image data setting screen as shown in FIG. 5. The third GUI screen is a print data creation screen as shown in FIG. 3.

図2は、ネイルアートデータの選択画面を示す図である。 Figure 2 shows the nail art data selection screen.

ネイルアートデータ選択画面201(第1GUI画面)は、ネイルアートデータ表示領域202と、決定ボタン204とを有する。 The nail art data selection screen 201 (first GUI screen) has a nail art data display area 202 and a decision button 204.

ネイルアートデータ表示領域202には、各爪に印刷するネイルアートの各デザインコンセプトに対応したネイルアートデータが複数表示される。具体的には、ネイルアートデータ選択画面201では、ネイルアートデータ203が4つ表示されている。ネイルアートデータ203には、左手と右手それぞれの親指、人差し指、中指、薬指、小指の爪に対応する10種類のネイル画像データが含まれている。ユーザは、1つもしくは複数のネイルアートデータ203を選択でき、選択したネイルアートデータ203を解除することもできる。ユーザがネイルアートデータ203を選択又は解除する方法の一例として、ユーザがネイルアートデータ203を1回タップすることでネイルアートデータ203(太枠の領域で図示)を選択することができる。また、選択済みのネイルアートデータ203をユーザがもう1回タップすると、選択状態を解除することができる。 In the nail art data display area 202, multiple nail art data corresponding to each design concept of the nail art to be printed on each nail are displayed. Specifically, four nail art data 203 are displayed in the nail art data selection screen 201. The nail art data 203 includes ten types of nail image data corresponding to the nails of the thumb, index finger, middle finger, ring finger, and little finger of each of the left and right hands. The user can select one or more nail art data 203, and can also cancel the selected nail art data 203. As an example of a method in which the user can select or cancel the nail art data 203, the user can select the nail art data 203 (illustrated by the thick-framed area) by tapping the nail art data 203 once. In addition, the user can cancel the selection state by tapping the selected nail art data 203 once more.

ユーザがネイルアートデータ表示領域202から1つもしくは複数のネイルアートデータ203を選択した後に決定ボタン204を押下した場合、ネイルアートデータ選択画面201に替えて図5に示すネイル画像データ設定画面501が表示される。 When the user selects one or more nail art data 203 from the nail art data display area 202 and then presses the confirm button 204, the nail image data setting screen 501 shown in FIG. 5 is displayed instead of the nail art data selection screen 201.

なお、本実施形態では、各種のボタン操作を「押下」と称し、各領域のタッチパネル操作として「タップ」、「タッチ」、「ピンチイン」、「ピンチアウト」等を用いて説明するが、これらは例示に過ぎない。例えば、タッチパネル上の各種のボタンをタッチすることで各種のボタンの押下動作が実現されても良い。また、例えば、マウス等を用いたカーソル操作によって各領域の操作が行われても良い。また、入力インターフェース102が各種の方向指示ボタンを備えており、方向指示ボタンによって各領域の操作が行われても良い。 In this embodiment, various button operations are referred to as "pressing", and "tapping", "touching", "pinch in", "pinch out", etc. are used as touch panel operations for each area, but these are merely examples. For example, pressing various buttons on the touch panel may be realized by touching the buttons. Furthermore, each area may be operated by cursor operation using a mouse or the like. Furthermore, the input interface 102 may be provided with various directional buttons, and each area may be operated by the directional buttons.

図5は、ネイル画像データ設定画面を示す図である。 Figure 5 shows the nail image data setting screen.

ネイル画像データ設定画面501(第2GUI画面)は、ネイルアートデータ表示領域502、左手プレビュー領域503、右手プレビュー領域504、選択モード切り替えスイッチ505、選択解除ボタン506、設定完了ボタン507を有する。 The nail image data setting screen 501 (second GUI screen) has a nail art data display area 502, a left hand preview area 503, a right hand preview area 504, a selection mode change switch 505, a deselect button 506, and a setting completion button 507.

ネイルアートデータ表示領域502は、ユーザがネイルアートデータ選択画面201で選択したネイルアートデータを表示する領域である。 The nail art data display area 502 is an area that displays the nail art data selected by the user on the nail art data selection screen 201.

左手プレビュー領域503には左手の親指から小指まで計5つの爪領域508が表示される。右手プレビュー領域504には右手の親指から小指まで計5つの爪領域508が表示される。ユーザは、ネイルアートデータ表示領域502からネイルアートデータ又はネイル画像データを選択する。これにより、選択したネイルアートデータ又はネイル画像データを、左手プレビュー領域503及び右手プレビュー領域504の爪領域508に反映することができる。 A total of five nail regions 508 are displayed in the left hand preview area 503, from the thumb to the little finger of the left hand. A total of five nail regions 508 are displayed in the right hand preview area 504, from the thumb to the little finger of the right hand. The user selects nail art data or nail image data from the nail art data display area 502. This allows the selected nail art data or nail image data to be reflected in the nail regions 508 in the left hand preview area 503 and right hand preview area 504.

一括選択モード切り替えスイッチ505は、左手プレビュー領域503及び右手プレビュー領域504の爪領域508に反映させるネイルアートデータ又はネイル画像データを選択する方法を切り替えるスイッチである。一括選択モード切り替えスイッチ505がONになっている場合、ユーザがネイルアートデータ表示領域502から選択したネイルアートデータを、左手プレビュー領域503と右手プレビュー領域504それぞれの爪領域508に一括で反映することができる。一括選択モード切り替えスイッチ505がOFFになっている場合、ユーザがネイルアートデータ表示領域502から選択したネイル画像データを、左手プレビュー領域503又は右手プレビュー領域504の爪領域508に反映できる。 The bulk selection mode changeover switch 505 is a switch that changes the method of selecting nail art data or nail image data to be reflected in the nail area 508 of the left hand preview area 503 and the right hand preview area 504. When the bulk selection mode changeover switch 505 is ON, the nail art data selected by the user from the nail art data display area 502 can be reflected in the nail area 508 of each of the left hand preview area 503 and the right hand preview area 504 at once. When the bulk selection mode changeover switch 505 is OFF, the nail image data selected by the user from the nail art data display area 502 can be reflected in the nail area 508 of the left hand preview area 503 or the right hand preview area 504.

選択解除ボタン506は、既に左手プレビュー領域503及び右手プレビュー領域504の爪領域508に1つでもネイル画像データが反映されている場合に選択可能なボタンである。ユーザが選択解除ボタン506を押下した場合、反映されている全てのネイル画像データの選択が解除され、ネイル画像データ未選択の状態に戻る。 The deselect button 506 is a button that can be selected when at least one nail image data is already reflected in the nail area 508 of the left hand preview area 503 and the right hand preview area 504. When the user presses the deselect button 506, the selection of all reflected nail image data is deselected, and the state returns to one in which no nail image data is selected.

設定完了ボタン507は、左手プレビュー領域503及び右手プレビュー領域504の1つ以上の爪領域508に、ネイル画像データが反映されている場合に選択可能なボタンである。ユーザが設定完了ボタン507を押下した場合、ネイル画像データ設定画面501に替えて、図3の印刷データ作成画面301が表示部108に表示される。 The setting completion button 507 is a button that can be selected when nail image data is reflected in one or more nail areas 508 in the left hand preview area 503 and the right hand preview area 504. When the user presses the setting completion button 507, the print data creation screen 301 in FIG. 3 is displayed on the display unit 108 instead of the nail image data setting screen 501.

図3は、印刷データ作成画面を示す図である。 Figure 3 shows the print data creation screen.

印刷データ作成画面301(第3GUI画面)は、設定データ表示領域302、印刷対象表示領域303、プリンター検索ボタン304、プリンター名表示領域305、撮影ボタン306、プレビュー領域307、印刷領域設定ボタン308、印刷ボタン310を有する。 The print data creation screen 301 (third GUI screen) has a setting data display area 302, a print target display area 303, a printer search button 304, a printer name display area 305, a capture button 306, a preview area 307, a print area setting button 308, and a print button 310.

プレビュー領域307は、爪を撮影する前の動画又は爪を撮影後の撮影画像が表示される。そして、撮影画像に後述の図4の印刷領域309が設定された場合、プレビュー領域307には、爪の撮影画像に印刷領域309(表示アイテム)を合成(重畳)した画像が表示される。 The preview area 307 displays a video of the nail before it is photographed or a captured image of the nail after it is photographed. If a print area 309 (see FIG. 4 ) described below is set in the captured image, the preview area 307 displays an image in which the print area 309 (display item) is superimposed on the captured image of the nail.

設定データ表示領域302は、図5のネイル画像データ設定画面501で設定したネイル画像データを左手用データと右手用データの最大4つのグループに分けて表示する。図3は、左手の4本(人差し指、中指、薬指、小指)の設定データ、左手の1本(親指)の設定データ、右手の4本(人差し指、中指、薬指、小指)の設定データ、右手の1本(親指)の設定データを示す。設定データ表示領域302は、左手と右手の全ての爪にネイル画像データが設定された場合を示す。設定データ表示領域302には、左手の人差し指、中指、薬指、小指の設定データ302(a)、及び、左手の親指の設定データ302(b)が表示されている。また、設定データ表示領域302には、右手の人差し指、中指、薬指、小指の設定データ302(c)、及び、右手の親指の設定データ302(d)も表示されている。設定データ302(a)~(d)の各領域には、ネイル画像データを入れる4つのスロットが設けられる。 The set data display area 302 displays the nail image data set on the nail image data setting screen 501 in FIG. 5 in up to four groups, data for the left hand and data for the right hand. FIG. 3 shows set data for four fingers (index finger, middle finger, ring finger, little finger) on the left hand, set data for one finger (thumb) on the left hand, set data for four fingers (index finger, middle finger, ring finger, little finger) on the right hand, and set data for one finger (thumb) on the right hand. The set data display area 302 shows the case where nail image data is set for all nails on the left and right hands. The set data display area 302 displays set data 302(a) for the index finger, middle finger, ring finger, little finger of the left hand, and set data 302(b) for the thumb of the left hand. The set data display area 302 also displays set data 302(c) for the index finger, middle finger, ring finger, little finger of the right hand, and set data 302(d) for the thumb of the right hand. Each area of setting data 302(a)-(d) has four slots for storing nail image data.

印刷対象表示領域303は、設定データ302(a)~設定データ302(d)のそれぞれが、どの爪に対応する設定データかを示す4つの手形アイコンを表示する。つまり、4つの手形アイコンはそれぞれ、設定データ表示領域302と同様に、左手の4本(人差し指、中指、薬指、小指)、左手の1本(親指)、右手の4本(人差し指、中指、薬指、小指)、右手の1本(親指)を示す。なお、印刷対象表示領域303は、左手と右手の全ての爪にネイル画像データが設定されている場合を示している。アイコン303(a)は、設定データ302(a)の左手の人差し指、中指、薬指、小指に対応する。アイコン303(b)は、設定データ302(b)の左手の親指に対応する。アイコン303(c)は、設定データ302(c)の右手の人差し指、中指、薬指、小指に対応する。アイコン303(d)は、設定データ302(d)の右手の親指に対応する。 The print target display area 303 displays four hand icons indicating which nails each of the setting data 302(a) to 302(d) corresponds to. That is, the four hand icons respectively indicate four fingers (index finger, middle finger, ring finger, little finger) of the left hand, one finger (thumb) of the left hand, four fingers (index finger, middle finger, ring finger, little finger) of the right hand, and one finger (thumb) of the right hand, as in the setting data display area 302. Note that the print target display area 303 shows a case where nail image data is set for all nails on the left and right hands. Icon 303(a) corresponds to the index finger, middle finger, ring finger, and little finger of the left hand in setting data 302(a). Icon 303(b) corresponds to the thumb of the left hand in setting data 302(b). Icon 303(c) corresponds to the index finger, middle finger, ring finger, and little finger of the right hand in setting data 302(c). Icon 303(d) corresponds to the right thumb in setting data 302(d).

プリンター検索ボタン304がユーザによって押下されると、ネイルアプリと通信可能なプリンターを検索する処理が実行される。検索の結果、プリンター151を含む1つまたは複数のプリンターが発見された場合、ネイルアプリは、発見したプリンターのそれぞれを特定する情報を表示する。発見したプリンターを特定する情報はリスト表示され、ユーザはリストから任意のプリンターを1つ選択することができる。ここでは、ユーザがプリンター151を選択したものとする。 When the printer search button 304 is pressed by the user, a process is executed to search for printers that can communicate with the nail app. If the search finds one or more printers, including printer 151, the nail app displays information identifying each of the discovered printers. The information identifying the discovered printers is displayed in a list, and the user can select any one of the printers from the list. In this example, it is assumed that the user has selected printer 151.

選択されたプリンター151を一意に識別するためのプリンター名がプリンター名表示領域305に表示される。なお、ネイルアプリは、ユーザがプリンター検索ボタン304を押下したときだけでなく、プリンターが未登録の状態で印刷データ作成画面301に遷移したときに自動でプリンターを検索する。これにより、ネイルアプリは、プリンターのリストを表示できる。 The printer name for uniquely identifying the selected printer 151 is displayed in the printer name display area 305. Note that the nail app automatically searches for a printer not only when the user presses the printer search button 304, but also when the screen transitions to the print data creation screen 301 when a printer has not yet been registered. This allows the nail app to display a list of printers.

撮影ボタン306は、ユーザによって押下されるとプリンター名表示領域305のプリンター151と通信し、プリンター151の撮影部157で撮影された動画をリアルタイムでプレビュー領域307に表示する。本実施形態では、印刷対象挿入部158に人間(ユーザ)の手を入れることを想定している。このため、例えば、ユーザが片方の手を入れて、他方の手で、撮影ボタン306を押下することで、爪を含むユーザの指の画像がプレビュー領域307にリアルタイムで表示される。なお、プレビュー領域307に動画等を表示するタイミングは、撮影ボタン306が押下された時に限られない。表示タイミングは、例えば、プリンター151が既に登録されている状態で印刷データ作成画面301に遷移し、プリンター151と通信可能となった時であっても良い。この場合、ネイルアプリは、印刷データ作成画面301への遷移時に自動でプリンター151と通信し、プリンター151の撮影部157で撮影された動画を受け取ることができる。 When the user presses the capture button 306, the printer 151 in the printer name display area 305 communicates with the printer 151, and the video captured by the capture unit 157 of the printer 151 is displayed in the preview area 307 in real time. In this embodiment, it is assumed that a human (user) hand is inserted into the print object insertion section 158. For this reason, for example, when the user inserts one hand and presses the capture button 306 with the other hand, an image of the user's fingers including nails is displayed in real time in the preview area 307. Note that the timing for displaying the video, etc. in the preview area 307 is not limited to when the capture button 306 is pressed. The display timing may be, for example, when the printer 151 has already been registered and the screen transitions to the print data creation screen 301, and communication with the printer 151 becomes possible. In this case, the nail app automatically communicates with the printer 151 when the screen transitions to the print data creation screen 301, and can receive the video captured by the capture unit 157 of the printer 151.

なお、前述の使い方は一例であり、他の使い方も考えられる。例えば、ネイル画像データ設定画面501が撮影ボタンを有し、ネイルサロンの利用客が片方の手を入れて、ネイルサロンの従業員がネイル画像データ設定画面501で撮影ボタンを押下しても良い。 Note that the above-mentioned usage is just one example, and other usages are also possible. For example, the nail image data setting screen 501 may have a capture button, and a customer at the nail salon may insert one hand into the screen, and an employee at the nail salon may press the capture button on the nail image data setting screen 501.

印刷領域設定ボタン308は、プレビュー領域307に動画が表示されているときにユーザによって押下されることで、印刷領域309を設定する領域設定モードに移行する。印刷領域設定ボタン308が押下されたことに応じて、印刷領域309を設定可能な領域設定モードに遷移する。 When the user presses the print area setting button 308 while a video is being displayed in the preview area 307, the mode transitions to an area setting mode in which the print area 309 is set. In response to the print area setting button 308 being pressed, the mode transitions to an area setting mode in which the print area 309 can be set.

図4は、印刷領域を設定する領域設定モードを説明する図である。図4は、爪領域を自動検出する方法の一例を示す。また、図4は、静止画から爪領域を自動検出し、印刷領域309を設定する例を示す。 Figure 4 is a diagram explaining the area setting mode for setting the print area. Figure 4 shows an example of a method for automatically detecting the nail area. Figure 4 also shows an example of automatically detecting the nail area from a still image and setting the print area 309.

図4のプレビュー領域307及び印刷領域設定ボタン308は、図3のプレビュー領域307及び印刷領域設定ボタン308の代わりに表示される。あるいは、図3の印刷領域設定ボタン308が押下されたことに応じて、図4のプレビュー領域307及び印刷領域設定ボタン308が、図3の印刷データ作成画面301全体に重なって表示されても良く、印刷データ作成画面301の代わりに表示されても良い。 The preview area 307 and print area setting button 308 in FIG. 4 are displayed in place of the preview area 307 and print area setting button 308 in FIG. 3. Alternatively, in response to pressing the print area setting button 308 in FIG. 3, the preview area 307 and print area setting button 308 in FIG. 4 may be displayed overlapping the entire print data creation screen 301 in FIG. 3, or may be displayed in place of the print data creation screen 301.

まず、ユーザは、印刷領域設定ボタン308を押下してプレビュー領域307を「領域設定モード」に設定する。なお、プリンター151は、印刷領域設定ボタン308が押下されると、指の静止画を撮影する。あるいは、プリンター151は、撮影動画のうち、印刷領域設定ボタン308が押下されたときに表示されたフレームを、指の静止画として生成する。このように、情報処理装置101は、撮影部157で撮影したユーザの指の静止画をプリンター151から取得する。情報処理装置101は、静止画から爪領域を自動検出し、自動的に印刷領域309を設定する。静止画から爪領域を自動検出する方法は、例えば、機械学習で生成した学習モデルを使用する方法である。学習モデルは、指の静止画を入力として受信すると、爪領域の検出結果を出力する。学習モデルが出力した爪領域は、図4の印刷領域309として設定される。そして、印刷領域309を示す表示アイテムがプレビュー領域307に表示される。なお、表示アイテムは、爪に印刷する画像及び画像を明示する点線の枠を含む。表示アイテムは、上記の例に限らず、画像のみを含んでも良いし、点線の枠のみを含んでも良い。なお、画像及び点線の枠はそれぞれ、印刷領域309のサイズ及び位置に対応するサイズ及び位置で表示される。 First, the user presses the print area setting button 308 to set the preview area 307 to the "area setting mode." When the print area setting button 308 is pressed, the printer 151 captures a still image of the finger. Alternatively, the printer 151 generates a frame displayed when the print area setting button 308 is pressed from the captured video as a still image of the finger. In this way, the information processing device 101 acquires a still image of the user's finger captured by the imaging unit 157 from the printer 151. The information processing device 101 automatically detects the nail area from the still image and automatically sets the print area 309. A method for automatically detecting the nail area from a still image is, for example, a method using a learning model generated by machine learning. When the learning model receives a still image of the finger as input, it outputs the detection result of the nail area. The nail area output by the learning model is set as the print area 309 in FIG. 4. Then, a display item indicating the print area 309 is displayed in the preview area 307. The display items include an image to be printed on the nail and a dotted frame that clearly shows the image. The display items are not limited to the above example, and may include only an image or only a dotted frame. The image and dotted frame are displayed at a size and position that correspond to the size and position of the print area 309.

また、爪領域の検出は指ごとに行われる。例えば、4本の指の爪を検出する場合、爪領域の検出は4回行われる。印刷領域309の表示アイテムは、プレビュー領域307に指ごとの画像(指画像とする)に対して表示される。図4は、4つの指画像がプレビュー領域307に表示される様子を示す。印刷領域309は指画像上に表示される。1つの指画像につき、1つの印刷領域309が表示される。指画像ごとに設定された印刷領域309の表示アイテムがプレビュー領域307に表示される。 Furthermore, nail area detection is performed for each finger. For example, when detecting nails of four fingers, nail area detection is performed four times. Display items in the print area 309 are displayed for each finger image (assumed to be a finger image) in the preview area 307. FIG. 4 shows how four finger images are displayed in the preview area 307. The print area 309 is displayed on the finger images. One print area 309 is displayed for each finger image. Display items in the print area 309 set for each finger image are displayed in the preview area 307.

このように、印刷領域309の設定後に、設定データ表示領域302からユーザが選択した設定データに対応する画像(爪に印刷する画像)を自動的に印刷領域309に反映する。印刷領域309に爪に印刷する画像を合成した画像を「印刷成功想定画像(正解データに相当)」と呼ぶ。 In this way, after the print area 309 is set, the image (image to be printed on the nail) corresponding to the setting data selected by the user from the setting data display area 302 is automatically reflected in the print area 309. The image obtained by combining the image to be printed on the nail with the print area 309 is called the "assumed successful print image (corresponding to correct data)."

印刷領域309の大きさ、ユーザによって任意に変更され得る。また、ユーザは、指画像に設定した印刷領域309を削除できる。ユーザがネイルアートを印刷したい爪は、全ての指の爪である場合もあれば、一部の指の爪である場合もある。このため、本実施形態は、ユーザが所望する印刷領域309を任意に設定可能である。また、画像を印刷する印刷対象はユーザの爪であるため、設定されている印刷領域309のサイズは、ユーザの爪の大きさ・形状に合わない可能性がある。従って、プリンター151の印刷対象挿入部158にユーザが手を挿入して、爪の画像を確認しながら印刷領域309を設定することで、爪の適切な位置にネイルアートを印刷することができる。なお、一度設定した印刷領域309は、後続の画像認識処理等において指画像に追従することができる。例えば、ユーザが指画像に印刷領域309を設定した後に、印刷対象挿入部158で指又は爪の位置がずれた場合、設定された印刷領域309が新たな指画像に追従し、自動的に印刷領域309の位置を変更しても良い。 The size of the printing area 309 can be changed arbitrarily by the user. The user can also delete the printing area 309 set on the finger image. The nails on which the user wants to print nail art may be all of the nails or some of the nails. For this reason, in this embodiment, the user can arbitrarily set the printing area 309 desired by the user. In addition, since the printing target on which the image is printed is the user's nails, the size of the set printing area 309 may not match the size and shape of the user's nails. Therefore, the user can insert his/her hand into the printing object insertion unit 158 of the printer 151 and set the printing area 309 while checking the image of the nail, thereby printing the nail art at an appropriate position on the nail. Note that the printing area 309 once set can follow the finger image in subsequent image recognition processing, etc. For example, if the position of the finger or nail shifts in the printing object insertion unit 158 after the user sets the printing area 309 on the finger image, the set printing area 309 may follow the new finger image and automatically change the position of the printing area 309.

なお、図4のプレビュー領域307及び印刷領域設定ボタン308が、図3の印刷データ作成画面301全体に重なって表示されるか、印刷データ作成画面301の代わりに表示されるとする。この場合、図4の表示状態でユーザが終了の指示を行うことで、領域設定モードが終了し、図3の印刷データ作成画面301に戻る。 Note that the preview area 307 and print area setting button 308 in FIG. 4 are displayed overlapping the entire print data creation screen 301 in FIG. 3, or are displayed in place of the print data creation screen 301. In this case, when the user issues an instruction to end the area setting mode in the display state of FIG. 4, the screen returns to the print data creation screen 301 in FIG. 3.

図3の印刷データ作成画面301の印刷ボタン310は、印刷開始を指示するボタンである。印刷ボタン310が押下されると、ネイルアプリは、爪に印刷するための印刷データを、設定データ表示領域302からユーザが選択した設定データに基づいて作成する。そして、ネイルアプリは、作成した印刷データを、プリンター名表示領域305に表示されたプリンター151に送信する。なお、図3では、印刷データは、プレビュー領域307から4つの印刷領域309を抽出して作成される。プリンター151は、ネイルアプリから送られた印刷データに基づいて、爪への印刷を実行する。 The print button 310 on the print data creation screen 301 in FIG. 3 is a button that instructs the user to start printing. When the print button 310 is pressed, the nail app creates print data for printing on the nails based on the setting data selected by the user from the setting data display area 302. The nail app then sends the created print data to the printer 151 displayed in the printer name display area 305. Note that in FIG. 3, the print data is created by extracting four print areas 309 from the preview area 307. The printer 151 executes printing on the nails based on the print data sent from the nail app.

ネイルアプリは、プリンター151が爪への印刷を完了した後、プリンター151の撮影部157の撮影画像と、印刷成功想定画像とを比較することで、印刷が成功したか否かを判定する。ネイルアプリは、印刷失敗と判定した場合、プリンター151に印刷領域309を印刷前の状態に修正する修正データを送信する。プリンター151は、修正データに基づいて、爪への印刷を実行する。そして、ネイルアプリは、プリンター151に対して、撮影部157の新たな撮影設定及びプリンター151の印刷ヘッドのメンテナンス指示を送信する。ネイルアプリは、再度爪領域の自動検出から印刷までの処理をやり直す。この際、ネイルアプリは、情報処理装置101の表示部108に印刷継続中であるメッセージのみを表示し、印刷に失敗したことを示すメッセージを表示部108に表示しない。これにより、ユーザにネイル印刷が失敗したことを認識させずに済むため、ユーザ満足度の低下を防ぐことができる。 After the printer 151 completes printing on the nail, the nail app compares the image captured by the image capture unit 157 of the printer 151 with the assumed image of successful printing to determine whether printing was successful or not. If the nail app determines that printing has failed, it sends correction data to the printer 151 to correct the print area 309 to the state before printing. The printer 151 executes printing on the nail based on the correction data. The nail app then sends new shooting settings for the image capture unit 157 and an instruction to perform maintenance on the print head of the printer 151 to the printer 151. The nail app then repeats the process from automatic detection of the nail area to printing. At this time, the nail app displays only a message on the display unit 108 of the information processing device 101 indicating that printing is continuing, and does not display a message on the display unit 108 indicating that printing has failed. This prevents the user from being made aware that nail printing has failed, thereby preventing a decrease in user satisfaction.

<情報処理装置の機能構成>
図6は、情報処理装置の機能ブロック図である。
<Functional configuration of information processing device>
FIG. 6 is a functional block diagram of the information processing device.

情報処理装置101は、ネイルアプリ600を有する。情報処理装置101のCPU103が、ROM104又は外部記憶装置106のネイルアプリ600のプログラムを実行することで、ネイルアプリ600の各機能が実現する。ネイルアプリ600は、表示制御部610を有する。表示制御部610は、図2のネイルアートデータ選択画面201、図5のネイル画像データ設定画面501、及び図3の印刷データ作成画面301を表示部108に表示する。また、表示制御部610は、入力インターフェース102の機能を有しており、ユーザが入力する指示に応じて各種の制御を行う。 The information processing device 101 has a nail app 600. The CPU 103 of the information processing device 101 executes the program of the nail app 600 in the ROM 104 or the external storage device 106, thereby realizing each function of the nail app 600. The nail app 600 has a display control unit 610. The display control unit 610 displays the nail art data selection screen 201 of FIG. 2, the nail image data setting screen 501 of FIG. 5, and the print data creation screen 301 of FIG. 3 on the display unit 108. The display control unit 610 also has the functions of the input interface 102, and performs various controls in response to instructions input by the user.

表示制御部610は、ネイルアートデータ選択受付部611、ネイル画像データ設定部612、撮影指示部613、画像表示制御部614、爪検出部615、印刷領域設定部616、反映データ受付部617、反映実行部618、及び印刷指示部619を有する。 The display control unit 610 has a nail art data selection receiving unit 611, a nail image data setting unit 612, a photography instruction unit 613, an image display control unit 614, a nail detection unit 615, a print area setting unit 616, a reflection data receiving unit 617, a reflection execution unit 618, and a print instruction unit 619.

ネイルアートデータ選択受付部611は、図2に示すように、ユーザからのネイルアートデータ203の選択を受け付け、選択されたネイルアートデータ203を取得する。 As shown in FIG. 2, the nail art data selection receiving unit 611 receives a selection of nail art data 203 from the user and acquires the selected nail art data 203.

ネイル画像データ設定部612は、図5に示すように、ユーザが左手プレビュー領域503及び右手プレビュー領域504の爪領域508に設定したネイル画像データを取得する。 The nail image data setting unit 612 acquires the nail image data that the user has set in the nail area 508 of the left hand preview area 503 and the right hand preview area 504, as shown in FIG. 5.

撮影指示部613は、図3の撮影ボタン306の押下、又は、プリンター151が登録されている状態で印刷データ作成画面301への遷移検知に応じてプリンター151に動画の撮影を指示する。 The shooting instruction unit 613 instructs the printer 151 to shoot a video in response to pressing the shooting button 306 in FIG. 3 or detecting a transition to the print data creation screen 301 when the printer 151 is registered.

画像表示制御部614は、プリンター151から送信された動画をプレビュー領域307へ表示する。 The image display control unit 614 displays the video sent from the printer 151 in the preview area 307.

爪検出部615は、静止画から爪検出を行い、爪検出の結果に基づく印刷領域309を出力する。 The nail detection unit 615 detects nails from a still image and outputs a print area 309 based on the results of the nail detection.

印刷領域設定部616は、ユーザからの指示に従って、プレビュー領域307に印刷領域309を設定する。 The print area setting unit 616 sets the print area 309 in the preview area 307 according to instructions from the user.

反映データ受付部617は、設定データ表示領域302からユーザが選択した設定データを受け付け、選択した設定データと印刷領域309との対応付けを行う。 The reflected data reception unit 617 receives the setting data selected by the user from the setting data display area 302 and associates the selected setting data with the print area 309.

反映実行部618は、設定データ表示領域302からユーザが選択した設定データを、対応する印刷領域309に反映させる。 The reflection execution unit 618 reflects the setting data selected by the user from the setting data display area 302 in the corresponding print area 309.

印刷指示部619は、印刷領域309に反映された設定データに基づいて、プリンター151が印刷するための印刷データを作成し、作成した印刷データをプリンター151に送信する。 The print instruction unit 619 creates print data for the printer 151 to print based on the setting data reflected in the print area 309, and transmits the created print data to the printer 151.

印刷結果判定部620は、印刷完了後にプリンター151の撮影部157から受信した画像と、印刷成功想定画像とを、画素毎に比較を行う。印刷結果判定部620は、不一致の画素数が閾値以上であった場合、印刷が失敗したと判定する。印刷結果判定部620は、不一致の画素数が閾値以下であった場合、印刷が成功したと判定する。なお、印刷成功判定方法は、画素が完全に一致するかどうかではなく、画素の一致度合いをパーセンテージで評価し、その平均値を閾値と比較する方法で印刷の成否を判定しても良い。また、画素毎の比較ではなく、複数の画素をまとめた画素領域毎の比較を行って印刷の成否を判定しても良い。また、画素毎の比較ではなく、機械学習により作成した学習済みモデルを用いて、画像の比較を行って印刷の成否を判定しても良い。 The print result determination unit 620 compares the image received from the image capture unit 157 of the printer 151 after printing is completed with the expected successful print image pixel by pixel. If the number of mismatched pixels is equal to or greater than the threshold, the print result determination unit 620 determines that printing has failed. If the number of mismatched pixels is equal to or less than the threshold, the print result determination unit 620 determines that printing has been successful. Note that the print success determination method may be a method of evaluating the degree of pixel match as a percentage, rather than whether the pixels match perfectly, and comparing the average value with a threshold to determine whether printing has been successful. Also, instead of comparing pixel by pixel, a comparison may be made for each pixel area that combines multiple pixels to determine whether printing has been successful. Also, instead of comparing pixel by pixel, a trained model created by machine learning may be used to compare images to determine whether printing has been successful.

<処理の流れ>
図7は、本実施形態の処理の一例を示すシーケンス図である。
<Processing flow>
FIG. 7 is a sequence diagram showing an example of the process of this embodiment.

図7のネイルアプリ600の処理は、情報処理装置101のCPU103がROM104又は外部記憶装置106のネイルアプリ600のプログラムをRAM105に展開し実行することにより行われる。あるいは、図7の一部又は全部の処理を、ASIC及び電子回路などのハードウェアで実行してもよい。なお、以下の説明における記号「S」は、シーケンスの各ステップを意味する。以下、図7を用いて、ユーザがネイルアプリ600を起動し、印刷対象挿入部158内の爪にプリントエンジン155がネイルアートを印刷する流れを説明する。 The processing of the nail app 600 in FIG. 7 is performed by the CPU 103 of the information processing device 101 expanding the program of the nail app 600 from the ROM 104 or the external storage device 106 into the RAM 105 and executing it. Alternatively, some or all of the processing in FIG. 7 may be executed by hardware such as an ASIC or electronic circuit. Note that the symbol "S" in the following explanation refers to each step of the sequence. Below, the flow in which the user starts the nail app 600 and the print engine 155 prints nail art on the nail in the print target insertion section 158 will be explained using FIG. 7.

ユーザは、ネイルアプリ600を起動する。 The user launches the nail app 600.

S701で表示制御部610は、図2のネイルアートデータ選択画面201を表示部108に表示する。 In S701, the display control unit 610 displays the nail art data selection screen 201 of FIG. 2 on the display unit 108.

S702でユーザは、ネイルアートデータ選択画面201で、1または複数のネイルアートデータ203を選択する。ネイルアートデータ選択受付部611は、ネイルアートデータ選択画面201のネイルアートデータ表示領域202を介して、ユーザによる1つまたは複数のネイルアートデータ203の選択を受け付ける。ユーザが、1つまたは複数のネイルアートデータ203を選択後、決定ボタン204を押下した場合、表示制御部610は、図5のネイル画像データ設定画面501を表示部108に表示する。ネイル画像データ設定画面501のネイルアートデータ表示領域502には、S702でユーザが選択した1つまたは複数のネイルアートデータ203が表示される。 In S702, the user selects one or more nail art data 203 on the nail art data selection screen 201. The nail art data selection receiving unit 611 receives the user's selection of one or more nail art data 203 via the nail art data display area 202 of the nail art data selection screen 201. When the user presses the confirm button 204 after selecting one or more nail art data 203, the display control unit 610 displays the nail image data setting screen 501 of FIG. 5 on the display unit 108. The nail art data display area 502 of the nail image data setting screen 501 displays the one or more nail art data 203 selected by the user in S702.

S703でネイルアプリ600は、ネイルアートデータ表示領域502において1つのネイルアートデータを選択するユーザ操作を受け付ける。 In S703, the nail app 600 accepts a user operation to select one piece of nail art data in the nail art data display area 502.

S704でネイル画像データ設定部612は、爪領域508に対して、S703で選択されたネイルアートデータのネイル画像データを設定する。表示制御部610は、ユーザが設定完了ボタン507を押下した場合、図3の印刷データ作成画面301を表示部108に表示する。印刷データ作成画面301の設定データ表示領域302には、S704で設定された1つまたは複数のネイル画像データである設定データが表示される。ネイルアプリ600は、プリンター151が登録されていない場合、ネイルアプリ600と通信可能なプリンターを検索する検索処理を実行する。表示制御部610は、検索処理結果として、ネイルアプリ600と通信可能なプリンターリストを表示部108に表示する。 In S704, the nail image data setting unit 612 sets the nail image data of the nail art data selected in S703 for the nail area 508. When the user presses the setting completion button 507, the display control unit 610 displays the print data creation screen 301 of FIG. 3 on the display unit 108. The setting data display area 302 of the print data creation screen 301 displays the setting data, which is one or more pieces of nail image data set in S704. If the printer 151 is not registered, the nail app 600 executes a search process to search for a printer that can communicate with the nail app 600. The display control unit 610 displays a list of printers that can communicate with the nail app 600 on the display unit 108 as a result of the search process.

S705でユーザは、表示部108のプリンターリストから使用するプリンターを指定する。ここでは、ユーザがプリンター151を指定するものとする。表示制御部610は、ユーザによるプリンター151の指定指示を受け付ける。 In S705, the user specifies the printer to be used from the printer list on the display unit 108. In this example, it is assumed that the user specifies printer 151. The display control unit 610 accepts the instruction from the user to specify printer 151.

S706で撮影指示部613は、プリンター151に対する通信処理を実行し、プリンター151に、撮影部157による撮影を指示する。なお、撮影指示部613が、プリンター151にカメラ起動ジョブを送信し、プリンター151は、カメラ起動ジョブに応じて、撮影部157による撮影を開始しても良い。 In S706, the photographing instruction unit 613 executes communication processing with the printer 151 and instructs the printer 151 to take a photograph using the photographing unit 157. Note that the photographing instruction unit 613 may send a camera startup job to the printer 151, and the printer 151 may start photographing using the photographing unit 157 in response to the camera startup job.

S707でプリンター151は、撮影部157で撮影している動画を情報処理装置101に送信する。動画は、図3の印刷データ作成画面301のプレビュー領域307にリアルタイムで表示される。この時点では、プレビュー領域307に印刷対象挿入部158内のユーザの指先の動画が表示されている。 In S707, the printer 151 transmits the video captured by the image capture unit 157 to the information processing device 101. The video is displayed in real time in the preview area 307 of the print data creation screen 301 in FIG. 3. At this point, a video of the user's fingertip within the print object insertion unit 158 is displayed in the preview area 307.

S708でネイルアプリ600は、設定データ表示領域302の設定データから爪に印刷する設定データを1つ選択するユーザ操作を受け付ける。 In S708, the nail app 600 accepts a user operation to select one of the setting data to be printed on the nail from the setting data in the setting data display area 302.

S709でネイルアートデータ選択受付部611は、ユーザによる1つの設定データの選択指示を受け付ける。表示制御部610は、ユーザ選択の設定データをハイライト表示する。 At S709, the nail art data selection receiving unit 611 receives an instruction from the user to select one piece of setting data. The display control unit 610 highlights the setting data selected by the user.

S710でユーザは、プリンター151の印刷対象挿入部158にユーザの手を挿入する。このとき、S708で設定したネイル画像データをより精彩に印刷するために、予めユーザの爪にはジェル状の液体が塗布されている。以下、この液体を「ベースコート」と呼ぶ。ベースコートの色は、複数存在し、例えば白、半透明である。また、画像表示制御部614は、S709の処理後に、プリンター151の印刷対象挿入部158に手を挿入することをユーザに促すメッセージを表示しても良い。 In S710, the user inserts the user's hand into the print object insertion section 158 of the printer 151. At this time, in order to print the nail image data set in S708 more vividly, a gel-like liquid has been applied to the user's nails in advance. Hereinafter, this liquid will be referred to as a "base coat." There are multiple colors of base coat, such as white and translucent. In addition, after processing of S709, the image display control section 614 may display a message prompting the user to insert their hand into the print object insertion section 158 of the printer 151.

S711でユーザは、S707で送信された動画がプレビュー領域307に表示されている状態において、印刷領域309を設定する。具体的には、ネイルアプリ600は、ユーザが印刷領域設定ボタン308を押下する操作を受け付ける。なお、後述するS716の爪検出では、印刷領域設定ボタン308の押下に応じて、爪検出部615が、プレビュー領域307において印刷領域309の表示アイテムを自動で表示する。本実施形態では、設定可能な印刷領域309の数が予め所定値として規定されている。例えば、図3では、片手の人差し指、中指、薬指、小指の爪の数に対応する所定値は、「4」として規定されている。所定値は、印刷対象挿入部158に搭載されたレールの本数及び設定データに含まれるネイル画像データの数に対応する。以下では、ユーザが、所定値と同じ数の印刷領域309を設定する形態、つまり、4つの印刷領域309を設定する形態を例に挙げて説明する。ここで設定された印刷領域309の数は、第1の所定値(「4」)としてRAM105に保存される。 In S711, the user sets the print area 309 while the video transmitted in S707 is displayed in the preview area 307. Specifically, the nail app 600 accepts an operation in which the user presses the print area setting button 308. In addition, in the nail detection in S716 described later, the nail detection unit 615 automatically displays the display item of the print area 309 in the preview area 307 in response to pressing the print area setting button 308. In this embodiment, the number of print areas 309 that can be set is predefined as a predetermined value. For example, in FIG. 3, the predetermined value corresponding to the number of nails of the index finger, middle finger, ring finger, and little finger of one hand is defined as "4". The predetermined value corresponds to the number of rails mounted on the print object insertion unit 158 and the number of nail image data included in the setting data. In the following, an example will be described in which the user sets the same number of print areas 309 as the predetermined value, that is, a case in which four print areas 309 are set. The number of print areas 309 set here is stored in RAM 105 as the first predetermined value ("4").

S712で撮影指示部613は、プリンター151に静止画の撮影指示を送る。撮影指示には、撮影対象となる爪に対応するレール番号も含まれている。例えば、4本のレールそれぞれに対して左から1~4の番号をそれぞれ付与している場合、レール番号「1」は左手の小指又は右手の人差し指の撮影指示を意味する。また、レール番号「4」は左手の人差し指又は右手の小指の撮影指示に該当する。 In S712, the photography instruction unit 613 sends a photography instruction to the printer 151 to capture a still image. The photography instruction also includes the rail number corresponding to the nail to be photographed. For example, if the four rails are each numbered 1 to 4 from the left, rail number "1" indicates an instruction to photograph the little finger of the left hand or the index finger of the right hand. Similarly, rail number "4" corresponds to an instruction to photograph the index finger of the left hand or the little finger of the right hand.

S713でプリンター151は、レール番号に対応したレールを上昇させて、爪がプリンター151の印刷ヘッドと近接するようにレールの高さを調整する。爪を印刷ヘッドに近接させることで、例えばインクジェットプリンターは、印刷ヘッドから吐出されるインクを確実に爪に着弾させることができる。レールの高さ調整のために、プリンター151に搭載された可動型のレーザーセンサーが用いられる。レーザーセンサーは、印刷ヘッドと近接した高さに設置される。そのため、プリンター151は、レーザーが遮断されないぎりぎりの高さまでレールの高さを上昇させることができる。プリンター151は、爪のおおよその位置を把握した上で、レーザーセンサーの可動範囲を爪の範囲に絞った方がレール全体を可動範囲とするよりも効率的にレールの高さ調整を行える。そのため、ネイルアプリ600は、レールの高さ調整を行う前に事前に爪検出を行い、S712の撮影指示と爪の位置情報をプリンター151に送信する。本実施形態では、事前の爪検出のことを「プレ爪検出」と呼ぶ。ネイルアプリ600は、プレ爪検出を行う場合、S712の処理の前にプリンター151に撮影指示を送信する。なお、プレ爪検出では、レールの高さ調整は行われないため、プレ爪検出のために送信する撮影指示は、レール番号を含んでいなくても良い。プリンター151は、撮影指示に基づいて、撮影部157で静止画の撮影を行う。プリンター151は、撮影画像を情報処理装置101に送信する。ネイルアプリ600は、撮影画像から爪を検出し、検出した全ての爪の位置を示す情報(爪位置情報とする)を保持する。そして、ネイルアプリ600は、S712で撮影指示する際にレール番号と爪位置情報をプリンター151に送信する。プリンター151は、爪位置情報を用いて、レーザーセンサーの可動範囲を絞ってレールの高さを調整する。 In S713, the printer 151 raises the rail corresponding to the rail number and adjusts the height of the rail so that the nail is close to the print head of the printer 151. By bringing the nail close to the print head, for example, an inkjet printer can ensure that the ink ejected from the print head hits the nail. To adjust the height of the rail, a movable laser sensor mounted on the printer 151 is used. The laser sensor is installed at a height close to the print head. Therefore, the printer 151 can raise the height of the rail to the maximum height at which the laser is not blocked. The printer 151 can adjust the height of the rail more efficiently by narrowing the movable range of the laser sensor to the range of the nail after grasping the approximate position of the nail, rather than making the entire rail the movable range. Therefore, the nail app 600 performs nail detection in advance before adjusting the height of the rail, and transmits the shooting instruction of S712 and the position information of the nail to the printer 151. In this embodiment, the advance nail detection is called "pre-nail detection". When performing pre-nail detection, the nail app 600 transmits a shooting instruction to the printer 151 before processing S712. In addition, since the rail height is not adjusted in pre-nail detection, the image capture instruction sent for pre-nail detection does not need to include the rail number. The printer 151 captures a still image with the image capture unit 157 based on the image capture instruction. The printer 151 transmits the captured image to the information processing device 101. The nail app 600 detects the nails from the captured image and retains information indicating the positions of all detected nails (referred to as nail position information). Then, the nail app 600 transmits the rail number and nail position information to the printer 151 when issuing an image capture instruction in S712. The printer 151 uses the nail position information to narrow the movable range of the laser sensor and adjust the rail height.

S714で撮影部157は、静止画の撮影を行う。プリンター151は、撮影終了後に対象のレールの高さを初期値に戻す。 In S714, the image capture unit 157 captures a still image. After capturing the image, the printer 151 resets the height of the target rail to its initial value.

S715でプリンター151は、情報処理装置101に撮影データを送信する。 In S715, the printer 151 transmits the captured data to the information processing device 101.

S716でネイルアプリ600は、受信した撮影画像から爪領域を検出する。検出した爪領域に対して、印刷データ作成画面301の印刷領域309が設定される。爪領域の検出方法として、爪に塗布したベースコートの白色を画像処理で検出する方法がある。具体的には、ネイルアプリ600は、撮影画像においてRGB値が所定の閾値(例えば、R>200、G>200、B>200)を超える画素を検出し、検出した画素を爪領域の画素と判定する。ネイルアプリ600が、爪領域検出時に指の下のレールを爪であると誤検出しないように、レールは白以外の色(例えば、黒)で塗装されると良い。また、ネイルアプリ600が、ライト(照明)の反射で撮影画像が白飛びした部分を爪領域であると誤検知しないように、光が乱反射する素材でレールが構成されると良い。また、画像処理による爪領域の検出方法は、ベースコートが半透明である場合、爪領域を検出することが困難となる。そのため、爪領域の検出方法として機械学習による検出方法を採用しても良い。学習モデルの学習画像として、白又は半透明のベースコートを塗布した爪の画像を用いる。これにより、ネイルアプリ600は、白だけでなく半透明のベースコートを塗布した爪であっても爪領域を学習モデルで検出できる。機械学習は、学習画像のどこに爪があるかを学習モデルに学習させることで、爪領域の検出精度が高い学習モデルを構築する。構築した学習モデルは、ネイルアプリ600に組み込まれる。CPU103及びGPU110は、学習モデルを用いて撮影画像から爪領域を検出する。肌の色及び爪の形は、人によってそれぞれ異なるため、学習画像として多くの人の手のパターンを用意する。そして、学習モデルに様々な学習画像を学習させることで、学習モデルは様々な特徴を有する爪を検出することができる。機械学習には数多くのフレームワークが存在し、既存のフレームワークを利用した機械学習によって上記で説明した爪領域の検出を実現できる。 In S716, the nail app 600 detects the nail area from the received captured image. The print area 309 of the print data creation screen 301 is set for the detected nail area. One method for detecting the nail area is to detect the white color of the base coat applied to the nail by image processing. Specifically, the nail app 600 detects pixels in the captured image whose RGB values exceed a predetermined threshold (e.g., R>200, G>200, B>200), and determines the detected pixels as pixels of the nail area. The rail is preferably painted in a color other than white (e.g., black) so that the nail app 600 does not erroneously detect the rail under the finger as a nail when detecting the nail area. In addition, the rail is preferably made of a material that diffuses light so that the nail app 600 does not erroneously detect the part of the captured image where the light (illumination) is reflected and the whiteout is blown out as the nail area. In addition, when the base coat is translucent, it is difficult to detect the nail area by the image processing method for detecting the nail area. Therefore, a detection method by machine learning may be adopted as a method for detecting the nail area. As a learning image for the learning model, an image of a nail coated with a white or translucent base coat is used. This allows the nail app 600 to detect the nail region using the learning model, even for nails coated with not only white but also translucent base coats. Machine learning builds a learning model with high accuracy in detecting the nail region by having the learning model learn where the nail is in the learning image. The built learning model is incorporated into the nail app 600. The CPU 103 and the GPU 110 use the learning model to detect the nail region from the captured image. Since skin color and nail shape vary from person to person, hand patterns of many people are prepared as learning images. Then, by having the learning model learn various learning images, the learning model can detect nails with various characteristics. There are many frameworks for machine learning, and the above-described detection of the nail region can be realized by machine learning using existing frameworks.

なお、S712~S716の処理は、撮影対象となる爪の数だけ繰り返し行われる。例えば、左手の小指から人差し指までの4つの爪が撮影対象である場合、指ごとにレール上昇、指撮影、指撮影データの送信、爪検出の一連の処理が繰り返し行われる。この場合、撮影画像は合計4枚になる。印刷領域設定部616が、印刷領域309を撮影画像に設定する際、各撮影画像から爪を含む部分画像を切り出して、部分画像をプレビュー領域307に表示する。つまり、プレビュー領域307には、切り出された4枚の指画像が一覧表示され、印刷領域設定部616は、各指画像の爪領域に印刷領域309を設定する。 The processes of S712 to S716 are repeated for the number of nails to be photographed. For example, if the four nails from the little finger to the index finger of the left hand are to be photographed, the series of processes of lifting the rail, photographing the finger, transmitting the finger photograph data, and detecting the nail are repeated for each finger. In this case, a total of four photographed images are produced. When the print area setting unit 616 sets the print area 309 in the photographed image, it cuts out a partial image including the nail from each photographed image and displays the partial image in the preview area 307. In other words, the preview area 307 displays a list of the four finger images that have been cut out, and the print area setting unit 616 sets the print area 309 in the nail area of each finger image.

S717で反映データ受付部617は、設定データとしてネイル画像データと、設定された印刷領域309との対応付けを行う。そして、反映実行部618は、対応付けに基づいて、印刷領域309に設定データを反映する。なお、図3では、設定データ302(c)の4種類のネイル画像データそれぞれと、4つの印刷領域309それぞれとの間での対応付けが行われる。 In S717, the reflection data receiving unit 617 associates the nail image data as the setting data with the set print area 309. The reflection execution unit 618 then reflects the setting data in the print area 309 based on the association. Note that in FIG. 3, association is established between each of the four types of nail image data in the setting data 302(c) and each of the four print areas 309.

S718でネイルアプリ600は、ユーザが必要に応じて印刷領域309の編集を行う操作を受け付ける。具体的には、ユーザは、印刷領域309のサイズ等を調整することができる。このとき、反映データ受付部617が、印刷領域309の編集を受け付ける。反映実行部618は、印刷領域309の編集結果の反映を行う。 In S718, the nail application 600 accepts an operation by the user to edit the print area 309 as necessary. Specifically, the user can adjust the size of the print area 309, etc. At this time, the reflection data acceptance unit 617 accepts the editing of the print area 309. The reflection execution unit 618 reflects the results of the editing of the print area 309.

S719でネイルアプリ600は、ユーザが印刷ボタン310を押下する操作を受け付ける。印刷指示部619は、印刷ボタン310の押下に応じて、設定データ表示領域302からユーザ選択された設定データが印刷領域309に反映された画像を印刷するための印刷データを作成する。具体的には、ネイルアプリ600は、印刷領域309に設定データ表示領域302からユーザ選択した設定データを反映する。ユーザは、表示内容を確認した後に、印刷ボタン310を押下する。印刷指示部619は、印刷ボタン310の押下に応じて、印刷データを作成する。この際、ネイルアプリ600は、「印刷対象挿入部158に挿入されている手を動かさないでください」のメッセージを表示することができる。 In S719, the nail app 600 accepts the user's operation of pressing the print button 310. In response to pressing the print button 310, the print instruction unit 619 creates print data for printing an image in which the setting data selected by the user from the setting data display area 302 is reflected in the print area 309. Specifically, the nail app 600 reflects the setting data selected by the user from the setting data display area 302 in the print area 309. After checking the displayed content, the user presses the print button 310. The print instruction unit 619 creates print data in response to pressing the print button 310. At this time, the nail app 600 can display the message "Do not move the hand inserted in the print object insertion section 158."

S720でネイルアプリ600は、S719で作成した印刷データをプリンター151に送信する。なお、印刷データには、図3の画面により設定された印刷領域309が反映されている。例えば、印刷データにおいて爪に印刷する画像の位置及び大きさは、図3で設定された印刷領域309の位置及び大きさに対応する。そのため、後述するS722でプリンター151は、印刷領域309に対応する部分に印刷する。 In S720, the nail app 600 sends the print data created in S719 to the printer 151. Note that the print data reflects the print area 309 set on the screen in FIG. 3. For example, the position and size of the image to be printed on the nail in the print data corresponds to the position and size of the print area 309 set in FIG. 3. Therefore, in S722 described below, the printer 151 prints in the portion corresponding to the print area 309.

S721でプリンター151は、S713でレールを上昇させた時と同じ高さにレールを上昇させる。これにより、レールの高さが印刷に適した高さに再設定される。 In S721, the printer 151 raises the rail to the same height as when it was raised in S713. This resets the rail height to a height suitable for printing.

S722でプリンター151は、印刷データに基づいて、ユーザの爪にネイルアートを印刷する。これにより、ネイルアートがユーザの爪に実装される。 In S722, the printer 151 prints the nail art on the user's nails based on the print data. This allows the nail art to be applied to the user's nails.

S723で撮影部157は、ネイルアートが印刷されたユーザの爪の静止画を撮影する。 At S723, the image capturing unit 157 captures a still image of the user's nails on which the nail art is printed.

S724でプリンター151は、情報処理装置101に撮影データを送信する。 In S724, the printer 151 transmits the captured data to the information processing device 101.

S725でネイルアプリ600は、印刷結果判定部620を用いて、印刷成功想定画像と、S724でプリンターが送信した撮影データとを比較し、ネイルアートの印刷が成功しているか否かを判定する。ネイルアプリ600は、ネイルアートの印刷が成功していないと判定した場合、処理はS726へ進む。一方で、ネイルアプリ600は、ネイルアートの印刷が成功していると判定した場合、処理はS727へ進む。 In S725, the nail app 600 uses the print result determination unit 620 to compare the expected successful print image with the captured data sent by the printer in S724 to determine whether or not the nail art printing was successful. If the nail app 600 determines that the nail art printing was not successful, processing proceeds to S726. On the other hand, if the nail app 600 determines that the nail art printing was successful, processing proceeds to S727.

S726でネイルアプリ600は、印刷領域309を印刷前の状態に修正する修正データを作成する。ネイルアプリ600は、修正データをプリンター151に送信する。 In S726, the nail application 600 creates correction data to correct the print area 309 to its pre-printing state. The nail application 600 sends the correction data to the printer 151.

S727でプリンター151は、修正データに基づいて、ユーザの爪に印刷を行う。修正データは、印刷データの背景色を印刷する際に使用したインクと同じインクを用いて印刷するためのデータである。例えば、印刷データの背景色が白色である場合、修正データの色は白色である。そして、プリンター151のプリントエンジン155は、修正データに基づいて、ユーザの爪のネイルアートに対して記録剤(白インク)を吐出する。あるいは、プリントエンジン155は、ベースコートを塗布したユーザの爪の色に対応する記録剤(CMYK)又は上記と同一のベースコートをユーザの爪のネイルアートに吐出しても良い。これにより、ユーザの爪は、ネイルアートを印刷する前の状態に戻る。また、プリントエンジン155は、修正データに基づいて、ユーザの爪のネイルアートのみ又は爪全体のいずれかに対して記録剤等を吐出しても良い。 In S727, the printer 151 prints on the user's nail based on the correction data. The correction data is data for printing using the same ink as that used when printing the background color of the print data. For example, if the background color of the print data is white, the color of the correction data is white. Then, the print engine 155 of the printer 151 ejects a recording agent (white ink) onto the nail art of the user's nail based on the correction data. Alternatively, the print engine 155 may eject a recording agent (CMYK) corresponding to the color of the user's nail with a base coat applied, or the same base coat as above, onto the nail art of the user's nail. This returns the user's nail to the state before the nail art was printed. Also, the print engine 155 may eject a recording agent, etc. onto only the nail art of the user's nail or onto the entire nail based on the correction data.

S728でネイルアプリ600は、撮影部157の新規の撮影設定を、プリンター151に送信する。ネイルアプリ600は、例えば、ライト(照明)の反射で生じる撮影画像の白飛びを抑制する観点から、露出値、シャッタースピード、及びISO値の設定をそれぞれ変更することができる。ネイルアプリ600が、露出値を低い露出値に、シャッタースピードを高いシャッタースピードに、ISO値を低いIOS値に設定することで、撮影画像の白飛びは抑制される。 In S728, the nail app 600 sends new shooting settings of the image capture unit 157 to the printer 151. For example, the nail app 600 can change the settings of the exposure value, shutter speed, and ISO value from the perspective of suppressing whiteout in the captured image caused by reflection of light (illumination). The nail app 600 sets the exposure value to a low exposure value, the shutter speed to a high shutter speed, and the ISO value to a low ISO value, thereby suppressing whiteout in the captured image.

S729でプリンター151は、撮影設定を新規の撮影設定に更新する。 In S729, the printer 151 updates the shooting settings to the new shooting settings.

S730でプリンター151は、撮影部157を用いて、ユーザの指の静止画を撮影する。 At S730, the printer 151 uses the image capture unit 157 to capture a still image of the user's finger.

S731でプリンター151は、ネイルアプリ600に撮影データを送信する。 In S731, the printer 151 sends the captured image data to the nail app 600.

S732でネイルアプリ600は、撮影画像から爪検出を行う。 At S732, the nail app 600 detects nails from the captured image.

S733でネイルアプリ600は、印刷領域309を更新する。 In S733, the nail app 600 updates the print area 309.

S734でネイルアプリ600は、プリンター151の印刷ヘッドのメンテナンス指示を、プリンター151に送信する。 In S734, the nail app 600 sends a maintenance instruction for the print head of the printer 151 to the printer 151.

S735でプリンター151は、印刷ヘッドのメンテナンスを行う。なお、S725で印刷が成功していると判定された場合、S726からS735の処理は実行されない。S720~S735の処理は、任意の印刷対象の爪に対して、S725で印刷が成功と判定されるか、またはS725で印刷が失敗と判定された回数が事前に決めた閾値を超えるまで繰り返し行われる。また、S720~S735の処理は、印刷対象の爪の数だけ繰り返し行われる。例えば、左手の小指から人差し指までの4つの爪が印刷対象になる場合、指ごとに印刷データ送信、レール上昇、印刷の一連の処理が繰り返し行われる。 In S735, the printer 151 performs maintenance on the print head. Note that if printing is determined to be successful in S725, the processes of S726 to S735 are not executed. The processes of S720 to S735 are repeated for any nail to be printed until printing is determined to be successful in S725 or the number of times printing is determined to be unsuccessful in S725 exceeds a predetermined threshold. Furthermore, the processes of S720 to S735 are repeated the same number of times as there are nails to be printed. For example, if the four nails from the little finger to the index finger of the left hand are to be printed, the series of processes of sending print data, lifting the rail, and printing is repeated for each finger.

図7では、S725における印刷成功判定処理で失敗したと判定された場合に実行される処理の流れを示した。図8は、印刷成功判定処理後の処理を示すフローチャートである。 Figure 7 shows the flow of the process executed when it is determined that the print success determination process in S725 has failed. Figure 8 is a flowchart showing the process after the print success determination process.

S800~S817の処理は、S720~S735の処理と同じである。 The processing from S800 to S817 is the same as the processing from S720 to S735.

S806でネイルアプリ600は、ネイルアートの印刷が成功していると判定した場合、処理はS818へ進む。 If the nail app 600 determines in S806 that the nail art was successfully printed, processing proceeds to S818.

S818でネイルアプリ600は、ネイルアートが未印刷の爪があるか否かを判定する。S818でネイルアプリ600は、ネイルアートが未印刷の爪がないと判定した場合、印刷処理を完了する。S818でネイルアプリ600は、ネイルアートが未印刷の爪があると判定した場合、処理はS819へ進む。 In S818, the nail app 600 determines whether there are any nails on which nail art has not been printed. If the nail app 600 determines in S818 that there are no nails on which nail art has not been printed, the printing process is completed. If the nail app 600 determines in S818 that there are any nails on which nail art has not been printed, the process proceeds to S819.

S819でネイルアプリ600は、次にネイルアートを印刷する爪を決定し、S800の処理(次の爪の印刷処理)へ進む。 In S819, the nail app 600 determines the next nail on which to print nail art, and proceeds to processing of S800 (printing processing for the next nail).

S806でネイルアプリ600は、ネイルアートの印刷が失敗していると判定した場合、処理はS820へ進む。 If the nail app 600 determines in S806 that printing of the nail art has failed, processing proceeds to S820.

S820でネイルアプリ600は、印刷失敗回数が閾値以下であるか否かを判定する。S820でネイルアプリ600は、印刷失敗回数が閾値以下ではないと判定した場合、処理はS821へ進む。 In S820, the nail app 600 determines whether the number of print failures is equal to or less than the threshold. If the nail app 600 determines in S820 that the number of print failures is not equal to or less than the threshold, the process proceeds to S821.

S821でネイルアプリ600は、ネイルアートが未印刷の爪があるか否かを判定する。ネイルアプリ600は、未印刷の爪がないと判定した場合、印刷処理を完了する。S821でネイルアプリ600は、未印刷の爪があると判定した場合、処理はS822へ進む。 In S821, the nail app 600 determines whether there are any nails on which nail art has not been printed. If the nail app 600 determines that there are no nails on which nail art has not been printed, the printing process is completed. If the nail app 600 determines in S821 that there are nails on which nail art has not been printed, the process proceeds to S822.

S822でネイルアプリ600は、次に印刷する爪を決定し、S800の処理(次の爪の印刷処理)へ進む。 In S822, the nail app 600 determines the next nail to print and proceeds to S800 (printing process for the next nail).

S820でネイルアプリ600は、印刷失敗回数が閾値以下であると判定した場合、処理はS808(修正データ送信処理)へ進む。 If the nail app 600 determines in S820 that the number of print failures is less than or equal to the threshold, the process proceeds to S808 (corrected data transmission process).

なお、プリンター151は、ネイルアートの印刷中に爪の撮影を継続している。そのため、プリンター151は、印刷完了前に指が印刷対象挿入部158から離れたことを検出した場合、印刷を停止しても良い。また、ネイルアプリ600が、印刷完了前に指が印刷対象挿入部158から離れたことを検出した場合、プリンター151に印刷停止を指示しても良い。 The printer 151 continues to capture images of the nail while printing the nail art. Therefore, the printer 151 may stop printing if it detects that the finger has left the print object insertion section 158 before printing is complete. Also, if the nail app 600 detects that the finger has left the print object insertion section 158 before printing is complete, it may instruct the printer 151 to stop printing.

<本実施形態の効果>
本実施形態によれば、ネイルアートの印刷が失敗した場合に、ユーザが印刷失敗を認識することがなく、ユーザが印刷失敗に応じた回復処理を行う必要がない。これにより、失敗した印刷処理の問題を解決することができる。
<Effects of this embodiment>
According to this embodiment, when the printing of the nail art fails, the user is not aware of the failure and does not need to perform recovery processing in response to the failure, thereby solving the problem of the failed printing process.

<その他の実施形態>
第1実施形態では、印刷対象挿入部158に片手を挿入する形態のプリンター151を一例として説明したが、この形態に限られない。例えば、ネイルサロン専門店、商業施設の店舗等では印刷対象挿入部158に両手を挿入可能なプリンターが用いられても良い。この場合、ネイルサロンスタッフ又は店員等が、印刷対象挿入部158に両手を挿入しているユーザの代わりに、ネイルアプリのGUI操作を行っても良い。
<Other embodiments>
In the first embodiment, the printer 151 is described as having one hand inserted into the print object insertion section 158, but the present invention is not limited to this. For example, a nail salon or a store in a commercial facility may use a printer that allows both hands to be inserted into the print object insertion section 158. In this case, a staff member or a store clerk at the nail salon may operate the GUI of the nail app on behalf of the user who has both hands inserted into the print object insertion section 158.

第1実施形態では、主に、ネイルアートとして画像(模様)を印刷する例を説明したが、これに限られない。例えば、本発明は、3次元構造物等を示す形状データと画像データとを用いて、模様を含む立体構造物をネイルアートとして爪に印刷する形態にも適用できる。 In the first embodiment, an example of printing an image (pattern) as nail art has been described, but this is not limited to the above. For example, the present invention can also be applied to a form in which a three-dimensional structure including a pattern is printed on a nail as nail art using shape data and image data representing a three-dimensional structure, etc.

第1実施形態では、ユーザがプリンター151の印刷対象挿入部158に手を挿入し、爪に直接印刷する形態を説明したが、これに限られない。例えば、爪に装着するシール等に印刷を行うプリンターがある。このようなプリンターが、シール等にネイルアートを印刷しても良い。これにより、爪にネイルアートを貼付可能な爪シールが容易に製造され得る。 In the first embodiment, a user inserts their hand into the printing object insertion section 158 of the printer 151 and prints directly on their nails, but this is not limited to the above. For example, there are printers that print on stickers to be attached to nails. Such printers may also print nail art on stickers. This makes it easy to manufacture nail stickers that allow nail art to be attached to nails.

第1実施形態では、検出対象として手の爪を説明したが、手の爪以外を検出対象としても良い。検出対象は、例えば、顔、足の爪を含むことができる。 In the first embodiment, fingernails are described as the detection target, but detection targets other than fingernails may also be used. Detection targets may include, for example, face and toenails.

第1実施形態では、4枚の指画像において爪領域を検出する形態を示したが、2枚以上の指画像において爪を検出する形態であれば、本発明の思想を適用できる。 In the first embodiment, a form in which the nail region is detected in four finger images is shown, but the concept of the present invention can be applied to any form in which the nail region is detected in two or more finger images.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Other Examples
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.

本明細書の開示は、以下の情報処理装置、印刷装置、方法、及びプログラムを含む。
(項目1)
印刷データに基づいて印刷対象にオブジェクトを印刷部で印刷する印刷手段と、
前記印刷の成否判定結果に基づいて、前記印刷対象に印刷されたオブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する制御手段と、を備える、
ことを特徴とする情報処理装置。
(項目2)
前記オブジェクトを有する印刷対象を撮像した画像と、前記画像の正解データとに基づいて、前記印刷の成否を判定する判定手段を更に備え、
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する、
ことを特徴とする項目1に記載の情報処理装置。
(項目3)
前記制御手段は、前記判定手段の判定結果が前記印刷の成功を示す場合、前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御することを抑制する、
ことを特徴とする項目2に記載の情報処理装置。
(項目4)
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記印刷部のメンテナンスの実行を指示する制御を行う、
ことを特徴とする項目2又は3に記載の情報処理装置。
(項目5)
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記印刷対象の背景色のインク及びベースコートのいずれかで前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する、
ことを特徴とする項目2から4のいずれか一項目に記載の情報処理装置。
(項目6)
前記印刷対象を撮像する撮像手段と、
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記撮像手段の撮像設定を変更する制御を行う、
ことを特徴とする項目2から5のいずれか一項目に記載の情報処理装置。
(項目7)
前記撮像手段によって撮像された印刷対象の画像から印刷対象の領域を検出する検出手段を更に備える、
ことを特徴とする項目6に記載の情報処理装置。
(項目8)
前記正解データは、前記検出手段の検出結果と前記オブジェクトのデータとを合成したデータである、
ことを特徴とする項目7に記載の情報処理装置。
(項目9)
前記制御手段は、前記判定手段の判定結果として前記印刷の失敗回数が閾値以下である場合、前記オブジェクトを隠蔽する印刷を行うように前記印刷部を制御し、
前記印刷手段は、前記オブジェクトを隠蔽する印刷が実行された後、前記印刷データに基づいて、前記印刷対象に前記オブジェクトを前記印刷部で更に印刷する、
ことを特徴とする項目2に記載の情報処理装置。
(項目10)
前記制御手段は、前記印刷の失敗回数が閾値を超える場合、前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御することを抑制する、
ことを特徴とする項目9に記載の情報処理装置。
(項目11)
前記印刷対象に印刷するオブジェクトのデータの入力を受け付ける受け付け手段を更に備える、
ことを特徴とする項目1から10のいずれか一項目に記載の情報処理装置。
(項目12)
前記印刷対象は、ユーザの手又は足の爪である、
ことを特徴とする項目1から11のいずれか一項目に記載の情報処理装置。
(項目13)
前記オブジェクトは、ネイルアートである、
ことを特徴とする項目1から12のいずれか一項目に記載の情報処理装置。
(項目14)
ユーザの手又は足を収容する収容部と、
前記収容部のユーザの手又は足の爪にオブジェクトを印刷する印刷部と、
項目1から13のいずれか一項目に記載の情報処理装置と、を備える、
ことを特徴とする印刷装置。
(項目15)
印刷データに基づいて印刷対象にオブジェクトを印刷部で印刷する印刷工程と、
前記印刷の成否判定結果に基づいて、前記印刷対象に印刷されたオブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する制御工程と、を備える、
ことを特徴とする方法。
(項目16)
コンピュータを項目1から13のいずれか一項目に記載の情報処理装置として機能させるためのプログラム。
The disclosure of this specification includes the following information processing device, printing device, method, and program.
(Item 1)
a printing means for printing an object on a print target using a printing unit based on print data;
and a control means for controlling the printing unit to perform printing on the printing target to conceal the object printed on the printing target based on a result of the success or failure of the printing.
23. An information processing apparatus comprising:
(Item 2)
The printing method further includes a determination unit that determines whether the printing is successful or not based on an image of a printing target having the object and on correct answer data of the image,
the control means controls the printing unit to perform printing on the print target to conceal the object when the determination result of the determination means indicates a failure of the printing.
2. The information processing device according to item 1,
(Item 3)
the control means, when the determination means determines that the printing has been successful, refrains from controlling the printing unit to perform printing on the print target to conceal the object.
3. The information processing device according to item 2.
(Item 4)
the control means performs control to instruct execution of maintenance of the printing unit when the determination result of the determination means indicates failure of the printing.
4. The information processing device according to item 2 or 3.
(Item 5)
When the determination result of the determination means indicates a failure of the printing, the control means controls the printing unit to perform printing on the printing object to conceal the object with either an ink of a background color of the printing object or a base coat.
5. The information processing device according to any one of items 2 to 4.
(Item 6)
an imaging means for imaging the printing object;
the control means performs control to change an imaging setting of the imaging means when the determination result of the determination means indicates a failure of the printing.
6. The information processing device according to any one of items 2 to 5.
(Item 7)
The printing apparatus further includes a detection unit for detecting an area of a printing object from the image of the printing object captured by the imaging unit.
7. The information processing device according to item 6,
(Item 8)
The correct answer data is data obtained by combining the detection result of the detection means and data of the object.
8. The information processing device according to item 7.
(Item 9)
the control means controls the printing unit to perform printing to conceal the object when the number of printing failures is equal to or less than a threshold value as a result of the determination by the determination means;
the printing means, after the printing for concealing the object is executed, further prints the object on the print target based on the print data by the printing unit;
3. The information processing device according to item 2.
(Item 10)
the control means, when the number of times of printing failure exceeds a threshold, refrains from controlling the printing unit to perform printing on the printing target to conceal the object.
10. The information processing device according to item 9,
(Item 11)
The printing method further includes: receiving means for receiving input of data of an object to be printed on the printing target;
11. The information processing device according to any one of items 1 to 10.
(Item 12)
The printing target is a user's fingernails or toenails.
12. The information processing device according to any one of items 1 to 11.
(Item 13)
The object is nail art.
13. The information processing device according to any one of items 1 to 12.
(Item 14)
A storage section for storing a user's hand or foot;
a printing unit for printing an object on a fingernail or a toenail of a user of the container;
The information processing device according to any one of items 1 to 13,
A printing device comprising:
(Item 15)
a printing step of printing an object on a print target by a printing unit based on the print data;
and a control step of controlling the printing unit so as to perform printing on the printing target to conceal the object printed on the printing target based on a result of the success or failure of the printing.
A method comprising:
(Item 16)
14. A program for causing a computer to function as the information processing device according to any one of items 1 to 13.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above-described embodiment, and various modifications and variations are possible without departing from the spirit and scope of the invention. Therefore, the following claims are appended to disclose the scope of the invention.

101 情報処理装置
151 プリンター
600 ネイルアプリ
610 表示制御部
615 爪検出部
101 Information processing device 151 Printer 600 Nail application 610 Display control unit 615 Nail detection unit

Claims (16)

印刷データに基づいて印刷対象にオブジェクトを印刷部で印刷する印刷手段と、
前記印刷の成否判定結果に基づいて、前記印刷対象に印刷されたオブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する制御手段と、を備える、
ことを特徴とする情報処理装置。
a printing means for printing an object on a print target using a printing unit based on print data;
and a control means for controlling the printing unit to perform printing on the printing target to conceal the object printed on the printing target based on a result of the success or failure of the printing.
23. An information processing apparatus comprising:
前記オブジェクトを有する印刷対象を撮像した画像と、前記画像の正解データとに基づいて、前記印刷の成否を判定する判定手段を更に備え、
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する、
ことを特徴とする請求項1に記載の情報処理装置。
The printing method further includes a determination unit that determines whether the printing is successful or not based on an image of a printing target having the object and on correct answer data of the image,
the control means controls the printing unit to perform printing on the print target to conceal the object when the determination result of the determination means indicates a failure of the printing.
2. The information processing apparatus according to claim 1,
前記制御手段は、前記判定手段の判定結果が前記印刷の成功を示す場合、前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御することを抑制する、
ことを特徴とする請求項2に記載の情報処理装置。
the control means, when the determination means determines that the printing has been successful, refrains from controlling the printing unit to perform printing on the print target to conceal the object.
3. The information processing apparatus according to claim 2.
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記印刷部のメンテナンスの実行を指示する制御を行う、
ことを特徴とする請求項2に記載の情報処理装置。
the control means performs control to instruct execution of maintenance of the printing unit when the determination result of the determination means indicates failure of the printing.
3. The information processing apparatus according to claim 2.
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記印刷対象の背景色のインク及びベースコートのいずれかで前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する、
ことを特徴とする請求項2に記載の情報処理装置。
When the determination result of the determination means indicates a failure of the printing, the control means controls the printing unit to perform printing on the printing object to conceal the object with either an ink of a background color of the printing object or a base coat.
3. The information processing apparatus according to claim 2.
前記印刷対象を撮像する撮像手段と、
前記制御手段は、前記判定手段の判定結果が前記印刷の失敗を示す場合、前記撮像手段の撮像設定を変更する制御を行う、
ことを特徴とする請求項2に記載の情報処理装置。
An imaging means for imaging the printing object;
the control means performs control to change an imaging setting of the imaging means when the determination result of the determination means indicates a failure of the printing.
3. The information processing apparatus according to claim 2.
前記撮像手段によって撮像された印刷対象の画像から印刷対象の領域を検出する検出手段を更に備える、
ことを特徴とする請求項6に記載の情報処理装置。
The printing apparatus further includes a detection unit for detecting an area of a printing object from the image of the printing object captured by the imaging unit.
7. The information processing apparatus according to claim 6,
前記正解データは、前記検出手段の検出結果と前記オブジェクトのデータとを合成したデータである、
ことを特徴とする請求項7に記載の情報処理装置。
The correct answer data is data obtained by combining the detection result of the detection means and data of the object.
8. The information processing apparatus according to claim 7,
前記制御手段は、前記判定手段の判定結果として前記印刷の失敗回数が閾値以下である場合、前記オブジェクトを隠蔽する印刷を行うように前記印刷部を制御し、
前記印刷手段は、前記オブジェクトを隠蔽する印刷が実行された後、前記印刷データに基づいて、前記印刷対象に前記オブジェクトを前記印刷部で更に印刷する、
ことを特徴とする請求項2に記載の情報処理装置。
the control means controls the printing unit to perform printing to conceal the object when the number of printing failures is equal to or less than a threshold value as a result of the determination by the determination means;
the printing unit further prints the object on the print target based on the print data after the printing to conceal the object is executed.
3. The information processing apparatus according to claim 2.
前記制御手段は、前記印刷の失敗回数が閾値を超える場合、前記オブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御することを抑制する、
ことを特徴とする請求項9に記載の情報処理装置。
the control means, when the number of times of printing failure exceeds a threshold, refrains from controlling the printing unit to perform printing on the printing target to conceal the object.
10. The information processing apparatus according to claim 9,
前記印刷対象に印刷するオブジェクトのデータの入力を受け付ける受け付け手段を更に備える、
ことを特徴とする請求項1に記載の情報処理装置。
The printing method further includes a receiving unit for receiving input of data of an object to be printed on the printing target.
2. The information processing apparatus according to claim 1,
前記印刷対象は、ユーザの手又は足の爪である、
ことを特徴とする請求項1に記載の情報処理装置。
The printing target is a user's fingernails or toenails.
2. The information processing apparatus according to claim 1,
前記オブジェクトは、ネイルアートである、
ことを特徴とする請求項1に記載の情報処理装置。
The object is nail art.
2. The information processing apparatus according to claim 1,
ユーザの手又は足を収容する収容部と、
前記収容部のユーザの手又は足の爪にオブジェクトを印刷する印刷部と、
請求項1から13のいずれか一項に記載の情報処理装置と、を備える、
ことを特徴とする印刷装置。
A storage section for storing a user's hand or foot;
a printing unit for printing an object on a fingernail or a toenail of a user of the container;
The information processing device according to any one of claims 1 to 13,
A printing device comprising:
印刷データに基づいて印刷対象にオブジェクトを印刷部で印刷する印刷工程と、
前記印刷の成否判定結果に基づいて、前記印刷対象に印刷されたオブジェクトを隠蔽する印刷を前記印刷対象に行うように前記印刷部を制御する制御工程と、を備える、
ことを特徴とする方法。
a printing step of printing an object on a print target by a printing unit based on the print data;
and a control step of controlling the printing unit so as to perform printing on the printing target to conceal the object printed on the printing target based on a result of the success or failure of the printing.
A method comprising:
コンピュータを請求項1から13のいずれか一項に記載の情報処理装置として機能させるためのプログラム。 A program for causing a computer to function as an information processing device according to any one of claims 1 to 13.
JP2022200506A 2022-12-15 2022-12-15 Information processing apparatus, printing device, method, and program Pending JP2024085778A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022200506A JP2024085778A (en) 2022-12-15 2022-12-15 Information processing apparatus, printing device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022200506A JP2024085778A (en) 2022-12-15 2022-12-15 Information processing apparatus, printing device, method, and program

Publications (1)

Publication Number Publication Date
JP2024085778A true JP2024085778A (en) 2024-06-27

Family

ID=91617817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022200506A Pending JP2024085778A (en) 2022-12-15 2022-12-15 Information processing apparatus, printing device, method, and program

Country Status (1)

Country Link
JP (1) JP2024085778A (en)

Similar Documents

Publication Publication Date Title
US9639264B2 (en) Image projector device
JP2016170528A (en) Head mounted display and method for connecting with external device at head mounted display
US11494065B2 (en) Storage medium, control method of information processing apparatus, and information processing apparatus
JP4957327B2 (en) Display control device
US8269988B2 (en) Print terminal, print system, storage medium, and program
CN108932701B (en) Information processing apparatus, information processing method, and non-transitory storage medium
US11816270B2 (en) Electronic device that operates according to user&#39;s hand gesture, and image forming apparatus
JP2002258682A (en) Image forming device
JP2024085778A (en) Information processing apparatus, printing device, method, and program
JP7547108B2 (en) PROGRAM, INFORMATION PROCESSING APPARATUS, AND METHOD FOR CONTROLLING INFORMATION PROCESSING APPARATUS
JP2022026875A (en) Program, information processing device, printing system, and control method
JP2024088468A (en) Processing device, method for controlling processing device and program
CN114052374B (en) Storage medium, control method of information processing apparatus, and information processing apparatus
US9596438B2 (en) Information processing system linking information processing apparatus with image pickup apparatus, information processing apparatus, image pickup apparatus, control method therefor, and storage medium storing control program therefor
JP2024089338A (en) Information processor, printing system, method, and program
JP2021196800A (en) Program and method for controlling computer
JP2024085779A (en) Information processing device, method, and program
US20220036509A1 (en) Information processing apparatus, control method of information processing apparatus, and storage medium
JP6565864B2 (en) Image forming system
JP2005225025A (en) Face image processing system
JP2023165553A (en) Information processing device, information processing method, and program
JP2023169706A (en) Program, information processing device, nail print device and method of control
JP2009076983A (en) Information processing system, and information processor
JP2023142767A (en) Image processing apparatus, image processing method and program
JP2018181053A (en) Information processing apparatus and program