Nothing Special   »   [go: up one dir, main page]

WO2024058288A1 - 전자 장치 및 그의 번역 정보 제공 방법 - Google Patents

전자 장치 및 그의 번역 정보 제공 방법 Download PDF

Info

Publication number
WO2024058288A1
WO2024058288A1 PCT/KR2022/013802 KR2022013802W WO2024058288A1 WO 2024058288 A1 WO2024058288 A1 WO 2024058288A1 KR 2022013802 W KR2022013802 W KR 2022013802W WO 2024058288 A1 WO2024058288 A1 WO 2024058288A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
translation information
information
electronic device
providing
Prior art date
Application number
PCT/KR2022/013802
Other languages
English (en)
French (fr)
Inventor
히진롱
Original Assignee
쿠팡 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿠팡 주식회사 filed Critical 쿠팡 주식회사
Publication of WO2024058288A1 publication Critical patent/WO2024058288A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/20—Combination of acquisition, preprocessing or recognition functions

Definitions

  • the present disclosure relates to an electronic device and a control method for translating text included in an image based on an image corresponding to an application so that a user can more conveniently use an application that does not provide multilingual services.
  • the disclosed embodiments seek to provide an electronic device and a method of providing translation information thereof. More specifically, the purpose is to provide an electronic device and a control method for translating text included in an image based on an image corresponding to the application so that users can more conveniently use applications that do not provide multilingual services. Do it as
  • One aspect of the present disclosure is a method for providing translation information, comprising: checking whether information about an image corresponding to a first application has been obtained; When information about the image is obtained, obtaining translation information about the image; and providing the obtained translation information.
  • the step of acquiring the translation information includes obtaining the translation information based on information about the image using a second application running in the background while the first application is activated.
  • a method of providing translation information may be provided, including the step of obtaining.
  • the translation information may include a second text in a second language obtained based on the first text in the first language included in the image, and a method of providing translation information may be provided. there is.
  • the step of checking whether information about the image has been obtained may provide a method of providing translation information, including checking whether a new image file has been created in a set storage. there is.
  • the step of checking whether information about the image has been obtained may provide a method of providing translation information, including checking whether an image capture function is activated.
  • the step of obtaining translation information for the image includes providing a user interface (UI) to inquire whether to translate the image. can be provided.
  • UI user interface
  • the step of obtaining translation information for the image may provide a method of providing translation information, including providing a user interface to inquire about the language into which the image is to be translated. .
  • obtaining translation information for the image includes capturing the image and checking whether a first type of input requesting translation of the captured image has been obtained,
  • the first type of input may provide a method of providing translation information that is different from the second type of input requesting capture of an image.
  • the method for providing translation information further includes obtaining a translation request for a target area in the image, and the translation information includes translation information for the target area.
  • a method of provision can be provided.
  • a method of providing translation information may be provided, further comprising the step of checking a time varying area in the image.
  • the method for providing translation information includes: checking whether to translate the area that changes with time; and obtaining a translation request for the area that changes with time, wherein the translation information includes translation information about the area that changes with time.
  • a method of providing translation information can be provided in which translation information for an area that changes with time is displayed in a set method.
  • the image includes an image captured by scrolling a scrollable page
  • the step of providing translation information of the image corresponds to an area within the page displayed on the screen according to scrolling of the page.
  • a method of providing translation information may be provided, including providing translation information together with the page.
  • the image includes an image capturing a page of the first application
  • the translation information providing method includes checking whether the page has changed as the first application is updated. step; As the page is confirmed to have changed, checking whether to translate an image corresponding to the changed page; As the image corresponding to the changed page is confirmed to be translated, obtaining information about the image corresponding to the changed page; Obtaining translation information about the image corresponding to the changed page; and providing translation information for an image corresponding to the changed page.
  • the obtained translation information may be displayed on the content of the first application, providing a method of providing translation information.
  • obtaining a set input for a first region in the translation information Based on the set input, confirming a second area within the first application corresponding to the first area; and providing a page corresponding to the second area.
  • a method of providing translation information is provided in which elements set in the translation information are displayed in a set method.
  • Another aspect of the present disclosure includes a communication unit, a memory, and a controller, wherein the control unit determines whether information about an image corresponding to a first application has been obtained, and when information about the image is obtained, An electronic device may be provided that obtains translation information for the image and provides the obtained translation information.
  • Another aspect of the present disclosure may provide a computer-readable recording medium on which a program for implementing a method performed by an electronic device is recorded.
  • the technology allows users to more conveniently obtain translation information about the image corresponding to the application. You can get the effect.
  • FIG. 1 shows a system according to one embodiment.
  • FIGS. 2A to 2G are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • FIGS. 3A and 3B are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • FIGS. 4A to 4G are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • 5A to 5E are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • FIGS. 6A to 6F are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • FIGS. 7A to 7E are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • FIGS. 8A and 8B are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • 9A to 9C are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • FIGS. 10A to 10D are diagrams for explaining a process in which an electronic device provides translation information, according to an embodiment.
  • Figure 11 shows a flowchart of a method for providing translation information by an electronic device, according to an embodiment.
  • Figure 12 shows a block diagram of an electronic device according to an embodiment.
  • the “terminal” mentioned below may be implemented as a computer or portable terminal that can connect to a server or other terminal through a network.
  • the computer includes, for example, a laptop, desktop, laptop, etc. equipped with a web browser
  • the portable terminal is, for example, a wireless communication device that guarantees portability and mobility.
  • all types of communication-based terminals such as IMT (International Mobile Telecommunication), CDMA (Code Division Multiple Access), W-CDMA (W-Code Division Multiple Access), and LTE (Long Term Evolution), smartphones, tablet PCs, etc. It may include a handheld-based wireless communication device.
  • FIG. 1 shows a system according to one embodiment.
  • the system may include at least one of an electronic device 100, a first server 120, a second server 140, and a network 160.
  • the system shown in FIG. 1 shows only components related to this embodiment. Accordingly, those skilled in the art can understand that other general-purpose components may be included in addition to the components shown in FIG. 1.
  • the electronic device 100 is a device that configures and provides various information.
  • the electronic device 100 may provide the configured information in the form of a web page or application screen, or may provide information in a form that can be displayed as a web page or application screen on the receiving terminal.
  • the electronic device 100 is a terminal used by each user, and the users can access services provided by the network 160 using their respective electronic devices 100.
  • the electronic device 100 may check whether information about the image corresponding to the application has been obtained, and if information about the image is obtained, obtain and provide translation information about the image.
  • the first server 120 is a device that provides services related to applications or web pages, and can provide information in a form that can be displayed on a web page or application screen, etc. based on the request received from the electronic device 100. there is.
  • the first server 120 may provide services related to applications that can order and deliver items or applications that can view various types of content.
  • the second server 140 is a device that provides translation services and can generate translation information based on information about images received from the electronic device 100 and transmit it to the electronic device 100 .
  • the second server 140 obtains an image from the electronic device 100, translates the text of the first language included in the image into the second language, and then translates the text into the second language. Translation information may be transmitted to the electronic device 100.
  • an application related to a service provided by the first server 120 may be referred to as a first application
  • an application related to a service provided by the second server 140 may be referred to as a second application.
  • the first server 120, the second server 140, and the electronic device 100 may communicate with each other within the network 160.
  • the network 160 includes a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile radio communication network, a satellite communication network, and their respective networks. It is a comprehensive data communication network that includes a combination and allows each network constituent shown in FIG. 1 to communicate smoothly with each other, and may include wired Internet, wireless Internet, and mobile wireless communication network.
  • Wireless communications include, for example, wireless LAN (Wi-Fi), Bluetooth, Bluetooth low energy, ZigBee, WFD (Wi-Fi Direct), UWB (ultra wideband), and infrared communication (IrDA, infrared Data Association). ), NFC (Near Field Communication), etc., but are not limited thereto.
  • FIGS. 2A to 2G are diagrams for explaining a process in which the electronic device 100 provides translation information, according to an embodiment.
  • the electronic device 100 may execute a first application and display a screen 200 of the first application. For example, referring to FIG. 2A , the electronic device 100 may display a portion of the search result page when searching for “vitamin d” on the screen 200 of the first application.
  • the electronic device 100 may check whether information about the image has been obtained. For example, referring to FIG. 2B, the electronic device 100 stores an image 210 that captures the screen 200 of the first application or an image 210 corresponding to the screen 200 of the first application. You can check whether information about the address, etc. has been obtained. At this time, the electronic device 100 can check whether information about the image has been obtained through various methods.
  • the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage. For example, when a new image file is created in the storage where the captured image is stored, the electronic device 100 may confirm that information about the image has been obtained.
  • the electronic device 100 may check whether information about the image has been obtained based on whether the image capture function is activated. For example, the electronic device 100 may check whether the image capture function is activated by hooking the capture input of the image, and if it is confirmed that the image capture function is activated, the electronic device 100 may determine whether the image capture function is activated. It can be confirmed that information regarding has been obtained.
  • the electronic device 100 can check whether to translate the image 210 by providing a user interface (UI) 220 that inquires whether to translate the image 210. there is. For example, referring to FIG. 2C, when information about the image 210 is obtained, the electronic device 100 may display a user interface 220 on the screen asking whether to translate the image 210. there is. Thereafter, when the electronic device 100 obtains a user input of selecting the Yes icon, the electronic device 100 may obtain translation information 240 for the image 210.
  • UI user interface
  • the type of input requesting capture of an image and the type of input requesting capture of the image and translation of the captured image may be set differently.
  • the input requesting capture of an image is set to the input of simultaneously pressing the power button and the volume down button of the electronic device 100, and the input requesting capture of the image and translation of the captured image is set to the input of pressing the power button and the volume down button of the electronic device 100.
  • the electronic device 100 captures an image and obtains an input of a set type requesting translation of the captured image, it omits the process of asking the user whether to translate the image 210 and translates the image 210 Translation information 240 for can be obtained.
  • the electronic device 100 may provide a user interface 230 to inquire about the language into which the image 210 is to be translated. For example, referring to FIG. 2D, the electronic device 100 obtains a user input of selecting the Yes icon of the user interface 220, and then displays the user interface 230 to inquire about the language to translate the image 210 into. ) can be displayed on the screen. Thereafter, the electronic device 100 may obtain a user input for selecting a language and obtain translation information 240 for an image including text translated into the selected language.
  • the electronic device 100 may display the user interface 230 on the screen to inquire about the language to translate the image into, regardless of whether information about the image has been obtained. Accordingly, when the electronic device 100 obtains information about the image 210, it omits the process of inquiring about the language to be translated, and provides translation information about the image 210 including text translated into the set language. You can obtain (240).
  • the electronic device 100 uses a second application running in the background while the first application is activated, translation information for the image 210 based on information about the image 210 ( 240) can be obtained.
  • the electronic device 100 may provide translation information 240 for the image 210 by directly translating text from the first language included in the image 210 into the second language using the second application. It can be obtained.
  • the electronic device 100 may use the second application to transmit a translation request for the image 210 to an external server and receive translation information for the image 210 from the external server, thereby transmitting a translation request for the image 210 to the external server.
  • Translation information 240 can be obtained.
  • the translation information 240 for the image 210 may include a second text in the second language obtained based on the first text in the first language included in the image 210.
  • translation information 240 for the image 210 may include English text obtained by translating the Korean text included in the image 210.
  • the electronic device 100 may provide the obtained translation information 240.
  • the electronic device 100 may run the second application in the foreground and display translation information 240 for the image 210 on the screen 250 of the second application. there is.
  • the electronic device 100 may transmit translation information 240 for the image 210 to a set email address.
  • this is only an example, and the method by which the electronic device 100 provides the obtained translation information is not limited to the above.
  • the electronic device 100 displays elements set in the translation information 240 in a set method. can do. For example, referring to FIG. 2F, in the process of translating Korean text into English text, the amount of text changes, and accordingly, the size of the information about the image 210 and the translation information 240 about the image 210 may be different. In this case, the electronic device 100 displays translation information 240 for the image 210 on the screen 250 of the second application and displays a bar icon 260 within the translation information 240 for the user's convenience. It can be displayed as a highlight. However, elements displayed in the translation information 240 and methods for displaying the elements may be set differently and may change depending on user input, etc.
  • the electronic device 100 may check whether to provide the obtained translation information according to an embodiment. For example, referring to FIG. 2G, the electronic device 100 may display the user interface 270 on the screen to inquire whether to load the obtained translation information. Thereafter, when the electronic device 100 obtains a user input of selecting the Yes icon, translation information 240 for the image 210 may be displayed on the screen 250 of the second application.
  • FIGS. 3A and 3B are diagrams for explaining a process in which the electronic device 100 provides translation information, according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • the electronic device 100 may execute a first application and display a screen of the first application. Afterwards, the electronic device 100 can check whether information about the image 300 has been obtained. When information about the image 300 is obtained, the electronic device 100 can confirm whether to translate the image 300.
  • the electronic device 100 may obtain a translation request for the target area 320 within the image 300. For example, referring to FIG. 3A, when it is confirmed that image 300 is being translated, electronic device 100 may obtain an input for selecting an area 320 within image 300 that the user wishes to translate. there is.
  • the electronic device 100 may acquire translation information 340 for the image 300 including translation information for the target area 320.
  • the electronic device 100 includes “Related products that other customers have bought a lot” included in the target area 320.
  • Translation information 340 can be obtained.
  • text included in areas other than the target area 320 may not be translated.
  • the electronic device 100 may provide the obtained translation information 340.
  • the electronic device 100 may provide translation information 340 in which only the text included in the target area 320 is translated in various forms.
  • FIGS. 4A to 4G are diagrams for explaining a process in which the electronic device 100 provides translation information according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • a specific area within the screen 400 of the first application may change over time.
  • a coupon icon may be displayed in the area 410 of the screen 400 of the first application along with the text “Get a surprise coupon!”
  • the text “Out of stock” and “One-day special price” may be displayed in area 410.
  • the electronic device 100 may check whether information about the image has been obtained. For example, the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage or whether the image capture function has been activated.
  • the electronic device 100 may check a time varying area on the screen 400 of the first application. More specifically, the electronic device 100 may check the area that changes with time by comparing captured images before and after the area changes, or check the area that changes with time based on a user input.
  • the electronic device 100 captures an image 420 of the screen 400 before the area 410 changes and the screen 400 after the area 410 changes.
  • a captured image 430 may be obtained. Thereafter, the electronic device 100 may compare the image 420 and the image 430 to identify a different area and identify the area as the area 410 that changes with time.
  • the electronic device 100 may check the area that changes with time by monitoring the screen 400 of the first application. More specifically, the electronic device 100 may acquire the image 420 corresponding to the screen 400 of the first application and then monitor the screen 400 of the first application. The electronic device 100 may identify an area that is different from the screen 400 when the image 420 was acquired, and may identify the area as the area 410 that changes with time.
  • the electronic device 100 may check an area that changes with time based on user input. More specifically, the electronic device 100 obtains a user input for selecting a region that changes with time in the screen 400 of the first application or the image 420 corresponding to the screen 400 of the first application, and the selected The area can be identified as an area 410 that changes with time.
  • the electronic device 100 can check whether to translate an area that changes over time. For example, referring to FIG. 4E, the electronic device 100 may provide a user interface 440 to inquire whether to translate an area that changes over time. Thereafter, when the electronic device 100 obtains a user input for selecting the Yes icon, the electronic device 100 may obtain translation information 460 for the image 430.
  • the electronic device 100 may use a second application running in the background while the first application is activated to obtain translation information about the image based on information about the image. For example, referring to FIG. 4F , the electronic device 100 may obtain translation information 450 for the image 420 using the second application. Additionally, referring to FIG. 4G, the electronic device 100 may obtain translation information 460 for the image 430 using the second application.
  • the electronic device 100 may provide the obtained translation information. For example, the electronic device 100 runs the second application in the foreground and displays translation information 450 about the image 420 captured before the area 410 changes on the screen of the second application. You can. Alternatively, the electronic device 100 may run the second application in the foreground and display translation information 460 about the image 430 captured after the area 410 changes on the screen of the second application.
  • FIGS. 5A to 5E are diagrams for explaining a process in which the electronic device 100 provides translation information according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • a specific area within the screen 500 of the first application may change over time.
  • a coupon icon may be displayed in an area 520 within the screen 500 of the first application along with the text “Get a surprise coupon!”
  • the text “Out of stock” and “One-day special price” may be displayed in area 520.
  • the electronic device 100 may check whether information about the image has been obtained. For example, the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage or whether the image capture function has been activated.
  • the electronic device 100 may check an area that changes with time on the screen 500 of the first application.
  • the specific operation of checking the area in which the electronic device 100 changes with time is omitted since it overlaps with the content described in relation to FIGS. 4A to 4G.
  • the electronic device 100 uses a second application running in the background while the first application is activated, and translates information about the image 540 based on information about the image 540 ( 560) can be obtained. For example, referring to FIG. 5D , the electronic device 100 may obtain translation information 560 for the image 540 using a second application.
  • the electronic device 100 may provide the obtained translation information.
  • the electronic device 100 may display translation information about an area that changes over time in a set method. For example, referring to FIG. 5E, the electronic device 100 runs the second application in the foreground and displays translation information 560 for the image 540 on the screen 580 of the second application, The area 520 that changes with time can be displayed as a highlight.
  • the method by which the electronic device 100 displays translation information for an area that changes over time is not limited to the above.
  • FIGS. 6A to 6F are diagrams for explaining a process in which the electronic device 100 provides translation information, according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • the electronic device 100 may display a portion of a scrollable page on the screen 600 of the first application. For example, referring to FIG. 6A , the electronic device 100 may display the upper part of the search result page when searching for “vitamin d” on the screen 600 of the first application. Additionally, referring to FIG. 6B, as the user's input of lowering the scroll bar is obtained, the electronic device 100 displays the lower part of the search result page when searching for "vitamin d" on the screen 600 of the first application. It can be displayed.
  • the electronic device 100 may check whether information about the image has been obtained. For example, the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage or whether the image capture function has been activated.
  • the electronic device 100 may obtain a scroll-captured image of a scrollable page.
  • scroll capture is an image acquisition method that captures a page while moving a scroll bar, and can be used to capture a page that is larger than the screen of the terminal.
  • the electronic device 100 may obtain an image 620 captured by scrolling a search result page when searching for “vitamin d.” Accordingly, the electronic device 100 may obtain an image 620 that is larger than the screen 600 of the first application.
  • the electronic device 100 uses a second application running in the background while the first application is activated, and translates information about the image 620 based on information about the image 620 ( 640) can be obtained. For example, referring to FIG. 6D, the electronic device 100 may obtain translation information 640 for the image 620 using the second application.
  • the electronic device 100 may provide the obtained translation information. At this time, the electronic device 100 may provide translation information corresponding to the area within the page displayed on the screen 600 of the first application to the screen 660 of the second application as the page is scrolled.
  • the electronic device 100 displays translation information corresponding to the upper part of the search result page when searching for "vitamin d" displayed on the screen 600 of the first application to the second application. It can be displayed on the application screen 660.
  • the electronic device 100 displays the message "vitamin d" displayed on the screen 600 of the first application.
  • Translation information corresponding to the bottom portion of the search result page when searching for " may be displayed on the screen 660 of the second application.
  • the electronic device 100 may highlight the bar icon 680 in the translation information for the user's convenience.
  • the elements displayed in the translation information and the methods for displaying the elements may be set differently and may change depending on user input, etc.
  • FIGS. 7A to 7E are diagrams for explaining a process in which the electronic device 100 provides translation information according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • the electronic device 100 may execute a first application and display a screen 700 of the first application. For example, referring to FIG. 7A , the electronic device 100 may display the home page of the first application on the screen 700 of the first application.
  • the electronic device 100 may check whether information about the image has been obtained. For example, the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage or whether the image capture function has been activated.
  • the electronic device 100 may check whether the page corresponding to the acquired image has changed as the first application is updated. For example, referring to FIG. 7B, after it is confirmed that information about the image corresponding to the home page of the first application has been acquired, the electronic device 100 determines whether the home page has changed as the first application is updated. You can check. The electronic device 100 can confirm that as the first application is updated, the text written in the area 720 of the home page changes from “Chuseok up to 70%” to “New members receive a half-price coupon” and a coupon icon is added. there is.
  • the electronic device 100 may check whether to translate the image corresponding to the changed page. For example, referring to FIG. 7C, the electronic device 100 displays a user interface 740 that notifies that a part of the home page has changed as the first application is updated and inquires whether to translate the image accordingly. You can do it.
  • the electronic device 100 may acquire an image 760 corresponding to the changed page. For example, referring to FIG. 7D, when the electronic device 100 obtains a user input of selecting the Yes icon in the user interface 740, the electronic device 100 captures an image 760 of the changed homepage. It can be obtained.
  • the electronic device 100 uses a second application running in the background while the first application is activated to provide translation information about the image 760 based on information about the image 760. It can be obtained.
  • the electronic device 100 may obtain translation information about the image 760 using the second application.
  • the electronic device 100 may provide the obtained translation information.
  • the electronic device 100 may display translation information for the area that has changed as the first application is updated in a set method. For example, referring to FIG. 7E, the electronic device 100 runs the second application in the foreground, displays translation information about the image 760 on the screen 780 of the second application, and displays the first application. As this is updated, the changed area 720 can be displayed as a highlight.
  • FIGS. 8A and 8B are diagrams for explaining a process in which the electronic device 100 provides translation information according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • the electronic device 100 may execute a first application and display a screen 800 of the first application. For example, referring to FIG. 8A , the electronic device 100 may display the home page of the first application on the screen 800 of the first application.
  • the electronic device 100 may check whether information about the image has been obtained. For example, the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage or whether the image capture function has been activated.
  • the electronic device 100 may check whether to translate the image. For example, the electronic device 100 may translate the image by providing a user interface that inquires whether to translate the image, or by capturing the image and checking whether an input of a type requesting translation of the captured image has been obtained. You can check whether to translate or not.
  • the electronic device 100 may use a second application running in the background while the first application is activated to obtain translation information about the image based on information about the image. For example, the electronic device 100 directly translates the text of the first language included in the image into the second language, transmits a translation request for the image to an external server, and receives translation information about the image from the external server. By doing so, translation information about the image can be obtained.
  • the electronic device 100 may provide translation information obtained together with the content of the first application. For example, referring to FIG. 8B, the electronic device 100 may display a homepage on the screen 800 of the first application and display text translated into the second language on top of the corresponding text in the first language. . At this time, the electronic device 100 may adjust the transparency of the text translated into the second language so that the user can check which text of the first language corresponds to the text translated into the second language.
  • FIGS. 9A to 9C are diagrams for explaining a process in which the electronic device 100 provides translation information, according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • the electronic device 100 may execute a first application and display a screen 900 of the first application. For example, referring to FIG. 9A , the electronic device 100 may display the home page of the first application on the screen 900 of the first application.
  • the electronic device 100 may check whether information about the image has been obtained. For example, the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage or whether the image capture function has been activated.
  • the electronic device 100 may check whether to translate the image. For example, the electronic device 100 may translate the image by providing a user interface that inquires whether to translate the image, or by capturing the image and checking whether an input of a type requesting translation of the captured image has been obtained. You can check whether to translate or not.
  • the electronic device 100 may use a second application running in the background while the first application is activated to obtain translation information about the image based on information about the image. For example, the electronic device 100 directly translates the text of the first language included in the image into the second language, transmits a translation request for the image to an external server, and receives translation information about the image from the external server. By doing so, translation information about the image can be obtained.
  • the electronic device 100 may provide translation information obtained together with the content of the first application. For example, referring to FIG. 9B , the electronic device 100 may display a speech bubble icon 920 next to text in the first language while displaying the homepage on the screen 900 of the first application.
  • the shape of the icon displayed next to the text in the first language is only an example, and is not limited to the above.
  • the electronic device 100 may provide translation information corresponding to the selected speech bubble icon 920. For example, referring to FIG. 9C, the electronic device 100 displays a speech bubble icon 940 containing text in a second language that is a translated text of the first language corresponding to the selected speech bubble icon 920 in the first language. It can be displayed next to the text.
  • the shape of the icon displayed next to the text in the first language is only an example, and is not limited to the above.
  • FIGS. 10A to 10D are diagrams for explaining a process in which the electronic device 100 provides translation information, according to an embodiment. Content that overlaps with FIGS. 2A to 2G will be briefly described or omitted.
  • the electronic device 100 may execute a first application and display a screen 1000 of the first application.
  • the electronic device 100 may display a portion of the search result page when searching for “vitamin d” on the screen 1000 of the first application.
  • the electronic device 100 may check whether information about the image has been obtained. For example, the electronic device 100 may check whether information about the image has been obtained based on whether a new image file has been created in the set storage or whether the image capture function has been activated.
  • the electronic device 100 may check whether to translate the image. For example, the electronic device 100 may translate the image by providing a user interface that inquires whether to translate the image, or by capturing the image and checking whether an input of a type requesting translation of the captured image has been obtained. You can check whether to translate or not.
  • the electronic device 100 may use a second application running in the background while the first application is activated to obtain translation information about the image based on information about the image. For example, the electronic device 100 directly translates the text of the first language included in the image into the second language, transmits a translation request for the image to an external server, and receives translation information about the image from the external server. By doing so, translation information about the image can be obtained.
  • the electronic device 100 may provide the obtained translation information. For example, referring to FIG. 10B, the electronic device 100 may run the second application in the foreground and display translation information about the image on the screen 1020 of the second application.
  • the electronic device 100 may obtain a set input for the first area in the translation information. For example, referring to FIG. 10B, the electronic device 100 may obtain a user input for selecting an area 1040 where a specific product is displayed within the translation information displayed on the screen 1020 of the second application.
  • the electronic device 100 may check the second area within the first application corresponding to the first area based on the set input. For example, referring to FIG. 10C, the electronic device 100 checks the coordinate value of the area 1040 selected on the screen 1020 of the second application and selects the area 1040 on the screen 1000 of the first application. The area 1060 having the same coordinate value as the coordinate value of can be confirmed.
  • the electronic device 100 may provide a page corresponding to the second area. For example, referring to FIG. 10D, the electronic device 100 runs the first application in the foreground and displays a product detail page related to a specific product displayed in the area 1060 on the screen 1000 of the first application. can do.
  • Figure 11 shows a flowchart of a method for providing translation information by an electronic device, according to an embodiment.
  • the foregoing description may apply to overlapping content.
  • step S1100 the electronic device may check whether information about the image corresponding to the first application has been obtained.
  • the electronic device when checking whether information about the image corresponding to the first application has been obtained, the electronic device may check whether a new image file has been created in the set storage.
  • the electronic device when checking whether information about the image corresponding to the first application has been obtained, the electronic device may check whether the image capture function is activated.
  • step S1120 when information about the image is obtained, the electronic device may obtain translation information about the image.
  • the electronic device when acquiring translation information about an image, acquires translation information based on information about the image using a second application running in the background while the first application is activated. can do.
  • the translation information may include a second text in a second language obtained based on the first text in the first language included in the image.
  • the electronic device may provide a user interface (UI) to inquire whether to translate the image.
  • UI user interface
  • the electronic device when obtaining translation information for an image, may provide a user interface to inquire about the language to translate the image into.
  • the electronic device may capture the image and check whether a first type of input requesting translation of the captured image has been obtained. At this time, the first type of input may be different from the second type of input requesting capture of an image.
  • step S1140 the electronic device may provide the obtained translation information.
  • the electronic device may obtain a translation request for a target area within an image.
  • the translation information may include translation information for the target area.
  • an electronic device can check a time varying area in an image. Afterwards, the electronic device can check whether to translate an area that changes with time and obtain a translation request for an area that changes with time. At this time, the translation information may include translation information about an area that changes over time.
  • an electronic device can check a time varying area in an image. At this time, translation information for areas that change over time may be displayed in a set method.
  • the image may include an image captured by scrolling a scrollable page. Accordingly, when providing translation information, the electronic device may provide translation information corresponding to the area within the page displayed on the screen along with the page as the page scrolls.
  • the image may include an image capturing a page of the first application. Accordingly, the electronic device can check whether the page has changed as the first application is updated, and as the page has been confirmed to have changed, it can check whether to translate the image corresponding to the changed page. As it is confirmed that the electronic device translates the image corresponding to the changed page, it can obtain information about the image corresponding to the changed page. Thereafter, the electronic device may obtain translation information about the image corresponding to the changed page and provide translation information about the image corresponding to the changed page.
  • the obtained translation information may be displayed on the content of the first application.
  • the electronic device may obtain a set input for a first area in translation information and, based on the set input, check a second area in the first application corresponding to the first area. Thereafter, the electronic device may provide a page corresponding to the second area.
  • elements set in the translation information may be displayed in a set method.
  • FIG. 12 shows a block diagram of an electronic device 100 according to an embodiment.
  • the electronic device 100 may include a communication device 1220, a memory 1240, and a controller 1260.
  • the electronic device 100 shown in FIG. 12 shows only components related to this embodiment. Accordingly, those skilled in the art can understand that other general-purpose components may be included in addition to the components shown in FIG. 12. Since the electronic device 100 may include content related to the above-described server, description of overlapping content will be omitted.
  • the communication unit may include one or more transceivers.
  • the control unit may include one or more processors.
  • the communication unit 1220 is a device for performing wired/wireless communication and can communicate with external electronic devices.
  • the external electronic device may be a terminal or server.
  • communication technologies used by the communication unit 1220 include Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Long Term Evolution (LTE), 5G, Wireless LAN (WLAN), and Wireless-Fidelity (Wi-Fi). ), Bluetooth, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, NFC (Near Field Communication), etc.
  • the control unit 1260 can control the overall operation of the electronic device 100 and process data and signals.
  • the control unit 1260 may be composed of at least one hardware unit. Additionally, the control unit 1260 may operate by one or more software modules generated by executing program codes stored in the memory 1240.
  • the control unit 1260 may include a processor and a memory, and the processor may execute program codes stored in the memory to control the overall operation of the electronic device 100 and process data and signals. Additionally, in an embodiment, the control unit 1260 may include at least one processor.
  • the control unit 1260 may check whether information about the image corresponding to the first application has been obtained, and if information about the image has been obtained, obtain translation information about the image, and provide the obtained translation information. .
  • Electronic devices include a processor, memory for storing and executing program data, permanent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, keys, buttons, etc. It may include the same user interface device, etc.
  • Methods implemented as software modules or algorithms may be stored on a computer-readable recording medium as computer-readable codes or program instructions executable on the processor.
  • computer-readable recording media include magnetic storage media (e.g., ROM (read-only memory), RAM (random-access memory), floppy disk, hard disk, etc.) and optical read media (e.g., CD-ROM). ), DVD (Digital Versatile Disc), etc.
  • the computer-readable recording medium is distributed among computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner.
  • the media may be readable by a computer, stored in memory, and executed by a processor.
  • This embodiment can be represented by functional block configurations and various processing steps. These functional blocks may be implemented in various numbers of hardware or/and software configurations that execute specific functions. For example, embodiments include integrated circuit configurations such as memory, processing, logic, look-up tables, etc. that can execute various functions under the control of one or more microprocessors or other control devices. can be hired. Similar to how the components can be implemented as software programming or software elements, the present embodiments include various algorithms implemented as combinations of data structures, processes, routines or other programming constructs, such as C, C++, Java ( It can be implemented in a programming or scripting language such as Java), assembler, etc. Functional aspects may be implemented as algorithms running on one or more processors.
  • this embodiment may employ conventional technologies for electronic environment settings, signal processing, and/or data processing.
  • Terms such as “mechanism,” “element,” “means,” and “configuration” may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of software routines in connection with a processor, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치의 번역 정보 제공 방법이 제공된다. 번역 정보 제공 방법은 제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인하는 단계; 상기 이미지에 관한 정보가 획득된 경우, 상기 이미지에 대한 번역 정보를 획득하는 단계; 및 상기 획득된 번역 정보를 제공하는 단계를 포함할 수 있다.

Description

전자 장치 및 그의 번역 정보 제공 방법
본 개시는 사용자가 다국어 서비스를 제공하지 않는 애플리케이션을 보다 편리하게 사용할 수 있도록, 애플리케이션에 대응하는 이미지에 기초하여 이미지에 포함된 텍스트를 번역하기 위한 전자 장치 및 그 제어 방법에 관한 것이다.
인터넷의 사용 및 모바일 단말의 보급이 보편화됨에 따라, 사용자들은 다양한 애플리케이션을 통하여 정보를 획득할 수 있게 되었다. 사용자들이 사용하는 애플리케이션의 타입에 따라, 사용자들이 모국어 텍스트로 작성된 정보를 획득하는 경우뿐만 아니라 사용자들이 이해할 수 없는 외국어 텍스트로 작성된 정보를 획득하는 경우도 빈번히 발생하고 있다.
그러나, 사용자들이 이해할 수 없는 외국어 텍스트를 접할 때마다, 외국어 텍스트를 직접 번역하는 것은 번거로움 및 불편함을 초래한다. 따라서, 사용자들의 편의성을 제고하기 위하여, 사용자들이 애플리케이션에 포함된 외국어 텍스트에 대한 번역 정보를 보다 편리하게 획득할 수 있는 방법이 요구된다.
관련하여, KR 10-2258004 B1 건 등의 선행문헌들을 참조할 수 있다.
개시된 실시 예들은 전자 장치 및 그의 번역 정보 제공 방법을 제공하고자 한다. 보다 구체적으로는, 사용자가 다국어 서비스를 제공하지 않는 애플리케이션을 보다 편리하게 사용할 수 있도록, 애플리케이션에 대응하는 이미지에 기초하여 이미지에 포함된 텍스트를 번역하기 위한 전자 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 개시의 일 측면은 번역 정보 제공 방법으로서, 제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인하는 단계; 상기 이미지에 관한 정보가 획득된 경우, 상기 이미지에 대한 번역 정보를 획득하는 단계; 및 상기 획득된 번역 정보를 제공하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 번역 정보를 획득하는 단계는, 상기 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 상기 이미지에 관한 정보를 기초로 상기 번역 정보를 획득하는 단계를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 번역 정보는, 상기 이미지에 포함된 제1 언어의 제1 텍스트를 기초로 획득된 제2 언어의 제2 텍스트를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지에 관한 정보가 획득되었는지 여부를 확인하는 단계는, 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부를 확인하는 단계를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지에 관한 정보가 획득되었는지 여부를 확인하는 단계는, 이미지 캡처 기능이 활성화되었는지 여부를 확인하는 단계를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지에 대한 번역 정보를 획득하는 단계는, 상기 이미지를 번역할 것인지를 문의하는 사용자 인터페이스(user interface, UI)를 제공하는 단계를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지에 대한 번역 정보를 획득하는 단계는, 상기 이미지를 번역할 언어에 대하여 문의하는 사용자 인터페이스를 제공하는 단계를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지에 대한 번역 정보를 획득하는 단계는, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 제1 타입의 입력이 획득되었는지 여부를 확인하는 단계를 포함하고, 상기 제1 타입의 입력은 이미지의 캡처를 요청하는 제2 타입의 입력과 상이한, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 번역 정보 제공 방법은 상기 이미지 내 대상 영역에 대한 번역 요청을 획득하는 단계를 더 포함하고, 상기 번역 정보는 상기 대상 영역에 대한 번역 정보를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지 내 시간에 따라 변하는(time varying) 영역을 확인하는 단계를 더 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 번역 정보 제공 방법은, 상기 시간에 따라 변하는 영역에 대하여 번역할 것인지 여부를 확인하는 단계; 및 상기 시간에 따라 변하는 영역에 대한 번역 요청을 획득하는 단계를 더 포함하고, 상기 번역 정보는 상기 시간에 따라 변하는 영역에 대한 번역 정보를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 시간에 따라 변하는 영역에 대한 번역 정보가 설정된 방법으로 표시되는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지는 스크롤 가능한 페이지를 스크롤 캡처한 이미지를 포함하고, 상기 이미지의 번역 정보를 제공하는 단계는 상기 페이지의 스크롤에 따라 화면에 표시된 상기 페이지 내 영역에 대응하는 번역 정보를 상기 페이지와 함께 제공하는 단계를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지는 상기 제1 애플리케이션의 페이지를 캡처한 이미지를 포함하고, 상기 번역 정보 제공 방법은, 상기 제1 애플리케이션이 업데이트됨에 따라 상기 페이지가 변경되었는지 여부를 확인하는 단계; 상기 페이지가 변경된 것으로 확인됨에 따라, 상기 변경된 페이지에 대응하는 이미지를 번역할 것인지 여부를 확인하는 단계; 상기 변경된 페이지에 대응하는 이미지를 번역하는 것으로 확인됨에 따라, 상기 변경된 페이지에 대응하는 이미지에 관한 정보를 획득하는 단계; 상기 변경된 페이지에 대응하는 이미지에 대한 번역 정보를 획득하는 단계; 및 상기 변경된 페이지에 대응하는 이미지에 대한 번역 정보를 제공하는 단계를 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 획득된 번역 정보는, 상기 제1 애플리케이션의 컨텐츠 위에 표시되는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 번역 정보 내 제1 영역에 대한 설정된 입력을 획득하는 단계; 상기 설정된 입력에 기초하여, 상기 제1 영역에 대응하는 상기 제1 애플리케이션의 내 제2 영역을 확인하는 단계; 및 상기 제2 영역에 대응하는 페이지를 제공하는 단계를 더 포함하는, 번역 정보 제공 방법을 제공할 수 있다.
또한, 본 개시의 일 실시 예에서 상기 이미지에 관한 정보와 상기 번역 정보의 크기가 상이한 경우, 상기 번역 정보 내 설정된 요소가 설정된 방법으로 표시되는, 번역 정보 제공 방법을 제공할 수 있다.
본 개시의 다른 측면은 통신부, 메모리 및 제어부(controller)를 포함하고, 상기 제어부는, 제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인하고, 상기 이미지에 관한 정보가 획득된 경우, 상기 이미지에 대한 번역 정보를 획득하고, 상기 획득된 번역 정보를 제공하는, 전자 장치를 제공할 수 있다.
본 개시의 또 다른 측면은 전자 장치에 의해 수행되는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
제안되는 실시 예에 따를 경우 다음과 같은 효과를 하나 혹은 그 이상 기대할 수 있다.
본 명세서의 실시 예에 의할 경우, 이미지의 획득 여부를 자동으로 감지하여 번역 정보를 제공함으로써, 사용자들이 보다 편리하게 애플리케이션에 대응하는 이미지에 대한 번역 정보를 획득하는 기술적 효과를 얻을 수 있다.
또한, 본 명세서의 실시 예에 의할 경우, 애플리케이션의 화면에 표시된 이미지 내 시간에 따라 변하는 영역에 대한 번역 정보를 제공함으로써, 사용자들이 보다 편리하게 애플리케이션에 대응하는 이미지에 대한 번역 정보를 획득하는 기술적 효과를 얻을 수 있다.
또한, 본 명세서의 실시 예에 의할 경우, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 타입의 입력에 기초하여 번역 정보를 제공함으로써, 사용자들이 보다 편리하게 애플리케이션에 대응하는 이미지에 대한 번역 정보를 획득하는 기술적 효과를 얻을 수 있다.
또한, 본 명세서의 실시 예에 의할 경우, 스크롤 가능한 페이지를 스크롤 캡처한 이미지에 대한 번역 정보를 제공함으로써, 사용자들이 보다 편리하게 애플리케이션에 대응하는 이미지에 대한 번역 정보를 획득하는 기술적 효과를 얻을 수 있다.
또한, 본 명세서의 실시 예에 의할 경우, 이미지에 대한 번역 정보를 애플리케이션의 화면에 함께 제공함으로써, 사용자들이 보다 편리하게 애플리케이션에 대응하는 이미지에 대한 번역 정보를 획득하는 기술적 효과를 얻을 수 있다.
발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 시스템을 나타낸다.
도 2a 내지 도 2g는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 3a 내지 도 3b는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 4a 내지 도 4g는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 5a 내지 도 5e는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 6a 내지 도 6f는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 7a 내지 도 7e는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 8a 내지 도 8b는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 9a 내지 도 9c는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 10a 내지 도 10d는 일 실시 예에 따라 전자 장치가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치의 번역 정보 제공 방법의 흐름도를 나타낸다.
도 12는 일 실시 예에 따른 전자 장치의 블록도를 나타낸다.
실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
명세서 전체에서 기재된 "a, b, 및 c 중 적어도 하나"의 표현은, 'a 단독', 'b 단독', 'c 단독', 'a 및 b', 'a 및 c', 'b 및 c', 또는 'a, b, 및 c 모두'를 포괄할 수 있다.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution) 등의 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 시스템을 나타낸다.
도 1을 참조하면, 시스템은 전자 장치(100), 제1 서버(120), 제2 서버(140) 및 네트워크(160) 중에서 적어도 하나를 포함할 수 있다. 한편, 도 1에 도시된 시스템은 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
전자 장치(100)는 다양한 정보를 구성하여 제공하는 장치이다. 전자 장치(100)는 구성된 정보를 웹 페이지 또는 애플리케이션 화면 등으로 제공하거나, 제공받는 단말에서 웹 페이지 또는 애플리케이션 화면 등으로 표시할 수 있는 형태의 정보로 제공할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 사용자들 각각이 사용하는 단말로서, 사용자들은 각자의 전자 장치(100)를 이용하여 네트워크(160)에 의해 제공되는 서비스에 접근할 수 있다. 예를 들어, 전자 장치(100)는 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인하고, 이미지에 관한 정보가 획득된 경우, 이미지에 대한 번역 정보를 획득하여 제공할 수 있다.
제1 서버(120)는 애플리케이션 또는 웹 페이지에 관한 서비스를 제공하는 장치로서, 전자 장치(100)로부터 수신한 요청에 기초하여 웹 페이지 또는 애플리케이션 화면 등으로 표시할 수 있는 형태의 정보로 제공할 수 있다. 예를 들어, 제1 서버(120)는 아이템들을 주문 및 배송할 수 있는 애플리케이션 또는 다양한 타입의 콘텐츠를 시청할 수 있는 애플리케이션 등에 관한 서비스를 제공할 수 있다.
제2 서버(140)는 번역에 관한 서비스를 제공하는 장치로서, 전자 장치(100)로부터 수신한 이미지에 관한 정보에 기초하여, 번역 정보를 생성하여 전자 장치(100)로 송신할 수 있다. 예를 들어, 제2 서버(140)는 전자 장치(100)로부터 이미지를 획득하고, 이미지에 포함된 제1 언어의 텍스트를 제2 언어로 번역한 후, 제2 언어로 번역된 텍스트를 포함하는 번역 정보를 전자 장치(100)로 송신할 수 있다.
한편, 이하에서, 제1 서버(120)가 제공하는 서비스에 관한 애플리케이션은 제1 애플리케이션으로 지칭될 수 있고, 제2 서버(140)가 제공하는 서비스에 관한 애플리케이션은 제2 애플리케이션으로 지칭될 수 있다.
제1 서버(120) 및 제2 서버(140)와 전자 장치(100)는 네트워크(160) 내에서 서로 통신할 수 있다. 네트워크(160)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 도 1에 도시된 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2a 내지 도 2g는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션을 실행하고 제1 애플리케이션의 화면(200)을 표시할 수 있다. 예를 들어, 도 2a를 참조하면, 전자 장치(100)는 "비타민 d"를 검색했을 때의 검색 결과 페이지의 일부를 제1 애플리케이션의 화면(200)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 도 2b를 참조하면, 전자 장치(100)는 제1 애플리케이션의 화면(200)을 캡처한 이미지(210) 또는 제1 애플리케이션의 화면(200)에 대응하는 이미지(210)가 저장되어 있는 주소에 관한 정보 등이 획득되었는지 여부를 확인할 수 있다. 이때, 전자 장치(100)는 다양한 방법을 통해 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 캡처 이미지가 저장되는 저장소에 새로운 이미지 파일이 생성된 경우, 전자 장치(100)는 이미지에 관한 정보가 획득되었다고 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 이미지의 캡처 입력을 후킹(hooking)하여 이미지 캡처 기능이 활성화되었는지 여부를 확인할 수 있고, 이미지 캡처 기능이 활성화된 것으로 확인된 경우, 전자 장치(100)는 이미지에 관한 정보가 획득되었다고 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지(210)를 번역할 것인지를 문의하는 사용자 인터페이스(user interface, UI)(220)를 제공함으로써, 이미지(210)를 번역할 것인지 여부를 확인할 수 있다. 예를 들어, 도 2c를 참조하면, 이미지(210)에 관한 정보가 획득된 경우, 전자 장치(100)는 이미지(210)를 번역할 것인지를 문의하는 사용자 인터페이스(220)를 화면에 표시할 수 있다. 이후, 전자 장치(100)가 Yes 아이콘을 선택하는 사용자 입력을 획득한 경우, 전자 장치(100)는 이미지(210)에 대한 번역 정보(240)를 획득할 수 있다.
일 실시 예에 따르면, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 타입의 입력이 획득되었는지 여부에 기초하여, 이미지(210)를 번역할 것인지 여부를 확인할 수 있다. 이때, 이미지의 캡처를 요청하는 입력의 타입과 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 입력의 타입은 상이하게 설정될 수 있다.
예를 들어, 이미지의 캡처를 요청하는 입력은 전자 장치(100)의 전원 버튼 및 볼륨 다운 버튼을 동시에 누르는 입력으로 설정되고, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 입력은 전자 장치(100)의 전원 버튼 및 볼륨 업 버튼을 동시에 누르는 입력으로 설정될 수 있다. 전자 장치(100)는 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는, 설정된 타입의 입력을 획득함에 따라, 이미지(210)를 번역할 것인지를 사용자에게 문의하는 과정을 생략하고, 이미지(210)에 대한 번역 정보(240)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지(210)를 번역할 언어에 대하여 문의하는 사용자 인터페이스(230)를 제공할 수 있다. 예를 들어, 도 2d를 참조하면, 전자 장치(100)는 사용자 인터페이스(220)의 Yes 아이콘을 선택하는 사용자 입력을 획득한 후, 이미지(210)를 번역할 언어에 대하여 문의하는 사용자 인터페이스(230)를 화면에 표시할 수 있다. 이후, 전자 장치(100)는 언어를 선택하는 사용자 입력을 획득하고, 선택된 언어로 번역된 텍스트를 포함하는 이미지에 대한 번역 정보(240)를 획득할 수 있다.
또는, 전자 장치(100)는 이미지에 관한 정보를 획득하였는지 여부와 무관하게, 이미지를 번역할 언어에 대하여 문의하는 사용자 인터페이스(230)를 화면에 표시할 수 있다. 이에 따라, 전자 장치(100)는 이미지(210)에 관한 정보를 획득한 경우, 번역할 언어에 대해 문의하는 과정을 생략하고, 설정된 언어로 번역된 텍스트를 포함하는 이미지(210)에 대한 번역 정보(240)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지(210)에 관한 정보를 기초로 이미지(210)에 대한 번역 정보(240)를 획득할 수 있다. 예를 들어, 전자 장치(100)는 제2 애플리케이션을 사용하여, 이미지(210)에 포함된 제1 언어의 텍스트를 제2 언어로 직접 번역함으로써, 이미지(210)에 대한 번역 정보(240)를 획득할 수 있다. 또는, 전자 장치(100)는 제2 애플리케이션을 사용하여, 이미지(210)에 대한 번역 요청을 외부 서버로 송신하고, 이미지(210)에 대한 번역 정보를 외부 서버로부터 수신함으로써, 이미지(210)에 대한 번역 정보(240)를 획득할 수 있다.
일 실시 예에 따르면, 이미지(210)에 대한 번역 정보(240)는 이미지(210)에 포함된 제1 언어의 제1 텍스트를 기초로 획득된 제2 언어의 제2 텍스트를 포함할 수 있다. 예를 들어, 도 2e를 참조하면, 이미지(210)에 대한 번역 정보(240)는 이미지(210)에 포함된 한국어 텍스트를 번역하여 획득된 영어 텍스트를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득된 번역 정보(240)를 제공할 수 있다. 예를 들어, 도 2f를 참조하면, 전자 장치(100)는 제2 애플리케이션을 포그라운드에서 구동하여, 이미지(210)에 대한 번역 정보(240)를 제2 애플리케이션의 화면(250)에 표시할 수 있다. 또는, 전자 장치(100)는 이미지(210)에 대한 번역 정보(240)를 설정된 이메일 주소로 전송할 수 있다. 다만, 이는 일 실시 예에 불과하며, 전자 장치(100)가 획득된 번역 정보를 제공하는 방법은 전술한 바에 한정되지 않는다.
일 실시 예에 따르면, 이미지(210)에 관한 정보와 이미지(210)에 대한 번역 정보(240)의 크기가 상이한 경우, 전자 장치(100)는 번역 정보(240) 내 설정된 요소를 설정된 방법으로 표시할 수 있다. 예를 들어, 도 2f를 참조하면, 한국어 텍스트를 영어 텍스트로 번역하는 과정에서 텍스트의 양이 변하게 되고, 그에 따라 이미지(210)에 관한 정보와 이미지(210)에 대한 번역 정보(240)의 크기가 상이할 수 있다. 이 경우, 전자 장치(100)는 이미지(210)에 대한 번역 정보(240)를 제2 애플리케이션의 화면(250)에 표시하면서, 사용자의 편의를 위해 번역 정보(240) 내 바 아이콘(260)을 하이라이트로 표시할 수 있다. 다만, 번역 정보(240) 내 표시되는 요소 및 상기 요소를 표시하기 위한 방법은 이와 다르게 설정될 수 있으며, 사용자 입력 등에 따라 변경될 수 있다.
한편, 전자 장치(100)는 일 실시 예에 따라 획득된 번역 정보를 제공할 지 여부를 확인할 수 있다. 예를 들어, 도 2g를 참조하면, 전자 장치(100)는 획득된 번역 정보를 불러올지 여부를 문의하는 사용자 인터페이스(270)를 화면에 표시할 수 있다. 이후, 전자 장치(100)가 Yes 아이콘을 선택하는 사용자 입력을 획득한 경우, 이미지(210)에 대한 번역 정보(240)를 제2 애플리케이션의 화면(250)에 표시할 수 있다.
도 3a 내지 도 3b는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션을 실행하고 제1 애플리케이션의 화면을 표시할 수 있다. 이후, 전자 장치(100)는 이미지(300)에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 이미지(300)에 관한 정보가 획득된 경우, 전자 장치(100)는 이미지(300)를 번역할 것인지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지(300) 내 대상 영역(320)에 대한 번역 요청을 획득할 수 있다. 예를 들어, 도 3a를 참조하면, 이미지(300)를 번역하는 것으로 확인된 경우, 전자 장치(100)는 이미지(300) 내 사용자가 번역하고자 하는 영역(320)을 선택하는 입력을 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 대상 영역(320)에 대한 번역 정보를 포함하는 이미지(300)에 대한 번역 정보(340)를 획득할 수 있다. 예를 들어, 도 3b를 참조하면, 전자 장치(100)는 대상 영역(320)에 포함된 "다른 고객이 많이 구매한 관련 상품"을 번역한 "Related products that other customers have bought a lot"을 포함하는 번역 정보(340)를 획득할 수 있다. 이때, 대상 영역(320) 이외의 영역에 포함된 텍스트는 번역되지 않을 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득된 번역 정보(340)를 제공할 수 있다. 예를 들어, 전자 장치(100)는 대상 영역(320)에 포함된 텍스트만이 번역된 번역 정보(340)를 다양한 형태로 제공할 수 있다.
도 4a 내지 도 4g는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 제1 애플리케이션의 화면(400) 내 특정 영역이 시간에 지남에 따라 변할 수 있다. 예를 들어, 도 4a를 참조하면, 제1 애플리케이션의 화면(400) 내 영역(410)에는 "깜작 쿠폰 챙기세요!"라는 텍스트와 함께 쿠폰 아이콘이 표시될 수 있다. 그러나, 도 4b를 참조하면, 시간이 지남에 따라, 영역(410)에는 "품절주의" 및 "1일 초특가"라는 텍스트가 표시될 수 있다. 이와 같이, 제1 애플리케이션의 화면(400) 내 특정 영역이 시간에 따라 변하는 경우, 해당 영역에 대한 추가적인 번역이 필요할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부 또는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션의 화면(400)에서 시간에 따라 변하는(time varying) 영역을 확인할 수 있다. 보다 구체적으로, 전자 장치(100)는 영역이 변하기 전 후의 캡처 이미지를 비교하여 시간에 따라 변하는 영역을 확인하거나, 사용자 입력에 기초하여 시간에 따라 변하는 영역을 확인할 수 있다.
예를 들어, 도 4c 및 도 4d를 참조하면, 전자 장치(100)는 영역(410)이 변하기 전의 화면(400)을 캡처한 이미지(420) 및 영역(410)이 변한 후의 화면(400)을 캡처한 이미지(430)를 획득할 수 있다. 이후, 전자 장치(100)는 이미지(420)와 이미지(430)를 비교하여 상이한 영역을 확인하고, 해당 영역을 시간에 따라 변하는 영역(410)으로 확인할 수 있다.
또는, 전자 장치(100)는 제1 애플리케이션의 화면(400)을 모니터링함으로써, 시간에 따라 변하는 영역을 확인할 수 있다. 보다 구체적으로, 전자 장치(100)는 제1 애플리케이션의 화면(400)에 대응하는 이미지(420)를 획득한 후, 제1 애플리케이션의 화면(400)을 모니터링할 수 있다. 전자 장치(100)는 이미지(420)를 획득했을 때의 화면(400)과 상이한 영역을 확인하고, 해당 영역을 시간에 따라 변하는 영역(410)으로 확인할 수 있다.
또는, 전자 장치(100)는 사용자 입력에 기초하여, 시간에 따라 변하는 영역을 확인할 수 있다. 보다 구체적으로, 전자 장치(100)는 제1 애플리케이션의 화면(400) 또는 제1 애플리케이션의 화면(400)에 대응하는 이미지(420)에서 시간에 따라 변하는 영역을 선택하는 사용자 입력을 획득하고, 선택된 영역을 시간에 따라 변하는 영역(410)으로 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 시간에 따라 변하는 영역에 대하여 번역할 것인지 여부를 확인할 수 있다. 예를 들어, 도 4e를 참조하면, 전자 장치(100)는 시간에 따라 변하는 영역에 대하여 번역할 것인지 여부를 문의하는 사용자 인터페이스(440)를 제공할 수 있다. 이후, 전자 장치(100)가 Yes 아이콘을 선택하는 사용자 입력을 획득한 경우, 전자 장치(100)는 이미지(430)에 대한 번역 정보(460)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지에 관한 정보를 기초로 이미지에 대한 번역 정보를 획득할 수 있다. 예를 들어, 도 4f를 참조하면, 전자 장치(100)는 제2 애플리케이션을 사용하여, 이미지(420)에 대한 번역 정보(450)를 획득할 수 있다. 또한, 도 4g를 참조하면, 전자 장치(100)는 제2 애플리케이션을 사용하여, 이미지(430)에 대한 번역 정보(460)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득된 번역 정보를 제공할 수 있다. 예를 들어, 전자 장치(100)는 제2 애플리케이션을 포그라운드에서 구동하여, 영역(410)이 변하긴 전에 캡처된 이미지(420)에 대한 번역 정보(450)를 제2 애플리케이션의 화면에 표시할 수 있다. 또는, 전자 장치(100)는 제2 애플리케이션을 포그라운드에서 구동하여, 영역(410)이 변한 후에 캡처된 이미지(430)에 대한 번역 정보(460)를 제2 애플리케이션의 화면에 표시할 수 있다.
도 5a 내지 도 5e는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 제1 애플리케이션의 화면(500) 내 특정 영역이 시간에 지남에 따라 변할 수 있다. 예를 들어, 도 5a를 참조하면, 제1 애플리케이션의 화면(500) 내 영역(520)에는 "깜작 쿠폰 챙기세요!"라는 텍스트와 함께 쿠폰 아이콘이 표시될 수 있다. 그러나, 도 5b를 참조하면, 시간이 지남에 따라, 영역(520)에는 "품절주의" 및 "1일 초특가"라는 텍스트가 표시될 수 있다. 이와 같이, 제1 애플리케이션의 화면(500) 내 특정 영역이 시간에 따라 변하는 경우, 해당 영역에 대한 추가적인 번역이 필요할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부 또는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션의 화면(500)에서 시간에 따라 변하는 영역을 확인할 수 있다. 전자 장치(100)가 시간에 따라 변하는 영역을 확인하는 구체적인 동작은 도 4a 내지 도 4g와 관련하여 기술된 내용과 중복되므로 생략하기로 한다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지(540)에 관한 정보를 기초로 이미지(540)에 대한 번역 정보(560)를 획득할 수 있다. 예를 들어, 도 5d를 참조하면, 전자 장치(100)는 제2 애플리케이션을 사용하여, 이미지(540)에 대한 번역 정보(560)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득된 번역 정보를 제공할 수 있다. 이때, 전자 장치(100)는 시간에 따라 변하는 영역에 대한 번역 정보를 설정된 방법으로 표시할 수 있다. 예를 들어, 도 5e를 참조하면, 전자 장치(100)는 제2 애플리케이션을 포그라운드에서 구동하여, 이미지(540)에 대한 번역 정보(560)를 제2 애플리케이션의 화면(580)에 표시하면서, 시간에 따라 변하는 영역(520)을 하이라이트로 표시할 수 있다. 다만, 전자 장치(100)가 시간에 따라 변하는 영역에 대한 번역 정보를 표시하는 방법은 전술한 바에 한정되지 않는다.
도 6a 내지 도 6f는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 전자 장치(100)는 스크롤 가능한 페이지의 일부를 제1 애플리케이션의 화면(600)에 표시할 수 있다. 예를 들어, 도 6a를 참조하면, 전자 장치(100)는 "비타민 d"를 검색했을 때의 검색 결과 페이지의 상단 부분을 제1 애플리케이션의 화면(600)에 표시할 수 있다. 또한, 도 6b를 참조하면, 스크롤 바를 내리는 사용자의 입력을 획득함에 따라, 전자 장치(100)는 "비타민 d"를 검색했을 때의 검색 결과 페이지의 하단 부분을 제1 애플리케이션의 화면(600)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부 또는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 스크롤 가능한 페이지를 스크롤 캡처한 이미지를 획득할 수 있다. 이때, 스크롤 캡처(scroll capture)는 스크롤 바를 이동하면서 페이지를 캡처하는 이미지 획득 방법으로, 단말의 화면보다 크기가 큰 페이지를 캡처하기 위해 사용될 수 있다.
예를 들어, 도 6c를 참조하면, 전자 장치(100)는 "비타민 d"를 검색했을 때의 검색 결과 페이지를 스크롤 캡처한 이미지(620)를 획득할 수 있다. 그에 따라, 전자 장치(100)는 제1 애플리케이션의 화면(600)보다 큰 이미지(620)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지(620)에 관한 정보를 기초로 이미지(620)에 대한 번역 정보(640)를 획득할 수 있다. 예를 들어, 도 6d를 참조하면, 전자 장치(100)는 제2 애플리케이션을 사용하여, 이미지(620)에 대한 번역 정보(640)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득된 번역 정보를 제공할 수 있다. 이때, 전자 장치(100)는 페이지의 스크롤에 따라 제1 애플리케이션의 화면(600)에 표시된 페이지 내 영역에 대응하는 번역 정보를 제2 애플리케이션의 화면(660)에 제공할 수 있다.
예를 들어, 도 6e를 참조하면, 전자 장치(100)는 제1 애플리케이션의 화면(600)에 표시된, "비타민 d"를 검색했을 때의 검색 결과 페이지의 상단 부분에 대응하는 번역 정보를 제2 애플리케이션의 화면(660)에 표시할 수 있다. 또한, 도 6f를 참조하면, 제1 애플리케이션의 화면(600)에 포함된 스크롤 바를 내리는 사용자의 입력을 획득함에 따라, 전자 장치(100)는 제1 애플리케이션의 화면(600)에 표시된, "비타민 d"를 검색했을 때의 검색 결과 페이지의 하단 부분에 대응하는 번역 정보를 제2 애플리케이션의 화면(660)에 표시할 수 있다.
이때, 전자 장치(100)는 사용자의 편의를 위해 번역 정보 내 바 아이콘(680)을 하이라이트로 표시할 수 있다. 다만, 번역 정보 내 표시되는 요소 및 상기 요소를 표시하기 위한 방법은 이와 다르게 설정될 수 있으며, 사용자 입력 등에 따라 변경될 수 있다.
도 7a 내지 도 7e는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션을 실행하고 제1 애플리케이션의 화면(700)을 표시할 수 있다. 예를 들어, 도 7a를 참조하면, 전자 장치(100)는 제1 애플리케이션의 홈 페이지를 제1 애플리케이션의 화면(700)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부 또는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 업데이트됨에 따라 획득된 이미지에 대응하는 페이지가 변경되었는지 여부를 확인할 수 있다. 예를 들어, 도 7b를 참조하면, 제1 애플리케이션의 홈 페이지에 대응하는 이미지에 관한 정보가 획득된 것으로 확인된 후, 전자 장치(100)는 제1 애플리케이션이 업데이트됨에 따라 홈 페이지가 변경되었는지 여부를 확인할 수 있다. 전자 장치(100)는 제1 애플리케이션이 업데이트됨에 따라, 홈 페이지의 영역(720)에 기재된 텍스트가 "추석 최대 70%"에서 "신규회원님 반값 쿠폰 받으세요"라고 변경되면서 쿠폰 아이콘이 추가된 것을 확인할 수 있다.
일 실시 예에 따르면, 획득된 이미지에 대응하는 페이지가 변경된 것으로 확인됨에 따라, 전자 장치(100)는 변경된 페이지에 대응하는 이미지를 번역할 것인지 여부를 확인할 수 있다. 예를 들어, 도 7c를 참조하면, 전자 장치(100)는 제1 애플리케이션이 업데이트됨에 따라 홈 페이지의 일부가 변경되었음을 알리고, 그에 따라 이미지를 번역할 것인지 여부를 문의하는 사용자 인터페이스(740)를 표시할 수 다.
일 실시 예에 따르면, 전자 장치(100)는 변경된 페이지에 대응하는 이미지(760)를 획득할 수 있다. 예를 들어, 도 7d를 참조하면, 전자 장치(100)가 사용자 인터페이스(740)에서 Yes 아이콘을 선택하는 사용자 입력을 획득한 경우, 전자 장치(100)는 변경된 홈페이지를 캡처한 이미지(760)를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지(760)에 관한 정보를 기초로 이미지(760)에 대한 번역 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 제2 애플리케이션을 사용하여, 이미지(760)에 대한 번역 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득된 번역 정보를 제공할 수 있다. 이때, 전자 장치(100)는 제1 애플리케이션이 업데이트됨에 따라 변경된 영역에 대한 번역 정보를 설정된 방법으로 표시할 수 있다. 예를 들어, 도 7e를 참조하면, 전자 장치(100)는 제2 애플리케이션을 포그라운드에서 구동하여, 이미지(760)에 대한 번역 정보를 제2 애플리케이션의 화면(780)에 표시하면서, 제1 애플리케이션이 업데이트됨에 따라 변경된 영역(720)을 하이라이트로 표시할 수 있다.
도 8a 내지 도 8b는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션을 실행하고 제1 애플리케이션의 화면(800)을 표시할 수 있다. 예를 들어, 도 8a를 참조하면, 전자 장치(100)는 제1 애플리케이션의 홈 페이지를 제1 애플리케이션의 화면(800)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부 또는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 이미지에 관한 정보가 획득된 것으로 확인됨에 따라, 전자 장치(100)는 이미지를 번역할 것인지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 이미지를 번역할 것인지 것인지를 문의하는 사용자 인터페이스를 제공하거나, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 타입의 입력이 획득되었는지 여부를 확인함으로써, 이미지를 번역할 것인지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지에 관한 정보를 기초로 이미지에 대한 번역 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 이미지에 포함된 제1 언어의 텍스트를 제2 언어로 직접 번역하거나, 이미지에 대한 번역 요청을 외부 서버로 송신하고, 이미지에 대한 번역 정보를 외부 서버로부터 수신함으로써, 이미지에 대한 번역 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션의 컨텐츠와 함께 획득된 번역 정보를 제공할 수 있다. 예를 들어, 도 8b를 참조하면, 전자 장치(100)는 홈페이지를 제1 애플리케이션의 화면(800)에 표시하면서, 제2 언어로 번역된 텍스트를 대응하는 제1 언어의 텍스트 위에 표시할 수 있다. 이때, 전자 장치(100)는 사용자가 제2 언어로 번역된 텍스트에 대응하는 제1 언어의 텍스트가 무엇인지 확인할 수 있도록 제2 언어로 번역된 텍스트의 투명도를 조절할 수 있다.
도 9a 내지 도 9c는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션을 실행하고 제1 애플리케이션의 화면(900)을 표시할 수 있다. 예를 들어, 도 9a를 참조하면, 전자 장치(100)는 제1 애플리케이션의 홈 페이지를 제1 애플리케이션의 화면(900)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부 또는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 이미지에 관한 정보가 획득된 것으로 확인됨에 따라, 전자 장치(100)는 이미지를 번역할 것인지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 이미지를 번역할 것인지 것인지를 문의하는 사용자 인터페이스를 제공하거나, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 타입의 입력이 획득되었는지 여부를 확인함으로써, 이미지를 번역할 것인지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지에 관한 정보를 기초로 이미지에 대한 번역 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 이미지에 포함된 제1 언어의 텍스트를 제2 언어로 직접 번역하거나, 이미지에 대한 번역 요청을 외부 서버로 송신하고, 이미지에 대한 번역 정보를 외부 서버로부터 수신함으로써, 이미지에 대한 번역 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션의 컨텐츠와 함께 획득된 번역 정보를 제공할 수 있다. 예를 들어, 도 9b를 참조하면, 전자 장치(100)는 홈페이지를 제1 애플리케이션의 화면(900)에 표시하면서, 제1 언어의 텍스트 옆에 말풍선 아이콘(920)을 표시할 수 있다. 다만, 제1 언어의 텍스트 옆에 표시되는 아이콘의 모양은 일 실시 예에 불과하며, 전술한 바에 한정되지 않는다.
일 실시 예에 따르면, 말풍선 아이콘(920)을 선택하는 사용자 입력을 획득한 경우, 전자 장치(100)가 선택된 말풍선 아이콘(920)에 대응하는 번역 정보를 제공할 수 있다. 예를 들어, 도 9c를 참조하면, 전자 장치(100)는 선택된 말풍선 아이콘(920)에 대응하는 제1 언어의 텍스트를 번역한 제2 언어의 텍스트를 포함하는 말풍선 아이콘(940)을 제1 언어의 텍스트 옆에 표시할 수 있다. 다만, 제1 언어의 텍스트 옆에 표시되는 아이콘의 모양은 일 실시 예에 불과하며, 전술한 바에 한정되지 않는다.
도 10a 내지 도 10d는 일 실시 예에 따라 전자 장치(100)가 번역 정보를 제공하는 과정을 설명하기 위한 도면이다. 도 2a 내지 도 2g와 중복되는 내용은 간략히 설명하거나 생략하기로 한다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션을 실행하고 제1 애플리케이션의 화면(1000)을 표시할 수 있다. 예를 들어, 도 10a를 참조하면, 전자 장치(100)는 "비타민 d"를 검색했을 때의 검색 결과 페이지의 일부를 제1 애플리케이션의 화면(1000)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부 또는 이미지 캡처 기능이 활성화되었는지 여부에 기초하여, 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 이미지에 관한 정보가 획득된 것으로 확인됨에 따라, 전자 장치(100)는 이미지를 번역할 것인지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 이미지를 번역할 것인지 것인지를 문의하는 사용자 인터페이스를 제공하거나, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 타입의 입력이 획득되었는지 여부를 확인함으로써, 이미지를 번역할 것인지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지에 관한 정보를 기초로 이미지에 대한 번역 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 이미지에 포함된 제1 언어의 텍스트를 제2 언어로 직접 번역하거나, 이미지에 대한 번역 요청을 외부 서버로 송신하고, 이미지에 대한 번역 정보를 외부 서버로부터 수신함으로써, 이미지에 대한 번역 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득된 번역 정보를 제공할 수 있다. 예를 들어, 도 10b를 참조하면, 전자 장치(100)는 제2 애플리케이션을 포그라운드에서 구동하여, 이미지에 대한 번역 정보를 제2 애플리케이션의 화면(1020)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 번역 정보 내 제1 영역에 대한 설정된 입력을 획득할 수 있다. 예를 들어, 도 10b를 참조하면, 전자 장치(100)는 제2 애플리케이션의 화면(1020)에 표시된 번역 정보 내 특정 상품이 표시된 영역(1040)을 선택하는 사용자 입력을 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 설정된 입력에 기초하여, 제1 영역에 대응하는 제1 애플리케이션의 내 제2 영역을 확인할 수 있다. 예를 들어, 도 10c를 참조하면, 전자 장치(100)는 제2 애플리케이션의 화면(1020)에서 선택된 영역(1040)의 좌표값을 확인하고, 제1 애플리케이션의 화면(1000)에서 영역(1040)의 좌표값과 동일한 좌표 값을 갖는 영역(1060)을 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제2 영역에 대응하는 페이지를 제공할 수 있다. 예를 들어, 도 10d를 참조하면, 전자 장치(100)는 제1 애플리케이션을 포그라운드에서 구동하여, 영역(1060)에 표시된 특정 상품에 관한 상품 디테일 페이지를 제1 애플리케이션의 화면(1000)에 표시할 수 있다.
도 11은 일 실시 예에 따른 전자 장치의 번역 정보 제공 방법의 흐름도를 나타낸다. 중복되는 내용에 대해서는 전술한 기재가 적용될 수 있다.
S1100 단계에서, 전자 장치는 제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인할 때, 설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부를 확인할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인할 때, 이미지 캡처 기능이 활성화되었는지 여부를 확인할 수 있다.
S1120 단계에서, 전자 장치는 이미지에 관한 정보가 획득된 경우, 이미지에 대한 번역 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치는 이미지에 대한 번역 정보를 획득할 할 때, 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 이미지에 관한 정보를 기초로 번역 정보를 획득할 수 있다.
일 실시 예에 따르면, 번역 정보는, 이미지에 포함된 제1 언어의 제1 텍스트를 기초로 획득된 제2 언어의 제2 텍스트를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 이미지에 대한 번역 정보를 획득할 때, 이미지를 번역할 것인지를 문의하는 사용자 인터페이스(user interface, UI)를 제공할 수 있다.
일 실시 예에 따르면, 전자 장치는 이미지에 대한 번역 정보를 획득할 때, 이미지를 번역할 언어에 대하여 문의하는 사용자 인터페이스를 제공할 수 있다.
일 실시 예에 따르면, 전자 장치는 이미지에 대한 번역 정보를 획득할 때, 이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 제1 타입의 입력이 획득되었는지 여부를 확인할 수 있다. 이때, 제1 타입의 입력은 이미지의 캡처를 요청하는 제2 타입의 입력과 상이할 수 있다.
S1140 단계에서, 전자 장치는 획득된 번역 정보를 제공할 수 있다.
일 실시 예에 따르면, 전자 장치는 이미지 내 대상 영역에 대한 번역 요청을 획득할 수 있다. 그에 따라, 번역 정보는 대상 영역에 대한 번역 정보를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 이미지 내 시간에 따라 변하는(time varying) 영역을 확인할 수 있다. 이후, 전자 장치는 시간에 따라 변하는 영역에 대하여 번역할 것인지 여부를 확인하고, 시간에 따라 변하는 영역에 대한 번역 요청을 획득할 수 있다. 이때, 번역 정보는 시간에 따라 변하는 영역에 대한 번역 정보를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 이미지 내 시간에 따라 변하는(time varying) 영역을 확인할 수 있다. 이때, 시간에 따라 변하는 영역에 대한 번역 정보가 설정된 방법으로 표시될 수 있다.
일 실시 예에 따르면, 이미지는 스크롤 가능한 페이지를 스크롤 캡처한 이미지를 포함할 수 있다. 이에 따라, 전자 장치는 번역 정보를 제공할 때, 페이지의 스크롤에 따라 화면에 표시된 페이지 내 영역에 대응하는 번역 정보를 페이지와 함께 제공할 수 있다.
일 실시 예에 따르면, 이미지는 제1 애플리케이션의 페이지를 캡처한 이미지를 포함할 수 있다. 이에 따라, 전자 장치는 제1 애플리케이션이 업데이트됨에 따라 페이지가 변경되었는지 여부를 확인하고, 페이지가 변경된 것으로 확인됨에 따라, 변경된 페이지에 대응하는 이미지를 번역할 것인지 여부를 확인할 수 있다. 전자 장치는 변경된 페이지에 대응하는 이미지를 번역하는 것으로 확인됨에 따라, 변경된 페이지에 대응하는 이미지에 관한 정보를 획득할 수 있다. 이후, 전자 장치는 변경된 페이지에 대응하는 이미지에 대한 번역 정보를 획득하고, 변경된 페이지에 대응하는 이미지에 대한 번역 정보를 제공할 수 있다.
일 실시 예에 따르면, 획득된 번역 정보는 제1 애플리케이션의 컨텐츠 위에 표시될 수 있다.
일 실시 예에 따르면, 전자 장치는 번역 정보 내 제1 영역에 대한 설정된 입력을 획득하고, 설정된 입력에 기초하여, 제1 영역에 대응하는 제1 애플리케이션의 내 제2 영역을 확인할 수 있다. 이후, 전자 장치는 제2 영역에 대응하는 페이지를 제공할 수 있다.
일 실시 예에 따르면, 이미지에 관한 정보와 번역 정보의 크기가 상이한 경우, 번역 정보 내 설정된 요소가 설정된 방법으로 표시될 수 있다.
도 12는 일 실시 예에 따른 전자 장치(100)의 블록도를 나타낸다.
전자 장치(100)는 일 실시 예에 따라, 통신부(communication device)(1220), 메모리(1240) 및 제어부(controller)(1260)를 포함할 수 있다. 도 12에 도시된 전자 장치(100)는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 12에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 전자 장치(100)는 전술한 서버에 관한 내용을 포함할 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다. 실시 예에서 통신부는 하나 이상의 트랜시버(transceiver)를 포함할 수 있다. 또한, 실시 예에서 제어부는 하나 이상의 프로세서(processor)를 포함할 수 있다.
통신부(1220)는 유/무선 통신을 수행하기 위한 장치로서, 외부의 전자 장치와 통신할 수 있다. 외부의 전자 장치는 단말 또는 서버가 될 수 있다. 또한, 통신부(1220)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있을 수 있다.
제어부(1260)는 전자 장치(100)의 전반의 동작을 제어하고 데이터 및 신호를 처리할 수 있다. 제어부(1260)는 적어도 하나의 하드웨어 유닛으로 구성될 수 있다. 또한, 제어부(1260)는 메모리(1240)에 저장된 프로그램 코드를 실행하여 생성되는 하나 이상의 소프트웨어 모듈에 의해 동작할 수 있다. 제어부(1260)는 프로세서 및 메모리를 포함할 수 있는 바, 프로세서는 메모리에 저장된 프로그램 코드를 실행하여 전자 장치(100)의 전반의 동작을 제어하고 데이터 및 신호를 처리할 수 있다. 또한 실시 예에서 제어부(1260)는 적어도 하나의 프로세서를 포함할 수 있다.
제어부(1260)는 제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인하고, 이미지에 관한 정보가 획득된 경우, 이미지에 대한 번역 정보를 획득하고, 획득된 번역 정보를 제공할 수 있다.
전술한 실시 예들에 따른 전자 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
전술한 실시 예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시 예들이 구현될 수 있다.

Claims (19)

  1. 전자 장치의 번역 정보 제공 방법에 있어서,
    제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인하는 단계;
    상기 이미지에 관한 정보가 획득된 경우, 상기 이미지에 대한 번역 정보를 획득하는 단계; 및
    상기 획득된 번역 정보를 제공하는 단계를 포함하는, 번역 정보 제공 방법.
  2. 제1 항에 있어서, 상기 번역 정보를 획득하는 단계는,
    상기 제1 애플리케이션이 활성화된 상태에서 백그라운드에서 구동되는 제2 애플리케이션을 사용하여, 상기 이미지에 관한 정보를 기초로 상기 번역 정보를 획득하는 단계를 포함하는, 번역 정보 제공 방법.
  3. 제1 항에 있어서, 상기 번역 정보는,
    상기 이미지에 포함된 제1 언어의 제1 텍스트를 기초로 획득된 제2 언어의 제2 텍스트를 포함하는, 번역 정보 제공 방법.
  4. 제1 항에 있어서, 상기 이미지에 관한 정보가 획득되었는지 여부를 확인하는 단계는,
    설정된 저장소에 새로운 이미지 파일이 생성되었는지 여부를 확인하는 단계를 포함하는, 번역 정보 제공 방법.
  5. 제1 항에 있어서, 상기 이미지에 관한 정보가 획득되었는지 여부를 확인하는 단계는,
    이미지 캡처 기능이 활성화되었는지 여부를 확인하는 단계를 포함하는, 번역 정보 제공 방법.
  6. 제1 항에 있어서, 상기 이미지에 대한 번역 정보를 획득하는 단계는,
    상기 이미지를 번역할 것인지를 문의하는 사용자 인터페이스(user interface, UI)를 제공하는 단계를 포함하는, 번역 정보 제공 방법.
  7. 제1 항에 있어서, 상기 이미지에 대한 번역 정보를 획득하는 단계는,
    상기 이미지를 번역할 언어에 대하여 문의하는 사용자 인터페이스를 제공하는 단계를 포함하는, 번역 정보 제공 방법.
  8. 제1 항에 있어서, 상기 이미지에 대한 번역 정보를 획득하는 단계는,
    이미지를 캡처하고 캡처된 이미지의 번역을 요청하는 제1 타입의 입력이 획득되었는지 여부를 확인하는 단계를 포함하고,
    상기 제1 타입의 입력은 이미지의 캡처를 요청하는 제2 타입의 입력과 상이한, 번역 정보 제공 방법.
  9. 제1 항에 있어서,
    상기 번역 정보 제공 방법은 상기 이미지 내 대상 영역에 대한 번역 요청을 획득하는 단계를 더 포함하고,
    상기 번역 정보는 상기 대상 영역에 대한 번역 정보를 포함하는, 번역 정보 제공 방법.
  10. 제1 항에 있어서,
    상기 이미지 내 시간에 따라 변하는(time varying) 영역을 확인하는 단계를 더 포함하는, 번역 정보 제공 방법.
  11. 제10 항에 있어서, 상기 번역 정보 제공 방법은,
    상기 시간에 따라 변하는 영역에 대하여 번역할 것인지 여부를 확인하는 단계; 및
    상기 시간에 따라 변하는 영역에 대한 번역 요청을 획득하는 단계를 더 포함하고,
    상기 번역 정보는 상기 시간에 따라 변하는 영역에 대한 번역 정보를 포함하는, 번역 정보 제공 방법.
  12. 제10 항에 있어서,
    상기 시간에 따라 변하는 영역에 대한 번역 정보가 설정된 방법으로 표시되는, 번역 정보 제공 방법.
  13. 제1 항에 있어서,
    상기 이미지는 스크롤 가능한 페이지를 스크롤 캡처한 이미지를 포함하고,
    상기 이미지의 번역 정보를 제공하는 단계는 상기 페이지의 스크롤에 따라 화면에 표시된 상기 페이지 내 영역에 대응하는 번역 정보를 상기 페이지와 함께 제공하는 단계를 포함하는, 번역 정보 제공 방법.
  14. 제1 항에 있어서,
    상기 이미지는 상기 제1 애플리케이션의 페이지를 캡처한 이미지를 포함하고,
    상기 번역 정보 제공 방법은,
    상기 제1 애플리케이션이 업데이트됨에 따라 상기 페이지가 변경되었는지 여부를 확인하는 단계;
    상기 페이지가 변경된 것으로 확인됨에 따라, 상기 변경된 페이지에 대응하는 이미지를 번역할 것인지 여부를 확인하는 단계;
    상기 변경된 페이지에 대응하는 이미지를 번역하는 것으로 확인됨에 따라, 상기 변경된 페이지에 대응하는 이미지에 관한 정보를 획득하는 단계;
    상기 변경된 페이지에 대응하는 이미지에 대한 번역 정보를 획득하는 단계; 및
    상기 변경된 페이지에 대응하는 이미지에 대한 번역 정보를 제공하는 단계를 포함하는, 번역 정보 제공 방법.
  15. 제1 항에 있어서, 상기 획득된 번역 정보는,
    상기 제1 애플리케이션의 컨텐츠 위에 표시되는, 번역 정보 제공 방법.
  16. 제1 항에 있어서,
    상기 번역 정보 내 제1 영역에 대한 설정된 입력을 획득하는 단계;
    상기 설정된 입력에 기초하여, 상기 제1 영역에 대응하는 상기 제1 애플리케이션의 내 제2 영역을 확인하는 단계; 및
    상기 제2 영역에 대응하는 페이지를 제공하는 단계를 더 포함하는, 번역 정보 제공 방법.
  17. 제1 항에 있어서,
    상기 이미지에 관한 정보와 상기 번역 정보의 크기가 상이한 경우, 상기 번역 정보 내 설정된 요소가 설정된 방법으로 표시되는, 번역 정보 제공 방법.
  18. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체.
  19. 전자 장치로서,
    통신부;
    메모리; 및
    제어부(controller)를 포함하고, 상기 제어부는,
    제1 애플리케이션에 대응하는 이미지에 관한 정보가 획득되었는지 여부를 확인하고,
    상기 이미지에 관한 정보가 획득된 경우, 상기 이미지에 대한 번역 정보를 획득하고,
    상기 획득된 번역 정보를 제공하는, 전자 장치.
PCT/KR2022/013802 2022-09-13 2022-09-15 전자 장치 및 그의 번역 정보 제공 방법 WO2024058288A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0114924 2022-09-13
KR1020220114924A KR20240036294A (ko) 2022-09-13 2022-09-13 전자 장치 및 그의 번역 정보 제공 방법

Publications (1)

Publication Number Publication Date
WO2024058288A1 true WO2024058288A1 (ko) 2024-03-21

Family

ID=90275344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013802 WO2024058288A1 (ko) 2022-09-13 2022-09-15 전자 장치 및 그의 번역 정보 제공 방법

Country Status (3)

Country Link
KR (1) KR20240036294A (ko)
TW (1) TW202429330A (ko)
WO (1) WO2024058288A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256097A (ja) * 2011-06-07 2012-12-27 Sharp Corp 表示画像キャプチャ翻訳装置、表示画像キャプチャ翻訳方法、及びプログラム
KR20160071144A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR102135358B1 (ko) * 2013-11-05 2020-07-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20210034867A (ko) * 2019-09-23 2021-03-31 네이버 주식회사 장문 번역 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256097A (ja) * 2011-06-07 2012-12-27 Sharp Corp 表示画像キャプチャ翻訳装置、表示画像キャプチャ翻訳方法、及びプログラム
KR102135358B1 (ko) * 2013-11-05 2020-07-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20160071144A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR20210034867A (ko) * 2019-09-23 2021-03-31 네이버 주식회사 장문 번역 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DINERO: "Image translation available! Chrome automatic translation program "COPYFISH"", NAVER BLOG, NAVER, KOREA, Korea, XP009554794, Retrieved from the Internet <URL:https://blog.naver.com/newthang92/222296105418> *

Also Published As

Publication number Publication date
TW202429330A (zh) 2024-07-16
KR20240036294A (ko) 2024-03-20

Similar Documents

Publication Publication Date Title
WO2015037851A1 (ko) 스크린 샷 처리 디바이스 및 그 방법
WO2015119480A1 (en) User terminal device and displaying method thereof
WO2016052875A1 (en) Display apparatus and control method thereof
WO2014088230A1 (en) Method and mobile terminal for controlling bluetooth low energy device
WO2013118988A1 (en) Method and apparatus for interoperably performing services and system supporting the same
WO2014157914A1 (en) Apparatus and method of controlling screens in a device
WO2016114609A1 (en) Electronic device and method of processing information in electronic device
WO2014088231A1 (en) Information providing method and mobile terminal therefor
WO2011099808A2 (en) Method and apparatus for providing a user interface
EP3105649A1 (en) User terminal device and displaying method thereof
EP3500947A1 (en) Language translation device and language translation method
WO2019039739A1 (en) DISPLAY APPARATUS AND METHOD FOR CONTROLLING THE SAME
WO2016099192A1 (en) Text-based content management method and apparatus of electronic device
WO2015167236A1 (en) Electronic device and method for providing emergency video call service
EP3345384A1 (en) Display apparatus and control method thereof
WO2014119878A1 (en) Scrolling method and electronic device thereof
WO2017148142A1 (zh) 桌面图标文件夹的名称切换方法、装置及电子设备
WO2017034178A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2017135776A1 (en) Display apparatus, user terminal apparatus, system, and controlling method thereof
WO2017065582A1 (en) Electronic device sharing content with an external device and method for sharing content thereof
WO2021162323A1 (ko) 전자 장치 및 상기 전자 장치를 이용한 콘텐츠 운용 방법
WO2013191408A1 (en) Method for improving touch recognition and electronic device thereof
WO2015020259A1 (ko) 다국어 변환이 용이한 스마트기기
WO2024058288A1 (ko) 전자 장치 및 그의 번역 정보 제공 방법
WO2021107297A2 (ko) 서비스 요청 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958891

Country of ref document: EP

Kind code of ref document: A1