Nothing Special   »   [go: up one dir, main page]

WO2021020239A1 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
WO2021020239A1
WO2021020239A1 PCT/JP2020/028299 JP2020028299W WO2021020239A1 WO 2021020239 A1 WO2021020239 A1 WO 2021020239A1 JP 2020028299 W JP2020028299 W JP 2020028299W WO 2021020239 A1 WO2021020239 A1 WO 2021020239A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
display target
setting
target image
Prior art date
Application number
PCT/JP2020/028299
Other languages
English (en)
French (fr)
Inventor
徹 小木曽
雅人 光武
幸代 青木
路子 松村
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2021536975A priority Critical patent/JP7267429B2/ja
Priority to US17/627,135 priority patent/US20220254321A1/en
Publication of WO2021020239A1 publication Critical patent/WO2021020239A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Definitions

  • the present invention relates to a display control device, a display control method, and a program.
  • the edge of the image to be displayed may be cut off due to overscan and may not be displayed. Therefore, the developer of an application program such as a game needs to implement the safe area in consideration so that the information to be displayed is arranged in the safe area where the display is guaranteed even if the overscan occurs. Moreover, since the size of the safe area differs depending on the display, it is difficult to consciously implement an appropriate display for all displays only by the application.
  • the present invention has been made in view of the above circumstances, and one of the objects thereof is to provide a display control device, a display control method, and a program that allow a developer to implement an application program without being aware of a safe area. It is in.
  • the display control device includes an image acquisition unit that acquires an image drawn in a frame buffer by an application program, a specific unit that specifies a safe area setting in the display unit, and the above. It includes an image generation unit that generates a display target image including the image having a size corresponding to a setting, and a display control unit that displays the display target image on the display unit.
  • the image generation unit is a first image drawn in a first frame buffer having a size corresponding to the setting, and a second image drawn in a second frame buffer. Is a superposed image, and the display target image is generated.
  • the image generation unit controls whether or not to generate the display target image including the image having a size corresponding to the setting in response to the received instruction.
  • the image generation unit has a first image based on the image drawn in the first frame buffer by the first application program and a second image based on the image drawn in the second frame buffer by the second application program.
  • the display target image which is an image on which the image and the image are superimposed, is generated, and the image generation unit may or may not generate the display target image including the image having a size corresponding to the setting.
  • the first image is arranged at a given position in the display target image with a given size, and the image generation unit partially includes the image having a size corresponding to the setting.
  • the area in the display target image in which the pixels of the first image are reflected is changed depending on whether or not an image is generated.
  • the display control method includes a step of acquiring an image drawn in a frame buffer by an application program, a step of specifying a safe area setting in the display unit, and the image having a size corresponding to the setting. It includes a step of generating a display target image included in a part thereof and a step of displaying the display target image on the display unit.
  • the program according to the present invention includes a procedure for acquiring an image drawn in the frame buffer by an application program, a procedure for specifying a safe area setting in the display unit, and the image having a size corresponding to the setting.
  • a computer is made to execute a procedure for generating a display target image and a procedure for displaying the display target image on the display unit.
  • FIG. 1 is a diagram showing an example of the configuration of the entertainment system 10 according to the embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of the configuration of the entertainment device 12 according to the present embodiment.
  • the entertainment system 10 includes an entertainment device 12, a display 14, and a controller 16.
  • the entertainment device 12 is a computer such as a game console, a DVD player, a Blu-ray (registered trademark) player, or the like.
  • the entertainment device 12 according to the present embodiment generates video and audio by executing a game program, playing back content, or the like, which is stored or recorded on an optical disc, for example. Then, the entertainment device 12 according to the present embodiment outputs a video signal representing the generated video and an audio signal representing the generated audio to the display 14.
  • the entertainment device 12 includes, for example, as shown in FIG. 2, a processor 20, a storage unit 22, a communication unit 24, an input / output unit 26, and a display controller 28.
  • the processor 20 is, for example, a program control device such as a CPU that operates according to a program installed in the entertainment device 12.
  • the processor 20 according to the present embodiment also includes a GPU (Graphics Processing Unit) that draws an image in a frame buffer based on graphics commands and data supplied from the CPU.
  • GPU Graphics Processing Unit
  • the storage unit 22 is, for example, a storage element such as a ROM or RAM, a hard disk drive, or the like.
  • a program or the like executed by the processor 20 is stored in the storage unit 22. Further, in the storage unit 22 according to the present embodiment, an area of a frame buffer in which an image is drawn by the GPU is secured.
  • the communication unit 24 is, for example, a communication interface such as a wireless LAN module.
  • the input / output unit 26 is an input / output port such as an HDMI (registered trademark) (High-Definition Multimedia Interface) port and a USB port.
  • HDMI registered trademark
  • USB Universal Serial Bus
  • the display controller 28 is a hardware device that performs image scaling, image quality adjustment such as image color conversion, and image composition.
  • the display 14 according to the present embodiment is, for example, a display unit of a liquid crystal display or the like, and displays an image represented by a video signal output from the entertainment device 12. Further, the display 14 according to the present embodiment includes a speaker. The speaker outputs the sound represented by the sound signal output from the entertainment device 12.
  • the entertainment device 12 and the display 14 are connected via, for example, an HDMI cable or the like.
  • the controller 16 according to the present embodiment is an operation input device for performing operation input to the entertainment device 12.
  • the user can perform various operation inputs using the controller 16 by pressing the direction keys and buttons included in the controller 16 and tilting the operation stick.
  • the controller 16 outputs the input data associated with the operation input to the entertainment device 12.
  • the controller 16 according to the present embodiment includes a USB port.
  • the controller 16 can output the input data to the entertainment device 12 by wire by connecting to the entertainment device 12 with a USB cable.
  • the controller 16 according to the present embodiment is provided with a wireless communication module or the like, and can wirelessly output input data to the entertainment device 12.
  • a video corresponding to the execution status of the application program is generated.
  • a video showing the game play status is generated.
  • FIG. 3 is a diagram showing an example of a drawn image 30 corresponding to a frame image included in the video generated by the entertainment device 12.
  • the processor 20 generates a drawn image 30 by executing an application program such as a game program. Then, the drawn image 30 is drawn in the area of the frame buffer provided in the storage unit 22.
  • the display controller 28 reads the drawn image 30 drawn in the frame buffer from the frame buffer and generates the display target image 32 shown in FIG. 4 based on the drawn image 30.
  • the display target image 32 shown in FIG. 4 shows a display area 34 corresponding to a safe area set on the display 14.
  • the display controller 28 resizes and arranges the drawn image 30 in the display area 34, and determines a predetermined black color or the like in the non-display target area 36 which is a frame-shaped area outside the display area 34.
  • the display target image 32 is generated by arranging the color pixels.
  • the drawn image 30 may be arranged in the display area 34 without being resized.
  • the display controller 28 outputs the display target image 32 to the display 14 via the input / output unit 26.
  • the edge of the drawn image 30 may be cut off and not displayed depending on the size of the safe area of the display 14. For example, in reality, only the actual display image that is a part of the drawn image 30 may be displayed on the display 14.
  • the display target image 32 generated based on the drawn image 30 is displayed on the display 14. Therefore, even if an overscan occurs and only the actual display image arranged in the display area 34, which is a part of the display target image 32, is displayed, all the contents of the drawn image 30 are displayed on the display 14.
  • the process of generating the display target image 32 as shown in FIG. 4 will be referred to as an autoscale process.
  • FIG. 5 is a functional block diagram showing an example of the functions implemented in the entertainment device 12 according to the present embodiment. It should be noted that the entertainment device 12 according to the present embodiment does not need to be equipped with all the functions shown in FIG. 5, and may be provided with functions other than the functions shown in FIG.
  • the entertainment device 12 includes an image storage unit 40, an image acquisition unit 42, a safe area setting identification unit 44, a necessity setting unit 46, an image generation unit 48, and a display control unit. 50 is included.
  • the image storage unit 40 mainly mounts the storage unit 22.
  • the image acquisition unit 42, the safe area setting identification unit 44, and the image generation unit 48 are mainly mounted with the display controller 28.
  • the necessity setting unit 46 mainly mounts the processor 20 and the storage unit 22.
  • the display control unit 50 mainly mounts a storage unit 22, an input / output unit 26, and a display controller 28.
  • the above functions may be implemented by executing the program including the instructions corresponding to the above functions installed in the entertainment device 12 which is a computer on the processor 20 or the display controller 28.
  • This program may be supplied to the entertainment device 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the image storage unit 40 stores, for example, the drawn image 30.
  • the image stored in the frame buffer area reserved in the storage unit 22 corresponds to the drawn image 30 stored in the image storage unit 40.
  • a new drawn image 30 is stored in the frame buffer included in the image storage unit 40 at a predetermined frame rate.
  • the image acquisition unit 42 acquires, for example, the drawn image 30 stored in the image storage unit 40.
  • the image acquisition unit 42 acquires the drawn image 30 stored in the frame buffer.
  • the safe area setting specifying unit 44 specifies, for example, the setting of the safe area on the display 14.
  • the safe area setting specifying unit 44 may specify, for example, the setting of the size of the safe area set according to the operation of the user. Further, the safe area setting specifying unit 44 may specify the setting of the size of the safe area based on information (EDID or the like) such as display specifications that can be acquired from the display 14, for example.
  • the ratio of the portion of the image generated by the image generation unit 48 described later that is actually displayed on the display 14 may be shown in the safe area setting specified by the safe area setting specific unit 44.
  • the ratio indicated by the safe area setting is 100%.
  • the safe area is set. The ratio shown is 90%.
  • the necessity setting unit 46 stores, for example, necessity data indicating the necessity of autoscale processing.
  • necessity data indicating the necessity of autoscale processing.
  • the autoscale processing is executed, and when the value of the necessity data is 0, the autoscale processing is not executed.
  • the necessity setting unit 46 sets the value of the necessity data stored in the necessity setting unit 46 in response to the setting instruction of the necessity of the autoscale processing received from the application program, for example. ..
  • the necessity setting unit 46 receives a setting instruction indicating that autoscale is required from the application program
  • the necessity setting unit 46 sets the value of the necessity data stored in the necessity setting unit 46 to 1. ..
  • the necessity setting unit 46 receives a setting instruction indicating that the auto scale is unnecessary from the application program, for example, the value of the necessity data stored in the necessity setting unit 46 is set to 0. Set.
  • the image generation unit 48 generates, for example, a display target image 32 including a drawing image 30 having a size corresponding to the setting of the safe area specified by the safe area setting specific unit 44.
  • the image generation unit 48 specifies the size of the display area 34 based on the safe area setting specified by the safe area setting specifying unit 44. Then, the image generation unit 48 generates the display target image 32 in which the drawing image 30 acquired by the image acquisition unit 42 is arranged in the display area 34 whose center position is the same as that of the display target image 32.
  • the image generation unit 48 resizes and arranges the drawn image 30 in the display area 34, and has a predetermined color such as black in the non-display target area 36 which is a frame-shaped area outside the display area 34.
  • the display target image 32 may be generated by arranging the pixels of.
  • the drawn image 30 may be arranged in the display area 34 without being resized.
  • the image generation unit 48 is resized so that the vertical and horizontal sizes are 90% of the vertical and horizontal sizes of the display target image 32, respectively.
  • the drawn image 30 acquired by the user may be arranged in the display area 34.
  • the image generation unit 48 determines whether or not the image generation unit 48 generates a display target image 32 including a drawing image 30 having a size corresponding to the setting of the safe area in response to an instruction received from the application program by the necessity setting unit 46.
  • the image generation unit 48 executes the autoscale process when the value of the necessity data stored in the necessity setting unit 46 is 1. Further, the image generation unit 48 does not execute the autoscale processing when the value of the necessity data stored in the necessity setting unit 46 is 0.
  • the display control unit 50 displays, for example, the display target image 32 on the display 14.
  • the autoscale processing is executed.
  • the display 14 displays all of the display target images 32. If the ratio indicated by the safe area setting is less than 100%, an overscan occurs and the display 14 displays an actual display image that is a part of the display target image 32. For example, of the display target image 32 illustrated in FIG. 4, only the portion within the display area 34 is displayed on the display 14.
  • the autoscale processing is not executed.
  • the entire drawn image 30 is displayed on the display 14 as the display target image 32.
  • the image acquisition unit 42 acquires the drawn image 30 in the frame stored in the image storage unit 40 (S101).
  • the safe area setting specifying unit 44 confirms the value of the necessity data stored in the necessity setting unit 46 (S102).
  • the image generation unit 48 displays the drawn image 30 acquired in the process shown in S101 on the display 14 as the display target image 32 (S103), and performs the process shown in S101.
  • the display target image 32 is the same image as the drawn image 30.
  • the safe area setting specifying unit 44 specifies the safe area setting (S104).
  • the image generation unit 48 generates a display target image 32 including a drawing image 30 resized to a size corresponding to the setting of the safe area specified by the process shown in S104 (S105).
  • the display control unit 50 displays the display target image 32 generated in the process shown in S105 on the display 14 (S106), and returns to the process shown in S101.
  • S106 the display target image 32 generated in the process shown in S105 is displayed on the display 14.
  • the processing shown in S101 to S106 is repeatedly executed at a predetermined frame rate.
  • the developer of an application program such as a game program can implement the application program without being aware of the safe area.
  • the developer of the application program can control whether or not to execute the autoscale processing as described above according to, for example, a game scene.
  • the image storage unit 40 may have a plurality of frame buffer areas. Then, the image may be stored in each frame buffer.
  • FIG. 7 is a diagram showing an example of a drawn image 60 corresponding to a frame image stored in the first frame buffer included in the image storage unit 40.
  • FIG. 8 is a diagram showing an example of a drawn image 62 corresponding to a frame image stored in the second frame buffer included in the image storage unit 40.
  • the drawn image 60 shown in FIG. 7 is a frame image representing information on the user interface in the game, such as explanations of input operations in the game and information on the status of characters.
  • the drawn image 60 may represent, for example, a two-dimensional object that is a character, a figure, or a symbol.
  • an alpha value may be set for each pixel included in the drawn image 60.
  • the drawn image 62 shown in FIG. 8 is a 3D graphic frame representing a game play status in which a virtual three-dimensional object such as a game object arranged in the virtual three-dimensional space is viewed from a viewpoint in the virtual three-dimensional space. It is an image.
  • a new drawing image 60 is stored in the first frame buffer at a predetermined frame rate, and a new drawing image 62 is stored in the second frame buffer. It may be remembered.
  • the image acquisition unit 42 may acquire the drawing image 60 stored in the first frame buffer and the drawing image 62 stored in the second frame buffer by the process shown in S101.
  • the necessity setting unit 46 may store the necessity data indicating the necessity of the autoscale processing for each frame buffer.
  • the necessity setting unit 46 may store the necessity data corresponding to the first frame buffer and the necessity data corresponding to the second frame buffer.
  • the necessity setting unit 46 sets the value of the necessity data stored in the necessity setting unit 46 in response to the setting instruction of the necessity of the autoscale processing received from the application program. May be good.
  • the necessity setting unit 46 When the necessity setting unit 46 receives a setting instruction indicating that autoscale is required for the first frame buffer from the application program, for example, the first necessity setting unit 46 is stored in the necessity setting unit 46. The value of the necessity data corresponding to the frame buffer may be set to 1. Further, when the necessity setting unit 46 receives a setting instruction indicating that autoscale is required for the second frame buffer from the application program, for example, the necessity setting unit 46 stores the setting instruction stored in the necessity setting unit 46. The value of the necessity data corresponding to the frame buffer of 2 may be set to 1.
  • the necessity setting unit 46 when the necessity setting unit 46 receives a setting instruction indicating that autoscale is not required for the first frame buffer from the application program, for example, the necessity setting unit 46 stores the setting instruction in the necessity setting unit 46.
  • the value of the necessity data corresponding to the frame buffer of 1 may be set to 0.
  • the necessity setting unit 46 receives a setting instruction indicating that autoscale is not required for the second frame buffer from the application program, for example, the necessity setting unit 46 stores the setting instruction in the necessity setting unit 46.
  • the value of the necessity data corresponding to the frame buffer of 2 may be set to 0.
  • the image generation unit 48 may control whether or not to execute the autoscale processing for each frame buffer according to the instruction received from the application program by the necessity setting unit 46.
  • Image 64a may be generated.
  • the display target image 64a may be generated by executing the drawn image 60, the alpha value set for each pixel included in the drawn image 60, and the alpha blending process based on the drawn image 62. Then, the display control unit 50 may display the display target image 64a thus generated on the display 14.
  • the image generation unit 48 may generate the display target image 64b illustrated in FIG. 10 on which the drawn image 60 having a size corresponding to the setting of the safe area and the drawn image 62 are superimposed.
  • the display target image 64b may be generated by executing the drawn image 60, the alpha value set for each pixel included in the drawn image 60, and the alpha blending process based on the drawn image 62.
  • the image generation unit 48 may resize the drawn image 60 acquired from the first frame buffer and arrange it in the display area 66. Then, for example, a display target image 64b in which the resized drawn image 60 is arranged at the center may be generated. As shown in FIG. 10, the drawing image 60 may be arranged in the display target image 64b so as to fit within the display area 66 specified based on the setting of the safe area.
  • the display control unit 50 may display the display target image 64b generated in this way on the display 14. If an overscan occurs here, only a part of the display target image 64b generated in this way is displayed on the display 14.
  • the information of the user interface in the game which represents a two-dimensional object that is a character, a figure, or a symbol, is surely displayed.
  • the 3D graphic is not scaled, deterioration of image quality can be prevented.
  • the present embodiment may be applied to the display in a picture-in-picture (PinP).
  • PinP picture-in-picture
  • FIG. 11 is a diagram showing an example of the above image 70.
  • the upper image 70 shown in FIG. 11 is, for example, an image showing a background in a PinP display.
  • FIG. 12 is a diagram showing an example of the image 72 below.
  • the lower image 72 shown in FIG. 12 is, for example, an image showing the content embedded in the background in the PinP display.
  • the lower image 72 shown in FIG. 12 is the same image as the drawn image 30 shown in FIG.
  • the processor 20 executes the first application program
  • the lower image 72 which is a new frame image
  • the upper image 70 is drawn in the second frame buffer at a predetermined frame rate.
  • the image storage unit 40 stores layout data indicating the position and size in the display target image 74 in which the lower image 72 is arranged.
  • FIG. 13 schematically shows an example of the arrangement area 76, which is the area where the lower image 72 is arranged, which is specified based on the layout data.
  • the vertical and horizontal sizes of the arrangement area 76 are 80% of the vertical and horizontal sizes of the display target image 74, respectively.
  • the image acquisition unit 42 may acquire the upper image 70 stored in the second frame buffer and the lower image 72 stored in the first frame buffer.
  • the upper image 70 shown in FIG. 11 is acquired from the second frame buffer
  • the lower image 72 shown in FIG. 12 is acquired from the first frame buffer.
  • the display target image 74a illustrated in FIG. 14 may be generated.
  • the resized lower image 72 may be arranged in the arrangement area 76. Then, the display target image 74a generated in this way may be displayed on the display 14.
  • the display target image 74a may be generated by executing the upper image 70, the alpha value determined based on the layout data, and the alpha blending process based on the lower image 72.
  • FIG. 15 is a diagram schematically showing an example of the arrangement of the lower image 72 in the display target image 74a.
  • the lower image 72 may be arranged in the arrangement area 76.
  • the display target image 74a is generated by executing the alpha blending process in which the alpha value of the upper image 70 inside the arrangement area 76 is set to 0 and the alpha value of the upper image 70 outside the arrangement area 76 is set to 1. May be done.
  • an alpha value of 0 indicates that the upper image 70 is transparent
  • an alpha value of 1 indicates that the upper image 70 is opaque.
  • the display target image 74b illustrated in FIG. 16 may be generated. Then, the display target image 74b generated in this way may be displayed on the display 14. If overscan occurs here, only a part of the display target image 74b is displayed on the display 14.
  • the image generation unit 48 arranges the upper image 70 in the display area 78, and puts pixels of a predetermined color such as black in the non-display target area 80, which is a frame-shaped area outside the display area 78. By arranging it, the display target image 74b may be generated.
  • the ratio indicated by the safe area setting is 90%
  • the center position is the same as that of the display target image 74b
  • the vertical and horizontal sizes are 90% of the vertical and horizontal sizes of the display target image 74b, respectively.
  • the area is set to the display area 78.
  • the display target image 74b is generated by executing the upper image 70, the alpha value determined based on the layout data, and the alpha blending process based on the lower image 72. May be good.
  • FIG. 17 is a diagram schematically showing an example of the arrangement of the lower image 72 in the display target image 74b.
  • the lower image 72 is arranged in the content area 82 in the arrangement area 76, and the frame-shaped area 84 outside the content area 82 and inside the arrangement area 76. Pixels of a predetermined color such as black may be arranged therein.
  • the ratio indicated by the safe area setting is 90%
  • the area where the center position is the same as the arrangement area 76 and the vertical and horizontal sizes are 90% of the vertical and horizontal sizes of the arrangement area 76, respectively.
  • Set in the content area 82 is 90%.
  • the display target image 74b is generated by executing the alpha blending process in which the alpha value of the upper image 70 inside the content area 82 is set to 0 and the alpha value of the upper image 70 outside the content area 82 is set to 1. May be done.
  • an alpha value of 0 indicates that the upper image 70 is transparent
  • an alpha value of 1 indicates that the upper image 70 is opaque.
  • the image generation unit 48 is placed at a given position in the display target image 74 at a given size regardless of whether or not the autoscale processing is executed.
  • Image 72 is placed.
  • the lower image 72 is arranged in the arrangement area 76.
  • an image including the lower image 72 is arranged in the arrangement area 76.
  • the image generation unit 48 changes the area in which the pixels of the lower image 72 are reflected in the display target image 74 depending on whether or not the autoscale processing is executed. For example, when the autoscale processing is not executed, the pixels of the lower image 72 are reflected in the arrangement area 76, while when the autoscale processing is executed, the content area 82 narrower than the arrangement area 76 is reflected. The pixels of the lower image 72 are reflected.
  • the layout data indicating the position and size in which the image corresponding to the lower image 72 is arranged in the display target image 74 is not changed, and the display on PinP is appropriate according to the setting of the safe area.
  • the display target image 74 can be generated.
  • the present invention is not limited to the above-described embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

開発者がセーフエリアを意識せずにアプリケーションプログラムを実装できる表示制御装置、表示制御方法及びプログラムを提供する。画像取得部（４２）は、アプリケーションプログラムによってフレームバッファに描画された画像を取得する。セーフエリア設定特定部（４４）は、表示部におけるセーフエリアの設定を特定する。画像生成部（４８）は、セーフエリアの設定に応じたサイズの当該画像を一部に含む表示対象画像を生成する。表示制御部（５０）は、表示対象画像を表示部に表示させる。

Description

表示制御装置、表示制御方法及びプログラム
　本発明は、表示制御装置、表示制御方法及びプログラムに関する。
　一般的なテレビ等のディスプレイにおいて、オーバースキャンによって表示対象である画像の端が切れて表示されないことがある。そのため、ゲームなどのアプリケーションプログラムの開発者は、オーバースキャンが発生しても表示が保証されるセーフエリアに表示されるべき情報が配置されるよう、セーフエリアを意識した実装を行う必要がある。また、セーフエリアのサイズはディスプレイによって異なるため、全てのディスプレイに適切な表示を、アプリケーションのみで意識して実装することは難しい。
　しかし、セーフエリアを意識した実装を行うのは面倒である。
　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、開発者がセーフエリアを意識せずにアプリケーションプログラムを実装できる表示制御装置、表示制御方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る表示制御装置は、アプリケーションプログラムによってフレームバッファに描画された画像を取得する画像取得部と、表示部におけるセーフエリアの設定を特定する特定部と、前記設定に応じたサイズの前記画像を一部に含む表示対象画像を生成する画像生成部と、前記表示対象画像を前記表示部に表示させる表示制御部と、を含む。
　本発明の一態様では、前記画像生成部は、前記設定に応じたサイズである第１のフレームバッファに描画された第１の画像、及び、第２のフレームバッファに描画された第２の画像が重畳された画像である、前記表示対象画像を生成する。
　また、本発明の一態様では、前記画像生成部は、前記アプリケーションプログラムから受け付ける指示に応じて、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かを制御する。
　また、本発明の一態様では、前記画像生成部は、受け付ける指示に応じて、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かを制御し、前記画像生成部は、第１のアプリケーションプログラムによって第１のフレームバッファに描画された画像に基づく第１の画像と、第２のアプリケーションプログラムによって第２のフレームバッファに描画された画像に基づく第２の画像と、が重畳された画像である前記表示対象画像を生成し、前記画像生成部は、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かに関わらず、前記表示対象画像内における所与の位置に所与のサイズで前記第１の画像を配置し、前記画像生成部は、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かに応じて、前記表示対象画像内における前記第１の画像の画素が反映される領域を変更する。
　また、本発明に係る表示制御方法は、アプリケーションプログラムによってフレームバッファに描画された画像を取得するステップと、表示部におけるセーフエリアの設定を特定するステップと、前記設定に応じたサイズの前記画像を一部に含む表示対象画像を生成するステップと、前記表示対象画像を前記表示部に表示させるステップと、を含む。
　また、本発明に係るプログラムは、アプリケーションプログラムによってフレームバッファに描画された画像を取得する手順、表示部におけるセーフエリアの設定を特定する手順、前記設定に応じたサイズの前記画像を一部に含む表示対象画像を生成する手順、前記表示対象画像を前記表示部に表示させる手順、をコンピュータに実行させる。
本発明の一実施形態に係るエンタテインメントシステムの構成の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。 描画画像の一例を示す図である。 表示対象画像の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。 描画画像の一例を示す図である。 描画画像の一例を示す図である。 表示対象画像の一例を示す図である。 表示対象画像の一例を示す図である。 上画像の一例を示す図である。 下画像の一例を示す図である。 配置領域の一例を模式的に示す図である。 表示対象画像の一例を示す図である。 表示対象画像内における下画像の配置の一例を模式的に示す図である。 表示対象画像の一例を示す図である。 表示対象画像内における下画像の配置の一例を模式的に示す図である。
　以下、本発明の一実施形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係るエンタテインメントシステム１０の構成の一例を示す図である。図２は、本実施形態に係るエンタテインメント装置１２の構成の一例を示す図である。
　図１に示すように、本実施形態に係るエンタテインメントシステム１０は、エンタテインメント装置１２とディスプレイ１４とコントローラ１６とを含んでいる。
　本実施形態に係るエンタテインメント装置１２は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１２は、例えば記憶されている、あるいは、光ディスクに記録された、ゲームプログラムの実行やコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１２は、生成される映像を表す映像信号や生成される音声を表す音声信号をディスプレイ１４に出力する。
　本実施形態に係るエンタテインメント装置１２には、例えば図２に示すように、プロセッサ２０、記憶部２２、通信部２４、入出力部２６、ディスプレイコントローラ２８が含まれる。
　プロセッサ２０は、例えばエンタテインメント装置１２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ２０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
　記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部２２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
　通信部２４は、例えば無線ＬＡＮモジュールなどの通信インタフェースなどである。
　入出力部２６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
　ディスプレイコントローラ２８は、画像のスケーリング、画像の色変換などの画質調整、画像の合成などを実行するハードウェアデバイスである。
　本実施形態に係るディスプレイ１４は、例えば液晶ディスプレイ等の表示部であり、エンタテインメント装置１２から出力される映像信号が表す映像などを表示させる。また、本実施形態に係るディスプレイ１４は、スピーカを備えている。当該スピーカは、エンタテインメント装置１２から出力される音声信号が表す音声を出力する。
　エンタテインメント装置１２とディスプレイ１４とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。
　本実施形態に係るコントローラ１６は、エンタテインメント装置１２に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ１６が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ１６を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ１６は、操作入力に対応付けられる入力データをエンタテインメント装置１２に出力する。また本実施形態に係るコントローラ１６は、ＵＳＢポートを備えている。そしてコントローラ１６は、ＵＳＢケーブルでエンタテインメント装置１２と接続することで、有線で入力データをエンタテインメント装置１２に出力することができる。また本実施形態に係るコントローラ１６は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１２に出力することができるようにもなっている。
　本実施形態では例えば、エンタテインメントシステム１０に含まれるエンタテインメント装置１２でアプリケーションプログラムが実行されることにより、アプリケーションプログラムの実行状況に応じた映像が生成される。例えば、エンタテインメント装置１２でゲームプログラムが実行されることにより、ゲームのプレイ状況を表す映像が生成される。
　図３は、エンタテインメント装置１２が生成する映像に含まれるフレーム画像に相当する描画画像３０の一例を示す図である。本実施形態では例えば、プロセッサ２０が、ゲームプログラム等のアプリケーションプログラムを実行することにより、描画画像３０を生成する。そして描画画像３０は、記憶部２２に設けられているフレームバッファの領域に描画される。
　そして、本実施形態では、ディスプレイコントローラ２８が、フレームバッファに描画された描画画像３０をフレームバッファから読み出して、描画画像３０に基づいて図４に示す表示対象画像３２を生成する。
　図４に示す表示対象画像３２には、ディスプレイ１４において設定されているセーフエリアに相当する表示領域３４が示されている。本実施形態では例えば、ディスプレイコントローラ２８は、描画画像３０を表示領域３４内にリサイズして配置するとともに、表示領域３４外の枠状の領域である、表示対象外領域３６に、黒色等の所定色の画素を配置することにより、表示対象画像３２を生成する。なお、描画画像３０がリサイズされずに表示領域３４内に配置されてもよい。
　そして、ディスプレイコントローラ２８は、入出力部２６を介して、表示対象画像３２をディスプレイ１４に出力する。
　例えば、図３に示す描画画像３０がディスプレイ１４に表示されるようにすると、ディスプレイ１４のセーフエリアのサイズによっては描画画像３０の端が切れて表示されないことがある。例えば実際には描画画像３０の一部である実表示画像しかディスプレイ１４に表示されないことがある。
　本実施形態では、上述のように、描画画像３０に基づいて生成される表示対象画像３２がディスプレイ１４に表示される。そのため、オーバースキャンが発生して、表示対象画像３２の一部である、表示領域３４に配置された実表示画像しか表示されなくても、描画画像３０のコンテンツはすべてディスプレイ１４に表示される。以下、図４に示すような表示対象画像３２を生成する処理をオートスケール処理と呼ぶこととする。
　以下、オートスケール処理を中心に、本実施形態に係るエンタテインメント装置１２の機能及びエンタテインメント装置１２で実行される処理についてさらに説明する。
　図５は、本実施形態に係るエンタテインメント装置１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１２で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。
　図５に示すように、エンタテインメント装置１２には、機能的には例えば、画像記憶部４０、画像取得部４２、セーフエリア設定特定部４４、要否設定部４６、画像生成部４８、表示制御部５０が含まれる。画像記憶部４０は、記憶部２２を主として実装される。画像取得部４２、セーフエリア設定特定部４４、画像生成部４８は、ディスプレイコントローラ２８を主として実装される。要否設定部４６は、プロセッサ２０、記憶部２２を主として実装される。表示制御部５０は、記憶部２２、入出力部２６、ディスプレイコントローラ２８を主として実装される。
　以上の機能は、コンピュータであるエンタテインメント装置１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０又はディスプレイコントローラ２８で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１２に供給されてもよい。
　画像記憶部４０は、本実施形態では例えば、描画画像３０を記憶する。記憶部２２に確保されているフレームバッファの領域に記憶される画像が、画像記憶部４０に記憶される描画画像３０に相当する。ここでは例えば、プロセッサ２０がアプリケーションプログラムを実行することにより、所定のフレームレートで画像記憶部４０に含まれるフレームバッファに新たな描画画像３０が記憶されることとする。
　画像取得部４２は、本実施形態では例えば、画像記憶部４０に記憶されている描画画像３０を取得する。ここで例えば、画像取得部４２は、フレームバッファに記憶されている描画画像３０を取得する。
　セーフエリア設定特定部４４は、本実施形態では例えば、ディスプレイ１４におけるセーフエリアの設定を特定する。セーフエリア設定特定部４４は、例えば、ユーザの操作に応じて設定されるセーフエリアのサイズの設定を特定してもよい。また、セーフエリア設定特定部４４は、例えばディスプレイ１４から取得できるディスプレイスペックなどの情報（ＥＤＩＤ等）に基づいて、セーフエリアのサイズの設定を特定してもよい。
　例えば、後述する画像生成部４８が生成する画像のうち実際にディスプレイ１４に表示される部分の割合が、セーフエリア設定特定部４４が特定するセーフエリアの設定に示されていてもよい。
　ここで例えば、オーバースキャンは発生せず、画像生成部４８が生成する画像がすべてディスプレイ１４に表示される場合は、セーフエリアの設定が示す割合は１００％である。また、画像生成部４８が生成する画像のうち、当該画像の中心を中心とする縦横のサイズがそれぞれ当該画像の９０％のサイズの画像がディスプレイ１４に表示される場合は、セーフエリアの設定が示す割合は９０％である。
　要否設定部４６は、本実施形態では例えば、オートスケール処理の要否を示す要否データを記憶する。ここで例えば、要否データの値が１である場合は、オートスケール処理が実行され、要否データの値が０である場合は、オートスケール処理が実行されない。
　また、要否設定部４６は、本実施形態では例えば、アプリケーションプログラムから受け付けるオートスケール処理の要否の設定指示に応じて、要否設定部４６に記憶されている要否データの値を設定する。要否設定部４６は、例えば、アプリケーションプログラムからオートスケールが必要であることを示す設定指示を受け付けた場合には、要否設定部４６に記憶されている要否データの値を１に設定する。また、要否設定部４６は、例えば、アプリケーションプログラムからオートスケールが不要であることを示す設定指示を受け付けた場合には、要否設定部４６に記憶されている要否データの値を０に設定する。
　画像生成部４８は、本実施形態では例えば、セーフエリア設定特定部４４が特定するセーフエリアの設定に応じたサイズの描画画像３０を一部に含む表示対象画像３２を生成する。
　例えば、画像生成部４８は、セーフエリア設定特定部４４が特定するセーフエリアの設定に基づいて表示領域３４のサイズを特定する。そして、画像生成部４８は、画像取得部４２が取得する描画画像３０を表示対象画像３２と中心の位置が同じである表示領域３４内に配置した表示対象画像３２を生成する。ここで例えば、画像生成部４８は、描画画像３０を表示領域３４内にリサイズして配置するとともに、表示領域３４外の枠状の領域である、表示対象外領域３６に、黒色等の所定色の画素を配置することにより、表示対象画像３２を生成してもよい。なお、描画画像３０がリサイズされずに表示領域３４内に配置されてもよい。例えば、セーフエリアの設定が示す割合が９０％である場合は、画像生成部４８は、縦横のサイズがそれぞれ表示対象画像３２の縦横のサイズの９０％となるようリサイズされた、画像取得部４２が取得する描画画像３０を、表示領域３４内に配置してもよい。
　また、画像生成部４８は、要否設定部４６がアプリケーションプログラムから受け付ける指示に応じて、セーフエリアの設定に応じたサイズの描画画像３０を一部に含む表示対象画像３２を生成するか否かを制御する。例えば、画像生成部４８は、要否設定部４６に記憶されている要否データの値が１である場合は、オートスケール処理を実行する。また、画像生成部４８は、要否設定部４６に記憶されている要否データの値が０である場合は、オートスケール処理を実行しない。
　表示制御部５０は、本実施形態では例えば、表示対象画像３２をディスプレイ１４に表示させる。
　上述のように、本実施形態では例えば、要否設定部４６に記憶されている要否データの値が１である場合に、オートスケール処理が実行される。ここでセーフエリアの設定が示す割合が１００％であればディスプレイ１４は表示対象画像３２のすべてを表示する。セーフエリアの設定が示す割合が１００％未満である場合は、オーバースキャンが発生し、ディスプレイ１４は表示対象画像３２の一部である実表示画像を表示する。例えば、図４に例示する表示対象画像３２のうち、表示領域３４内の部分だけがディスプレイ１４に表示される。
　また、上述のように、本実施形態では例えば、要否設定部４６に記憶されている要否データの値が０である場合には、オートスケール処理が実行されない。この場合は、描画画像３０の全体が表示対象画像３２としてディスプレイ１４に表示される。
　ここで、本実施形態に係るエンタテインメント装置１２において所定のフレームレートで繰り返し行われる処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。
　まず、画像取得部４２が、画像記憶部４０に記憶されている、当該フレームにおける描画画像３０を取得する（Ｓ１０１）。
　そして、セーフエリア設定特定部４４が、要否設定部４６に記憶されている要否データの値を確認する（Ｓ１０２）。
　要否データの値が０である場合は、画像生成部４８が、Ｓ１０１に示す処理で取得された描画画像３０を表示対象画像３２としてディスプレイ１４に表示させて（Ｓ１０３）、Ｓ１０１に示す処理に戻る。この場合は、表示対象画像３２は、描画画像３０と同一の画像となる。
　要否データの値が１である場合は、セーフエリア設定特定部４４が、セーフエリアの設定を特定する（Ｓ１０４）。
　そして、画像生成部４８が、Ｓ１０４に示す処理で特定されたセーフエリアの設定に応じたサイズにリサイズした描画画像３０を一部に含む、表示対象画像３２を生成する（Ｓ１０５）。
　そして、表示制御部５０が、Ｓ１０５に示す処理で生成された表示対象画像３２をディスプレイ１４に表示させて（Ｓ１０６）、Ｓ１０１に示す処理に戻る。Ｓ１０６に示す処理ではオーバースキャンが発生する場合は、Ｓ１０５に示す処理で生成された表示対象画像３２の一部しかディスプレイ１４には表示されない。
　本処理例では、Ｓ１０１～Ｓ１０６に示す処理が所定のフレームレートで繰り返し実行される。
　本実施形態によれば、ゲームプログラムなどのアプリケーションプログラムの開発者は、セーフエリアを意識せずにアプリケーションプログラムを実装することができる。
　また、例えばゲームのシーンによっては、オートスケール処理が実行される必要があるものもあれば、オートスケール処理が実行される必要がないものもある。このことを踏まえ、本実施形態では、アプリケーションプログラムの開発者は、例えばゲームのシーンなどに応じて、上述のように、オートスケール処理を実行するか否かを制御できるようになっている。
　本実施形態において、画像記憶部４０に、複数のフレームバッファの領域が確保されていてもよい。そしてそれぞれのフレームバッファに画像が記憶されるようにしてもよい。
　図７は、画像記憶部４０に含まれる第１のフレームバッファに記憶されるフレーム画像に相当する描画画像６０の一例を示す図である。図８は、画像記憶部４０に含まれる第２のフレームバッファに記憶されるフレーム画像に相当する描画画像６２の一例を示す図である。
　図７に示す描画画像６０は、ゲームにおける入力操作の説明やキャラクタのステータスの情報などといった、ゲームにおけるユーザインタフェースの情報を表すフレーム画像である。図７に示すように、描画画像６０は、例えば、文字、図形、又は、記号である二次元オブジェクトを表していてもよい。ここで例えば、描画画像６０に含まれる各画素にはアルファ値が設定されてもよい。
　図８に示す描画画像６２は、例えば、仮想三次元空間内に配置されたゲームオブジェクト等の仮想三次元オブジェクトを当該仮想三次元空間内の視点から見たゲームのプレイ状況を表す３Ｄグラフィックのフレーム画像である。
　ここで例えば、プロセッサ２０がアプリケーションプログラムを実行することにより、所定のフレームレートで、第１のフレームバッファに新たな描画画像６０が記憶されるとともに、第２のフレームバッファに新たな描画画像６２が記憶されてもよい。
　そして、画像取得部４２が、Ｓ１０１に示す処理で、第１のフレームバッファに記憶されている描画画像６０、及び、第２のフレームバッファに記憶されている描画画像６２を取得してもよい。
　この場合、要否設定部４６は、それぞれのフレームバッファについてのオートスケール処理の要否を示す要否データを記憶してもよい。例えば、要否設定部４６は、第１のフレームバッファに対応する要否データと、第２のフレームバッファに対応する要否データと、を記憶してもよい。
　また、要否設定部４６は、上述のように、アプリケーションプログラムから受け付けるオートスケール処理の要否の設定指示に応じて、要否設定部４６に記憶されている要否データの値を設定してもよい。
　要否設定部４６は、例えば、アプリケーションプログラムから第１のフレームバッファについてオートスケールが必要であることを示す設定指示を受け付けた場合には、要否設定部４６に記憶されている、第１のフレームバッファに対応する要否データの値を１に設定してもよい。また、要否設定部４６は、例えば、アプリケーションプログラムから第２のフレームバッファについてオートスケールが必要であることを示す設定指示を受け付けた場合には、要否設定部４６に記憶されている、第２のフレームバッファに対応する要否データの値を１に設定してもよい。
　また、要否設定部４６は、例えば、アプリケーションプログラムから第１のフレームバッファについてオートスケールが不要であることを示す設定指示を受け付けた場合には、要否設定部４６に記憶されている、第１のフレームバッファに対応する要否データの値を０に設定してもよい。また、要否設定部４６は、例えば、アプリケーションプログラムから第２のフレームバッファについてオートスケールが不要であることを示す設定指示を受け付けた場合には、要否設定部４６に記憶されている、第２のフレームバッファに対応する要否データの値を０に設定してもよい。
　そして、画像生成部４８は、要否設定部４６がアプリケーションプログラムから受け付ける指示に応じて、フレームバッファ毎にオートスケール処理を実行するか否かを制御してもよい。
　ここで、例えば、第１のフレームバッファに対応する要否データの値も第２のフレームバッファに対応する要否データの値も０であるとする。この場合は、画像生成部４８が、第１のフレームバッファから取得された描画画像６０と、第２のフレームバッファから取得された描画画像６２と、が重畳された、図９に例示する表示対象画像６４ａを生成してもよい。例えば、描画画像６０、描画画像６０に含まれる各画素に設定されているアルファ値、及び、描画画像６２に基づくアルファブレンド処理が実行されることで、表示対象画像６４ａが生成されてもよい。そして、表示制御部５０が、このようにして生成された表示対象画像６４ａをディスプレイ１４に表示させてもよい。
　また、例えば、第１のフレームバッファに対応する要否データの値が１であり、第２のフレームバッファに対応する要否データの値が０であるとする。この場合は、画像生成部４８は、セーフエリアの設定に応じたサイズである描画画像６０、及び、描画画像６２が重畳された、図１０に例示する表示対象画像６４ｂを生成してもよい。例えば、描画画像６０、描画画像６０に含まれる各画素に設定されているアルファ値、及び、描画画像６２に基づくアルファブレンド処理が実行されることで、表示対象画像６４ｂが生成されてもよい。
　ここで例えば、画像生成部４８は、第１のフレームバッファから取得された描画画像６０をリサイズして表示領域６６内に配置するようにしてもよい。そして例えば、リサイズ後の描画画像６０が中心に配置された表示対象画像６４ｂが生成されてもよい。図１０に示すように、表示対象画像６４ｂには、セーフエリアの設定に基づいて特定される表示領域６６内に収まるよう描画画像６０が配置されてもよい。
　そして、表示制御部５０が、このようにして生成された表示対象画像６４ｂをディスプレイ１４に表示させてもよい。ここでオーバースキャンが発生する場合は、このようにして生成された表示対象画像６４ｂの一部しかディスプレイ１４には表示されない。
　このようにすることで、オーバースキャンが発生しても、文字、図形、又は、記号である二次元オブジェクトを表す、ゲームにおけるユーザインタフェースの情報については、確実に表示されることとなる。一方で、３Ｄグラフィックにはスケール処理が施されない為、画質劣化を防ぐことができる。
　また、本実施形態は、ピクチャ・イン・ピクチャ（ＰｉｎＰ）での表示に適用されてもよい。
　図１１は、上画像７０の一例を示す図である。図１１に示す上画像７０は、例えば、ＰｉｎＰ表示における背景を表す画像である。
　図１２は、下画像７２の一例を示す図である。図１２に示す下画像７２は、例えば、ＰｉｎＰ表示において背景の中に埋め込まれるコンテンツを表す画像である。ここでは図１２に示す下画像７２は、図３に示す描画画像３０と同様の画像であることとする。
　例えば、プロセッサ２０が第１のアプリケーションプログラムを実行することにより、所定のフレームレートで第１のフレームバッファに新たなフレーム画像である下画像７２が描画される。また例えば、プロセッサ２０が第２のアプリケーションプログラムを実行することにより、所定のフレームレートで第２のフレームバッファに新たなフレーム画像である上画像７０が描画される。
　また、画像記憶部４０には、下画像７２が配置される、表示対象画像７４内における位置及びサイズを示すレイアウトデータが記憶される。図１３には、レイアウトデータに基づいて特定される、下画像７２が配置される領域である配置領域７６の一例が模式的に示されている。図１３の例では、配置領域７６の縦横のサイズはそれぞれ、表示対象画像７４の縦横のサイズの８０％となっている。
　この場合、画像取得部４２が、第２のフレームバッファに記憶されている上画像７０、及び、第１のフレームバッファに記憶されている下画像７２を取得してもよい。ここでは例えば、第２のフレームバッファから図１１に示す上画像７０が取得され、第１のフレームバッファから図１２に示す下画像７２が取得されることとする。
　ここで、オートスケール処理が実行されない場合は、図１４に例示する表示対象画像７４ａが生成されてもよい。ここで例えば、リサイズされた下画像７２が、配置領域７６内に配置されてもよい。そして、このようにして生成された表示対象画像７４ａがディスプレイ１４に表示されてもよい。
　ここで例えば、上画像７０、レイアウトデータに基づいて決定されるアルファ値、及び、下画像７２に基づくアルファブレンド処理が実行されることで、表示対象画像７４ａが生成されてもよい。
　図１５は、表示対象画像７４ａ内における下画像７２の配置の一例を模式的に示す図である。図１５に示すように、オートスケール処理が実行されない場合は、配置領域７６内に下画像７２が配置されてもよい。そして、配置領域７６内についての上画像７０のアルファ値を０とし、配置領域７６外についての上画像７０のアルファ値を１とするアルファブレンディング処理が実行されることで、表示対象画像７４ａが生成されてもよい。ここでアルファ値０は、上画像７０が透明であることを表し、アルファ値１は上画像７０が不透明であることを表すこととする。
　一方、オートスケール処理が実行される場合は、図１６に例示する表示対象画像７４ｂが生成されてもよい。そして、このようにして生成された表示対象画像７４ｂがディスプレイ１４に表示されてもよい。ここでオーバースキャンが発生する場合は、表示対象画像７４ｂの一部しかディスプレイ１４には表示されない。
　ここで例えば、画像生成部４８は、上画像７０を表示領域７８内に配置するとともに、表示領域７８外の枠状の領域である、表示対象外領域８０に、黒色等の所定色の画素を配置することにより、表示対象画像７４ｂを生成してもよい。ここで例えば、セーフエリアの設定が示す割合が９０％である場合は、表示対象画像７４ｂと中心の位置が同じであり、縦横のサイズがそれぞれ表示対象画像７４ｂの縦横のサイズの９０％である領域が、表示領域７８に設定される。
　また例えば、表示領域７８内については、上画像７０、レイアウトデータに基づいて決定されるアルファ値、及び、下画像７２に基づくアルファブレンド処理が実行されることで、表示対象画像７４ｂが生成されてもよい。
　図１７は、表示対象画像７４ｂ内における下画像７２の配置の一例を模式的に示す図である。図１７に示すように、オートスケール処理が実行される場合は、配置領域７６内のコンテンツ領域８２に下画像７２が配置され、コンテンツ領域８２外であり配置領域７６内である枠状の領域８４に、黒色等の所定色の画素が配置されてもよい。ここで例えば、セーフエリアの設定が示す割合が９０％である場合は、配置領域７６と中心の位置が同じであり、縦横のサイズがそれぞれ配置領域７６の縦横のサイズの９０％である領域が、コンテンツ領域８２に設定される。
　そして、コンテンツ領域８２内についての上画像７０のアルファ値を０とし、コンテンツ領域８２外についての上画像７０のアルファ値を１とするアルファブレンディング処理が実行されることで、表示対象画像７４ｂが生成されてもよい。ここで上述のように、アルファ値０は、上画像７０が透明であることを表し、アルファ値１は上画像７０が不透明であることを表すこととする。
　以上で説明したように、本実施形態では例えば、画像生成部４８は、オートスケール処理が実行されるか否かに関わらず、表示対象画像７４内における所与の位置に所与のサイズで下画像７２を配置する。例えば、オートスケール処理が実行されない場合は、下画像７２が配置領域７６に配置される。また、オートスケール処理が実行される場合は、下画像７２を一部に含む画像が配置領域７６に配置される。
　そして、画像生成部４８は、オートスケール処理が実行されるか否かに応じて、表示対象画像７４において下画像７２の画素が反映される領域を変更する。例えば、オートスケール処理が実行されない場合は、配置領域７６内については下画像７２の画素が反映される一方で、オートスケール処理が実行される場合は、配置領域７６よりも狭いコンテンツ領域８２内について下画像７２の画素が反映される。
　このようにすれば、表示対象画像７４内における下画像７２に対応する画像が配置される位置及びサイズを示すレイアウトデータを変更することなく、ＰｉｎＰでの表示においてセーフエリアの設定に応じた適切な表示対象画像７４の生成が可能となる。
　なお、本発明は上述の実施形態に限定されるものではない。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (6)

  1. 　アプリケーションプログラムによってフレームバッファに描画された画像を取得する画像取得部と、
    　表示部におけるセーフエリアの設定を特定する特定部と、
    　前記設定に応じたサイズの前記画像を一部に含む表示対象画像を生成する画像生成部と、
    　前記表示対象画像を前記表示部に表示させる表示制御部と、
    　を含むことを特徴とする表示制御装置。
  2. 　前記画像生成部は、前記設定に応じたサイズである第１のフレームバッファに描画された第１の画像、及び、第２のフレームバッファに描画された第２の画像が重畳された画像である、前記表示対象画像を生成する、
    　ことを特徴とする請求項１に記載の表示制御装置。
  3. 　前記画像生成部は、前記アプリケーションプログラムから受け付ける指示に応じて、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かを制御する、
    　ことを特徴とする請求項１又は２に記載の表示制御装置。
  4. 　前記画像生成部は、受け付ける指示に応じて、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かを制御し、
    　前記画像生成部は、第１のアプリケーションプログラムによって第１のフレームバッファに描画された画像に基づく第１の画像と、第２のアプリケーションプログラムによって第２のフレームバッファに描画された画像に基づく第２の画像と、が重畳された画像である前記表示対象画像を生成し、
    　前記画像生成部は、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かに関わらず、前記表示対象画像内における所与の位置に所与のサイズで前記第１の画像を配置し、
    　前記画像生成部は、前記設定に応じたサイズの前記画像を一部に含む前記表示対象画像を生成するか否かに応じて、前記表示対象画像内における前記第１の画像の画素が反映される領域を変更する、
    　ことを特徴とする請求項１に記載の表示制御装置。
  5. 　アプリケーションプログラムによってフレームバッファに描画された画像を取得するステップと、
    　表示部におけるセーフエリアの設定を特定するステップと、
    　前記設定に応じたサイズの前記画像を一部に含む表示対象画像を生成するステップと、
    　前記表示対象画像を前記表示部に表示させるステップと、
    　を含むことを特徴とする表示制御方法。
  6. 　アプリケーションプログラムによってフレームバッファに描画された画像を取得する手順、
    　表示部におけるセーフエリアの設定を特定する手順、
    　前記設定に応じたサイズの前記画像を一部に含む表示対象画像を生成する手順、
    　前記表示対象画像を前記表示部に表示させる手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/028299 2019-08-01 2020-07-21 表示制御装置、表示制御方法及びプログラム WO2021020239A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021536975A JP7267429B2 (ja) 2019-08-01 2020-07-21 表示制御装置、表示制御方法及びプログラム
US17/627,135 US20220254321A1 (en) 2019-08-01 2020-07-21 Display control apparatus, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019142374 2019-08-01
JP2019-142374 2019-08-01

Publications (1)

Publication Number Publication Date
WO2021020239A1 true WO2021020239A1 (ja) 2021-02-04

Family

ID=74230345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028299 WO2021020239A1 (ja) 2019-08-01 2020-07-21 表示制御装置、表示制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20220254321A1 (ja)
JP (1) JP7267429B2 (ja)
WO (1) WO2021020239A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7284272B2 (ja) * 2019-08-01 2023-05-30 株式会社ソニー・インタラクティブエンタテインメント 画像送信装置、画像送信方法及びプログラム
JP7164750B1 (ja) * 2022-07-07 2022-11-01 株式会社あかつき 情報処理システム、情報処理装置、プログラム及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030914A (ja) * 2004-07-21 2006-02-02 Toshiba Corp 情報処理装置および表示制御方法
JP2006107009A (ja) * 2004-10-04 2006-04-20 Sony Corp 表示制御装置および方法、記録媒体、並びにプログラム
JP2015026034A (ja) * 2013-07-29 2015-02-05 キヤノン株式会社 映像出力装置及びその制御方法、プログラム、並びに記憶媒体
JP2015515658A (ja) * 2012-02-08 2015-05-28 アップル インコーポレイテッド オーバースキャンサポート
JP2017188833A (ja) * 2016-04-08 2017-10-12 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877741A (en) * 1995-06-07 1999-03-02 Seiko Epson Corporation System and method for implementing an overlay pathway
US8698840B2 (en) * 1999-03-05 2014-04-15 Csr Technology Inc. Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes
US6621500B1 (en) * 2000-11-17 2003-09-16 Hewlett-Packard Development Company, L.P. Systems and methods for rendering graphical data
US7007025B1 (en) * 2001-06-08 2006-02-28 Xsides Corporation Method and system for maintaining secure data input and output
JP4378978B2 (ja) 2003-03-07 2009-12-09 ソニー株式会社 表示処理装置および固定画素型表示システム
JP4153462B2 (ja) 2004-05-31 2008-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 表示方式切替装置、表示方式切替方法、表示方式切替プログラム、及びそのプログラムを記憶したコンピュータ読み取り可能な記憶媒体
US7864203B1 (en) * 2005-09-13 2011-01-04 Nvidia Corporation System, method and computer program product for adjusting a display device viewing experience
US20070097326A1 (en) * 2005-10-28 2007-05-03 Jung-Yi Yang Digital rear-projection display apapratus and method for adjusting a displayed image thereof
US20150195604A1 (en) * 2014-01-06 2015-07-09 Argo Computer Inc. Living Room Computer
GB2532958B (en) * 2014-12-02 2021-09-29 Advanced Risc Mach Ltd Method of and apparatus for processing frames in a data processing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030914A (ja) * 2004-07-21 2006-02-02 Toshiba Corp 情報処理装置および表示制御方法
JP2006107009A (ja) * 2004-10-04 2006-04-20 Sony Corp 表示制御装置および方法、記録媒体、並びにプログラム
JP2015515658A (ja) * 2012-02-08 2015-05-28 アップル インコーポレイテッド オーバースキャンサポート
JP2015026034A (ja) * 2013-07-29 2015-02-05 キヤノン株式会社 映像出力装置及びその制御方法、プログラム、並びに記憶媒体
JP2017188833A (ja) * 2016-04-08 2017-10-12 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP7267429B2 (ja) 2023-05-01
JPWO2021020239A1 (ja) 2021-02-04
US20220254321A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
US8749712B2 (en) Method for processing on-screen display and associated embedded system
WO2013099377A1 (ja) Ａｖ機器
US8922622B2 (en) Image processing device, image processing method, and program
JP2008146495A (ja) 表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置
CN111866408B (zh) 图形处理芯片及视频解码显示方法
WO2021020239A1 (ja) 表示制御装置、表示制御方法及びプログラム
JP3338021B2 (ja) ３次元画像処理装置及び３次元画像処理プログラムを記録した可読記録媒体
JP4958499B2 (ja) 画像表示制御装置、画像表示方法及びプログラム
JP2016031468A (ja) 表示制御装置、表示装置及び表示システム
JP6892935B2 (ja) エンタテインメント装置、表示制御方法及び表示制御プログラム
JP7284272B2 (ja) 画像送信装置、画像送信方法及びプログラム
US11962820B2 (en) Image generation apparatus, image generation method, and program indicating game play status
JP4949912B2 (ja) 字幕表示領域決定装置及び字幕表示プログラム
JP6238509B2 (ja) 表示制御装置および表示制御方法
US20240021175A1 (en) Display of selected image regions
EP3073482A1 (en) Display apparatus and display method thereof
TWI775397B (zh) 3d顯示系統與3d顯示方法
JP5055220B2 (ja) 画像表示装置、画像表示方法
EP3835937A1 (en) Display apparatus and operation method thereof
JPH11339002A (ja) 画像処理装置および情報記録媒体
JP2023118429A (ja) コンピュータプログラム、およびコンピュータ装置
TWI392349B (zh) 字幕視窗顯示裝置與顯示方法
CN118250504A (zh) 视频处理方法、装置以及电子设备
JP2011182289A (ja) 映像表示装置
JP2020177086A (ja) 画像生成装置および画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20847520

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536975

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20847520

Country of ref document: EP

Kind code of ref document: A1