CN112751984B - 图像处理装置、图像处理方法和计算机可读介质 - Google Patents
图像处理装置、图像处理方法和计算机可读介质 Download PDFInfo
- Publication number
- CN112751984B CN112751984B CN202011183268.5A CN202011183268A CN112751984B CN 112751984 B CN112751984 B CN 112751984B CN 202011183268 A CN202011183268 A CN 202011183268A CN 112751984 B CN112751984 B CN 112751984B
- Authority
- CN
- China
- Prior art keywords
- image processing
- image
- data
- external device
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 290
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 23
- 230000004075 alteration Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000015556 catabolic process Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007730 finishing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种图像处理装置、图像处理方法和计算机可读介质。该图像处理装置包括:图像处理单元,用于对图像数据应用图像处理;通信单元,用于与外部装置通信;以及控制单元,用于基于图像处理的内容或要与所述外部装置通信的数据量,来控制是在所述图像处理单元处还是在所述外部装置处应用针对所述图像数据的图像处理。
Description
技术领域
本发明涉及图像处理装置、图像处理方法和计算机可读介质。
背景技术
存在如下技术:通过将图像处理委托给可通信地连接到终端设备并具有所需的图像处理速度的外部装置,来以比终端设备进行图像处理的最大速度更高的速度执行图像处理(日本特开2007-128250号公报)。
每当要将图像处理委托给外部装置时,需要向外部装置发送/从外部装置接收要处理的图像数据。图像数据的数据量越大,发送/接收数据所需的时间越长。特别地,如果外部装置在共享网络上,则发送/接收图像数据所需的时间将根据共享网络的流量状况而变化,发送/接收图像数据所需的时间随着共享网络上的流量增大而变长。另一方面,当所有图像处理都由终端设备应用时,根据终端设备的处理能力,图像处理所需的时间变得非常长,并且存在可用性降低的可能性。
发明内容
根据本发明的一种模式,提供了使得能够适当地向外部装置委托图像处理的图像处理装置和图像处理方法。
根据本发明的一方面,提供了一种图像处理装置,包括:图像处理单元,其被布置为对图像数据应用图像处理;通信单元,其被布置为与外部装置通信;以及控制单元,其被布置为基于图像处理的内容或要与所述外部装置通信的数据量,来控制是要在所述图像处理单元处还是要在所述外部装置处应用针对所述图像数据的图像处理。
根据本发明的另一方面,提供了一种图像处理装置执行的图像处理方法,所述图像处理装置包括对图像数据应用图像处理的图像处理器,所述图像处理方法包括:基于图像处理的内容或要与外部装置通信的数据量,来控制是要在所述图像处理器处还是要在所述外部装置处应用针对所述图像数据的图像处理,其中所述图像处理装置能够与所述外部装置通信。
根据本发明的又一方面,提供了一种计算机可读介质,其存储使计算机用作根据本发明的图像处理装置的程序。
通过以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。以下描述的本发明的各实施例可以单独实现,或者可以作为多个实施例的组合而实现。此外,在必要时或者在单个实施例中对来自各实施例的元素或特征的组合是有益的情况下,可以组合来自不同实施例的特征。
附图说明
图1是示出根据本发明的实施例的图像处理系统的构造示例的示意图。
图2是示出根据本发明的实施例的PC 101的示例性功能构造的框图。
图3是根据本发明的实施例的与PC 101和服务器103的操作有关的流程图。
图4A和图4B是示出根据本发明的实施例的PC 101的图像编辑器GUI的示例的图。
图5A至图5C是根据第二实施例的与图像数据的数据格式有关的图。
具体实施方式
下文中,将参照附图详细描述实施例。注意,以下实施例并不意图限制本发明的范围。在实施例中描述了多个特征,但是本发明并不限于需要所有这些特征,并且这些特征可以适当地组合。此外,在附图中,对相同或类似的构造赋予相同的附图标记,并且将省略其冗余描述。
注意,在下面的实施例中,将描述使用计算机装置(个人计算机、平板计算机、媒体播放器、PDA等)执行本发明的情况。然而,本发明适用于可以连接到网络的任何电子装置。这样的电子装置可以是数字(视频)照相机、移动电话、智能电话、游戏机、机器人、无人机、行车记录仪等。这些是示例性的,并且本发明也适用于其他电子装置。
第一实施例
图1是根据本发明的第一实施例的与图像处理系统100的构造有关的示意图。图像处理系统100具有PC 101和服务器103通过网络102可通信地连接的构造。网络102是由许多未指定装置使用的诸如因特网等的共享网络或公共网络。因此,当从PC 101观察时,服务器103是共享网络上的外部装置。
PC 101是通用计算机,并且可以是诸如台式、笔记本式和平板式等的各种形式中的一种。PC 101保持要进行图像处理的图像数据,并且从用户接收与要对图像数据执行的图像处理有关的指令。另外,PC 101可以经由网络102与服务器103通信。
服务器103针对PC 101充当外部图像处理装置。可替代地,服务器103可以是提供图像处理软件作为服务的云服务器。服务器103根据来自PC 101的指令(或者已经预先从PC101设置的指令)对从PC 101接收的图像数据应用图像处理,并将应用了图像处理的图像数据返回给PC 101。PC 101执行基于从服务器103接收的图像数据的显示。
图2是示出PC 101的示例性功能构造的框图。控制器201是诸如CPU等的微处理器,并且通过将存储在ROM 202或存储器206中的程序加载到RAM 203并执行该程序,来控制PC101的各块的操作。注意,该程序也可以通过网络102接收。
ROM 202是电可重写非易失性存储器。ROM 202存储可以由控制器201执行的程序、执行程序所需的参数、各种设置值、GUI数据等。
RAM 203是电可重写易失性存储器。RAM 203用于临时存储程序、在执行程序时使用的各种类型的信息、由块生成的数据等。另外,RAM 203的一部分可以用作显示器207的视频存储器。
发送器/接收器204是PC 101的网络接口。控制器201可以通过发送器/接收器204与网络102上的装置(包括服务器103)通信。
图像处理器205可以对存储在RAM 203中的图像数据应用各种类型的图像处理。例如,如果图像数据是通过照相机拍摄而获得的数据,则可以应用预处理、颜色插值处理、校正处理、检测处理和数据处理。预处理包括信号放大、基准电平调整、缺陷像素校正等。颜色插值处理是用于对不包括在图像数据中的颜色分量的值进行插值的处理,并且也称为去马赛克处理。校正处理包括白平衡调整、用于校正图像的亮度的处理、用于校正用于拍摄的镜头的光学系统的像差的处理、用于校正颜色的处理等。检测处理包括用于检测和跟踪特征区域(例如,面部区域或人体区域)的处理、用于识别人物的处理等。数据处理包括缩放处理、编码和解码处理等。注意,这些是可以由图像处理器205应用的图像处理的示例,并且不限制可以由图像处理器205应用的图像处理。注意,不能从图像数据获得的信息(诸如关于用于拍摄的装置的信息等)例如可以从存储有图像数据的数据文件获得。
存储器206是存储卡和读卡器的组合、硬盘驱动器、SSD等。存储器206在控制器201的控制下存储数据并读出存储的数据。
显示器207包括诸如LCD等的显示设备,并且进行基于写入RAM 203的视频存储区域中的数据的显示。
输入控制台208是可以由用户操作的输入设备(诸如键盘、触摸板、鼠标、开关、按钮和拨盘等)的通用术语。通过控制器201检测在输入控制台208上的操作。
注意,服务器103的基本功能构造可以类似于PC 101的基本功能构造。
在本实施例中,控制器201根据要应用的图像处理的内容,来确定是使PC 101(控制器201或图像处理器205)应用图像处理还是委托服务器103应用图像处理。
这里,作为这种情况的示例,控制器201使PC 101应用根据用户指令基于处理级别或处理参数而执行的图像处理。控制器201确定为服务器103将应用与用户指令无关地执行的图像处理、或用户仅给出开/关指令的图像处理。可替代地,控制器201确定为PC 101将应用可重复应用的图像处理,并且服务器103将应用仅被应用一次的图像处理。
与用户指令无关地执行的图像处理、用户仅给出开/关指令的图像处理、或仅应用一次的图像处理包括例如由于在拍摄期间所使用的设备(特别是图像传感器或拍摄镜头)的特性而应用的图像处理。具体地,包括缺陷像素校正、降噪处理、颜色插值处理、伽马校正处理、像差校正处理等,但是不限于此。
另外,根据用户指令基于处理级别或处理参数而执行的图像处理、或可以重复应用的图像处理包括例如作为所谓的修饰处理而应用的图像处理。具体地,包括色调曲线调整、色相、饱和度和明度的调整、白平衡调整等,但是不限于此。
注意,即使预定图像处理是根据用户指令基于处理级别或处理参数而执行的图像处理或可以重复应用的图像处理,也可以采用如下构造,其中,委托服务器103来应用处理负荷大的预定图像处理。另外,还可以采用如下构造,其中,如果PC 101的当前处理负荷大于或等于阈值,则委托服务器103来应用通常由PC 101应用的图像处理。
例如,可以将与委托服务器103应用的图像处理有关的信息以及与要由图像处理器205或控制器201应用的图像处理有关的信息预先存储在ROM 202中。控制器201根据要对图像数据应用的图像处理来参考ROM 202,指定要应用图像处理的位置,并且执行在指定位置应用图像处理所需的处理。例如,所需的处理是用于将图像数据和图像处理所需的信息发送到指定位置的处理。
以这种方式,采用了如下构造,其中,PC 101应用根据用户指令基于处理级别或处理参数而执行的图像处理、或可以重复应用的图像处理。因此,可以有效地降低PC 101与服务器103之间的通信数据量,并且可以降低由相互通信时间引起的处理延迟对用户指令的响应性的影响。
图3是根据本发明的本实施例的与图像处理系统100的操作有关的流程图。例如,作为指示执行图像处理应用的结果,开始PC 101的处理。
在步骤S301中,控制器201在显示器207上显示用于选择图像数据的画面。例如,控制器201在显示器207上显示例如存储在存储器206的预定目录中的可选图像数据的列表。针对各图像数据,该列表可以包括诸如文件名、存储时间和日期以及缩略图图像等的项目。
在步骤S302中,控制器201检测输入控制台208上的操作,并根据检测到的操作指定由用户选择的图像数据。
在步骤S303中,控制器201通过发送器/接收器204将用户在步骤S302中选择的图像数据发送到服务器103。这里,有必要对图像数据应用的图像处理包括要由服务器103应用的图像处理。控制器201将图像处理所需的信息与图像数据一起发送到服务器103。图像处理所需的信息的示例包括与拍摄图像数据的装置、拍摄条件等有关的信息。注意,可以将要应用的图像处理呈现给服务器103,并且例如如果服务器103已知要应用的图像处理,则不需要呈现图像处理的内容。
在步骤S304中,服务器103接收从PC 101发送的图像数据,并对图像数据应用图像处理。在步骤S304中,如上所述,服务器103对图像数据应用将要被应用一次的图像处理。这里,作为示例,应用了用于校正由用于拍摄以获得图像数据的成像光学系统和图像传感器所引起的图像质量劣化的图像处理。稍后将详细描述这种图像处理。
在步骤S305中,服务器103将已应用了图像处理的图像数据发送到PC 101。
在步骤S306中,控制器201基于从服务器103接收的图像数据来生成要显示的图像数据,并将所生成的图像数据与用于图像编辑的GUI一起显示在显示器207上。用户可以通过输入控制台208上的操作来操作用于图像编辑的GUI,从而指示PC 101应用期望的图像处理,诸如饱和度和色调的调整等。
在步骤S307中,控制器201基于与输入控制台208上的操作相对应的参数,控制图像处理器205以对图像数据应用图像处理。图像处理器205将已经应用了图像处理的图像数据发送至控制器201。控制器201使用已经应用了图像处理的图像数据来更新显示。
在步骤S308中,当用户通过输入控制台208给出结束图像处理的指令时,控制器201例如将经过图像处理的图像数据存储在存储器206中,并结束处理。另一方面,如果没有通过输入控制台208检测到结束图像处理的指令,则控制器201等待通过输入控制台208输入其他指令。
注意,图3示出服务器103首先应用一次图像处理,然后PC 101应用图像处理。然而,如果在步骤S306中由用户指示处理负荷较大的图像处理,或者当PC 101的负荷较大时,可以进一步委托服务器103应用图像处理。
接下来,将描述在步骤S304中由服务器103应用的图像处理和在步骤S307中由PC101应用的图像处理的示例。
首先,将描述用于校正由用于拍摄以获得图像数据的成像光学系统引起的像差的图像处理、以及用于校正由图像传感器引起的噪声的图像处理,作为在步骤S304中可以由服务器103应用的图像处理的示例。
将描述用于校正像差的图像处理。由于用于拍摄的镜头单元的光学构件的形状和材料、以及诸如在变焦镜头的情况下的变焦位置的条件,会发生像差。因此,可以基于与镜头单元的类型、拍摄条件(特别是光圈值)和变焦位置(视角)有关的信息,来指定用于校正构成图像数据的各像素的数据的校正值。校正值可以作为表保持在服务器103中,或者也可以从网络102上的其他装置获得。例如,可以使用诸如日本特开2011-217087号公报中所描述的方法等的已知方法,作为校正值和使用该校正值的校正方法。
接下来,将描述用于校正噪声的图像处理。由于用于拍摄以获得图像数据的图像传感器的特性以及诸如拍摄条件(特别是拍摄灵敏度)等的条件而产生噪声。因此,可以基于与图像传感器的类型和拍摄条件(特别是拍摄灵敏度)有关的信息,来指定用于校正构成图像数据的各像素的数据的校正值。校正值可以作为表保持在服务器103中,或者也可以从网络102上的其他装置获得。可以使用诸如日本特开2013-026669号公报中所描述的方法等的已知方法,作为校正值和使用该校正值的校正方法。
用于校正像差和噪声的图像处理是需要大计算量来针对各像素应用使用相邻像素的二维空间滤波处理的处理。另外,基本上,对图像数据应用一次这样的图像处理即可。在网络102上提供图像处理服务的服务器103的图像处理能力通常高于PC 101的图像处理能力。因此,用于减少由服务器103应用这种图像处理的处理时间的效果很大。
这里,在步骤S304中,服务器103应用用于校正像差的图像处理和用于校正噪声的图像处理两者,但是也可以应用用于校正像差的图像处理和用于校正噪声的图像处理之一。另外,服务器103可以应用的用于校正由成像光学系统或图像传感器引起的图像质量劣化的图像处理不限于此。例如,还可以应用其他图像处理,诸如用于校正由于由成像光学系统中所包括的光圈引起的衍射现象而导致的清晰度下降的图像处理、以及用于校正由光学低通滤波器引起的清晰度下降的图像处理等。此外,服务器103可以应用基本上应用一次的图像处理,诸如颜色插值处理等。
接下来,将描述用于调整饱和度的图像处理和用于调整色调的图像处理,作为在步骤S307中可以由PC 101应用的图像处理的示例。图4A示出了在步骤S306中由PC 101呈现的用于图像编辑的GUI当中的、用于饱和度调整的GUI的示例。
用于饱和度调整的GUI 401包括滑块402。当检测到在输入控制台208上进行的移动滑块402的旋钮403的操作(例如,指向旋钮403的光标410的移动操作)时,控制器201根据该操作来移动旋钮403的显示位置。注意,如果显示器207是触摸显示器,则控制器201可以检测移动旋钮403的触摸操作(例如,旋钮403的拖动操作)。随后,当没有检测到更多操作时,控制器201确定与旋钮403的显示位置相对应的饱和度,并且指示图像处理器205对与显示图像420相对应的图像数据应用改变后的饱和度。图像处理器205对图像数据应用用于改变饱和度的处理。另外,图像处理器205基于改变后的图像数据生成要显示的新图像数据,并使用要显示的新图像数据来更新RAM 203的视频存储器。因此,用户可以检查已经应用了由用户自己指示的饱和度的显示图像420。
图4B示出了在步骤S306中由PC 101呈现的用于图像编辑的GUI当中的、用于色调调整的GUI的示例。用于色调调整的GUI 404包括色调曲线405的曲线图。当检测到在输入控制台208上进行的在色调曲线405上移动控制点406的操作(例如,指向控制点406的光标410的移动操作)时,控制器201根据该操作来移动控制点406的显示位置。注意,如果显示器207是触摸显示器,则控制器201可以检测移动控制点406的触摸操作(例如,控制点406的拖动操作)。当检测到左右方向的移动操作时,控制器201仅在色调曲线上移动控制点406。另外,当检测到上下方向的移动操作时,控制器201垂直移动控制点406的位置,并根据移动的控制点406的位置使色调曲线变形。注意,可能存在多个控制点406。
然后,控制器201指示图像处理器205对与显示图像420相对应的图像数据应用基于没有检测到更多操作时的色调曲线的形状的色调转换。图像处理器205应用用于改变图像数据的色调特性的处理。另外,图像处理器205基于改变后的图像数据生成要显示的新图像数据,并使用要显示的新图像数据来更新RAM 203的视频存储器。因此,用户可以检查已经应用了由用户自己指示的色调特性的改变的显示图像420。
在许多情况下,在检查显示图像的同时通过反复试验来进行饱和度和色调的调整,从而获得期望的结果。因此,在许多情况下,重复执行与饱和度和色调的调整有关的图像处理,并且考虑到可用性,期望将调整结果立即转换为显示图像。此外,可以使用仅与要处理的像素有关的信息来执行与饱和度和色调的调整有关的图像处理,并且因此与像差等的校正相比,其计算量较小。因此,在重复图像数据的发送/接收的同时,PC 101应用图像处理的优点大于服务器103应用图像处理的优点。
注意,由PC 101执行的图像处理可以是饱和度和色调之一或两者的调整。另外,PC101还可以应用在许多情况下通过反复试验执行的任何其他类型的图像处理(诸如调整色相、对比度、明度和清晰度以及调整大小等)中的至少一者,而不限于饱和度和色调的调整。
如上所述,根据本实施例,在可通信地连接到外部装置的图像处理装置中,根据要应用的图像处理的内容,确定是委托外部装置对图像数据应用图像处理,还是自行应用图像处理。因此,相对于委托外部装置应用全部图像处理的情况,可以抑制与外部装置进行通信所需的时间所引起的处理时间的增加。
第二实施例
接下来,将描述本发明的第二实施例。在第一实施例中,主要从缩短处理时间的观点,根据图像处理的内容来确定是PC 101要应用图像处理还是服务器103要应用图像处理。在本实施例中,将描述如下情况:以基于数据量的计量费率方式对与服务器103的通信进行计费。图像处理系统100的构造和PC 101的构造可以类似于第一实施例的构造,因此,将主要着重于本实施例独有的操作来描述本实施例。
根据本实施例,采用以下构造,其中,如果在服务器103对图像数据顺序地应用多种类型的图像处理的处理中数据格式改变,则在数据格式改变为数据量较大的数据格式之前停止由服务器103应用的图像处理。可替代地,服务器103在如下范围内应用图像处理,在该范围内,要从服务器103发送到PC 101的图像处理之后的图像数据的数据格式不会变为数据量大于从PC 101发送到服务器103的图像处理之前的图像数据的数据格式的数据量的数据格式。
例如,假定以第一数据格式将图像数据从PC 101发送到服务器103,并且存在三种类型的图像处理,即可以由服务器按A、B、C的顺序对图像数据应用的图像处理A至图像处理C。同样,假定根据图像处理A和图像处理B,以第一数据格式输出处理结果,并且根据图像处理C,以第二数据格式输出处理结果,该第二数据格式的数据量大于第一数据格式的数据量。在这种情况下,服务器103应用图像处理A至图像处理C当中的图像处理A和图像处理B,并且PC 101进行图像处理C。如果服务器103应用图像处理A至图像处理C中的全部图像处理,则从服务器103返回到PC 101的图像数据是第二数据格式的图像数据,并且发送数据量增大为大于第一数据格式的发送数据量。如果服务器103应用直到图像处理B,则从服务器103返回到PC 101的图像数据可以是第一数据格式,并且可以减小通信数据量。
例如,如果图像数据是通过拍摄获得的数据,则根据图像数据是RAW数据还是经过显像处理的数据,图像数据的数据格式可以不同。通过使用配设有原色Bayer阵列滤色器的图像传感器的拍摄而获得的RAW数据在许多情况下针对各像素以12位/像素或14位/像素的深度包括R(红色)、G(绿色)和B(蓝色)分量中的一个颜色分量。
另一方面,在许多情况下,经过显像处理(颜色插值处理)的图像数据针对各像素,以8位/分量(24位/像素)的深度包括三个(不同)RGB分量,或者以8位/分量(16位/像素)的深度包括Y分量以及U或V分量。
图5A至图5C示意性地示出了各个数据格式的示例。这里,将针对各像素以14位深度具有一个颜色分量的数据格式定义为Bayer格式(14位/像素),并且将针对各像素以8位深度具有Y分量以及U或V分量的数据格式定义为YUV422格式(16位/像素)。
例如,如第一实施例中所述,考虑对图像数据应用用于校正像差的图像处理和用于校正噪声的图像处理两者的情况。这里,对Bayer格式的图像数据进行用于校正像差的图像处理,并且对YUV422格式的图像数据进行用于校正噪声的图像处理。
在这种情况下,在图3所示的流程图中的步骤S303中,将Bayer格式的图像数据从PC 101发送到服务器103。然后,在步骤S304中,服务器103进行用于校正像差的图像处理,并在步骤S305中返回Bayer格式的图像数据。然后,在执行步骤S306之前,PC 101的控制器201使图像处理器205对已经校正了像差的图像数据应用用于校正噪声的图像处理。图像处理器205将图像数据从Bayer格式转换为YUV422格式,然后应用用于校正噪声的图像处理。如果作为用于校正噪声的图像处理的结果而获得了Bayer格式的图像数据,则与第一实施例类似地应用图像处理即可。
注意,同样在本实施例中,与委托服务器103应用的图像处理有关的信息和与由PC101应用的图像处理有关的信息预先存储在ROM 202中。在本实施例中,可以根据将作为图像处理的结果而输出的图像数据的数据格式,预先对委托服务器103应用的图像处理和由PC 101应用的图像处理进行确定。可以对多个数据格式当中的除数据量最大的数据格式以外的数据格式的图像数据进行委托服务器103应用的图像处理。注意,如果最终获得的图像数据的格式不是数据量最大的数据格式,则可以将连续应用的多种图像处理中的各种图像处理委托给服务器103应用,而与进行处理期间图像数据的格式无关。
根据本实施例,由外部装置应用的图像处理的范围被保持在数据量不增加到大于图像处理之前的数据量的范围内。因此,当委托外部装置应用图像处理时,可以避免从外部装置返回数据量已经增加到大于图像处理之前的数据量的图像处理之后的图像数据。因此,如果以计量费率方式对与外部装置的通信进行计费,则可以节省通信成本。
注意,还可以采用如下构造,其中,如果由服务器103进行的图像处理需要付费,则服务器103仅应用PC 101无法进行或者花费太多时间的图像处理。同样在这种情况下,可以将要委托给服务器103的图像处理(关于该图像处理的信息)预先登记在ROM 202中。
其他实施例
在根据本发明的实施例的图像处理系统100中,由服务器103应用未由PC 101应用的图像处理。然而,可替代地,可以通过第二外部装置来执行已被描述为将由PC 101应用的图像处理,从PC 101观察,该第二外部装置位于网络102之前(例如,在本地网络上或直接连接)。在这种情况下,需要在两个方向上在PC 101与第二外部装置之间对图像数据进行通信。然而,与通过网络102的PC与服务器103之间的通信相比,PC 101与第二外部装置之间的通信更快并且更稳定。因此,由于通信而导致的处理延迟及其变化较小。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不限于所公开的示例性实施例。
Claims (11)
1.一种图像处理装置,包括:
图像处理单元,其被布置为对图像数据应用图像处理;
通信单元,其被布置为与外部装置通信;以及
控制单元,其被布置为:
基于图像处理的内容或要与所述外部装置通信的数据量,从针对所述图像数据的图像处理中确定要在所述图像处理单元处应用的第一图像处理和要在所述外部装置处应用的第二图像处理,
将所述图像数据经由所述通信单元发送至所述外部装置,以将所述第二图像处理应用于所述图像数据,
经由所述通信单元从所述外部装置接收应用了所述第二图像处理的图像数据,以及
控制所述图像处理单元,以将所述第一图像处理应用于应用了所述第二图像处理的图像数据,
其中,所述控制单元将根据用户指令而要对所述图像数据应用的图像处理确定为所述第一图像处理,并且将要对所述图像数据仅应用一次的图像处理确定为所述第二图像处理。
2.根据权利要求1所述的图像处理装置,
其中,所述外部装置在共享网络上。
3.根据权利要求2所述的图像处理装置,
其中,所述控制单元被布置为控制其他外部装置以替代的方式应用要由所述图像处理单元应用的图像处理,在从所述图像处理装置观察的情况下所述其他外部装置位于所述共享网络之前。
4.根据权利要求1至3中任一项所述的图像处理装置,
其中,根据用户指令而要对所述图像数据应用的图像处理包括以下内容至少之一:调整饱和度、色调、色相、对比度、明度或清晰度;以及调整大小。
5.根据权利要求1至3中任一项所述的图像处理装置,
其中,所述控制单元被布置为确定要在所述外部装置处应用用于校正由成像光学系统或图像传感器引起的图像质量劣化的图像处理。
6.根据权利要求5所述的图像处理装置,
其中,用于校正由成像光学系统或图像传感器引起的图像质量劣化的图像处理包括以下图像处理至少之一:用于校正像差的图像处理、用于校正噪声的图像处理、用于校正由于所述成像光学系统中所包括的光圈引起的衍射现象而导致的清晰度下降的图像处理、以及用于校正由光学低通滤波器引起的清晰度下降的图像处理。
7.一种图像处理装置,包括:
图像处理单元,其被布置为对图像数据应用图像处理;
通信单元,其被布置为与外部装置通信;以及
控制单元,其被布置为基于图像处理的内容或要与所述外部装置通信的数据量,来控制是要在所述图像处理单元处还是要在所述外部装置处应用针对所述图像数据的图像处理,
其中,在所述图像数据经由所述通信单元而被发送至所述外部装置的情况下,所述控制单元被布置为:
控制所述通信单元,使得以第一数据格式发送所述图像数据,
控制所述外部装置应用图像处理,使得应用了该图像处理的图像数据采用所述第一数据格式,以及
其中,所述图像处理单元被布置为对数据量大于所述第一数据格式的数据量的第二数据格式的图像数据应用图像处理。
8.根据权利要求7所述的图像处理装置,
其中,所述外部装置在共享网络上。
9.根据权利要求8所述的图像处理装置,
其中,所述控制单元被布置为控制其他外部装置以替代的方式应用要由所述图像处理单元应用的图像处理,在从所述图像处理装置观察的情况下所述其他外部装置位于所述共享网络之前。
10.一种图像处理装置执行的图像处理方法,所述图像处理装置包括对图像数据应用图像处理的图像处理器,所述图像处理方法包括:
基于图像处理的内容或要与外部装置通信的数据量,从针对所述图像数据的图像处理中确定要在所述图像处理器处应用的第一图像处理和要在所述外部装置处应用的第二图像处理,其中所述图像处理装置能够与所述外部装置通信;
将所述图像数据发送至所述外部装置,以将所述第二图像处理应用于所述图像数据;
从所述外部装置接收应用了所述第二图像处理的图像数据;以及
控制所述图像处理器,以将所述第一图像处理应用于应用了所述第二图像处理的图像数据,
其中,所述控制将根据用户指令而要对所述图像数据应用的图像处理确定为所述第一图像处理,并且将要对所述图像数据仅应用一次的图像处理确定为所述第二图像处理。
11.一种计算机可读介质,其存储使计算机执行根据权利要求1至9中任一项所述的图像处理装置的各单元的处理的程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-199242 | 2019-10-31 | ||
JP2019199242A JP7403279B2 (ja) | 2019-10-31 | 2019-10-31 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112751984A CN112751984A (zh) | 2021-05-04 |
CN112751984B true CN112751984B (zh) | 2024-06-07 |
Family
ID=73223775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011183268.5A Active CN112751984B (zh) | 2019-10-31 | 2020-10-29 | 图像处理装置、图像处理方法和计算机可读介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210133933A1 (zh) |
JP (1) | JP7403279B2 (zh) |
CN (1) | CN112751984B (zh) |
DE (1) | DE102020128438A1 (zh) |
GB (1) | GB2589204B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001094694A (ja) * | 1999-09-24 | 2001-04-06 | Ricoh Co Ltd | 画像入力装置、画像処理システム及び記録媒体 |
JP2001275031A (ja) * | 2000-01-17 | 2001-10-05 | Fuji Photo Film Co Ltd | 画像処理方法および装置、カメラならびに撮影システム |
JP2002010243A (ja) * | 2000-06-16 | 2002-01-11 | Mitsubishi Heavy Ind Ltd | 動画像処理カメラ |
JP2004030251A (ja) * | 2002-06-26 | 2004-01-29 | Fuji Photo Film Co Ltd | 画像データ送信方法および携帯端末装置並びにプログラム |
JP2005223855A (ja) * | 2004-02-09 | 2005-08-18 | Fuji Xerox Co Ltd | 携帯端末装置及びサーバ装置 |
JP2009071621A (ja) * | 2007-09-13 | 2009-04-02 | Panasonic Corp | 画像処理装置及びデジタルカメラ |
CN104660860A (zh) * | 2013-11-20 | 2015-05-27 | 佳能株式会社 | 图像处理装置及其控制方法和信息处理装置及其控制方法 |
JP6164564B1 (ja) * | 2016-03-14 | 2017-07-19 | リアロップ株式会社 | 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3710335B2 (ja) * | 1998-09-30 | 2005-10-26 | キヤノン株式会社 | 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体 |
WO2004015984A1 (ja) * | 2002-08-08 | 2004-02-19 | Ricoh Company, Limited | 画像データ処理装置、画像データ処理方法、プログラム、記録媒体および画像読取装置 |
JP4143549B2 (ja) * | 2004-01-28 | 2008-09-03 | キヤノン株式会社 | 画像処理装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2006004382A (ja) * | 2004-06-21 | 2006-01-05 | Sharp Corp | 情報処理装置、情報処理方法、情報処理プログラムおよびコンピュータ読み取り可能な記録媒体 |
US7868921B2 (en) * | 2006-02-17 | 2011-01-11 | Canon Kabushiki Kaisha | Image processing file setting system |
KR20090020897A (ko) * | 2007-08-24 | 2009-02-27 | 삼성전자주식회사 | 외부기기의 제어명령에 따라 제어되는 무선 영상시스템,무선 영상수신기 및 무선 영상시스템 제어방법 |
JP5046801B2 (ja) * | 2007-08-28 | 2012-10-10 | 富士フイルム株式会社 | 画像処理装置及びプログラム |
JP5893338B2 (ja) * | 2011-10-25 | 2016-03-23 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びにプログラム |
US20160012136A1 (en) * | 2013-03-07 | 2016-01-14 | Eyeducation A.Y. LTD | Simultaneous Local and Cloud Searching System and Method |
US9052740B2 (en) * | 2013-03-12 | 2015-06-09 | Qualcomm Incorporated | Adaptive data path for computer-vision applications |
KR102173107B1 (ko) * | 2013-12-11 | 2020-11-02 | 삼성전자주식회사 | 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템 |
JP2016048911A (ja) * | 2014-08-25 | 2016-04-07 | キヤノン株式会社 | 情報処理装置、その制御方法、および制御プログラム |
US10055672B2 (en) * | 2015-03-11 | 2018-08-21 | Microsoft Technology Licensing, Llc | Methods and systems for low-energy image classification |
JP6594101B2 (ja) * | 2015-08-19 | 2019-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2017169186A (ja) * | 2016-03-14 | 2017-09-21 | 株式会社リコー | 画像処理装置、情報処理装置、画像処理システム及び画像処理方法 |
US10303522B2 (en) * | 2017-07-01 | 2019-05-28 | TuSimple | System and method for distributed graphics processing unit (GPU) computation |
KR102495753B1 (ko) * | 2017-10-10 | 2023-02-03 | 삼성전자주식회사 | 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치 |
US10755090B2 (en) * | 2018-03-16 | 2020-08-25 | Open Text Corporation | On-device partial recognition systems and methods |
JP7469884B2 (ja) * | 2020-01-15 | 2024-04-17 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 |
-
2019
- 2019-10-31 JP JP2019199242A patent/JP7403279B2/ja active Active
-
2020
- 2020-10-05 GB GB2015764.0A patent/GB2589204B/en active Active
- 2020-10-28 US US17/083,044 patent/US20210133933A1/en active Pending
- 2020-10-29 DE DE102020128438.1A patent/DE102020128438A1/de active Pending
- 2020-10-29 CN CN202011183268.5A patent/CN112751984B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001094694A (ja) * | 1999-09-24 | 2001-04-06 | Ricoh Co Ltd | 画像入力装置、画像処理システム及び記録媒体 |
JP2001275031A (ja) * | 2000-01-17 | 2001-10-05 | Fuji Photo Film Co Ltd | 画像処理方法および装置、カメラならびに撮影システム |
JP2002010243A (ja) * | 2000-06-16 | 2002-01-11 | Mitsubishi Heavy Ind Ltd | 動画像処理カメラ |
JP2004030251A (ja) * | 2002-06-26 | 2004-01-29 | Fuji Photo Film Co Ltd | 画像データ送信方法および携帯端末装置並びにプログラム |
JP2005223855A (ja) * | 2004-02-09 | 2005-08-18 | Fuji Xerox Co Ltd | 携帯端末装置及びサーバ装置 |
JP2009071621A (ja) * | 2007-09-13 | 2009-04-02 | Panasonic Corp | 画像処理装置及びデジタルカメラ |
CN104660860A (zh) * | 2013-11-20 | 2015-05-27 | 佳能株式会社 | 图像处理装置及其控制方法和信息处理装置及其控制方法 |
JP6164564B1 (ja) * | 2016-03-14 | 2017-07-19 | リアロップ株式会社 | 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
GB202015764D0 (en) | 2020-11-18 |
DE102020128438A1 (de) | 2021-05-06 |
CN112751984A (zh) | 2021-05-04 |
JP7403279B2 (ja) | 2023-12-22 |
GB2589204A (en) | 2021-05-26 |
GB2589204B (en) | 2022-11-02 |
JP2021071989A (ja) | 2021-05-06 |
US20210133933A1 (en) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107395898B (zh) | 一种拍摄方法及移动终端 | |
EP2515521B1 (en) | Image Compensation Device, Image Processing Apparatus And Methods Thereof | |
US8736708B2 (en) | Information processing apparatus allowing remote operation of an image capturing apparatus and control method therefor | |
JP2006505862A (ja) | 移動クライアント装置から画像処理を行う方法及びシステム | |
CN104284166A (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
US9479689B2 (en) | Imaging device and focusing-verification display method | |
US11089211B2 (en) | Image processing apparatus, image processing method, and program for switching between two types of composite images | |
US9609328B2 (en) | Electronic device and method | |
US20140313360A1 (en) | Electronic device and method for operating the same | |
EP2866434A1 (en) | Imaging apparatus | |
US20150172614A1 (en) | Image processing device, imaging apparatus, computer, image processing method, and non-transitory computer readable medium | |
JP6141137B2 (ja) | 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム | |
JP7453772B2 (ja) | 情報処理装置及びその制御方法、撮像装置システム、プログラム | |
CN112751984B (zh) | 图像处理装置、图像处理方法和计算机可读介质 | |
JP4804161B2 (ja) | 画像処理装置、画像処理システム及び画像処理装置の制御方法 | |
JP2017126914A (ja) | 画像処理システム | |
JP2021118403A (ja) | 画像処理装置、その制御方法、プログラム並びに画像処理システム | |
JP7458806B2 (ja) | 画像処理装置および画像処理方法 | |
US11665434B2 (en) | Information processing apparatus having capability of appropriately setting regions displayed within an image capturing region using different image categories | |
US11372513B2 (en) | Display apparatus, control method thereof and storage medium for displaying a background image around each of a plurality of images | |
EP3534601B1 (en) | Image processing apparatus, image processing method, and storage medium | |
US9967408B2 (en) | Information setting apparatus, information management apparatus, information generation apparatus, and method and program for controlling the same | |
JP2007141152A (ja) | デジタルカメラ、印刷装置、画像供給装置 | |
JP5889383B2 (ja) | 画像処理装置および画像処理方法 | |
JP5180569B2 (ja) | カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |