Nothing Special   »   [go: up one dir, main page]

CN113747045B - 多媒体处理芯片、电路板及电子设备 - Google Patents

多媒体处理芯片、电路板及电子设备 Download PDF

Info

Publication number
CN113747045B
CN113747045B CN202010479725.9A CN202010479725A CN113747045B CN 113747045 B CN113747045 B CN 113747045B CN 202010479725 A CN202010479725 A CN 202010479725A CN 113747045 B CN113747045 B CN 113747045B
Authority
CN
China
Prior art keywords
image data
processing
processing chip
memory
signal processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010479725.9A
Other languages
English (en)
Other versions
CN113747045A (zh
Inventor
吴集
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010479725.9A priority Critical patent/CN113747045B/zh
Publication of CN113747045A publication Critical patent/CN113747045A/zh
Application granted granted Critical
Publication of CN113747045B publication Critical patent/CN113747045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种多媒体处理芯片、电路板及电子设备,多媒体处理芯片包括系统总线、互连总线接口、神经网络处理器、第一存储器、第二存储器,互连总线接口与系统总线连接,神经网络处理器用于对图像数据进行处理以得到处理结果,第一存储器用于存储所述处理结果,第二存储器用于存储所述图像数据,神经网络处理器内置直接存储访问控制器,直接存储访问控制器用于将存储于第一存储器内的处理结果搬移到互连总线接口的数据发送缓存区。本申请实施例可以提高多媒体处理芯片对图像处理的能力。

Description

多媒体处理芯片、电路板及电子设备
技术领域
本申请涉及图像处理技术领域,特别涉及一种多媒体处理芯片、电路板及电子设备。
背景技术
各种可以进行视频拍摄和拍照功能的多媒体设备(如数码相机、智能手机、平板电脑等)中,一般都具有获取图像的图像传感器,可以进行图像处理的多媒体处理芯片、以及应用处理器(AP,Application Processor)。图像传感器可以通过MI PI(Mobile IndustryProcessor Interface,移动产业处理器接口)线连接到多媒体处理芯片,多媒体处理芯片可以通过MI PI线连接到AP。
图像传感器可包括互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)图像传感器、电荷藕合器件(Charge Coupled Device,CCD)图像传感器等。多媒体处理芯片可包括图像信号处理器(Image Signal Processor,ISP),ISP对图像传感器获取的图像进行处理,多媒体处理芯片对图像处理完成后得到处理结果,并将处理结果传输到AP的ISP。然而,相关技术中的多媒体处理芯片对图像的处理能力有限。
发明内容
本申请实施例提供一种多媒体处理芯片、电路板及电子设备,可以提高多媒体处理芯片对图像处理的能力。
本申请实施例公开一种多媒体处理芯片,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接;
神经网络处理器,所述神经网络处理器用于对图像数据进行处理以得到处理结果;
第一存储器,所述第一存储器用于存储所述处理结果;
第二存储器,所述第二存储器用于存储所述图像数据;
其中,所述神经网络处理器内置直接存储访问控制器,所述直接存储访问控制器用于将存储于所述第一存储器内的处理结果搬移到所述互连总线接口的数据发送缓存区。
本申请实施例公开一种多媒体处理芯片,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接;
第一存储器;
第二存储器,存储有图像数据;和
神经网络处理器,所述神经网络处理器被配置为:从所述第二存储器获取图像数据,对所述图像数据进行处理以得到处理结果,将所述处理结果存储于所述第一存储器;
其中,所述神经网络处理器内置直接存储访问控制器,所述直接存储访问控制器被配置为将所述第一存储器内的处理结果搬移到所述互连总线接口的数据发送缓存区。
本申请实施例公开一种多媒体处理芯片,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接;
神经网络处理器,所述神经网络处理器用于对图像数据进行处理以得到处理结果;
第一存储器,所述第一存储器包括第一存储空间和第二存储空间,所述第一存储空间用于存储所述处理结果,所述第二存储空间用于存储所述图像数据;和
第二存储器,所述第二存储器存储图像数据的速率小于所述第一存储器存储图像数据的速率,所述第二存储器用于存储所述图像处理芯片的运行系统;
其中,所述神经网络处理器内置直接存储访问控制器,所述直接存储访问控制器用于将存储于所述第一存储空间内的处理结果搬移到所述互连总线接口的数据发送缓存区。
本申请实施例公开一种多媒体处理芯片,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接;
第一存储器,所述第一存储器包括第一存储空间和第二存储空间,所述第二存储空间存储有图像数据;和
神经网络处理器,所述神经网络处理器被配置为:从所述第二存储空间获取图像数据,对所述图像数据进行处理以得到处理结果,将所述处理结果存储于所述第一存储空间;
其中,所述神经网络处理器内置直接存储访问控制器,所述直接存储访问控制器被配置为将所述第一存储空间内的处理结果搬移到所述互连总线接口的数据发送缓存区。
本申请实施例还公开一种电路板,其上集成有应用处理芯片和多媒体处理芯片,所述多媒体处理芯片为如上任一项所述的多媒体处理芯片,所述应用处理芯片与所述多媒体处理芯片的互连总线接口连接,所述应用处理芯片包括图像信号处理器,所述应用处理芯片的图像信号处理器用于从所述互连总线接口的数据发送缓存区获取所述多媒体处理芯片的处理结果。
本申请实施例还公开一种电子设备,所述电子设备包括:
图像传感器,用于获取图像数据;
多媒体处理芯片,所述多媒体处理芯片为如上任一项所述的多媒体处理芯片,所述多媒体处理芯片用于处理所述图像传感器所获取的图像数据以得到处理结果;和
应用处理芯片,所述应用处理芯片与所述多媒体处理芯片的互连总线接口连接,所述应用处理芯片包括图像信号处理器,所述应用处理芯片的图像信号处理器用于从所述互连总线接口的数据发送缓存区获取所述多媒体处理芯片的处理结果。
本申请实施例中,多媒体处理芯片内集成神经网络处理器,可以采用人工智能训练网络处理图像算法,提高对图像处理的算力,从而可以提高对图像处理的效率以及提高对图像处理的质量。而且本申请实施例多媒体处理芯片在将图像数据处理完成后采用神经网络处理器内置的直接存储访问控制器直接将处理结果通过系统总线传输到互连总线接口的数据发送缓存区,以便于通过该数据发送缓存区将该处理结果传输到应用处理芯片。从而可以提高多媒体处理芯片将其处理图像得到的处理结果传输到应用处理芯片的传输速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的多媒体处理芯片的第一种结构示意图。
图2为本申请实施例提供的电路板的第一种结构示意图。
图3为本申请实施例提供的电子设备的第一种结构示意图。
图4为本申请实施例提供的多媒体处理芯片的第二种结构示意图。
图5为本申请实施例提供的电路板的第二种结构示意图。
图6为本申请实施例提供的电子设备的第二种结构示意图。
图7为本申请实施例提供的多媒体处理芯片的第三种结构示意图。
图8为本申请实施例提供的电路板的第三种结构示意图。
图9为本申请实施例提供的电子设备的第三种结构示意图。
具体实施方式
本申请实施例提供一种多媒体处理芯片、电路板及电子设备。其中,多媒体处理芯片可以集成于电路板诸如主板中,以应用到电子设备中实现对图像的处理。
请参阅图1,图1为本申请实施例提供的多媒体处理芯片的第一种结构示意图。多媒体处理芯片诸如多媒体处理芯片200可以包括图像处理器,图像处理器可以对多媒体处理芯片200所获取到的图像数据诸如RAW数据进行处理,以增强图像数据的质量。
图像处理器可以包括图像信号处理器(Image Signal Processing,ISP)210、神经网络处理器(Neural-network Processing Unit,NPU)220和数字信号处理器(DigitalSignal Processing,DSP)230。其中,图像信号处理器210用于对多媒体处理芯片200所获取到的图像数据诸如RAW数据进行坏点去除、stats统计、线性化等处理。其中,神经网络处理器220用于对图像信号处理器210所处理过的图像数据进行增强处理,其可以运行人工智能训练网络处理图像算法,以在提高处理图像数据效率的情况下提升图像质量。其中,数字信号处理器230主要用于协助图像信号处理器210和神经网络处理器220。然而,数字信号处理器230也可以对计算量较小的图像数据进行处理。
需要说明的是,图像处理器所包括的处理器并不限于此,诸如图像处理器仅包括图像信号处理器210和神经网络处理器220。
多媒体处理芯片200还可以包括存储器。存储器可以存储多媒体处理芯片200的各种数据,诸如图像数据、系统数据等。其中存储器可以包括第一存储器260和第二存储器270。第一存储器260可以存储神经网络处理器220所处理的结果,本申请实施例可以将神经网络处理器220所处理的结果简称为处理结果。
第二存储器270可以存储多媒体处理芯片200的运行系统,第二存储器270可以存储多媒体处理芯片200所获取到的原始图像数据诸如原始RAW数据,第二存储器270也可以存储图像信号处理器210所处理的结果,本申请实施例可以将图像信号处理器210所处理的结果简称为第一中间图像数据。第二存储器270还可以存储数字信号处理器230所处理的结果,本申请实施例可以将数字信号处理器230所处理的结果简称为第二中间图像数据。
在一些实施例中,第一存储器260存取图像数据的速率大于第二存储器270存取图像数据的速率,诸如第一存储器260存储图像数据的速率大于第二存储器270存储图像数据的速率,第一存储器260取出图像数据的速率大于第二存储器270取出图像数据的速率。通常来讲,静态存储器存取数据的速率大于动态存储器存取数据的速率,本申请实施例第一存储器260可以为静态存储器,第二存储器270可以为动态存储器,诸如双倍速率同步动态随机存储器(Double Data Rate SDRAM,DDR)。
多媒体处理芯片200还可以包括主控处理器240、系统总线250、第一接口201、第二接口202和互连总线接口203。系统总线250与多媒体处理芯片200的各个部件电连接,诸如系统总线250与图像信号处理器210、神经网络处理器220、数字信号处理器230、主控处理器240、第一存储器260、第二存储器270以及互连总线接口203电连接。可以理解的是,本申请实施例所限定的电连接可以理解为两个部件之间的连接关系可以进行数据,诸如两个部件采用导线连接。再比如两个部件采用直接连接,诸如采用焊接的方式将两个部件的焊接点焊接在一起。
主控处理器(Central Processing Unit,CPU)240可以控制多媒体处理芯片200系统的运作,诸如中断响应、外设参数配置等。
其中,第一接口201和第二接口202均可以为移动产业处理器接口(MobileIndustry Processor Interface,MI PI)。第一接口201可以接收图像数据诸如RAW数据,诸如第一接口201可以接收来自图像传感器所获取到的RAW数据。第一接口201所接收到的图像数据诸如RAW数据可以为原始图像数据,即第一接口201所接收到的图像数据为未经过处理加工的图像数据,具体可以将原始图像数据理解为未经过图像处理器处理的图像数据。第一接口201接收到图像数据诸如原始图像数据后可以将该图像数据传输到图像信号处理器210。
第二接口202可以接收图像信号处理器210对图像数据进行处理的结果,第二接口202也可以接收神经网络处理器220对图像数据进行处理的结果,第二接口202还可以接收数字信号处理器230对图像数据进行处理的结果。比如多媒体处理芯片200在对图像数据进行预览处理时,可以将预览数据传输到第二接口202。第二接口202可以与应用处理芯片连接,以将第二接口202所接收到的图像数据诸如预览数据等传输到应用处理芯片。举例来说,当需要进行图像预览时,可以将进行图像预览所处理的数据通过第二接口202传输到应用处理芯片。
互连总线接口(PeripheralComponent Interconnect Express,PCIE)203,也可以称为高速外围组件互连接口,外部设备互连总线接口,其是一种高速串行计算机扩展总线标准的接口。互连总线接口203可以接收图像信号处理器210对图像数据进行处理的结果,互连总线接口203也可以接收神经网络处理器220对图像数据进行处理的结果,互连总线接口203还可以接收数字信号处理器230对图像数据进行处理的结果。比如多媒体处理芯片200在对图像数据进行拍照处理时,可以将拍照数据传输到互连总线接口203。互连总线接口203可以与应用处理芯片连接,以将互连总线接口203所接收到的图像数据诸如拍照数据等传输到应用处理芯片。举例来说,当需要进行拍摄图像或拍摄视频时,可以将进行拍照处理的数据通过互连总线接口203传输到应用处理芯片。
互连总线接口203可以实时或离线传输图像数据,也可以传输配置参数等数据,互连总线接口203传输数据的效率高。基于此,本申请实施例可以将第二接口202和互连总线接口203分配不同的数据进行传输。诸如可以将拍摄照片或拍摄图像的数据处理通过互连总线接口203传输到应用处理芯片,将预览图像的数据处理通过第二接口202传输到应用处理芯片。
在一些实施例中,神经网络处理器220内部集成有直接存储访问控制器(DirectMemory Access,DMA)222,直接存储访问控制器222可将数据从一个地址空间搬移到另一个地址空间。诸如直接存储访问控制器222可以将存储于第一存储器260内的处理结果搬移到互连总线接口203的数据发送缓存区(Transmit FIFO,Tx FIFO)。互连总线接口203可以与应用处理芯片的互连总线接口连接,以将互连总线接口203的数据发送缓存区所存储的数据传输到应用处理芯片。
直接存储访问控制器222设置于神经网络处理器220内,可以将直接存储访问控制器222的源地址配置为第一存储器260的地址,将目的地址配置为互连总线接口203的数据发送缓存区的地址。
神经网络处理器220可以通过系统总线250访问互连总线接口203的控制寄存器,使得互连总线接口203工作在直接存储访问控制器模式。神经网络处理器220可以将直接存储访问控制器222的触发信号配置为第一存储器260所存储的处理结果不为空,即只要第一存储器260中存储有神经网络处理器220的处理结果,直接存储访问控制器222都会继续工作。
神经网络处理器220对图像信号处理的处理结果存储到第一存储器260中,一旦第一存储器260存储有神经网络处理器220的处理结果,直接存储访问控制器222就被触发,开始将第一存储器260所存储的处理结果搬移到互连总线接口203的数据发送缓存区。因此,本申请实施例在传输神经网络处理器220的处理结果时不会额外占用第二存储器270的带宽,而且神经网络处理器222访问第一存储器260的速率高于访问第二存储器270的速率,可以提高数据搬运的速度。
直接存储访问控制器222在搬移数据过程中,不需要神经网络处理器220参与。可以实现神经网络处理器220处理数据和直接存储访问控制器222搬运数据同时进行,提高了工作效率。
本申请实施例多媒体处理芯片可以集成到一电路板上。
请参阅图2,图2为本申请实施例提供的电路板的第一种结构示意图。电路板诸如电路板22A可以包括多媒体处理芯片200和应用处理芯片400。多媒体处理器200具体可以参阅图1及相关内容,在此不再赘述。
应用处理芯片400可以包括应用处理器(Application Processor,AP)410、图像信号处理器(Image Signal Processing,ISP)420、存储器430、系统总线440、第三接口450和互连总线接口460。
第三接口450可以为移动产业处理器接口(Mobile Industry ProcessorInterface,MI PI)。第三接口450可以与第二接口202采用信号线连接。需要说明的是,本申请实施例所限定的信号线可以理解为导线。第二接口202和第三接口450的电连接可以实现多媒体处理芯片200所处理的结果传输到应用处理芯片400,以供应用处理芯片400的图像信号处理器420对多媒体处理芯片200所处理的结果进行进一步处理。
互连总线接口(PeripheralComponent Interconnect Express,PCIE)460也可以称为高速外围组件互连接口,外部设备互连总线接口,其是一种高速串行计算机扩展总线标准的接口。互连总线接口460可以与互连总线接口203采用信号线电连接。互连总线接口460与互连总线接口203的电连接可以实现多媒体处理芯片200所处理的结果传输到应用处理芯片400,以供应用处理芯片400的图像信号处理器420对多媒体处理芯片200所处理的结果进行进一步处理。
需要说明的是,多媒体处理器200和应用处理芯片400还可以通过其他导线和接口实现电连接,在此不再一一举例说明。
存储器430可以存储应用处理芯片400的各种数据,诸如存储多媒体处理芯片200通过互连总线接口203和第二接口202传输到应用处理芯片400的图像数据。存储器430还可以存储应用处理芯片400的运行系统,存储器430还可以存储图像信号处理器420所处理的中间数据或结果。存储器430还可以存储的计算机程序诸如应用处理器410中执行的指令。当然,存储器430还可以存储其他数据,在此不再一一举例说明。
需要说明的是,电路板22A还可以集成有图像传感器,图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)图像传感器、电荷藕合器件(Charge Coupled Device,CCD)图像传感器等。图像传感器可以与多媒体处理芯片200电连接,诸如图像传感器与多媒体处理芯片200的第一接口201电连接。图像传感器可以采集获取原始图像数据诸如RAW图像数据,并通过第一接口201传输到多媒体处理芯片200,以供多媒体处理芯片200内部的图像处理器诸如图像信号处理器210和神经网络处理器220进行处理。
本申请实施例多媒体处理芯片可以应用到电子设备中。
请参阅图3,图3为本申请实施例提供的电子设备的第一种结构示意图。电子设备20A可以是便携式设备,诸如蜂窝电话、媒体播放器、平板电脑、或者其他便携式计算设备。电子设备20A可以包括多媒体处理芯片200、应用处理芯片400和图像传感器600,其中,多媒体处理芯片200和应用处理芯片400可以参阅图1-2及相关内容。
图像传感器600可以获取图像数据诸如原始图像数据,该原始图像数据可以为RAW图像数据。其中,多媒体处理芯片200和应用处理芯片400可以集成在一电路板上,诸如图2所示的电路板22A,可以将其称为电子设备20A的主板。需要说明的是,图像传感器600可以与多媒体处理芯片200和应用处理芯片400一起集成在一电路板上,诸如图2所示的电路板22A。当然,图像传感器600也可以与多媒体处理芯片200和应用处理芯片400所集成的电路板分离设置,而采用导线连接。
应用处理器410是电子设备20A的控制中心,利用各种接口和线路连接整个电子设备20A的各个部分,通过运行或调用存储在存储器430内的计算机程序,以及调用存储在存储器430内的数据,执行电子设备20A的各种功能和处理数据,从而对电子设备20A进行整体监控。诸如应用处理器410控制电子设备20A的图像传感器400获取原始图像数据,并控制多媒体处理芯片200对图像传感器400所获取到的原始图像数据进行图像质量增强处理,以得到预处理结果。然后,应用处理器410控制应用处理芯片400的图像信号处理器420对该预处理结果进行进一步处理,再将图像信号处理器420所处理的结果通过电子设备20A的显示屏显示出来。
需要说明的是,本申请实施例多媒体处理芯片200对神经网络处理器220处理图像数据的结果的传输方式并不限于此。
请参阅图4,图4为本申请实施例提供的多媒体处理芯片的第二种结构示意图。图4所示的多媒体处理芯片200与图1所示的多媒体处理芯片200的区别在于,图4所示的多媒体处理芯片200还包括第三存储器280。
其中,图4所示的多媒体处理芯片200的第三存储器280可以存储多媒体处理芯片200的运行系统。其中,图4所示的第一存储器260可以存储神经网络处理器220处理数据的处理结果。图4所示的第二存储器270可以存储原始图像数据,图4所示的第二存储器270还可以存储图像信号处理器210处理图像的结果,图4所示的第二存储器270还可以存储数字信号处理器230处理数据的结果。图4所示的多媒体处理芯片200的其他部件均可以参阅图1所示的托每天处理芯片200,在此不再赘述。
图4所示的多媒体处理芯片200也可以与一应用处理芯片集成到一电路板上。请参阅图5,图5为本申请实施例提供的电路板的第二种结构示意图。电路板22B可以包括多媒体处理芯片200和应用处理芯片400,其中多媒体处理芯片200可以参阅图4,其中应用处理芯片400及应用处理芯片400与多媒体处理芯片200进行数据传输的方式可以参阅图3,在此不再赘述。当然,图5所示的电路板22B也可以集成有图像传感器,并将该图像传感器与多媒体处理芯片200的第一接口201连接,可以将图像传感器所获取的图像数据传输到多媒体处理芯片200。
图4所示的多媒体处理芯片200也可以与应用处理芯片、图像传感器、显示屏等部件应用到一电子设备中。请参阅图6,图6为本申请实施例提供的电子设备的第二种结构示意图。电子设备20B的图像传感器600可以获取图像数据,并将图像数据传输给多媒体处理芯片200,多媒体处理芯片200对该图像数据进行处理,以将预处理结果传输到应用处理芯片400,应用处理芯片400的图像信号处理器420再进一步对该预处理结果进行处理以将处理结果显示到显示屏上。
需要说明的是,本申请实施例多媒体处理芯片200对神经网络处理器220处理图像数据的结果的传输方式并不限于此。
请参阅图7,图7为本申请实施例提供的多媒体处理芯片的第三种结构示意图。图7所示的多媒体处理芯片200可以包括第一接口201、图像信号处理器210、第二接口202、神经网络处理器220、主控处理器240、数字信号处理器230、第一存储器260、第二存储器270、系统总线250、互连总线接口203。其中,第一接口201、图像信号处理器210、第二接口202、神经网络处理器220、主控处理器240、数字信号处理器230、系统总线250、互连总线接口203均可以参阅图1所示的内容,在此不再赘述。
图7所示的多媒体处理芯片200的第一存储器260包括第一存储空间262和第二存储空间264,第一存储空间262可以存储神经网络处理器220对图像数据的处理结果。第二存储空间264可以存储原始图像数据,诸如通过图像传感器获取的图像数据。第二存储空间264还可以存储图像信号处理器210和数字信号处理器230对图像信号处理的结果。图7所示的多媒体处理芯片200的第二存储器270可以存储多媒体处理芯片200的运行系统。神经网络处理器222访问第一存储空间262的速率高于访问第二存储器270的速率。
神经网络处理器220内置的直接存储访问控制器222的源地址可以配置为第一存储空间262的地址,可以将目的地址配置为互连总线接口203的数据发送缓存区的地址。
神经网络处理器220可以通过系统总线250访问互连总线接口203的控制寄存器,使得互连总线接口203工作在直接存储访问控制器模式。神经网络处理器220可以将直接存储访问控制器222的触发信号配置为第一存储空间262所存储的处理结果不为空,即只要第一存储空间262中存储有神经网络处理器220的处理结果,直接存储访问控制器222都会继续工作。
神经网络处理器220对图像信号处理的处理结果存储到第一存储空间262中,一旦第一存储空间262存储有神经网络处理器220的处理结果,直接存储访问控制器222就被触发,开始将第一存储空间262所存储的处理结果搬移到互连总线接口203的数据发送缓存区。因此,本申请实施例在传输神经网络处理器220的处理结果时不会额外占用第二存储器270的带宽,而且神经网络处理器222访问第一存储空间262的速率高于访问第二存储器270的速率,可以提高数据搬运的速度。
而且直接存储访问控制器222在搬移数据过程中,不需要神经网络处理器220参与。可以实现神经网络处理器220处理数据和直接存储访问控制器222搬运数据同时进行,提高了工作效率。
图7所示的多媒体处理芯片200也可以与一应用处理芯片集成到一电路板上。请参阅图8,图8为本申请实施例提供的电路板的第三种结构示意图。电路板22C可以包括多媒体处理芯片200和应用处理芯片400,其中多媒体处理芯片200可以参阅图7,其中应用处理芯片400及应用处理芯片400与多媒体处理芯片200进行数据传输的方式可以参阅图3,在此不再赘述。当然,图8所示的电路板22C也可以集成有图像传感器,并将该图像传感器与多媒体处理芯片200的第一接口201连接,可以将图像传感器所获取的图像数据传输到多媒体处理芯片200。
图7所示的多媒体处理芯片200也可以与应用处理芯片、图像传感器、显示屏等部件应用到一电子设备中。请参阅图9,图9为本申请实施例提供的电子设备的第三种结构示意图。电子设备20C的图像传感器600可以获取图像数据,并将图像数据传输给多媒体处理芯片200,多媒体处理芯片200对该图像数据进行处理,以将预处理结果传输到应用处理芯片400,应用处理芯片400的图像信号处理器420再进一步对该预处理结果进行处理以将处理结果显示到显示屏上。
以上对本申请实施例提供的多媒体处理芯片、电路板及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种多媒体处理芯片,其特征在于,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接,所述互连总线接口用于传输图像数据或配置参数;
神经网络处理器,所述神经网络处理器用于对图像数据进行处理以得到处理结果;
第一存储器,所述第一存储器用于存储所述处理结果;
第二存储器,所述第二存储器用于存储所述图像数据;
其中,所述神经网络处理器内置直接存储访问控制器,当所述第一存储器存储有所述处理结果时,所述直接存储访问控制器被触发将存储于所述第一存储器内的处理结果搬移到所述互连总线接口的数据发送缓存区。
2.根据权利要求1所述的多媒体处理芯片,其特征在于,所述第一存储器存储图像数据的速率大于所述第二存储器存储图像数据的速率,所述第二存储器还用于存储所述多媒体处理芯片的运行系统。
3.根据权利要求1所述的多媒体处理芯片,其特征在于,所述多媒体处理芯片还包括:
第三存储器,所述第三存储器用于存储所述多媒体处理芯片的运行系统。
4.根据权利要求3所述的多媒体处理芯片,其特征在于,所述第一存储器存储图像数据的速率等于所述第二存储器存储图像数据的速率。
5.根据权利要求1至4任一项所述的多媒体处理芯片,其特征在于,所述多媒体处理芯片还包括数字信号处理器或/和图像信号处理器,所述数字信号处理器和图像信号处理器均用于对图像数据处理进行处理;
所述数字信号处理器对图像数据进行处理的结果存储于所述第二存储器;
所述图像信号处理器对图像数据进行处理的结果存储于所述第二存储器。
6.一种多媒体处理芯片,其特征在于,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接,所述互连总线接口用于传输图像数据或配置参数;
第一存储器;
第二存储器,存储有图像数据;和
神经网络处理器,所述神经网络处理器被配置为:从所述第二存储器获取图像数据,对所述图像数据进行处理以得到处理结果,将所述处理结果存储于所述第一存储器;
其中,所述神经网络处理器内置直接存储访问控制器,当所述第一存储器存储有所述处理结果时,所述直接存储访问控制器被触发将所述第一存储器内的处理结果搬移到所述互连总线接口的数据发送缓存区。
7.根据权利要求6所述的多媒体处理芯片,其特征在于,所述多媒体处理芯片还包括数字信号处理器或/和图像信号处理器,所述数字信号处理器和图像信号处理器均用于对图像数据处理进行处理;
所述数字信号处理器对图像数据进行处理的结果存储于所述第二存储器;
所述图像信号处理器对图像数据进行处理的结果存储于所述第二存储器。
8.一种多媒体处理芯片,其特征在于,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接,所述互连总线接口用于传输图像数据或配置参数;
神经网络处理器,所述神经网络处理器用于对图像数据进行处理以得到处理结果;
第一存储器,所述第一存储器包括第一存储空间和第二存储空间,所述第一存储空间用于存储所述处理结果,所述第二存储空间用于存储所述图像数据;和
第二存储器,所述第二存储器存储图像数据的速率小于所述第一存储器存储图像数据的速率,所述第二存储器用于存储所述多媒体处理芯片的运行系统;
其中,所述神经网络处理器内置直接存储访问控制器,当所述第一存储空间存储有所述处理结果时,所述直接存储访问控制器被触发将存储于所述第一存储空间内的处理结果搬移到所述互连总线接口的数据发送缓存区。
9.根据权利要求8所述的多媒体处理芯片,其特征在于,所述多媒体处理芯片还包括图像信号处理器或/和数字信号处理器,所述数字信号处理器和图像信号处理器均用于对图像数据处理进行处理;
所述数字信号处理器对图像数据进行处理的结果和所述图像信号处理器对图像数据进行处理的结果均存储于所述第二存储空间。
10.一种多媒体处理芯片,其特征在于,包括:
系统总线;
互连总线接口,所述互连总线接口与所述系统总线连接,所述互连总线接口用于传输图像数据或配置参数;
第一存储器,所述第一存储器包括第一存储空间和第二存储空间,所述第二存储空间存储有图像数据;和
神经网络处理器,所述神经网络处理器被配置为:从所述第二存储空间获取图像数据,对所述图像数据进行处理以得到处理结果,将所述处理结果存储于所述第一存储空间;
其中,所述神经网络处理器内置直接存储访问控制器,当所述第一存储空间存储有所述处理结果时,所述直接存储访问控制器被触发将所述第一存储空间内的处理结果搬移到所述互连总线接口的数据发送缓存区。
11.根据权利要求10所述的多媒体处理芯片,其特征在于,所述多媒体处理芯片还包括图像信号处理器或/和数字信号处理器,所述数字信号处理器和图像信号处理器均用于对图像数据处理进行处理;
所述数字信号处理器对图像数据进行处理的结果和所述图像信号处理器对图像数据进行处理的结果均存储于所述第二存储空间。
12.一种电路板,其特征在于,其上集成有应用处理芯片和多媒体处理芯片,所述多媒体处理芯片为如权利要求1至11任一项所述的多媒体处理芯片,所述应用处理芯片与所述多媒体处理芯片的互连总线接口连接,所述应用处理芯片包括图像信号处理器,所述应用处理芯片的图像信号处理器用于从所述互连总线接口的数据发送缓存区获取所述多媒体处理芯片的处理结果。
13.一种电子设备,其特征在于,所述电子设备包括:
图像传感器,用于获取图像数据;
多媒体处理芯片,所述多媒体处理芯片为如权利要求1至11任一项所述的多媒体处理芯片,所述多媒体处理芯片用于处理所述图像传感器所获取的图像数据以得到处理结果;和
应用处理芯片,所述应用处理芯片与所述多媒体处理芯片的互连总线接口连接,所述应用处理芯片包括图像信号处理器,所述应用处理芯片的图像信号处理器用于从所述互连总线接口的数据发送缓存区获取所述多媒体处理芯片的处理结果。
CN202010479725.9A 2020-05-29 2020-05-29 多媒体处理芯片、电路板及电子设备 Active CN113747045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010479725.9A CN113747045B (zh) 2020-05-29 2020-05-29 多媒体处理芯片、电路板及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010479725.9A CN113747045B (zh) 2020-05-29 2020-05-29 多媒体处理芯片、电路板及电子设备

Publications (2)

Publication Number Publication Date
CN113747045A CN113747045A (zh) 2021-12-03
CN113747045B true CN113747045B (zh) 2023-06-20

Family

ID=78725032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010479725.9A Active CN113747045B (zh) 2020-05-29 2020-05-29 多媒体处理芯片、电路板及电子设备

Country Status (1)

Country Link
CN (1) CN113747045B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937052A (zh) * 2017-03-29 2017-07-07 维沃移动通信有限公司 一种图像数据的处理方法及移动终端
CN207458128U (zh) * 2017-09-07 2018-06-05 哈尔滨理工大学 一种基于fpga在视觉应用中的卷积神经网络加速器
CN108806243A (zh) * 2018-04-24 2018-11-13 东南大学 一种基于Zynq-7000的交通流量信息采集终端
CN208768204U (zh) * 2018-10-30 2019-04-19 深圳灵图慧视科技有限公司 便携式图像目标检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937052A (zh) * 2017-03-29 2017-07-07 维沃移动通信有限公司 一种图像数据的处理方法及移动终端
CN207458128U (zh) * 2017-09-07 2018-06-05 哈尔滨理工大学 一种基于fpga在视觉应用中的卷积神经网络加速器
CN108806243A (zh) * 2018-04-24 2018-11-13 东南大学 一种基于Zynq-7000的交通流量信息采集终端
CN208768204U (zh) * 2018-10-30 2019-04-19 深圳灵图慧视科技有限公司 便携式图像目标检测装置

Also Published As

Publication number Publication date
CN113747045A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US20200045216A1 (en) Exposure method, electronic device and master-slave system
EP2638523B1 (en) Parallel image processing using multiple processors
TW201207624A (en) Controlling data transfer method, controller and electronic system thereof
WO2022161227A1 (zh) 图像处理方法、装置、图像处理芯片和电子设备
CN212303018U (zh) 图像信号处理器件、终端
JP6669959B2 (ja) 画像処理装置、撮影装置、画像処理方法、画像処理プログラム
US9508109B2 (en) Graphics processing
KR20240108456A (ko) 프레임 그래버(frame grabber), 이미지 캡쳐 방법 및 이미지 캡쳐 시스템
CN113744139B (zh) 图像处理方法、装置、电子设备及存储介质
CN113438474A (zh) 一种摄像头模组测试装置及其控制方法
CN113574656A (zh) 一种数据处理装置及方法
CN113747045B (zh) 多媒体处理芯片、电路板及电子设备
CN113873141B (zh) 电子设备
CN113784036B (zh) 设备对焦方法、装置、存储介质及电子设备
CN117336425A (zh) 图像处理电路、图像处理装置、方法、电子设备和芯片
CN112073629A (zh) 图像信号处理器及其操作方法和图像处理系统
JP2003032539A (ja) カメラ搭載装置
JP2022019533A (ja) エッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法
CN107911610A (zh) 一种应用于图像采集模块的数据处理系统
CN113763906B (zh) 图像信号处理器件、终端
CN113873158A (zh) 一种电子设备及其控制方法
CN113868185A (zh) 多芯片系统、电子设备及数据传输方法
CN113902608A (zh) 图像处理架构、方法、存储介质及电子设备
CN113806283A (zh) 处理芯片、电路板、电子设备及数据传输方法
US20220318955A1 (en) Tone mapping circuit, image sensing device and operation method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant