CN101543071A - 信息处理设备、方法和程序 - Google Patents

Abstract

本发明涉及一种信息处理设备，方法和程序，从而在解包处理中，能够减少不必要的待机时间，并且能够容易和高速地进行处理。公共报头创建单元203根据数据获取单元201从区域获得的区域报头171，创建公共报头，所述公共报头是共同添加到创建的每个分组中的报头。在区域的数据大小大于分组大小的情况下，分段处理单元208把数据获取单元201获得的编码数据分割成每个分组大小。封包单元209利用从每个单元供给的报头信息，对从分段处理单元208供给的有效负载封包，并恰当地设置包括在生成的每个分组的公共报头中的诸如SFF和M之类标记信息的值。本发明可应用于编码设备。

Description

信息处理设备、方法和程序

技术领域

本发明涉及信息处理设备、方法和程序，尤其涉及在分组传输/接收时能够减小延迟的信息处理设备、方法和程序。

背景技术

按照惯例，进行经因特网等的视频和音频的流式传输。此时，在发生分组丢失或达到延迟的情况下，会出现数据质量降低的担心。例如，就采用帧间差分的编码方法，例如MPEG(运动图像专家组)或者H.26x系列压缩方法来说，如果由于分组丢失的缘故，存在某帧数据的遗失，那么出现影响后续各帧的图像质量的所谓误差传播。

另外，就MPEG方法来说，运动估计提高了压缩率，不过进行运动估计使算法复杂，并且处理时间与帧大小的平方成正比地增大，从而原则上出现几帧的编码延迟。在进行双向实时通信的情况下，延迟时间非常接近于许可的250ms的延迟时间，不可忽略。

与此相反，诸如由JPEG(联合图像专家组)2000代表的帧内编码不使用帧间差分信息，从而不会出现如上所述的延迟。不过，压缩是以帧为增量进行的，从而在开始编码之前，需要等待至少1帧。目前的常见系统每秒为30帧，从而为了开始编码需要大约16ms的等待时间。

一直存在进一步降低该延迟的需求，并且在除编码和解码之外的各个部分的延迟的降低也已变得必需。

就处理延迟之一而论，存在其中进行RTP(实时传输协议)封包和解包的封包/解包处理。按照惯例，在进行解包时，在等待累积一定量的分组之后开始处理，因此出现延迟。就累积分组的原因而论，在不被分割的情况下，通过因特网能够传送的分组的最大大小存在限制，具有一定含义的一系列数据是在被分成多个分组的情况下传送的。同时在解包时，进行缓存，直到分割的分组都存在为止，之后开始解包，从而增大延迟，另外还需要缓冲器资源。

即，就在编码数据的接收端的设备来说，接收的分组由解包处理单元解包，提取的编码数据由解码器解码，不过此时，在解包处理和解码处理都需要具有缓冲器，从而存在缓冲存储器容量可能增大的顾虑。

另一方面，构思了降低缓冲存储器容量的各种方法(例如，专利文件1)。

在专利文件1中，在中继设备接收的分组被累积在缓冲存储器中以便纠错时的同时，进行朝着下游端的顺序传输，而不等待整个纠错计算块的分组到达，在探测到遗漏分组的情况下，通过进行纠错计算恢复遗漏的分组，按照跟在前面发送的分组之后的格式传送恢复的分组。

专利文献1：日本未经审查的专利申请公开No.2005-12753。

发明内容

但是，就在上述专利文献1中描述的方法来说，为了进行纠错，在中继设备中也需要缓冲存储器。即，如上所述，存在缓冲存储器容量可能增大的顾虑。另外，就在专利文献1中描述的方法来说，如果中继设备进行分组纠错，分组的顺序被改变。因此，在接收设备进行解包的时候，需要进行重排，从而不仅解包处理变得复杂，延迟时间增大，而且缓冲器是解包处理所必需的。如果在接收设备进行已被封包和传送的编码数据的解码，那么除了解包缓冲器之外，还需要解码缓冲器，从而存在不仅存储器容量会进一步增大，而且延迟时间也会进一步增大的顾虑。

鉴于常规技术的实际状态，提出了本发明，以便能够减小当封包(packetize)和发射/接收数据时发生的延迟时间。

本发明的一个方面是一种执行向每隔预定增量编码的图像数据的编码数据中添加报头信息并进行封包的封包处理的信息处理设备，所述设备包括：创建所述报头信息的创建装置；间隔事先确定的每个预定数据量，把所述编码数据分成多个部分数据的分割装置；把所述创建装置创建的所述报头信息添加到由所述分割装置分割所述编码数据而获得的多个部分数据中的每一个中并进行封包的封包装置；和关于由所述封包装置产生的分组中有效负载是多个部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记的标记设置装置。

编码数据可以是已以区域(precinct)为增量进行小波变换和熵编码的编码数据，所述区域是为产生图像数据的一行最低频带分量所必需的包括其它子带的行组。

编码数据可以按照解码的顺序供给。

还可以包括每隔预定增量编码图像数据产生编码数据的编码装置；其中分割装置分割由编码装置产生的编码数据。

编码装置供给格式与报头信息相同的附加信息；创建装置利用由编码装置供给的附加信息创建报头信息。

编码装置供给指示编码的成功或失败的标记信息，并且在根据标记信息确定编码失败的情况下，封包装置只使用由创建装置创建的报头信息进行封包。

本发明的另一个方面是一种执行向每隔预定增量编码的图像数据的编码数据中添加报头信息并进行封包的封包处理的信息处理设备的信息处理方法，包括下述步骤：创建报头信息；间隔事先确定的每个预定数据量，把编码数据分成多个部分数据；把报头信息添加到分割编码数据而获得的多个部分数据中的每一个中并进行封包；和关于产生的分组中有效负载是多个部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记。

本发明的另一个方面是一种使计算机执行向每隔预定增量编码的图像数据的编码数据中添加报头信息并进行封包的封包处理的程序，所述程序使计算机执行包括下述步骤的信息处理：创建报头信息；间隔事先确定的每个预定数据量，把编码数据分成多个部分数据；把报头信息添加到分割编码数据而获得的多个部分数据中的每一个中，并进行封包；和关于产生的分组中有效负载是多个部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记。

本发明的另一方面是一种执行从分组提取有效负载数据的解包(depacketize)处理的信息处理设备，包括：获取外部供给的分组的获取装置；根据获取装置获取的分组的报头信息，确定在所述获取装置的获取中是否发生分组丢失的丢失确定装置；和在丢失确定装置确定未发生分组丢失的情况下，从获取装置获取的分组提取有效负载数据，并供给下游处理单元，在丢失确定装置确定发生了分组丢失的情况下，丢弃获取装置获取的分组的供给装置。

在包括在报头信息中的序列号和在前次获得的分组的序列号不连续的情况下，丢失确定装置确定发生了分组丢失，所述序列号是指示分组的顺序的信息。

还可以包括在丢失确定装置确定发生了分组丢失的情况下，通知下游处理单元的通知装置。

还可以包括确定获取装置获取的分组是否是由序列号连续的多个分组构成的一组分组的起始分组的头部确定装置；其中在丢失确定装置确定未发生分组丢失的情况下，并且另外在头部确定装置确定是所述一组分组的起始分组的情况下，供给装置还把报头信息供给下游处理单元。

在丢失确定装置确定发生了分组丢失的情况下，供给装置丢弃所述分组，直到头部确定装置确定获取装置已获取新的一组分组的起始分组为止。

有效负载数据可以是已以区域为增量进行小波变换和熵编码的编码数据，所述区域是为产生一行最低频带分量所必需的包括其它子带的行组。

编码数据可以按照解码的顺序被供给。

在下游处理单元，还可以包括执行解码编码数据的解码处理的解码处理执行装置，所述编码数据是由供给装置供给的有效负载数据。

解码处理执行装置可以包括：临时保持从供给装置供给的编码数据的保持装置；以区域为增量对保持装置保持的编码数据解码的解码装置；和对解码装置解码获得的系数数据，进行小波逆变换的小波逆变换装置。

还可以包括根据获取装置获取的分组的报头信息确定熵编码成功还是失败的编码成功/失败确定装置；其中在编码成功/失败确定装置确定编码失败的情况下，供给装置只供给报头信息。

本发明的另一方面是一种执行从分组提取有效负载数据的解包处理的信息处理设备的信息处理方法，包括下述步骤：获取外部供给的分组；根据获取的分组的报头信息，确定是否发生了分组丢失；和在确定未发生分组丢失的情况下，从获得的分组提取有效负载数据并供给下游处理单元，在确定发生了分组丢失的情况下，丢弃获得的分组。

本发明的另一方面是一种使计算机执行从分组提取有效负载数据的解包处理的程序，所述程序使计算机执行包含下述步骤的信息处理：获取外部供给的分组；根据获取的分组的报头信息确定是否发生了分组丢失；和在确定未发生分组丢失的情况下，从获得的分组提取有效负载数据并供给下游处理单元，在确定发生了分组丢失的情况下，丢弃获得的分组。

就本发明的一个方面来说，创建报头信息，并且每隔预先确定的预定数据量，把编码数据分割成多个部分数据；报头信息被添加到通过分割编码数据而获得的多个部分数据中的每一个中并被封包；关于产生的分组中其有效负载是多个部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记。

就本发明的另一个方面来说，获取外部供给的分组；根据获取的分组的报头信息，确定在获取时是否发生了分组丢失；和在确定未发生分组丢失的情况下，从获取的分组提取有效负载数据并供给下游处理单元，在确定发生了分组丢失的情况下，丢弃获得的分组。

按照本发明，能够进行分组的传输/接收。特别地，能够减小当封包和发射/接收数据时发生的延迟时间。

附图说明

图1是图解说明应用本发明的传输系统的配置例子的方框图。

图2是图解说明图1中的编码单元的配置例子的方框图。

图3是示意说明小波变换的略图。

图4是示意说明小波变换的略图。

图5是图解说明通过利用5×3滤波器提高到分割级别＝2进行滤波的例子的略图。

图6是示意图解说明按照本发明的小波变换和小波逆变换的流程的略图。

图7是示意图解说明区域(precinct)报头的配置例子的示图。

图8是图解说明画面报头的配置例子的示图。

图9是图解说明在编码单元和封包处理单元之间交换的信息的例子的示图。

图10是图解说明图1中所示的封包处理单元的详细配置例子的方框图。

图11是说明区域的例子的示意图。

图12是说明创建分组的例子的示意图。

图13是说明RTP报头的配置例子的示意图。

图14是说明RTP有效负载报头的配置例子的示意图。

图15是图解说明公共报头的配置例子的示图。

图16是图解说明量化参数信息的配置例子的示图。

图17是图解说明大小信息的配置例子的示图。

图18是图解说明格式信息的配置例子的示图。

图19是图解说明画面信息的配置例子的示图。

图20是图解说明色彩信息的配置例子的示图。

图21是图解说明图1中所示的解包处理单元的详细配置例子的方框图。

图22是图解说明控制模式转变的方式的例子的示图。

图23是图解说明在解包单元和解码单元之间交换的信息的例子的示图。

图24是图解说明图1中所示的解码单元的详细配置例子的方框图。

图25是说明编码处理流程的例子的流程图。

图26是说明封包处理流程的例子的流程图。

图27是说明开始模式处理的流程的例子的流程图。

图28是说明模式共有处理的流程的例子的流程图。

图29是说明待机模式处理的流程的例子的流程图。

图30是说明处理模式处理的流程的例子的流程图。

图31是说明丢失模式处理的流程的例子的流程图。

图32是说明解码控制处理的流程的例子的流程图。

图33是说明解码处理的流程的例子的流程图。

图34是说明错误通知操作处理的流程的例子的流程图。

图35是说明处理错误通知的方式的例子的示意图。

图36是图解说明RTP有效负载报头的另一个配置例子的示图。

图37是图解说明片断信息的配置例子的示图。

图38是说明封包处理的流程的另一个例子的流程图。

图39是示意说明传输设备和接收设备的每个组件执行并行操作的方式的例子的略图。

图40是图解说明图1中所示的编码单元的另一个配置例子的方框图。

图41是说明在编码单元端进行小波系数重排处理的情况下的处理流程的略图。

图42是说明在解码单元端进行小波系数重排处理的情况下的处理流程的略图。

图43是图解说明图1中所示的编码单元的又一个配置例子的方框图。

图44是图解说明与图43中的编码单元对应的解码单元的配置例子的方框图。

图45是说明应用本发明的信息处理系统的配置例子的示图。

附图标记的说明

100传输系统，102传输设备，103接收设备，110线路，132解包单元，133解码单元，202RTP报头创建单元，203公共报头创建单元，204扩展报头创建单元，205画面信息创建单元，206标记确认单元，207大小确认单元，208分段处理单元，209封包单元，252报头信息分析单元，253控制模式转变单元，254控制单元，255报头供给单元，256数据供给单元，257错误通知单元，258控制信号供给单元，351控制信息获取单元，352解码控制单元，353解码处理执行单元，354报头获取单元，355数据获取单元，356错误通知获取单元，357丢弃处理单元

具体实施方式

下面说明本发明的一个实施例。

图1是图解说明应用本发明的传输系统的配置例子的方框图。

图1中，传输系统100是数据传输系统，其中传输设备102执行由成像设备101生成的图像数据的压缩编码、封包和传输，接收设备103经线路110接收、解包和解码传送的分组，显示设备104显示获得的图像数据的图像。

成像设备101具有使用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)等的成像设备，所述成像设备使对象成像，把成像图像转换成数字数据的图像数据，并把获得的图像数据供给传输设备102。

传输设备102具有编码单元121，封包处理单元122和传输单元123。传输设备102在编码单元121用预定方法对从成像设备101供给的图像数据编码，在封包处理单元122对编码获得的编码数据封包，并利用预定的通信方法把生成的分组从传输单元发送给线路110。

线路110连接传输设备102和接收设备103，是用于把分组从传输设备102发送给接收设备103的任意传输介质。

接收设备103具有接收单元131，解包处理单元132和解码单元133。接收设备103在接收单元131接收通过线路110传送的分组，在解包处理单元132从接收的分组提取编码数据，和在解码单元133利用和传输设备102的编码单元121对应的解码方法，对提取的编码数据解码，并把获得的基带图像数据输出给显示设备104。

显示设备104具有显示器，在其显示器上显示从接收设备103供给的图像数据。

图1中的传输系统100是其中归因于封包处理单元122的封包处理的延迟时间和归因于解包处理单元132的解包处理的延迟时间被减少，并且能够减少从在成像设备101成像到在显示设备104上显示图像的延迟时间的系统。

就图1中的传输系统100来说，成像设备101被表示成提供传输设备102传送的图像数据的设备，不过能够提供图像数据的任何设备都满足成像设备101的要求。另外，显示设备104被表示成使用接收设备103接收的图像数据的设备，不过能够使用图像数据的任何设备都满足显示设备104的要求。

另外，尽管只有图像数据被描述成被传送的数据，不过，其它数据，比如音频数据可以和图像数据一起被传送。

传输设备102执行的分组传输方法可以是单播方法，其中只对接收设备103进行传输，或者可以是多播方法，其中对包括接收设备在内的多个设备进行传输，或者可以是广播方法，其中对未指定数目的设备进行传输。

线路110可以是任何形式，只要能够传送分组，可以是电缆线路，或者可以是无线线路，或者可以是包括这两者的线路。另外，尽管在图1中线路110用一个箭头表示，不过线路110可以是专用或通用传输电缆，或者可以包括一个或多个通信网络，比如LAN(局域网)或因特网，或者可以包括某一种类的通信中继设备。此外，线路110的线路(通道)的数目可以是任意数目。

下面，说明图1中所示的传输设备102和接收设备103的部件的细节。

图2是图解说明图1中的传输设备102的编码单元121的内部配置例子的方框图。在图2中，编码单元121具有小波变换单元150，中间计算缓冲单元151，系数重排缓冲单元152，系数重排单元153，速率控制单元154，和熵编码单元155。

输入编码单元121的图像数据被临时保存在中间计算缓冲单元151中。小波变换单元150对保存在中间计算缓冲单元151中的图像数据进行小波变换。即，小波变换单元150从中间计算缓冲单元151读出图像数据，利用分析滤波器对读出的图像数据进行滤波处理，以生成低带分量和高带分量的系数数据，并把生成的系数数据保存在中间计算缓冲单元151中。小波变换单元150包括水平分析滤波器和垂直分析滤波器，并关于屏幕水平方向和屏幕垂直方向对图像数据组进行分析滤波处理。小波变换单元150再次读出保存在中间计算缓冲单元151中的低带分量的系数数据，利用分析滤波器对读出的系数数据进行滤波处理，以进一步生成高带分量和低带分量的系数数据。生成的系数数据被保存在中间计算缓冲单元151中。

小波变换单元150重复该处理，当分割级别达到预定级别时，从中间计算缓冲单元151读出系数数据，并把读出的系数数据写入系数重排缓冲单元152。

系数重排单元153按照预定顺序读出写入系数重排缓冲单元152中的系数数据，并将其供给熵编码单元155。熵编码单元155利用预定的熵编码方法，比如Huffman编码，算术编码等对供给的系数数据编码。

熵编码单元155与速率控制单元154同步工作，并被控制，以致待输出的压缩编码数据的位速率通常是恒定值。即，根据来自熵编码单元155的编码数据信息，速率控制单元154向熵编码单元155供给用于实现控制的控制信号，以便在由熵编码单元155压缩编码的数据的位速率到达目标值时或者即将达到目标值之前，结束熵编码单元155的编码处理。在按照从速率控制单元154供给的控制信号结束编码处理的时候，熵编码单元155输出编码数据。

注意其中熵编码单元155首先对从系数重排单元153读出的系数数据进行量化，并对获得的量化系数进行诸如Huffman编码，算术编码之类的信源编码处理的安排预期进一步提高压缩效率。任何方法可被用于这种量化，使用一般的手段，即，其中如下面的表达式(1)中所示，系数数据W被除以量化步长Δ的技术就已足够。

量化的系数＝W/Δ            (1)

此时的量化步长Δ是在速率控制单元154计算的。

熵编码单元155把编码获得的编码数据供给封包处理单元122。

下面，更详细地说明由图2中的小波变换单元150进行的处理。首先，示意说明小波变换。就关于图像数据的小波变换来说，如图3中示意所示，关于通过分割获得的低空间频带递归地重复把图像数据分割成高空间频带和低空间频带的处理。从而，低空间频带数据被驱赶到较小的区域中，从而能够实现有效的压缩编码。

现在，图3是其中把图像数据的最低频带分量区分割成低带分量区L和高带分量区H的分割处理被重复三次，从而获得分割级别＝3(表示分层的分割级别的总数)的情况的例子。在图3中，“L”和“H”分别表示低带分量和高带分量，并且就“L”和“H”的顺序来说，前侧表示作为水平方向上的分割结果的频带，后侧表示作为垂直方向上的分割结果的频带。另外，“L”和“H”之前的数字表示其区域的分割级别，分量频带级别越低，表示该级别的值就越小。

另外，从图3中所示的例子中可看出，处理是按照从屏幕的右下区域到左上区域的步进方式进行的，从而把低带分量分割成较小的区域。即，就图3中所示例子来说，屏幕的右下区域被设置成包括最少的低带分量(包括最多的高带分量)的区域3HH，通过把屏幕分割成四个区域而获得的左上区域被进一步分割成四个区域，在分割的这四个区域中，左上区域被进一步分割成四个区域。最左上侧的区域被设置成包括最多的低带分量的区域0LL。

关于低带分量重复进行变换和分割的原因是因为屏幕的能量集中在低带分量上。从其中当分割级别从分割级别＝1(其例子示于图4的A中)的状态进行到分割级别＝3(其例子示于图4的B中)的状态时，形成如图4中的B中所示的子带的情形也可理解这一点。例如，图3中所示的小波变换的级别为3，其结果是形成10个子带。

小波变换单元150通常利用由低带滤波器和高带滤波器构成的滤波器组进行如上所述的处理。注意数字滤波器通常具有多个抽头长度的脉冲响应，即滤波器系数，从而需要达到能够进行滤波处理那种程度地预先缓存输入图像数据或系数数据。另外类似地，即使在多阶段地进行小波变换的情况下，也需要达到能够进行滤波处理那种程度地缓存在前一阶段生成的小波变换系数。

作为小波变换的一个具体例子，下面说明采用5×3滤波器的方法。采用5×3滤波器的方法也和JPEG 2000标准一起使用，是一种能够能很少的滤波器抽头进行小波变换的极好方法。

如下面的表达式(2)和(3)中所示，5×3滤波器的脉冲响应(Z变换表达式)由低带滤波器H₀(z)和高带滤波器H₁(z)构成。按照表达式(2)和(3)，可以发现低带滤波器H₀(z)为5个抽头，高带滤波器H₁(z)为3个抽头。

H₀(z)＝(-1+2z^-1+6z^-2+2z^-3-z^-4)/8    (2)

H₁(z)＝(-1+2z^-1-z^-2)/2              (3)

按照表达式(2)和(3)，能够直接计算低带分量和高带分量的系数。这里，采用提升(Lifting)技术使滤波处理的计算能够被减少。

下面，更具体地说明小波变换方法。图5图解说明其中一直到分割级别＝2，执行按照5×3滤波器的提升的滤波处理的例子。注意，在图5中，表示成位于附图左侧的分析滤波器的部分是小波变换单元150的滤波器。另外，表示成位于附图右侧的合成滤波器的部分是后面说明的解码设备中的小波逆变换单元的滤波器。

注意就下面的说明来说，我们假定以屏幕的左上角的像素作为显示设备等的起始，从屏幕的左端到右端扫描像素，从而构成一行，并从屏幕的上端到下端进行每一行的扫描，从而构成一个屏幕。

在图5中，左端的一列图像说明布置在该行初始图像数据上的对应位置的像素数据是沿垂直方向排列的。即，依据利用垂直滤波器垂直扫描的屏幕上的像素执行在小波变换单元150的滤波处理。从左端数起的第一到第三列图解说明分割级别＝1滤波处理，第四到第六列图解说明分割级别＝2滤波处理。从左端数起的第二列图解说明基于左端的初始图像数据的像素的高带分量输出，从左端数起的第三列图解说明基于初始图像数据和高带分量输出的低带分量输出。关于分割级别＝1滤波处理的输出进行分割级别＝2滤波处理，如从左端数起的第四到第六列中所示。

就分割级别＝1滤波处理来说，作为滤波处理的第一阶段，根据初始图像数据的像素计算高带分量系数数据，根据在滤波处理的第一阶段计算的高带分量系数数据，和初始图像数据的像素，计算低带分量系数数据。在图5中的左侧(分析滤波器一侧)的第一到第三列图解说明了分割级别＝1滤波处理的例子。计算的高带分量系数数据被保存在图2中的系数重排缓冲单元152中。另外，计算的低带分量系数数据被保存在图2中的中间计算缓冲单元151中。

在图5中，系数重排缓冲单元152被表示成由点划线围绕的部分，中间计算缓冲单元151被表示成由虚线围绕的部分。

根据保持在中间计算缓冲单元151的分割级别＝1滤波处理的结果，进行分割级别＝2滤波处理。就分割级别＝2滤波处理来说，计算为分割级别＝1滤波处理下的低带分量系数的系数数据被看作包括低带分量和高带分量的系数数据，进行和分割级别＝1滤波处理相同的滤波处理。分割级别＝2滤波处理计算的高带分量系数数据和低带分量系数数据被保存在系数重排缓冲单元152中。

借助小波变换单元150，分别沿屏幕的水平方向和垂直方向进行如上所述的滤波处理。例如，首先，沿水平方向进行分割级别＝1滤波处理，生成的高带分量和低带分量的系数数据被保存在中间计算缓冲单元151中。随后，沿垂直方向对保存在中间计算缓冲单元151中的系数数据进行分割级别＝1滤波处理。按照在分割级别＝1的水平方向和垂直方向的处理，形成均通过把高带分量进一步分割成高带分量和低带分量而获得的系数数据的区域HH和区域HL，和均通过把低带分量进一步分割成高带分量和低带分量而获得的系数数据的区域LH和区域LL的四个区域

随后，在分割级别＝2，分别关于水平方向和垂直方向，对在分割级别＝1生成的低带分量系数数据进行滤波处理。即，在分割级别＝2，通过在分割级别＝1分割而形成的区域LL被进一步分割成四个区域，在区域LL内形成区域HH，区域HL，区域LH和区域LL。

小波变换单元150被配置成通过关于屏幕的垂直方向把滤波处理分割成以数行为增量的处理，即分成多次，步进地按照小波变换进行滤波处理。就图5中所示的例子来说，在与从屏幕上的第一行开始的处理等同的第一处理，对七行进行滤波处理，在与从第八行开始的处理等同的第二处理及之后的处理，每四行进行滤波处理。行数以在区域被分割成高带分量和低带分量的两个区域之后，为生成一行最低频带分量所必需的行数为基础。

注意，下面把为产生一行最低频带分量(一行最低频带分量子带的系数数据)所必需的包括其它子带的行组称为区域(precinct)(或者行块)。这里，一行表示在对应于小波变换之前的图像数据的画面、场或每个子带内形成的一行像素数据或系数数据。即，就小波变换之前的初始图像数据来说，区域(或行块)表示与为在小波变换之后，生成一行最低频带分量子带系数数据所必需的行数等同的像素数据组，或者通过对像素数据组进行小波变换而获得的每个子带的系数数据组。

按照图5，通过分割级别＝2滤波处理而获得的系数C5是根据系数C4和保存在中间计算缓冲单元151中的系数C_a计算的，系数C4是根据保存在中间计算缓冲单元151中的系数C_a，系数C_b和系数C_c计算的。此外，系数C_c是根据保存在系数重排缓冲单元152中的系数C2和C3，以及第五行的像素数据计算的。另外，系数C3是根据第五行到第七行的像素数据计算的。从而，为了获得作为分割级别＝2下的低带分量的系数C5，需要第五行到第七行的像素数据。

另一方面，就第二滤波处理及后续滤波处理来说，可以采用已在迄今为止的滤波处理计算，并保存在系数重排缓冲单元152中的系数数据，从而能够所必需的行数限制到较小。

即，按照图5，在通过分割级别＝2滤波处理而获得的低带分量系数中，系数C9(它是系数C5的下一个系数)是根据系数C4和系数C8，以及保存在中间计算缓冲单元151中的系数C_c计算的。系数C4已在上面提及的第一滤波处理计算得到，并保存在系数重排缓冲单元152中。类似地，系数C_c已在上面提及的第一滤波处理计算得到，并被保存在中间计算缓冲单元151中。因此，就第二滤波处理来说，仅仅新近进行计算系数C8的滤波处理。进一步利用第八行到第十一行执行该新的滤波处理。

从而，就第二滤波处理及后续滤波处理来说，能够采用在迄今为止的滤波处理计算，并保存在中间计算缓冲单元11和系数重排缓冲单元152中的数据，从而每个处理能够被抑制成处理每四行。

注意在屏幕上的行数不等于供编码的行数的情况下，利用预定方法复制初始图像数据的各行，以致行数与供编码的行数相符，从而进行滤波处理。

从而，通过关于整个屏幕的各行(以区域为增量)分割多次，步进地进行能够获得一行的最低频带分量系数数据的滤波处理，从而能够在发送编码数据时的延迟较低的情况下获得解码图像。

为了进行小波变换，需要用于执行小波变换本身的第一缓冲器，和在获得预定的分割级别之前，保存在执行处理期间生成的系数的第二缓冲器。第一缓冲器对应于中间计算缓冲单元151，并在图5中被表示成环绕以虚线。另外，第二缓冲器对应于系数重排缓冲单元152，在图5中被表示成环绕以点划线。在解码时采用保存在第二缓冲器中的系数，从而这些系数经历下一阶段的熵编码处理。

下面说明图2中的系数重排单元153的处理。如上所述，在小波变换单元150计算的系数数据被保存在系数重排缓冲单元152中，其顺序由系数重排单元153重排，重排后的系数数据以编码单元为增量被读出并发送给熵编码单元155。

如前所述，就小波变换来说，从高带分量端到低带分量端生成系数。在图5中的例子中，首先，在分割级别＝1滤波处理，根据初始图像的像素数据顺序生成高带分量系数C1，系数C2和系数C3。随后对在分割级别＝1滤波处理获得的低带分量系数数据进行分割级别＝2滤波处理，从而顺序生成低带分量系数C4和系数C5。即，首先，按照系数C1，系数C2，系数C3，系数C4和系数C5的顺序生成系数数据。根据小波变换的原理，系数数据的生成顺序始终是该顺序(从高带到低带的顺序)。

相反，在解码端，为了低延迟地立即解码，需要根据低带分量生成和输出图像。于是，理想的是从低带分量端到高带分量端重排在编码端生成的系数数据，并将其提供给解码端。

下面关于图5中的例子给出更详细的说明。图5的右侧表示进行小波逆变换的合成滤波器侧。采用在编码端的第一次滤波处理生成的最低频带分量系数C4和系数C5，以及系数C1，进行在解码端的包括第一行的输出图像数据的第一次合成处理(小波逆变换处理)。

即，就第一次合成处理来说，按照系数C5，系数C4和系数C1的顺序从编码端向解码端供给系数数据，从而在解码端，由合成级别＝2处理(它是对应于分割级别＝2的合成处理)进行关于系数C5和系数C4的合成处理，从而生成系数C_f，并把系数C_f保存在缓冲器中。随后利用合成级别＝1处理(它是对应于分割级别＝1的合成处理)进行关于系数C_f和系数C1的合成处理，从而输出第一行。

从而，就第一次合成处理来说，按照系数C1，系数C2，系数C3，系数C4和系数C5的顺序在编码端生成，并保存在系数重排缓冲单元152中的系数数据被重排成系数C5，系数C4，系数C1等等的顺序，并被提供给解码端。

注意就在图5的右侧所示的合成滤波器侧来说，从编码端供给的系数在括号中由该系数在编码端的编号引用，并在括号外表示该合成滤波器的行序。例如，系数C1(5)表示在图5的左侧的分析滤波器侧，该系数是系数C5，并且在合成滤波器侧，位于第一行上。

如果发生源自前次合成处理或者源自编码端的合成处理，那么通过采用合成处理所供给的系数数据，能够在解码端进行采用在编码端的第二次滤波处理和之后的滤波生成的系数数据的合成处理。在图5的例子中，在解码端的采用在编码端的第二次滤波处理生成的低带分量系数C8和系数C9进行的第二次合成处理还需要在编码端的第一次滤波处理生成的系数C2和系数C3，第二行到第五行被解码。

即，就第二次合成处理来说，按照系数C9，系数C8，系数C2，系数C3的顺序从编码端向解码端供给系数数据。在解码端，就合成级别＝2处理来说，采用系数C8和系数C9，以及在第一次合成处理从编码端供给的系数C4生成系数C_g，并且系数C_g被保存在缓冲器中。采用系数C_g和上面说明的系数C4，以及由第一次合成处理生成并保存在缓冲器中的系数C_f，生成系数C_h，系数C_h被保存在缓冲器中。

就合成级别＝1处理来说，采用在合成级别＝2处理生成并保存在缓冲器中的系数C_g和系数C_h，从编码端供给的系数(就合成滤波器来说，表示成系数C6(2))，和系数C3(就合成滤波器来说，表示成系数C7(3))，进行合成处理，第二行到第五行被解码。

从而，就第二次合成处理来说，按照系数C2，系数C3，(系数C4，系数C5)，系数C6，系数C7，系数C8和系数C9的顺序在编码端生成的系数数据按照系数C9，系数C8，系数C2，系数C3等等的顺序被重排和供给解码端。

从而，就第三次合成处理和之后的合成处理来说，保存在系数重排缓冲野外52中的系数数据被重排，并被供给解码单元，其中以四行为增量对各行解码。

注意就在解码端的，与在编码端的包括位于屏幕底端的各行的滤波处理对应的合成处理(下面称为最后一次)来说，在直到此时生成的并且保存在缓冲器中的系数数据都被输出，从而输出行的数目增大。就图5中的例子来说，在最后一次中输出八行。

注意系数重担单元153的系数数据的重排处理把在读出保存在系数重排缓冲单元152中的系数数据的情况下的读出地址设置成预定顺序。

下面将参考图6更详细地说明上面的处理。图6是通过采用5×3滤波器，一直到分割级别＝2进行小波变换的滤波处理的例子。就小波变换单元150来说，作为在图6中的A中所示的一个例子，在水平方向和垂直方向上分别对第一行到第七行的输入图像数据进行第一次滤波处理。

就第一次滤波处理的分割级别＝1处理来说，生成三行的系数C1，系数C2和系数C3的系数数据，并且作为在图6中的B中所示的例子，分别被置于在分割级别＝1的情况下形成的区域HH，区域HL和区域LH中(图6中的B中的WT-1)。

另外，在分割级别＝1的情况下形成的区域LL由分割级别＝2的水平方向和垂直方向的滤波处理进一步分割成四个区域。就在分割级别＝2的情况下生成的系数C5和C4来说，一行按系数C5被置于分割级别＝1的区域LL中，一行按照系数C4被置于每个区域HH、区域HL和区域LH中。

就小波变换单元150的第二次滤波处理和之后的滤波处理来说，以四行(图6中的A中的In-2...)为增量进行滤波处理，在分割级别＝1下以两行为增量生成系数数据(图6中的B中的WT-2)，在分割级别＝2下以一行为增量生成系数数据。

就图5中的第一次的例子来说，在分割级别＝1滤波处理下生成两行的系数C6和系数C7的系数数据，并且作为在图6中的B中所示的一个例子，被布置在在由分割级别1下形成的区域HH，区域HL和区域LH的第一次滤波处理生成的系数数据之后。类似地，在分割级别＝1的区域LL内，在分割级别＝2滤波处理下生成的一行的系数C9被布置在区域LL中，一行的系数C8被布置在每个区域HH，区域HL和区域LH中。

在对如图6中的B中所示经过小波变换的数据解码的情况下，作为在图6中的C中所示的一个例子，关于在编码端的第一行到第七行的第一次滤波处理，输出在解码端的第一次合成处理的第一行(图6中的C中的Out-1)。之后，关于在编码端的从第二次到最后一次之前的滤波处理，在解码端一次输出四行(图6中的C中的Out-2...)。关于在解码端的最后一次的滤波处理，在解码端输出八行。

从高带分量端到低带分量端，由小波变换单元150生成的系数数据被顺序保存在系数重排缓冲单元152中。就系数重排单元153来说，当系数数据被累积在系数重排缓冲单元152中，直到能够进行上述系数数据重排为止时，按照合成处理所必需的顺序重排系数数据，并从系数重排缓冲单元152中读出系数数据。读出的系数数据被顺序供给熵编码单元155。

如上所述以区域为增量编码的图像数据(编码数据)被供给封包处理单元122。此时，熵编码单元155以区域为增量，把与图像数据有关的信息供给封包处理单元122，作为报头信息(区域报头)。图7图解说明区域报头的配置例子。

如图7中所示，区域报头171由4个字(32×4位)的数据构成，包括诸如PID，AT，AID，FT，F，IF，区域时间戳记，量化系数和区域码长之类的信息。

PID(Precinct ID)是指示从画面的头部开始计算的区域的编号的12位信息。AT(Align Unit Type)是指示在区域内配置的对准单元的属性的4位信息。对准单元是区域内已被分成预定数据增量，例如编码增量等的编码数据。即，区域由一个或多个对准单元构成。AID(AlignUnit ID)是指示从区域的头部开始计数的对准单元的编号的5位信息。FT(Field Type)是指示画面是什么场，逐行扫描场或隔行扫描场的2位信息。CF(Component Flag)是指示在亮度分量Y，色差分量Cb和色差分量Cr这些分量中，多个分量已被一起放入单个对准单元或区域中的3位信息。

IF(Incomplete Flag)是指示由于某种原因，关于其的编码已失败的对准单元或区域的1位标记信息。该失败范围被局限于由PID，AT和AID指示的有效负载。

区域时间戳记(Precinct Time Stamp)是指示区域的时间戳记的低阶32位的信息。量化系数(QP Y或C)是指示用于量化亮度分量Y或色差分量C的量化系数的值的16位信息。区域码长(Precinct CodeLength Y或C)是指示该区域的亮度分量或色差分量C的编码数据的数据长度的26位信息。

另外，熵编码单元155以画面为增量，把与图像数据相关的信息供给封包处理单元122作为报头信息(画面报头)。图8图解说明画面报头的配置例子。

如图8中所示，画面报头172由26个字(32×26位)的数据构成，包括诸如PI，w，CEF，CBD，DL，WF，PDI，SF，FR，AR，DBSZ，完整时间戳记，V0起始位置，SD，H起始位置，VF，V总大小，TSD，H总大小，PXCS，V大小，VSD，H大小，BRT，CTS和WTm。

PI(Profile Indication)是用于指定简表的5位信息。w是用于指示是否包括加权表的1位标记信息，加权表是在分组中设置加权系数的定制值的表信息。CEF(Color Extension Flag)是指示是否把扩展报头用于色彩信息的1位标记信息。CBD(Component Bit Depth)是指示分量的位深度的5位信息。保存从预先规定的值中减去“8”的值。DL(DWT Level)是指示小波变换的分割次数(分割级别)的3位信息。WF(Wavelet Filter)是指示用于小波变换的滤波器的种类的2位信息。PDI(Picture Discontinuity Indication)是指示时间戳记的连续性的1位信息。SF(Sampling Format)是指示色差采样方法的2位信息。

FR(帧速率)是指示帧速率的1位信息。AR(长宽比)是指示像素长宽比的6位信息。DBSZ(解码器缓冲器大小)是指示在解码器的区域缓冲器大小的4位信息。完整时间戳记(FTS(Full TimeStamp)是指示实际大小的时间戳记的46位信息。

VO起始位置(FFVS(First Field Vertical Start))是指示起始场的垂直方向值像素开始位置的13位信息。SD(Start Diff)是指示FFVS和第二场之间的差别的2位信息。H起始位置(HS(Horizontal Start))是指示水平方向上的有效像素起始位置的13位信息。VF(视频格式)是指示压缩信号的视频格式的4位信息。

V总大小(FFVTS(First Field Vertical Total Size))是指示包括起始场的空白在内的像素的总数的13位信息。TSD(Total Size Diff)是指示FFVTS和第二场之间的差别的2位信息。H总大小(HTS(Horizontal Total Size))是指示包括水平方向上的空白在内的像素的总数的13位信息。PXCS(Pixel Clock Scale)是指示时钟的刻度的3位信息。

V大小(FFVVS(First Field Vertical Valid Size))是指示起始场的垂直方向值像素大小的13位信息。VSD(Valid Size Diff)是指示FFVVS和第二场之间的差别的2位信息。H大小(HVS(HorizontalValid Size))是指示水平方向上的值像素大小的13位信息。BRT(BValue Reset Timing)是指示B值的重置计时的2位信息。

CTS(Custom Table Size)是指示定制表的大小的16位信息。存在和指定值的数目一样多的后续定制值，其大小为CTS×2字节。WTm(Weighting Table m)是指示第m个加权表的16×m位信息。

注意实际上，如图9中所示，除了数据之外，从编码单元121还向封包处理单元122供给属性信息，VALID信息等等。属性信息是指示待供给的数据是报头数据还是图像数据，指示是亮度分量数据还是色差分量数据等等的信息，VALID信息是通知数据的读取计时的信息。

封包处理单元122根据单独指定的数据的大小和分组大小，对每个预定数据增量(区域)供给的编码数据进行封包处理。

图10是图解说明图1中的封包处理单元122的内部配置例子的方框图。

在图10中，封包处理单元122包括数据获取单元201，RTP(实时传输协议)报头创建单元202，公共报头创建单元203，扩展报头创建单元204，画面信息创建单元205，标记确认单元206，大小确认单元207，分段处理单元208，封包单元209和输出单元210。

数据获取单元201根据和数据一起供给的属性信息和VALID信息等等，获得从编码单元121供给的编码数据和分组等等。例如，当获得区域报头171时，数据获取单元201将其供给RTP报头创建单元202，公共报头创建单元203，扩展报头创建单元，标记确认单元206和大小确定单元207。另外，当获得画面报头时，数据获取单元201将其供给画面信息创建单元205。此外，当获得编码数据时，数据获取单元201将其供给分段处理单元208。

当数据获取单元201获得区域报头时，RTP报头创建单元202根据获得的区域报头，创建RTP报头，所述RTP报头是RTP分组的报头。RTP报头的细节将在后面说明。RTP报头创建单元202把创建的RTP报头供给封包单元209，并通知公共报头创建单元203处理结束。

当收到来自RTP报头创建单元202的通知时，公共报头创建单元203根据数据获取单元201获得的区域报头171，创建公共报头，所述公共报头是附于根据该区域创建的每个分组上的报头。公共报头包括和该区域相关的基本信息。公共报头的细节将在后面说明。公共报头创建单元203把创建的公共报头供给封包单元209，并通知扩展报头创建单元204处理结束。

当收到来自公共报头创建单元203的通知时，扩展报头创建单元204根据数据获取单元201获得的区域报头171，创建用于扩展报头的信息，在所述扩展报头中，酌情提供与该区域相关的，未包括在公共报头中的信息。创建扩展报头能够为发射方实现灵活、有效的报头创建。尽管扩展报头的信息的内容是可选的，不过该信息的内容可以是例如与量化系数相关的信息，与大小相关的信息等等。扩展报头的细节将在后面说明。扩展报头创建单元204把创建的扩展报头供给封包单元209，并通知画面信息创建单元205处理结束。

当收到来自扩展报头创建单元204的通知，并且数据获取单元201获得画面报头172时，画面信息创建单元205根据画面报头172，创建包括与图像相关的信息在内的画面信息。画面信息的细节将在后面说明。画面信息创建单元205把创建的画面信息供给封包单元209，使画面信息被插入扩展报头中，并通知标记确认单元206处理结束。注意在数据获取单元201还未获得画面报头172的情况下，画面信息创建单元205通知标记确认单元206处理结束，而不创建画面信息。

当收到来自画面信息创建205的通知时，标记确认单元206参考包括在数据获取单元201获得的区域报头171中的IF，按照该标记的值，确定是否把编码数据包括在分组中。例如，在“IF＝1”的情况下，标记确认单元206确定该区域的数据的编码已失败，使数据获取单元201放弃(不获得)该不可解码的编码数据，并控制封包单元20仅仅用报头信息封包(以便不包括有效负载)。另外，在“IF＝0”的情况下，标记确认单元206确定该区域的编码已成功，使封包单元209进行包括有效负载的封包，并通知大小确认单元207处理结束。

当收到来自标记确认单元206的通知时，大小确认单元207根据包括在数据获取单元201获得的区域报头中的区域码长，确认区域的数据大小是否大于预先单独设置的分组大小(包括在单个分组中的有效负载数据大小的最大值)。例如，在区域的数据大小大于分组大小的情况下，大小确认单元207控制分段处理单元208把数据获取单元201获得的编码数据分割成每个分组大小。相反，在区域的数据大小不大于分组大小的情况下，大小确认单元207控制分段处理单元208，以便不分割数据获取单元201获得的编码数据。

在区域的数据大小大于分组大小的情况下，分段处理单元208由大小确认单元207控制，以便把数据获取单元201获得的编码数据分割成每个分组大小，并提供给封包单元209。即，这种情况下，每次数据获取单元201获得一个分组大小的编码数据时，在还考虑到报头部分的情况下，分段处理单元208把该一个分组大小的编码数据作为有效负载提供给封包单元209。

相反，在区域的数据大小不大于分组大小的情况下，分段处理单元208由大小确认单元207控制，以便把数据获取单元201获得的编码数据不做改变地供给封包单元209。即，这种情况下，分段处理单元208把数据获取单元201获得的一个区域的编码数据作为有效负载提供给封包单元209。

封包单元209利用从各个部分供给的报头信息，对从分段处理单元208供给的有效负载封包。例如，在一个区域的编码数据由被分段处理单元208分割成多个有效负载的情况下，封包单元209把每个有效负载必需的报头信息添加到每个有效负载中，并封包每个有效负载。另外，在分段处理单元208将不分割编码数据的情况下，封包单元209添加从分段处理单元208供给的单个有效负载所必需的报头信息，并进行封包。此外，在标记确认单元206指令在分组中不包括有效负载的情况下，封包单元209根据该指令，仅仅利用报头信息进行封包。

另外，封包单元209酌情设置包括在生成的分组的公共报头中的标记信息，例如SFF，M等的值。SFF(Start Fragment Flag)是指示该分组是否是包括区域的起始部分的分组(起始分组)的标记，M(Marker)是指示该分组是否是包括区域的结尾部分的分组(最终分组)的标记。在解包处理单元132进行解包处理时参考这些标记信息。

例如，在分段处理单元208分割编码数据的情况下，封包单元209把通过分割单个区域的编码数据而生成的有效负载组的起始有效负载的分组的SFF设为1，把最终有效负载的分组的M设为1。

另外，在分段处理单元208不分割编码数据的情况下，封包单元209把生成的单个分组的SFF和M都设为1。

通过按照这种方式设置诸如SFF和M之类标记信息，解包处理单元132通过参考该标记信息，能够容易地知道分组是区域的起始分组，最终分组，还是另一分组。因此，解包处理单元132能够减小如后所述的待机时间，并且能够减小解包处理的延迟时间。

封包单元209把生成的分组供给输出单元210。

输出单元210把从封包单元209供给的RTP分组供给传输单元123(图1)，并使RTP分组被传送给接收设备103(图1)。

如上所述，编码单元121把单个画面(帧或场)分割成多个区域，并进行每个区域的编码，如图11中所示。

封包处理单元122把单个区域的编码数据分割预定的分组大小，并进行封包，如图12中所示。在区域的数据大小不大于分组大小的情况下，生成的分组为1个。在图12的例子中，由单个区域的编码数据生成5个分组。

下面说明图像数据的传输格式的例子。

图13图解说明RTP报头的配置例子，RTP报头是RTP报头创建单元202创建的RTP分组的报头信息。RTP报头221具有下述字段：版本号(V)，填充(P)，是否存在扩展报头(X)，传输信源的数目(Count)(CC)，标志信息(标志位)(M)，有效负载类型(PayloadType)(PT)，序列号，时间戳记和同步信源(传输信源)标识符(SSRC(Synchronization Source Identifier))。

版本号(V)是指示RTP的版本号的12位信息。填充(P)是1位标记信息，在其值为“1”的情况下，指示在有效负载的结尾增加了一个或多个填充八位字节(嵌入数据)。是否存在扩展报头(X)是1位标记信息，在其值为“1”(存在报头扩展)的情况下，指示除了固定长度的报头之外，还增加了扩展报头。传输信源的数目(CC)是指示CSRC标识符的数目的4位信息，在如同多点远程电信会话的情况一样，多个数据源的数据的单一RTP封包的情况下，指示各个数据源的标识符的数目。

标志信息(M)是1位标记信息，指示有效负载中的任意事件等。标志信息(M)的使用方法在有效负载类型(PT)等中设置。有效负载类型(PT)是用于指定分组携带的有效负载的格式的7位信息。

序列号是指示RTP数据分组的顺序的16位数字信息，初始值被随意设定，后续分组的值被加“1”。序列号指示正在传送的整个编码数据(图像数据)内的分组的顺序。

时间戳记是指示RTP分组的第一个字节的采样时刻的32位信息。采样时钟由有效负载的数据简表确定。例如，如果我们认为音频信号的采样频率为8kHz，那么时间戳记的值每125微秒被加“1”，从而如果我们认为RTP时间分组为20毫秒的数据，那么对于每个分组来说，时间戳记的值增大160。注意初始值被随意设定。

同步信源(传输信源)标识符(SSRC)是指示分组的传输信源的32位标识符。该信息是任意生成的。在传输地址改变的情况下，该SSRC标识符也被更新。

公共报头创建单元203，扩展报头创建单元204，和画面信息创建单元205生成包括在RTP报头之后的有效负载报头中的各种信息。图14图解说明有效负载报头的配置例子。如图14中所示，有效负载报头由公共报头231，量化参数信息232，大小信息233，格式信息234，画面信息235，色彩信息236，并被添加在有效负载237的前面。

公共报头231是由公共报头创建单元203创建的，包括与区域相关的基本信息的报头信息。公共报头231是强制报头，被添加到所有分组中

量化参数信息232是由扩展报头创建单元204创建的扩展报头，包括与量化系数相关的信息。大小信息233是由扩展报头创建单元204创建的扩展报头，包括和数据大小相关的信息。格式信息234是由扩展报头创建单元204创建的扩展报头，包括和数据的格式相关的信息。画面信息235是由画面信息创建单元205创建的扩展报头，包括和初始图像(即，被编码，封包和传送的图像数据)相关的信息。色彩信息236是由扩展报头创建单元204创建的扩展报头，包括和图像数据的色彩相关的信息。

量化参数信息232，格式信息234，画面信息235和色彩信息236作为扩展报头被附到区域的起始分组上(包括其中不进行分段的分组的情况)。大小信息233作为扩展报头被附到任意一个分组上。

即，在向所有分组添加大小信息的情况下，从公共报头231到有效负载237的一切被包括在位于区域的头部的分组中。另一方面，只有公共报头231，大小信息233和有效负载237被包括在除区域的起始分组之外的分组中。

下面说明每个信息的细节。

图15是图解说明公共报头231的配置例子的示图。如图15中所示，公共报头231包括PID，AT，AID，SFF，M，TSF，NF，FT，CF，IF，X和TS之类的信息。即，公共报头231的第一个字(从顶部开始的第一层)和第二个字(从顶部开始的第二层)是原样利用从编码单元121供给的区域报头171的第一个字(字0)和第二个字(字1)创建的，SFF，M，TSF和NF被添加到4位中，所述4位是第一个字中的空白字段(保留字段)。

SFF(Start Fragment Flag)是指示是否是由PID，AT和AID指示的有效负载的头部的1位标记信息。即，在该分组是位于区域的头部的分组(起始分组)的情况下，SFF的值被设为“1”，在其它情况下，被设为“0”。

M(Marker)是指示是否包括由PID，AT和AID指示的有效负载的结尾部分的1位标记信息。即，在该分组是包括区域或对准单元的结尾部分的分组(最终分组)的情况下，M的值被设为“1”，在其它情况下，被设为“0”。

TSF(Time Stamp Flag)是指示公共报头中是否包括时间戳记的1位标记信息。即，在TSF的值为“1”的情况下，区域报头171的第二个字(字1)被附到公共报头231的第二个字上。

NF(Next Flag)是指示后续有效负载的存在的1位标记信息。即，在多个区域或对准单元的有效负载被附到该分组上，并且该报头不是该分组中的最后区域或对准单元的情况下，NF的值被设为“1”。

TS(Time Stamp)是指示该分组的有效负载属于的区域的时间戳记的低价32位的信息，对应于区域报头171的第二个字(字1)。

注意图15中所示的第三个字(从顶部开始的第三层)表示从公共报头231延续的附加的扩展报头。

图16是图解说明包括在扩展报头中的量化参数信息232的配置例子的示图。如图16中所示，量化参数信息是包括诸如ET，QP和X之类信息的信息。扩展报头创建单元204利用从编码单元121供给的区域报头171的第三个字(字2)创建该量化参数信息232。

ET(Extension Type)是指示扩展报头的内容的5位信息。在使用量化参数信息232时的指定值是任意的，不过例如为“00011”。QP(Quantize Parameter)是指示量化系数的值的16位信息。X(Extension)是指示是否使用扩展报头的标记。

图17是图解说明包括在扩展报头中的大小信息233的配置例子的示图。如图17中所示，大小信息233是包括诸如ET，SS和X之类信息的信息。扩展报头创建单元204利用从编码单元121供给的区域报头171的第四个字(字3)创建该大小信息233。

ET(Extension Type)是指示扩展报头的内容的5位信息。在使用大小信息233时的指定值是任意的，不过例如为“00100”。SS(SegmentSize)是用字长指示该片断的有效负载大小的26位信息。X(Extension)是指示是否使用扩展报头的标记。

如图7，图15-图17中所示，编码单元121把格式和公共报头231及扩展报头(量化参数信息232和大小信息233)相同的区域报头171提供给封包处理单元122。因此，封包处理单元122的公共报头创建单元203和扩展报头创建单元204能够容易并且高速地创建公共报头和扩展报头。

图18是图解说明包括在扩展报头中的格式信息234的配置例子的示图。如图18中所示，格式信息234本质上是包括ET，FTI和X等等的信息。扩展报头创建单元204利用从编码单元121供给的信息，创建格式信息234。

ET(Extension Type)是指示扩展报头的内容的5位信息。在使用格式信息234时的指定值是任意的，不过例如为“00101”。FTI(FormatType Identifier)是指示所描述的信息与哪种格式类型相关的信息。该值是任意的，但是在描述Bayer信息的情况下，设置值“00001”。X(Extension)是指示是否使用扩展报头的标记。

图18中的B图解说明在描述Bayer信息的情况下的格式信息234的配置例子。这种情况下，除了ET，FTI和X之外，格式信息234包括MT，SMT，BLF，VLOF，SSF，EVF，DC，BL，RBL，RVLO，DSS，NSS和EV等等信息。

MT(Mosaic Type)是指示有效负载的马赛克种类的4位信息。SMT(Start Mosaic Type)是指示在帧的左上端的第一像素信息的4位queen。BLF(Black Level Flag)是指示黑色电平信息的存在的1位标记信息。VLOF(Vertical Line Offset Flag)是指示垂直线校正信息的存在的1位标记信息。SSF(Shutter Speed Flag)是指示快门速度信息的存在的1位标记信息。EVF(EV Flag)是指示EV信息的存在的1位标记信息。DC(Defect Correction)是指示是否进行缺陷校正的1位标记信息。

BL(Black Level)是指示黑色电平值的32位标记信息。RBL(Revised Black Level)是指示黑色电平校正偏移值的32位信息。只有在BLF的值为“1”的情况下，才存在BL和RBL。

RVLO(Revised Vertical Line Offset)是指示垂直线校正偏移值的32位信息。只有在VLOF的值为“1”的情况下才存在RVLO。

DSS是指示快门速度分子(单位APEX)的32位信息。NSS是指示快门速度分母(单位APEX)的32位信息。只有在SSF的值为“1”的情况下才存在DSS和NSS。

EV是指示EV值的32位信息。只有在EVF的值为“1”的情况下才存在EV。

图19是图解说明包括在扩展报头中的画面信息235的配置例子的示图。如图19中所示，画面信息235包括ET，PI，CEF，CBD，DL，WF，PDI，SF，FR，AR，DBSZ，FTS，FFVS，SD，HS，VF，FFVTS，TSD，HTS，PXCS，FFVVS，VSD，HVS，BRT，WCF，X，CTS和WTm等信息。画面信息创建单元205利用从编码单元121供给的画面报头，创建画面信息235。

即，画面信息235是其中ET被添加到从编码单元121供给的画面报头172的第一个字(字0)中的空白字段(保留字段)，WCF和X被添加到其第六个字(字5)中的空白字段(保留字段)的信息。

ET(Extension Type)是指示扩展报头的内容的5位信息。在使用画面信息时的指定值是任意的，不过例如为“00010”。WCF(WeightingCustom Flag)是指定是否使用加权系数的定制值的1位信息标记。只有在WCF的值为“1”的情况下，才存在CTS。X(Extension)是指示是否在该报头之后使用扩展报头的标记。

如图8和图19中所示，编码单元121把格式和画面信息235相同的画面报头172提供给封包处理单元122。因此，封包处理单元122的画面信息创建单元205能够容易并且高速地创建画面信息235。

图20是图解说明包括在扩展报头中的色彩信息236的配置例子的示图。如图20中所示，色彩信息236包括ET和X等信息。扩展报头创建单元204利用从编码单元121等供给的信息创建色彩信息236。

ET(Extension Type)是指示扩展报头的内容的5位信息。X(Extension)是指示是否使用扩展报头的标记。

封包处理单元122对如上所述的每个区域的编码数据封包，并提供给传输单元123。传输单元123经线路110顺序把分组传给接收设备103。

以如上所述格式从传输单元123发出的分组经线路110被提供给接收设备103的接收单元131。当收到分组时，接收单元131把收到的分组提供给解包处理单元132。

图21是图解说明解包处理单元132的内部配置例子的方框图。如图21中所示，解包处理单元132具有分组获取单元251，报头信息分析单元252，控制模式转变单元253，控制单元254，报头供给单元255，数据供给单元256，错误通知单元257和控制信号供给单元258。

分组获取单元251获得从接收单元131供给的分组。此时，当获得一直到RTP有效负载的信息时，分组获取单元251顺序把已获得的信息供给报头信息分析单元252，同时继续进行获取。即，在完成有效负载的获取之前，分组获取单元251把报头信息供给报头信息分析单元252。另外，分组获取单元251还把报头信息提供给报头供给单元255，还把有效负载供给数据供给单元256。

报头信息分析单元252分析分组获取单元251获得的RTP分组的报头信息，即RTP报头和有效负载报头信息，并把分析结果供给控制模式转变单元253和控制单元254。

控制模式转变单元253根据从报头信息分析单元252供给的报头信息的分析结果，控制控制单元24的操作模式，并根据需要实现转变。

控制单元254按照在控制模式转变单元253的控制下实现转变的控制模式，根据从报头信息分析单元252供给的分析结果，控制报头供给单元255，数据供给单元256，错误通知单元257和控制信号供给单元258的操作。

报头供给单元255由控制单元254控制，提取包括在从分组获取单元251供给的有效负载报头中的各种信息，恢复区域报头171和画面报头172，并将其提供给解码单元133。数据供给单元256由控制单元254控制，把从分组获取单元251供给的有效负载数据供给解码单元133。错误通知单元257由控制单元254控制，向解码单元133通知诸如发生分组丢失之类的错误。控制信号供给单元258由控制单元254控制，把除报头和数据之外的各种控制信息供给解码单元133。

对于控制单元254的控制模式来说，存在四种模式：开始模式301，待机模式302，处理模式303和丢失模式304，如图22中所示。控制模式转变单元253根据报头信息分析单元252的报头信息分析结果，理解RTP分组的接收状态，并按照该状态，使控制单元254的控制模式转变成最佳模式。

开始模式301是处理整个编码数据的第一个分组的模式。在开始解包处理的时候，控制单元254被设置成开始模式301。待机模式302是处理区域的起始分组的模式。在区域的最后分组已被处理之后，控制单元254被设置成待机模式302。处理模式303是在未发生分组丢失的正常时期，处理除区域的头部之外的每个分组的模式。当未发生分组丢失时，对于除区域的头部之外的每个分组，控制单元254被设置成处理模式303。丢失模式304是在发生诸如分组丢失之类错误的情况下，处理区域的剩余分组的模式。在发生分组丢失的情况下，控制单元254被设成丢失模式304。

下面说明每种模式下，解包处理单元132的操作的细节。

注意实际上，除了数据之外，起始信息，结尾信息，VALID信息，属性信息和错误通知等等也从解包处理单元132被供给解码单元133，如图23中所示。

起始信息是指示区域或对准单元的起始分组的有效负载的信息，在解包处理单元132把区域或对准单元的起始分组的有效负载供给解码单元133的时候，该起始信息被设为值“1”。结尾信息是指示区域或对准单元的最终分组的有效负载的信息，在解包处理单元132把区域或对准单元的最终分组的有效负载供给解码单元133的时候，该结尾信息被设为值“1”。

属性信息是指示待供给的数据是报头还是图像数据，指示是亮度分量数据还是色差分量数据等等的信息。VALID信息是通知数据的读取计时的信息。错误通知是向解码单元133通知发生诸如分组丢失之类错误的信息。

图24是图解说明图1中的解码单元133的内部配置例子的方框图。如图24中所示，解码单元133具有控制信息获取单元351，解码控制单元352，解码处理执行单元353，报头获取单元354，数据获取单元355，错误通知获取单元356和丢弃处理单元357。

控制信息获取单元351从解包处理单元132获得诸如开始信息，结尾信息，VALID信息和属性信息之类的控制信息，并把控制信息供给解码控制单元352。解码控制单元352根据控制信息，使解码处理执行单元353在预定计时开始解码处理。

解码处理执行单元353根据从解包处理单元132供给的，并由报头获取单元354获得的报头信息，进行数据获取单元355获得的编码数据的解码处理。解码处理执行单元353具有缓冲单元361，熵解码单元362，小波逆变换单元363，如图24中所示。缓冲单元361临时保存从数据获取单元355供给的编码数据，并酌情把编码数据供给熵解码单元362。另外，缓冲单元361临时保存从熵解码单元362供给的作为编码数据的解码结果的系数数据，并酌情把系数数据供给小波逆变换单元363。

熵解码单元362由解码控制单元352控制，以便读出保存在缓冲单元361中的编码数据，并用与编码单元121的熵编码单元155对应的方法进行熵解码，生成系数数据。注意在熵编码单元155进行量化的情况下，在进行熵解码处理之后，熵解码单元362还对获得的系数数据进行逆量化处理。熵解码单元362把获得的系数数据供给缓冲单元361以便累积获得的系数数据。

小波逆变换单元363在预定计时读出在缓冲单元361累积的系数数据，利用与编码单元121的小波变换单元150对应的方法执行小波逆变换处理，把获得的基带图像数据作为输出图像数据输出给显示设备104。

报头获取单元354获得从解包处理单元132供给的报头信息，比如区域报头和画面报头，并把这些报头信息供给缓冲单元361以便保存。数据获取单元355获得从解包处理单元132供给的有效负载数据，并将其供给缓冲单元361以便保存。

错误通知获取单元356获得从解包处理单元132供给的通知在接收处理等中发生了分组丢失的错误通知，并把该通知供给丢弃处理单元357。当获得错误通知时，丢弃处理单元357丢弃在解码处理执行单元353的缓冲单元357中累积的编码数据。即，在分组的接收处理中发生了分组丢失的情况下(在根据序列号确认发生了分组丢失的情况下)，不可能对发生了分组丢失的当前区域进行正确的熵解码处理，从而累积在缓冲单元361中的，发生了分组丢失的当前区域的编码数据都被丢弃。

下面说明每个单元执行的处理的流程。首先，参考图25的流程图说明传输设备102的编码单元121执行的编码处理的流程的例子。

当开始编码处理时，在步骤S1，小波变换单元150把待处理的区域的序列号A设为初始设置。在正常情况下，编号A被设为“1”。当设置结束时，在步骤S2，小波变换单元150从最低频带子带的顶部开始，获得生成第A行这一行所必需的行数(即，一个区域)的图像数据，在步骤S3中，对图像数据进行垂直分析滤波处理，所述垂直分析滤波处理对沿屏幕垂直方向排列的图像数据进行分析滤波，在步骤S4中，执行水平分析滤波处理，所述水平分析滤波处理对沿屏幕水平方向排列的图像数据进行分析滤波处理。

在步骤S5，小波变换单元150确定分析滤波处理是否执行到了最后的级别，在确定分割级别还未达到最终级别的情况下，处理返回步骤S3，其中对当前分割级别重复步骤S3和步骤S4中的分析滤波处理。

在步骤S5中确定分析滤波处理已执行到最终级别的情况下，小波变换单元150进入步骤S6的处理。

在步骤S6，系数重排单元153按照从低带到高带的顺序，重排区域A(从画面(帧或场)的顶部开始的第A个区域)的系数。在步骤S7，熵编码单元155以行为增量对系数进行熵编码。

当熵编码结束时，在步骤S8，熵编码单元155首先读出区域报头171(图7)，在步骤S9中确定当前待处理的区域是否是画面的起始区域(即，A＝1)。如果确定是画面的头部，那么处理进入步骤S10，熵编码单元155发出画面报头172(图8)。当步骤S10的处理结束时，处理进入步骤S11。另外，如果在步骤S9中确定当前待处理的区域不是画面的起始区域时，步骤S10的处理被忽略，处理进入步骤S11。

在步骤S11中，熵编码单元155在报头信息之后向外发送区域A的编码数据。

在步骤S12中，小波变换单元150把编号A的值加“1”，把下一个区域作为处理对象，在步骤S13中，确定在待处理的画面中是否存在未处理的图像输入行。在确定存在的情况下，处理返回步骤S2，对待处理的新区域重复步骤S2之后的处理。

如上所述，步骤S2-步骤S13中的处理被反复执行，以编码每个区域。在步骤S13中确定不存在未处理的图像输入行的情况下，小波变换单元150结束对该画面的编码处理。对下一个画面开始新的编码处理。

就常规的小波变换方法来说，首先，对整个画面进行水平分析滤波处理，随后对整个画面进行垂直分析滤波处理。顺序按照相同的方式对获得的整个低带分量进行水平分析滤波处理和垂直分析滤波处理。如上所述，递归地重复分析滤波处理，直到分割级别达到最终级别为止。因此，需要把每个分析滤波处理的结果保存在缓冲器中。此时，需要保存整个画面的滤波结果或者当前时刻的分割级别的整个低带分量的缓冲器，意味着需要极大的存储容量(要保持的数据的数量极大)。

另外，这种情况下，在画面的所有小波变换结束之前，不能进行下游的系数重排和熵编码，从而增大了延迟时间。

相反，就编码单元121的小波变换单元150来说，如上所述，以区域为增量连续进行垂直分析滤波处理和水平分析滤波处理，直到最终级别为止，从而与常规方法相比，(在相同的时间段内)需要同时保持(缓存)的数据的数量较小，从而能够大大降低需要准备的缓冲器的存储容量。另外，通过执行分析滤波处理直到最终级别为止，还能够执行后面的系数重排或熵编码处理的步骤(即，能够以区域为增量进行系数重排或熵编码)。因此，与常规方法相比，能够大大降低延迟时间。

另外，熵编码单元155把每个区域的区域报头171和每个画面的画面报头172连同编码数据一起供给封包处理单元122，从而封包处理单元122能够容易地生成报头信息。另外，区域报头171和画面报头172的格式和封包处理单元122添加到分组中的有效负载报头的格式相同，从而，封包处理单元122能够更容易地生成报头信息。

此外，在由于某种原因，编码失败的情况下，熵编码单元155设置区域报头171的IF，指示该区域或对准单元是编码已失败的区域或对准单元。通过参考该IF，封包处理单元122能够容易地禁止不能被解码的不必要数据被封包和被传送给接收设备103。

下面参考图26中的流程图，说明封包处理单元122的封包处理的流程的例子。

在步骤S31，封包处理单元122的数据获取单元201确定是否获得了区域报头171，并等到确定获得了区域报头171为止。在确定已获得从编码单元122供给的区域报头171的情况下，处理进入步骤S32。

在步骤S32，RTP报头创建单元202创建RTP报头221。在步骤S33，公共报头创建单元203根据区域报头171创建公共报头231。此时，公共报头创建单元202把SFF，M，TSF和NF字段添加到区域报头171的第一个字(字0)中。

在步骤S34，扩展报头创建单元204根据区域报头171，创建量化参数信息232，大小信息233，格式信息234和色彩信息236等的扩展报头。

在步骤S35，画面信息创建单元205确定是否获得了画面报头172。在确定获得了画面报头172的情况下，处理进入步骤S36。在步骤S36，画面信息创建单元205参考画面报头172，并确定w的值是否为“1”，在确定w的值为“1”的情况下，在步骤S37中，把加权表(WTm)包括在画面信息中以便被封包。当步骤S37的处理结束时，处理进入步骤S39。

另外，在步骤S36中确定w的值为“0”的情况下，画面信息创建单元205在步骤S38中从画面信息中删除加权表(WTm)。当步骤S38的处理结束时，处理进入步骤S39。

此外，在步骤S35中确定还未获得画面报头的情况下，处理进入步骤S39。

在步骤S39，标记确认单元206确定区域报头171的IF的值是否为0。如果确定区域报头171的IF的值为0，那么处理进入步骤S40。

在步骤S40，大小确认单元207确定区域的数据大小是否大于分组的有效负载的最大大小(分组大小)。

如果确定区域的大小大于分组大小，那么处理进入步骤S41。在步骤S41，分段处理单元208把单个区域的编码数据分割成每个分组大小，以便成为相互不同的有效负载。当步骤S41的处理结束时，处理进入步骤S43。

另外，在步骤S40中，如果确定区域的大小不大于分组大小，那么分段处理单元208不进行编码数据的分割。即，这种情况下，步骤S41的处理被忽略，处理进入步骤S43。

此外，如果在步骤S39中确定“IF＝0”，那么处理进入步骤S42。在步骤S42，数据获取单元201由标记确认单元206控制，以便丢弃供给的编码数据。当步骤S42的处理结束时，处理进入步骤S43。

在步骤S43，封包单元209利用每个有效负载和报头信息生成RTP分组，并在步骤S44中，设置每个分组的诸如SFF和M之类的标记信息。

当按照这种方式设置了每个标记信息时，输出单元210把RTP分组输出给传输单元123。

在步骤S45，数据获取单元201确定所有区域是否都已被处理。如果确定存在未处理的区域，那么处理返回步骤S31，并重复后续处理。另外，如果在步骤S45确定所有的区域都已被处理，那么封包处理结束。

如上所述，封包处理单元122根据从解码单元121供给的报头信息，能够容易地生成公共报头和扩展报头。

另外，如上所述，在步骤S36-S38中，画面信息创建单元205能够根据区域报头171中的w的值，容易并且高速地控制加权表的增加。即，仅仅通过确认区域报头171的w的值，画面信息创建单元205就能够只有在需要时，才恰当地添加加权表。因此，能够抑制由传输设备102传给接收设备103的数据量的不必要增大，以及由此引起的在每个部分上的不必要负载的增大。

此外，如上所述，在区域报头171的IF的值为“1”的情况下，在步骤S39中，标记确认单元206在步骤S42中控制数据获取单元201，以便不获得编码数据，从而不向分组添加有效负载。即，这种情况下，从封包处理单元122输出的RTP分组中只包括报头信息，不包括有效负载。从而，仅仅通过参考从编码单元121供给的区域报头171，封包处理单元122就能容易并且高速地减少不能被解码的不必要数据的传输，并且能够抑制在传输单元123，线路110和接收设备103等上的负载的不必要增大。

另外，如上所述，在步骤S40中，大小确认单元207根据区域报头171，能够确定区域的大小是否大于分组大小，从而封包处理单元122能够容易并且高速地确定是否进行一个区域的编码数据的分段，而不进行累积。

此外，在步骤S44中，封包单元209关于区域的起始分组设置公共报头231的SFF标记，并关于区域的最终分组设置公共报头231的M标记。通过设置这样的标记，仅仅通过参考报头信息，接收设备103的解包处理单元132就能够容易地识别区域的头部和区域的结尾。从而，解包处理单元132能够容易并且高速地进行解包处理，如后所述。

此外在此时，由于设置的公共报头231的IF标记的缘故，仅仅通过参考报头信息，接收设备103的解包处理单元132就能够容易地识别在分组中未包括任何有效负载。从而，解包处理单元132能够容易并且高速地进行解包处理，如后所述。

下面，说明接收分组的接收设备103的解包处理单元132执行的处理。如上所述，解包处理单元132按照四种控制模式执行解包处理。在开始解包处理时，解包处理单元132被设为开始模式301。

首先，参考图27中的流程图，说明在开始模式301下，解包处理单元132执行的开始模式的流程的例子。

在步骤S61，分组获取单元251确定是否获得了分组，并等到确定通过接收单元131获得了分组为止。如果确定获得了分组，那么处理进入步骤S62。在步骤S62，报头信息分析单元252获得分组的报头信息，并确定是否“PID＝0”，“CF＝4”和“SFF＝1”。即，报头信息分析单元252确定是否是位于画面的起始区域的第一个分组，其中多个分量被一起放入一个区域中。在确定“PID＝0”，“CF＝4”和“SFF＝1”不成立的情况下，处理返回步骤S61，重复后续处理。即，重复步骤S61和步骤S62的处理，直到确定“PID＝0”，“CF＝4”和“SFF＝1”为止，当确定“PID＝0”，“CF＝4”和“SFF＝1”时，处理进入步骤S63。

在步骤S63，控制单元254执行模式共有处理，所述模式共有处理是在每种模式下关于区域的起始分组执行的解包处理，如后所述。模式共有处理的细节将在后面说明。当模式共有处理结束时，控制模式转变成另一种模式，从而开始模式处理结束。

如上所述，在开始模式下，仅仅通过参考公共报头231的SFF的值，控制单元254就能够容易地探测画面的起始区域的起始分组。另外，在探测画面的起始区域的起始分组的时候，控制单元254能够开始模式共有处理，并且能够开始从该区域提取有效负载。即，控制单元254能够了解新的区域，而不必确认区域的最终分组，从而，可使有效负载提取的开始计时更早，并且能够降低延迟时间。

下面，参考图28中的流程图说明在图27的步骤S63中执行的模式共有处理的流程的例子。模式共有处理也是在其它模式下执行的处理，如后所述，并且是尽管一个在先区域的最终分组还未被确认，不过当新区域的起始分组已被确认时，解包处理单元132对区域执行的处理。

因此，在分组获取单元251已获得分组的状态下开始该模式共有处理。

当开始模式共有处理时，在步骤S82中，报头信息分析单元252参考公共报头231，确定是否“IF＝0”。如果确定“IF＝1”，那么处理进入步骤S83。

如果确定“IF＝1”，那么在步骤S83，控制单元254控制报头供给单元255和数据供给单元256，只向解码单元133传送分组的报头部分。在IF＝1的情况下，实质上在该分组中不包括任何有效负载。即使包括有效负载，那么该有效负载也是不可解码的，从而控制单元254控制数据供给单元256，禁止传送该有效负载。

当步骤S83中的处理结束时，控制模式转变单元253实现控制模式到待机模式的转变，在待机模式下，在步骤S84等待下一个区域的起始分组。待机模式的处理将在后面说明。当转变成控制模式时，模式共有处理结束。

如果在步骤S82中确定“IF＝0”，那么处理进入步骤S85。这种情况下，有效负载的编码数据是正确编码的数据。在步骤S85，报头供给单元255被控制单元254控制，以便向解码单元133传送4个字的区域报头。

在步骤S86，报头信息分析单元252参考公共报头231，并确定“PID＝0”和“CF＝4”是否成立。如果确定“PID＝0”和“CF＝4”成立，那么处理进入步骤S87。在步骤S87，报头信息分析单元252参考公共报头231，确定是否“w＝1”。如果确定“w＝1”，那么处理进入步骤S88，在步骤S88，报头供给单元255由控制单元254控制，从而把26个字的画面报头172传给解码单元133，以便还包括加权表。当步骤S88的处理结束时，处理进入步骤S90。

另外，如果在步骤S87中确定“w＝1”不成立，那么处理进入步骤S89，在步骤S89，报头供给单元255受控制单元254控制，向解码单元133传送6个字的画面报头172，以便不包括加权表。当步骤S89的处理结束时，处理进入步骤S90。

另外，如果在步骤S86中确定“PID＝0”和“CF＝4”不成立，那么这不是画面的起始报头，从而报头供给单元255受控制单元254控制，不向解码单元133传送画面报头172。因此，这种情况下，处理进入步骤S90。

在步骤S90，数据供给单元256受控制单元254控制，把分组的剩余有效负载，即编码数据传给解码单元133。在步骤S91，报头信息分析单元252参考报头231，确定是否“M＝1”。在确定“M＝1”，待处理的分组是该区域的最后分组的情况下，处理进入步骤S92，在步骤S92，控制单元254受控制模式转变单元253控制，以便把控制模式转变成待机模式。即，此时最终分组的处理已结束，从而控制模式转变成待机模式，在待机模式下，等待下一个区域的起始分组。当控制模式发生转变时，模式共有处理结束。

另外，如果在步骤S91确定“M＝1”不成立，待处理的分组不是该区域的最后分组，那么处理进入步骤S93，在步骤S93，控制单元254受控制模式转变单元253控制，把控制模式转变成处理模式。即，此时，不是最终分组的分组的传输处理已成功结束，从而控制模式转变成处理模式，在处理模式下，等待相同区域的后续分组。当控制模式发生转变时，模式共有处理结束。在图27中的步骤S63中执行该模式共有处理的情况下，当模式共有处理结束时，处理返回图27中的步骤S63，开始模式处理结束。

如上所述，根据SFF和M的值，解包处理单元132能够容易地识别区域的起始分组和最终分组。另外，最终分组可由M识别，从而解包处理单元132能够容易地促成适合于每个区域的模式转变。因此，解包处理单元132能够对每个区域进行适当的解包处理。此外，起始分组可由SFF识别，从而即使在不确认最终分组的情况下，解包处理单元132也能够了解区域的更新。即，在发生分组丢失的情况下，即，即使在获得的分组的序列号与前次获得的分组的序列号不连续的情况下，如果该分组是新区域的起始分组，那么解包处理单元132也能够开始从新区域的该分组提取有效负载，而不等待新的区域。即，解包处理单元132能够减少不必要的待机时间。当然，在按照处理模式和丢失模式，而不仅仅是按照开始模式执行模式共有处理的情况下，解包处理单元132也能够缩短待机时间，从而能够缩短延迟时间。

另外，如步骤S83中所示，仅仅通过参考公共报头231，解包处理单元132就能够容易地抑制向解码单元133供给不必要的不可解码的有效负载。从而，能够减轻解码单元133上的解码处理的负载。注意报头信息可被用于解码处理，从而控制单元254仅仅传送报头信息。

下面参考图29中的流程图，说明待机模式处理的流程的一个例子。待机模式处理是其中等待下一区域的起始分组的模式的处理，并且当控制模式转变单元253把控制模式转变成待机模式时，开始待机模式处理。

当开始待机模式处理时，分组获取单元251确定是否收到了分组，并等到在步骤S111中确定收到了分组为止。如果从接收单元131供给了分组，确定收到了分组，那么处理进入步骤S112。

在步骤S112，报头信息分析单元252参考RTP报头221，确定序列号是否与前次接收的分组连续。如果序列号与前次接收的分组不连续，那么表示分组接收失败(发生了分组丢失)。如果序列号与前次接收的分组是连续的，确定未发生分组丢失，那么处理进入步骤S113。

按照参考图28说明的模式共有处理中的步骤S82和步骤S83，步骤S85-步骤S91，和步骤S93的每个处理相同的方式执行步骤S113-S122的每个处理。

即，步骤S113中的处理对应于步骤S82，步骤S114中的处理对应于步骤S83。不过注意，在待机模式处理的情况下，已处于待机模式，从而对应于图28中的步骤S84的处理被忽略，处理进入步骤S111(等同于转变到图28中的待机模式，开始待机模式处理)。

另外，步骤S115-S121中的处理分别对应于图28中的步骤S85-S91。不过注意，在待机模式处理的情况下，已处于待机模式，从而如果在步骤S121中确定“M＝1”，那么对应于图28中的步骤S92的处理被忽略处理进入步骤S111(等同于转变到图28中的待机模式，开始待机模式处理)。

注意在步骤S121中确定“M＝1”不成立的情况下，处理进入步骤S122。步骤S122中的处理对应于图28中的步骤S93中的处理，当控制模式转变单元253使控制模式转变成处理模式时，待机模式处理结束。

另外，在步骤S122，如果序列号与前次接收的分组不连续，确定发生了分组丢失，那么处理进入步骤S123。

在步骤S123，报头信息分析单元252参考公共报头231，确定是否“SFF＝1”。如果确定“SFF＝1”，那么处理返回步骤S113，并重复后续处理。解码处理是以区域为增量进行的，从而如果在区域内未发生分组丢失，那么该区域可被解码。即，如果“SFF＝1”，那么这表示分组丢失不是在目前待处理的分组所属的区域中发生的，而是在过去的区域中发生的。此外，在待机模式的情况下，解码单元133对该过去区域的编码数据的累积已结束。因此，即使发生了分组丢失，由于新获得的分组是新区域的起始分组，因此该分组丢失被忽略，处理返回步骤S113。

如果在步骤S123中确定“SFF＝1”不成立，那么处理进入步骤S124。这种情况下，分组丢失是在和待处理的分组相同的区域内发生的。因此，该区域不能被解码，从而有效负载的传输被取消。即，在步骤S124，数据供给单元256受控制单元254控制，不向解码单元133传送接收的分组，而是丢弃接收的分组。

如上所述，这是待机模式，从而解码单元133对过去区域的编码数据的累积已结束，新区域的编码数据还未被累积。因此，这种情况下，解码单元133不需要丢弃数据，从而解包处理单元132不需要把错误告知解码单元133。

在步骤S125，控制单元254受控制模式转变单元253控制，把控制模式转变成丢失模式，丢失模式是在获得新区域的分组之前，在发生了错误的区域中处于待机状态的模式。当控制模式被转变成丢失模式时，待机模式处理结束。

如上所述，在待机模式下，根据SFF和M的值，解包处理单元132能够容易地识别区域的起始分组和最终分组。另外，最终分组可由M识别，从而解包处理单元132能够容易地促成适合于每个区域的模式转变。因此，解包处理单元132能够对每个区域进行适当的解包处理。此外，起始分组可由SFF识别，从而即使在不确认最终分组的情况下，解包处理单元132也能够了解区域的更新。即，在发生了分组丢失的情况下，即，即使在获得的分组的序列号与前次获得的分组的序列号不连续的情况下，如果分组是新区域的起始分组，那么解包处理单元132也能够开始从新区域的分组提取有效负载，而不等待下一个区域。即，解包处理单元132能够减少不必要的待机时间。

下面参考图30的流程图说明处理模式处理的流程的例子。处理模式处理是等待相同区域中的后续分组的模式的处理，并且当控制模式由控制模式转变单元253转变成处理模式时被启动。

当开始处理模式处理时，在步骤S141中，分组获取单元251确定是否收到了分组，并等到确定收到了分组为止。在从接收单元131供给了分组，确定分组已被收到的情况下，处理进入步骤S142。

在步骤S142，报头信息分析单元252参考RTP报头221，确定序列号是否与前次接收的分组连续。如果序列号与前次接收的分组连续，确定未发生分组丢失，那么处理进入步骤S143。

在步骤S143，报头供给单元255受控制单元254控制，从分组中删除公共报头231。在步骤S144，数据供给单元256受控制单元254控制，把剩余的有效负载数据传给解码单元133。在步骤S145，报头信息分析单元252参考公共报头231，确定是否“M＝1”，在确定“M＝1”不成立，不是区域的最终分组的情况下，在相同区域中存在后续分组，从而处理返回步骤S141，重复后续处理。

即，重复步骤S141-步骤S145的处理，同时从区域中的每个分组提取有效负载，并传给解码单元133。

如果在步骤S145中确定“M＝1”，待处理的分组是区域的最终分组，那么处理进入步骤S146，在步骤S146，控制单元254由控制模式转变单元253控制，把控制模式转变成待机模式。当控制模式被转变成待机模式时，处理模式处理结束。

另外，如果在步骤S142中确定序列号与前次接收的分组不连续，发生了分组丢失，那么处理进入步骤S147。

这种情况下，区域的数据正在解码单元133中被累积，从而在步骤S147中，控制单元254控制错误通知单元257把传输错误通知解码单元133。

当错误通知结束时，在步骤S148，报头信息分析单元252参考公共报头231，确定是否“SFF＝1”。如果确定“SFF＝1”，那么处理进入步骤S149。在步骤S149，控制单元254执行参考图28中的流程图说明的模式共有处理。这种情况下，当模式共有处理结束时，处理返回图30中的步骤S149，处理模式处理结束。

另外，如果在步骤S148中确定“SFF＝1”不成立，那么处理进入步骤S150，在步骤S150，控制单元254控制数据供给单元256丢弃接收的分组。在步骤S151，控制单元254受控制模式转变单元253控制，把控制模式转变成丢失模式。当控制模式被转变成丢失模式时，处理模式处理结束。

如上所述，在处理模式下，根据SFF和M的值，解包处理单元132能够容易地识别区域的起始分组和最终分组。另外，最终可由M识别，从而解包处理单元132能够容易地促成适合于每个区域的模式转变。因此，解包处理单元132能够对每个区域执行适当的解包处理。此外，起始分组可由SFF识别，从而即使在不确认最终分组的情况下，解包处理单元132也能够了解区域的更新。

例如，在发生了分组丢失的情况下，解包处理单元132从每个顺序供给的分组中提取有效负载，根据M的值确认最终分组，在确定关于该区域的处理已结束的情况下，转变到待机模式。如果发生了分组丢失，那么解包处理单元132把错误通知解码单元133，丢弃该分组(如果不是起始分组的话)，并转变到丢失模式，直到确认新区域的分组为止。不过注意，如果“SFF＝1”，即，如果在确认分组丢失时获得的分组是新区域的起始分组，那么解包处理单元132执行模式共有处理，从而，能够开始从该区域提取有效负载，而不转变到待机模式或丢失模式，即，不等待新区域的分组，从而，可使有效负载提取的开始时间更早，能够减小延迟时间。

下面参考图31中的流程图，说明丢失模式处理的流程的例子。丢失模式处理是在相同区域中发生了分组丢失的情况下，在收到新区域的分组之前，一直进行等待的模式的处理，并且当控制模式由控制模式转变单元253转变成丢失模式时被启动。

当开始丢失模式处理时，在步骤S171，分组获取单元251确定是否收到了分组，并等到确定收到了分组为止。如果从接收单元131供给了分组，并确定收到了分组，那么处理进入步骤S172。

在步骤S172，报头信息分析单元252参考公共报头231，确定是否“SFF＝1”。如果确定“SFF＝1”不成立，不是区域的起始分组，那么处理进入步骤S173，在步骤S173，报头信息分析单元252确定此时是否“M＝1”。如果确定“M＝1”不成立，即，不是区域的最终分组，那么处理返回步骤S171，重复后续处理。

如果在步骤S173确定“M＝1”，那么处理进入步骤S174，在步骤S174，控制单元254受控制模式转变单元253控制，把控制模式转变成待机模式。当控制模式被转变成待机模式时，丢失模式处理结束。

另外，如果在步骤S172中确定“SFF＝1”，那么控制单元254执行参考图28说明的模式共有处理。这种情况下，当模式共有处理结束时，处理返回图31中的步骤S175，丢失模式处理结束。

如上所述，同样在丢失模式下，根据SFF和M的值，解包处理单元132能够容易地识别区域的起始分组和最终分组。另外，最终分组可由M识别，从而解包处理单元132能够容易地促成适合于每个区域的模式转变。因此，解包处理单元132能够对每个区域进行适当的解包处理。此外，起始分组可由SFF识别，从而即使在不确认最终分组的情况下，解包处理单元132也能够了解区域的更新。

就丢失模式来说，在获取分组的时候，解包处理单元132实质上处于待机状态，在根据M的值探测到最终分组的情况下，转变到待机模式，并准备获取下一个区域的起始分组。另外，在根据SFF的值探测起始分组的情况下，解包处理单元132执行模式共有处理，从而开始从该区域提取有效负载。

从而，解包处理单元132能够使有效负载提取的开始计时更早，并且能够减小延迟时间。

如上所述，通过在按照情形切换控制模式的时候进行解包处理，即使在不提供解包缓冲器和累积每个区域的分组的情况下，解包处理单元132也能够根据供给的分组的报头信息，顺序进行适当的处理，并且能够容易并且高速地进行解包处理。另外，在发生分组丢失的情况下，解包处理单元132酌情进行错误通知，从而解码单元133能够抑制不必要解码处理的执行，减轻解码处理的负载。

此外，借助IF的值，解包处理单元132能够容量地禁止向解码单元133供给不必要的不可解码的有效负载。这使得可以减轻解码单元133的解码处理的负载。

解码单元133按照如上所述的解包处理单元132的处理，执行从解包处理单元132供给的编码数据的解码处理。为此，解码单元133执行控制解码处理的执行的解码控制处理。下面参考图32中的流程图，说明解码控制处理的流程的例子。从开始供给编码数据的时候到结束供给编码数据的时候，执行该解码控制处理。

在步骤S191，数据获取单元355获得从解包处理单元132供给的编码数据。在步骤S192，缓冲单元361累积编码数据。在步骤S193，控制信息获取单元351获得控制信息。在步骤S194，解码控制单元352根据控制信息获取单元351获得的控制信息，确定数据获取单元355获得的数据是否是区域的起始分组的有效负载。如果确定是区域的起始分组的有效负载，那么处理进入步骤S195。在步骤S195，解码控制单元352根据控制信息获取单元351获得的控制信息，确定数据获取单元355获得的，并在缓冲单元361中累积的数据是否是连续的。如果确定不存在分组丢失，数据获取单元355获得的并在缓冲单元361中累积的数据是连续的，那么处理返回步骤S191，对下一个编码数据重复步骤S191和后续步骤的处理。

另外，在步骤S195，如果确定发生了分组丢失，数据是不连续的，那么处理进入步骤S196。在步骤S196，解码控制单元352控制熵解码单元362开始补充处理。熵解码单元362以区域为增量进行解码处理，不过在区域的数据被丢失的情况下，利用另一区域等的数据进行补充处理。

因此，如果获得与前次获得的分组不连续的起始分组，那么解码控制单元352控制熵解码单元362对前一个区域进行补充处理。当补充处理结束时，处理进入步骤S197

在步骤S197，解码控制单元352确定是否结束解码控制处理，如果确定不结束解码控制处理，那么处理返回步骤S191，重复步骤S191的后续处理。另外，如果在步骤S197中确定要结束解码控制处理，那么结束解码控制处理。

另外，如果在步骤S194中确定数据获取单元355获得的数据不是区域的起始分组的有效负载，那么处理进入步骤S198，解码控制单元352确定数据获取单元355获得的数据是否是区域的最终分组的有效负载。如果确定数据是区域的最终分组的有效负载，那么处理进入步骤S199，在步骤S199，解码控制单元352控制熵解码单元362开始累积在缓冲单元361中的编码数据的解码处理。当步骤S199的处理结束时，处理返回步骤S197。

另外，如果在步骤S198中确定数据获取单元355获得的数据不是区域的最终分组的有效负载，那么处理返回步骤S197。

下面参考图35中的流程图，说明在图33中的步骤S199中开始的解码处理的流程的例子。该解码处理由图34中的解码控制处理控制，并以区域为增量进行。

当开始解码处理时，在步骤S211，熵解码单元362获得累积在缓冲单元361中的编码数据，在步骤S212，关于每一行对编码数据进行熵解码。在步骤S213，缓冲单元361保存解码获得的系数数据。在步骤S214，小波逆变换单元363确定是否在缓冲单元36中累积了一个区域的系数数据，如果确定未累积一个区域的系数数据，那么处理返回步骤S211，执行其后的处理，并等到在缓冲单元361中累积了一个区域的系数数据为止。

如果在步骤S214中确定在缓冲单元361中累积了一个区域的系数数据，那么小波逆变换单元363进入步骤S215的处理，并读出保存在缓冲单元361中的一个区域的系数数据。

随后在步骤216中，小波逆变换单元363对读出的系数数据进行垂直合成滤波处理，所述垂直合成滤波处理对沿屏幕垂直方向排列的系数数据进行合成滤波处理，在步骤S217，进行水平合成滤波处理，所述水平合成滤波处理对沿屏幕水平方向排列的系数数据进行合成滤波处理，在步骤S218确定合成滤波处理是否已完成级别1(其中分割级别的值为“1”的级别)，即，确定是否达到小波变换之前的状态进行了逆变换，如果确定未达到级别1，那么处理返回步骤S216，从而重复步骤S216和步骤S217中的滤波处理。

在步骤S218，如果确定逆变换处理已结束级别1，那么小波逆变换单元363进行步骤S219的处理，并对外输出通过逆变换获得的图像数据。

在步骤S220，熵解码单元362确定是否结束解码处理，在确定不结束解码处理的情况下，处理返回步骤S211，重复之后的处理。另外，在步骤S220，在确定解码处理将被结束，比如区域结束的情况下，熵解码单元362结束解码处理。

就常规的小波逆变换方法来说，对于待处理的分割级别的所有系数，首先，沿屏幕的水平方向进行水平合成滤波处理，随后沿屏幕的垂直方向进行垂直合成滤波处理。即，每次进行合成滤波处理时，需要把合成滤波处理的结果保存在缓冲器中，此时，缓冲器需要保存此时的分割级别的合成滤波结果，和下一个分割级别的所有系数，意味需要极大的存储容量(要保存的数据的数量极大)。

另外，这种情况下，在画面(场，就隔行扫描方法来说)内的所有小波逆变换结束之前，不进行图像数据输出，从而增大了从输入到输出的延迟时间。

相反，就解码单元133的小波逆变换单元363来说，如上所述，以区域为增量直到级别1为止连续进行垂直合成滤波处理和水平合成滤波处理，于是与常规方法相比，(在相同时期内)同时需要缓存的数据的数量较小，从而显著减小在缓冲器中要准备的存储容量。另外，通过直到级别1为止进行合成滤波处理(小波逆变换处理)，在(以区域为增量)获得画面内的所有图像数据之前，能够依次输出图像数据，从而与常规方法相比，能够显著减小延迟时间。

下面参考图34中的流程图，说明错误通知操作处理的流程的例子，错误通知操作处理是与图32中的解码控制处理并行进行的，关于来自解包处理单元132的错误通知的处理。

当在图34中开始错误通知处理时，在步骤S241，错误通知获取单元356确定是否从解包处理单元132获得了错误通知。在确定获得了错误通知之前，该处理处于等待状态。如果在步骤S241确定获得了错误通知，那么处理进入步骤S242。在步骤S242，丢弃处理单元357确定在缓冲单元361中是否存在当前正在接收的区域(属于发生了分组丢失的最新区域的编码数据)。

如果确定在缓冲单元361中存在当前正在接收的区域，那么处理进入步骤S243。在步骤S243，解码处理单元357丢弃在缓冲单元361中累积的正被接收的片段。当步骤S243中的处理结束时，处理进入步骤S244。另外，如果在步骤S242中确定在缓冲单元361中不存在正被接收的片段时，步骤S243的处理被忽略，处理进入步骤S244。

在步骤S244，丢弃处理单元357确定是否结束错误通知操作处理。如果确定解包处理正在继续，并且也不将结束错误通知操作处理，那么处理返回步骤S241，重复之后的后续处理。另外，如果在步骤S244中确定错误通知操作处理将被结束，那么结束错误通知操作处理。

这样，解码单元133按照来自解包处理单元132的错误通知，丢弃发生了分组丢失的片段的编码数据，从而能够避免执行不必要的解码处理。能够进行这种恰当的解码处理，从而解码单元133能够容易并且高速地进行解码处理，能够减小解码处理的负载，并且能够降低电路规模和成本。

图35中表示了解包处理单元132进行错误通知的方式的例子。

我们假定在图35中，解包处理单元132和解码单元133由6条信号线连接。解包处理单元132把通过删除RTP报头等，从接收的分组1提取的编码数据(Data 1)供给解码单元133。此时，如果编码数据(Data 1)是新片段的头部，那么控制单元254控制解包处理单元132的控制信号供给单元258通知开始信息(START)。

如果到达的下一个分组是分组5，那么确定存在分组丢失。此时，作为区域的一部分的Data 1已被传给解码单元133，从而控制单元254控制解包处理单元257进行错误通知。另外，由于分组5是“SFF＝1”，因此控制单元254控制解包处理单元132的控制信号供给单元258通知开始信息(START)。

注意上面说明了在区域的数据大小大于分组大小的情况下，封包处理单元122分割数据，生成多个分组，在其它情况下，生成单个分组，不过可做出这样的安排，其中如果区域的数据大小小于分组大小，那么可把多个区域的数据制成单个分组。

此时，有效负载报头的配置具有按照如图36中所示的顺序排列的报头信息和有效负载。就图36中的例子来说，在作为第一个区域的数据的公共报头231-有效负载237之后，配置片断信息431，量化参数信息432，大小信息433，格式信息434，画面信息435，色彩信息436和有效负载437，它们是第二个区域的数据，在这之后是第三个区域和后续区域的数据。

片断信息431是关于第二个区域的公共报头，如图37中所示，包括基本上和公共报头21相同的信息。即，片断信息431是根据区域报头171创建的。注意如果在其之后存在另一个区域的数据，那么在公共报头231中，NF的值被设为“1”(和片断信息431一样)。

下面参考图38中的流程图，说明此时的封包处理的流程的例子。

如图38中所示，这种情况下的封包处理同样按照和参考图26说明的情况基本相同的方式进行。按照和图26中的步骤S31-步骤S42的每个处理相同的方式执行步骤S301-S312的每个处，按照和图26中的步骤S43-步骤S45的每个处理相同的方式执行步骤S315-步骤S317的每个处理。

不过注意，在步骤S310中，如果确定区域的大小不大于分组大小，那么封包处理单元122的大小确认单元207确定是否能够向相同的分组增加新的有效负载。如果确定分组大小存在余地，能够增加有效负载，那么处理进入步骤S314，在步骤S314，数据获取单元201确定是否获得了区域报头，并等到确定获得了区域报头为止。如果确定获得了区域报头，那么处理返回步骤S303，对待增加到分组中的区域重复后续处理。即，通过重复步骤S303-步骤S310和步骤S313和步骤S314的循环处理，区域被依次增加到相同的分组中，直到编码数据的数据大小大于分组大小为止。

注意在步骤S313，如果确定不能向分组增加有效负载，那么处理返回步骤S313，执行后续处理。即，这种情况下，用单个区域的编码数据生成单个分组。

通过进行如上所述的封包处理，多个区域的数据可被包括在单个分组中。

如上所述由图1中所示的传输系统100的每个单元执行的各种处理是酌情并行执行的，如图39中所示。

图39是示意表示关于由图1中所示的传输系统100的每个单元执行的处理的各个要素的并行操作的例子的示图。图39对应于上面说明的图6。利用小波变换单元150(图2)对图像数据的输入In-1(图39中的A)进行首次的小波变换WT-1。如同参考图5所述那样，在输入前三线的时候开始首次的小波变换WT-1，并生成系数C1。即，从输入图像数据In-1到开始小波变换WT-1发生三行的延迟。

生成的系数数据被保存在系数重排缓冲单元152(图2)中。之后，对输入的图像数据进行小波变换，首次的处理结束，从而处理被毫无变化地转移到第二次的小波变换WT-2。

与用于小波变换WT-2的图像数据In-2的输入，和第二次的小波变换WT-2的处理并行地，利用系数重排单元153(图2)进行三个系数，系数C1，系数C4和系数C5的重排Ord-1(图39中的C)。

注意从结束小波变换WT-1到开始重排Ord-1的延迟是基于设备或系统配置的延迟，例如是与向系数重排单元153传送指令重排处理的控制信号相关的延迟，系数重排单元153关于控制信号开始处理所需的延迟，或者程序处理所需的延迟，不是与编码处理相关的大量延迟。

按照完成重排的顺序从系数重排缓冲单元152读出系数数据，并供给熵编码单元155(图2)，进行熵编码EC-1(图39中的D)。可在不等待这三个系数C1，系数C4和系数C5的所有重排结束的情况下开始熵编码EC-1。例如，在结束首先系数C5输出的一行的重排的时刻，能够开始关于系数C5的熵编码。这种情况下，从开始重排Ord-1到开始熵编码EC-1的延迟为一行。

熵编码单元155已完成其熵编码EC-1的编码数据被进行预定的信号处理，随后经线路110被传给接收设备103(图39中的E)。此时，编码数据被封包和传送。

从首次处理时的七行到屏幕的结束行，图像数据被顺序输入传输设备102的编码单元121。在编码单元121，按照图像数据输入In-n(其中n为2或更大)，每四行进行小波变换WT-n，重排Ord-n和熵编码EC-n，如上所述。对六行进行在编码单元121的最后一次处理中进行的重排Ord和熵编码EC。这些处理在编码单元121并行地进行，如图39中A-D例证所示。

由编码单元121的熵编码EC-1编码的编码数据的分组被传给接收设备103，进行解包处理等等，随后被供给解码单元133。解码单元133的熵解码单元362对供给的由熵编码EC-1编码的编码数据顺序进行熵编码的解码iEC-1，恢复系数数据(图39中的F)。恢复的系数数据被顺序保存在缓冲单元361中。当多达能够进行小波逆变换的系数数据被保存在缓冲单元361中时，小波逆变换单元363从缓冲单元361读出系数数据，并利用读出的系数数据进行小波逆变换iWT-1(图39中的G)。

如同参考图5所述那样，可在把系数C4和系数C5保存在缓冲单元361中的时候，开始在小波逆变换单元363的小波逆变换iWT-1。因此，从由熵解码单元362开始解码iEC-1到由小波逆变换单元363开始小波逆变换iWT-1的延迟为两行。

就小波逆变换单元363来说，当经历首次的小波变换的三行的小波逆变换iWT-1结束时，进行由小波逆变换iWT-1生成的图像数据的输出Out-1(图39中的H)。就输出Out-1来说，如上参考图5和图6所述，第一行的图像数据被输出。

在把首先由编码单元121处理的三行编码系数数据输入解码单元133之后，依次输入由熵编码EC-n(n为2或更大)编码的系数数据。借助解码单元133，每四行对输入的系数数据进行熵解码iEC-n和小波逆变换iWT-n，如上所述，并顺序执行由小波逆变换iWT-n恢复的图像数据的输出Out-n。对六行进行与编码单元121的最后一次处理对应的熵解码iEC和小波逆变换iWT，输出八行的输出Out。如图39中的F到图39中的H所示，在解码单元133并行地进行这些处理。

如上所述，通过按照从屏幕顶部朝其底部的顺序，在编码单元121和解码单元131并行地进行各个处理，能够以最小的延迟进行图像压缩处理和图像解码处理。

参考图39，计算在利用5×3滤波器进行到分割级别2的小波变换的情况下，从图像输入到图像输出的延迟时间。从把第一行的图像数据输入编码单元121到从解码单元131输出第一行的图像数据的延迟时间变成下面说明的各个元素的总和。注意基于系统配置而不同的延迟，比如传输路径中的延迟和与设备的各个部分的实际处理计时相关的延迟被排除在外。

(1)从第一行输入到七行的小波变换WT-1结束为止的延迟D_WT

(2)与三行的系数重排Ord-1相关的时间D_Ord

(3)与三行的熵编码EC-1相关的时间D_EC

(4)与三行的熵解码iEC-1相关的时间D_iEC

(5)与三行的小波逆变换iWT-1相关的时间D_iWT

下面参考图39计算由上述各个元素引起的延迟。(1)中的延迟D_WT为10行的时间。(2)中的时间D_Ord，(3)中的时间D_EC，(4)的时间D_iEC和(5)中的时间D_iWT均为3行的时间。另外，就编码单元121来说，在从开始重排Ord-1起一行之后，能够开始熵编码EC-1。类似地，就解码单元133来说，在从开始熵解码iEC-1起两行之后，能够开始小波逆变换iWT-1。另外，在完成借助熵编码EC-1进行的一行编码的时刻，熵解码iEC-1能够开始处理。

因此，就图39中的例子来说，从第一行的图像数据被输入编码单元121到从解码单元133输出第一行的图像数据的延迟时间变成10+1+1+2+3＝17行。

下面关于一个更具体的例子考虑延迟时间。在输入图像数据是HDTV(高清晰电视)的隔行扫描视频信号的情况下，例如一帧由1920像素×1080行的分辨率构成，一场为1920像素×540行。因此，在帧频率为30Hz的情况下，一场的540行在16.67毫秒(＝1秒/60场)的时间内被输入编码单元121。

因此，与七行图像数据的输入相关的延迟时间为0.216毫秒(＝16.67毫秒×7/540行)，对于一场的更新时间来说变成很短的时间。另外，上述(1)中的延迟D_WT，(2)中的时间D_Ord，(3)中的时间D_EC，(4)中的时间D_iEC和(5)中的时间D_iWT的总和的延迟时间被显著缩短，因为待处理的行数较小。使执行每个处理的组件硬件化将能够更进一步地缩短处理时间。

下面说明SFF和M的标记信息。

如上所述，就传输系统100来说，对增大的延迟时间的容限较小，从而要求更高效地传送数据，更高效地执行必要的处理，即使是最轻微地提高传送数据和执行必要处理的效率。

存在常规的按预定数据增量进行编码和解码的系统。在这些系统中，在封包编码数据并进行传送的情况下，如同图1中的传输系统100一样，数据增量中的编码数据被分成多个，每一个被封包和传送。不过，就常规系统来说，对延迟时间的容限较大，从而在解包处理中，数据增量的分组被累积，按每个数据增量进行解包处理。从而只有数据增量都存在的编码数据才能够被供给解码单元被解码。

但是，就这种方法来说，必须在解包处理单元和编码单元都进行缓存，对要求减小延迟时间的传输系统100来说这是不可取的。

因此，如上所述，解包处理单元132使用在每个单元能够按照供给的顺序处理传送的编码数据的事实，从接收的分组顺序提取有效负载数据并供给解码单元133而不进行累积。每次累积了顺序供给的一个区域的编码数据时，解码单元133就开始解码处理。从而，能够减少编码数据的缓存次数，从而传输系统100能够进一步降低延迟时间。

SFF和M是指示区域的头部和结尾的标记信息，解包处理单元132能够根据该标记信息探测区域的头部和结尾，并就此通知解码单元133。解码单元133根据来自解包处理单元132的通知，能够了解区域的中断，并以区域为增量开始解码处理。

如果一切如此，那么独自指示区域的结尾的M就已足够。如果我们假定区域被分割成多个分组并且分组未被分割、存在于一起，那么这些分组可以被识别，只要存在指示区域已被分割的标记信息。

不过实际上，可以设想接收单元131未能收到分组(丢失分组)。如果发生这种分组丢失，那么解包处理单元132需要改变常规操作有关于此的处理，以便不进行分组的缓存。例如，在发生分组丢失的情况下，就传输系统100来说，传输设备102重新发送该分组的时间不能被保证，从而区域的编码数据不是所有都存在。即，由于分组丢失的发生，解码单元133将不能够执行关于该区域的解码处理。

因此，例如如果在区域内途中发生了分组丢失，那么可以设想到目前为止该区域的编码数据被累积在解码单元133。这种情况下，解包处理单元132向解码单元133告知发生了分组丢失，并使累积的与丢失分组的编码数据相同区域的编码数据被丢弃。因此，解码单元133能够避免对该区域进行不必要的解码处理(将失败的解码处理)，从而减轻负载。

另外，一旦发生分组丢失，区域的后续编码数据变得不必要。因此，即使解包处理单元132获得分组，它也不把编码数据供给解码单元133，直到下一个后续区域为止。当获得新区域的分组时，解包处理单元132恢复编码数据的供给。

从而，解包处理单元132通过按照状态改变控制模式，酌情进行适当的处理。为此，解包处理单元132参考SFF和M，探测区域的头部和结尾。此时，如果只存在指示结尾的M，那么在探测到区域的结尾之前，解包处理单元132不能确定区域已改变。例如，在丢失区域的最终分组的情况下，解包处理单元132需要等待另外的下一个新区域，从而不仅延迟时间会增大，而且在解码单元133不能进行解码处理，存在所恢复图像的图像质量可能降低的顾虑。

相反，通过参考SFF的值并探测起始分组，解包处理单元132不仅能够减小不必要的待机时间，比如重新开始向解码单元133供给数据，而且能够只地起始分组进行例外的处理，比如不仅向解码单元133供给编码数据，而且还供给报头信息，忽略向解码单元133通报分组丢失的发生的错误通知，即使发生分组丢失，仍然继续向解码单元133供给编码数据，等等。

从而，解包处理单元132能够依据SFF和M标记信息恰当地进行处理，能够进一步减小延迟时间。

另外，解包处理单元132根据SFF和M，通知解码单元133正被供给的编码数据是区域的头部或结尾。因此，解码单元133能够容易地了解区域的头部和结尾，从而在供给了区域的结尾的情况下，能够开始解码处理，在供给了不连续的新区域的头部的情况下，能够对先前丢失的区域进行补充处理。即，根据来自解包处理单元132的通知，解码单元133能够容易并且高速地进行这种控制。

如上所述，SFF和M并不仅仅是通报解包处理和解码处理的开始计时的标记信息，而是使解包处理单元132和解码单元133在适当的计时选择和执行适当处理，以便进一步减小直到解码和输出编码数据的延迟时间的标记信息。

现在，尽管系数重排被描述成在图2中的小波变换之后(熵编码之前)立即被执行，不过编码数据按照从低带到高带的顺序被供给解码单元133的小波逆变换单元363就已足够(即，按照通过编码属于低带子带的系数数据获得的编码数据到通过编码属于高带子带的系数数据获得的编码数据的顺序供给就已足够)，重排计时可以是除了紧跟在小波变换之后的其它计时。

例如，通过熵编码获得的编码数据的顺序可被重排。图40是图解说明这种情况下的编码单元的配置例子的方框图。

在图40中的情况下，按照和图2中的编码单元121的情况相同的方式，编码单元500包括小波变换单元150，中间计算缓冲单元151，熵编码单元155，和速率控制单元154，不过具有代替图2中的系数重排缓冲单元152和系数重排单元153的代码重排缓冲单元501和代码重排单元502。

代码重排缓冲单元501是用于重排在熵编码单元155编码的编码数据的输出顺序的缓冲器，代码重排单元502通过按照预定顺序读出累积在代码重排缓冲单元501中的编码数据，重排编码数据的输出顺序。

即，在图40中的情况下，从小波变换单元150输出的小波系数被供给熵编码单元155，并被编码。通过熵编码获得的每个编码数据被顺序供给代码重排缓冲单元501，并被临时累积以便重排。

代码重排单元502按照预定顺序读出写入代码重排缓冲单元501中的编码数据，并从编码单元500向外输出。

在图40中的情况下，熵编码单元155按照小波变换单元150的输出顺序执行每个系数数据的编码，并把获得的编码数据写入代码重排缓冲单元501。即，代码重排缓冲单元501按照与小波变换单元150输出小波系数的顺序对应的顺序保存编码数据。在正常情况下，通过相互比较属于一个区域的系数数据，小波变换单元150较早地输出属于更高频带子带的系数数据，稍后输出属于较低频带子带的系数数据。即，每个编码数据是按照从通过进行属于高带子带的系数数据的熵编码而获得的编码数据，到通过进行属于低带子带的系数数据的熵编码而获得的编码数据的顺序，保存在代码重排缓冲单元501中的。

相反，代码重排单元502通过按照与上述顺序无关的任意顺序，读出累积在代码重排缓冲单元501中的每个编码数据，进行编码数据的重排。

例如，代码重排单元52优先读出通过编码属于低带子带的系数数据而获得的编码数据，最后读出通过编码属于最高频带子带的系数数据而获得的编码数据。从而，通过从低带到高带读出编码数据，代码重排单元502使解码单元133能够按照获得的顺序对每个编码数据解码，从而减小在解码单元133的解码处理发生的延迟时间。

代码重排单元502读出累积在代码重排缓冲单元501中的编码数据，并从编码单元500向外输出。

注意借助已参考图24说明的解码单元133，在图40中所示的编码单元500编码和输出的数据可按照和从图2中的编码单元121输出编码数据的情况相同的方式被解码。

另外，进行重排的计时可以不同于上面说明的计时。例如，如图41中所示，重排可以在编码单元进行，或者如图42中所示，重排可以在解码单元进行。

在重排通过小波变换生成的系数数据的处理中，需要较大的容量作为系数重排缓冲器的存储容量，另外，系数重排处理本身需要高的处理能力。同样在这种情况下，在编码设备的处理能力处于或高于一定水平的情况下，不存在任何问题。

现在，我们考虑其中编码设备被安装在处理能力较低的设备，比如诸如蜂窝电话机或PDA(个人数字助手)中的情况。例如，近年来，其中在蜂窝电话机终端中增加成像功能的产品已开始被广泛使用(称为带有照相机功能的蜂窝电话机)。可以考虑其中对由带有这种照相机功能的蜂窝电话机终端成像的图像数据进行通过小波变换和熵编码的压缩编码，并通过无线或电缆通信被传送的情况。

这种移动终端在CPU(中央处理器)处理能力方面受到限制，另外存储容量具有一定的上限。于是，在上述系数重排方面的处理的负载等等是不能被忽略的问题。

从而，如同图42中所示的例子一样，通过把重排处理建立到解码单元中，能够减轻编码单元上的负载，从而使编码单元能够被安装在诸如移动终端之类处理能力较低的设备中。

图43是图解说明这种情况下的编码单元的例子的配置的方框图。注意在图43中，与上述图2共有的部分用相同的附图标记表示，详细说明将被省略。

图43中所示的编码单元510的配置是其中关于上述图2中所示的编码单元121的配置，除去了系数重排单元153和系数重排缓冲单元152的配置。即，按照和编码单元121的情况相同的方式，编码单元510具有小波变换单元150，中间计算缓冲单元151，速率控制单元154和熵编码单元155。

输入的图像数据被临时累积在中间计算缓冲单元151中。小波变换单元150对累积在中间计算缓冲单元151中的图像数据进行小波变换并按照系数数据生成的顺序，把生成的系数数据依次供给熵编码单元155。即，按照遵循小波变换的顺序，从高带分量到低带分量的顺序，生成的系数数据被供给熵编码单元155。熵编码单元155对供给的系数进行熵编码，同时输出数据的位速率由速率控制单元154控制。小波变换生成的已经历熵编码的系数数据的编码数据从熵编码单元155输出。

图44是图解说明与编码单元510对应的解码设备的例子的配置的方框图。注意在图44中，与上述图24共有的部分和相同的附图标记表示，详细说明将被省略。

如图44中所示，这种情况下，按照和图24中的解码单元133相同的方式，解码单元520具有控制信息获取单元351，解码控制单元352，解码处理执行单元353，报头获取单元354，数据获取单元355，错误通知获取单元356，和丢弃处理单元357，同时解码处理执行单元353还具有系数重排缓冲单元521。

从图43说明的编码单元510的熵编码单元155输出的编码数据经图44中的解码单元520中的缓冲单元361，被供给熵解码单元362，在熵解码单元362，熵编码数据被解码成系数数据。该系数数据经缓冲单元361被保存在系数重排缓冲单元521中。当系数数据在系数重排缓冲单元521中被累积到系数数据的重排成为可能的程度时，小波逆变换单元363读出保存在系数重排缓冲单元521中的，按照从低带分量到高带分量的顺序重排的系数数据，并按照读出顺序利用系数数据进行小波逆变换处理。在使用5×3滤波器的情况下，这如上述图42中所示。

即，如果从1帧的头部开始处理，在其熵编码已被解码的系数C1，系数C4和系数C5被保存在系数重排缓冲单元521中的时刻，小波逆变换单元363从系数重排缓冲单元521读出系数数据，并进行小波逆变换处理。在小波逆变换单元363经过小波逆变换的数据作为输出图像数据被顺序输出。

注意同样在这种情况下，编码单元510中的每个组件的处理，关于传输路径的编码数据的传输，和解码单元520中的每个组件的处理是并行执行的，如同已参考图39所述那样。

如上所述，本发明可应用于各个实施例，并且能够容易地适用于各种应用(即，具有高的通用性)，这也是其一个重大优点。

上述一系列处理可以由硬件执行，或者可以由软件执行。在用软件执行所述一系列处理的情况下，构成该软件的程序从程序记录介质被安装到装配成专用硬件的计算机，或者通过安装各种程序，能够执行各种功能的通用个人计算机，或者由多个设备构成的信息处理系统的信息处理设备等等之中。

图45是图解说明用程序执行上述一系列处理的信息处理系统的例子的配置的方框图。

如图45中所示，信息处理系统800是由信息处理设备801，和通过PCI总线802与信息处理设备801连接的存储设备803，VRT840-1～VTR 840-S(它们是多个磁带录像机(VRT))，鼠标805，键盘806和供用户对这些组件进行操作输入的操作控制器807构成的系统，是用于借助安装的程序，执行如上所述的图像编码处理和图像解码处理等的系统。

例如，信息处理系统800的信息处理设备801能够把通过对保存在由RAID(独立磁盘冗余阵列)构成的大容量存储设备中的运动图像内容编码而获得的编码数据保存在存储设备803中，把通过对保存在存储设备803中的编码数据解码而获得的解码图像数据(运动图像内容)保存在存储设备803中，借助VTR 804-1～VTR 840-S等等把编码数据和解码图像数据记录在录像带上。另外，信息处理设备801还被这样安排，以致记录在装入VTR 804-1～VTR 840-S中的录像带中的运动图像内容可被转移到存储设备803中。此时，信息处理设备801可以对该运动图像内容编码。

信息处理设备801具有微处理器901，GPU(图形处理单元)902，XDR(极端数据速率)-RAM 903，南桥904，HDD(硬盘驱动器)905，USB(通用串行总线)接口(USB I/F(接口))906，和声音输入/输出编解码器907。

GPU 902通过专用总线911与微处理器901连接。XDR-RAM 903通过专用总线912与微处理器901连接。南桥904通过专用总线与微处理器901的I/O(输入/输出)控制器944连接。南桥904还与HDD 905，USB接口906和声音输入/输出编解码器907连接。声音输入/输出编解码器907与扬声器921连接。另外，GPU 902与显示器922连接。

另外，南桥904还通过PCI总线802与鼠标805，键盘806，VRT804-1～VTR 840-S，存储设备803和操作控制器807连接。

鼠标805和键盘806接收用户操作输入，并通过PCI总线802和南桥904向微处理器901供给指示用户操作输入的内容的信号。存储设备803和VRT 804-1～VTR 840-S被配置成能够记录或重放预定数据。

PCI总线802还根据需要与驱动器808连接，诸如磁盘，光盘，磁光盘或者半导体存储器之类的可拆卸介质811酌情安放在驱动器808上，从可拆卸介质811读出的计算机程序根据需要被安装在HDD905中。

微处理器901被配以集成在单一芯片上的多核心配置，具有执行诸如OS(操作系统)之类的基本程序的通用主CPU核心，作为通过内部总线945与主CPU核心941连接的RISC(精简指令集计算机)种类的多个(这种情况下，八个)信号处理处理器的子CPU核心942-1～942-8，对容量为256[Mbyte]的XDR-RAM 903进行存储控制的存储控制器943，和管理南桥之间的数据的输入/输出的I/O(输入/输出)控制器944，并实现4[GHz]的工作频率。

在启动时，微处理器901根据保存在HDD 905中的控制程序，读取保存在HDD 905中的必要应用程序并在XDR-RAM 903中展开所述必要应用程序，之后根据该应用程序和操作员操作，执行必要的控制处理。

另外，通过执行软件，微处理器901实现上述编码处理和解码处理，并能够通过南桥904供给通过编码获得的编码流，并保存在HDD905中，或者把通过解码获得的运动图像内容的重放画面的数据传给GPU 902，显示在显示器922上。

微处理器901内的每个CPU核心的使用方法是任意的，不过可以做出一种安排，其中主CPU核心942执行和图像编码处理及图像解码处理的控制相关的处理，并使八个子CPU核心942-1～942-8按照和参考图39说明的情况相同的方式，同时并行地执行小波变换，系数重排，熵编码，熵解码，小波逆变换，量化和反向量化等处理。此时，其中主CPU核心941以区域为增量把处理拨给八个子CPU核心942-1～942-8中的每一个，造成以区域为增量同时并行地执行编码处理和解码处理，如上参考图39所述。即，这能够改进编码处理和解码处理的效率，能够降低整个处理的延迟时间，并且能够减小处理所必需的负载，处理时间和存储容量。当然，可以做出用除此之外的方法进行每个处理的安排。

例如，可以做出其中八个子CPU核心942-1～942-8中的一部分同时并行执行编码处理，另一部分同时并行进行解码处理的安排。

另外，在独立的编码器或者解码器，或者编解码器处理设备与PCI总线802连接的情况下，微处理器901的八个子CPU核心942-1～942-8可被安排成通过南桥904和PCI总线802控制由这些设备执行的处理。此外，如果多个这样设备被连接，或者如果这些设备包括多个解码器或编码器，那么微处理器901的八个子CPU核心942-1～942-8可被安排成均部分负责和控制由多个解码器或编码器执行的处理。

此时，主CPU核心941管理八个子CPU核心942-1～942-8的操作，并向每个子CPU核心分配处理，和取回处理结果等等。此外，主CPU核心941执行除由这些子CPU核心执行的处理之外的处理。例如，主CPU核心941经南桥904接受从鼠标805，键盘806或者操作控制器807供给的命令，并按照命令执行各种处理。

除了与当显示在显示器922上的运动图像内容的重放画面被移动时，等待纹理相关的最终渲染处理之外，GPU 902能够控制进行用于同时在显示器922上显示运动图像内容的多个重放画面和静止图像内容的静止图像的坐标变换计算处理，关于运动图像内容的重放画面和静止图像内容的静止图像的扩展/缩小处理的功能，并减轻微处理器901上的处理负载。

在微控制器901的控制下，GPU 902对运动图像内容的供给画面数据或静止图像内容的图像数据进行预定信号处理，从而把获得的画面数据和图像数据发给显示器922，并在显示器922上显示图像信号。

顺便提及，具有其中微处理器901的八个子CPU核心942-1～942-8同时并行解码的多个运动图像内容的重放图像经总线911被传送给GPU 902，不过此时的传送速度最大为30[Gbyte/sec]，并被安排成即使重放图像复杂，并且已经过特效处理，也能够使显示快速并且平滑。

另外，在运动图像内容的画面数据和音频数据中，微处理器901对音频数据进行音频混合处理，经南桥904和声音输入/输出编解码器907把通过音频混合处理获得的编辑音频数据发给扬声器921，从而能够从扬声器921输出基于该音频信号的声音。

在由软件执行上述一系列处理的情况下，从网络或者记录介质安装构成该软件的程序。

例如如图45中所示，记录介质不仅由其中记录有程序，独立于设备主单元分布，从而向用户分发程序的可拆卸介质811，例如磁盘(包括软盘)，光盘(包括CD-ROM，DVD)，磁光盘(包括MD)，或半导体存储器构成，而且由保存有程序，并在已被预先装配到设备主单元中的状态下被分发给用户的HDD 905或存储设备803构成。当然，记录介质也可以是诸如ROM或闪速存储器之类的半导体存储器。

上面，关于其中配以八个子CPU核心的微处理器901进行了说明，不过并不局限于此，子CPU核心的数目是任意的。另外，微处理器901不必由诸如主CPU核心和子CPU核心之类的多个核心构成，可以使用由单核心(1个核心)构成的CPU。另外，可以使用多个CPU而不是微处理器901，或者可以使用多个信息处理设备(即，可在相互协作的多个设备执行实现本发明的处理的程序)。

注意本说明书的描述记录在记录介质中的程序的步骤当然包括按照描述的时间顺序执行的处理，不过即使不一定按照时间顺序执行的处理也包括在内，所述步骤还包括并行或者单独执行的处理。

另外，按照本说明书，系统代表由多个设备构成的设备的总体。

注意就上面所述来说，描述成一个设备的配置可被分割并配置成多个设备。相反，上面描述成多个设备的配置可被合起来配置成一个设备。另外，当然可以增加除上面所述的设备配置外的配置。此外，只要作为整个系统的配置和操作基本相同，那么某一设备的配置的一部分可被包括在另设备的配置中。

上面描述的本发明用于容易并且高速地进行封包处理和解包处理，并且能够被多样地应用，只要是其中对图像进行压缩编码和传送，并在传输目的地对压缩代码进行解码和输出的设备或系统。本发明特别适合于和其中要求从图像的压缩编码到解码和输出的延迟较短的设备或系统一起使用。

例如，本发明适合于和远程医疗诊断应用一起使用，比如在观看利用摄像机拍摄的画面的时候，通过操纵机械手进行治疗。另外，本发明适合于和其中在广播站等对图像进行编码和传送，和对图像进行解码和显示或记录的系统一起使用。

此外，本发明可应用于分发实况转播的画面的系统，在教育领域实现学生和老师之间的互动交流的系统，等等。

此外，本发明可应用于利用具有成像功能的移动终端，比如带有照相机功能的蜂窝电话终端，视频会议系统，由监视照相机和记录监视照相机拍摄的画面的记录器构成的系统拍摄的图像数据的传输。

Claims (20)

1、一种执行向每隔预定增量编码的图像数据的编码数据中添加报头信息并进行封包的封包处理的信息处理设备，所述信息处理设备包括：

创建所述报头信息的创建装置；

间隔事先确定的每个预定数据量，把所述编码数据分成多个部分数据的分割装置；

把所述创建装置创建的所述报头信息添加到由所述分割装置分割所述编码数据而获得的所述多个部分数据中的每一个中并进行封包的封包装置；和

关于由所述封包装置产生的分组中有效负载是多个所述部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个所述部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记的标记设置装置。

2、按照权利要求1所述的信息处理设备，其中所述编码数据是已以区域为增量被小波变换和熵编码的编码数据，所述区域是为产生图像数据的一行最低频带分量所必需的包括其它子带的行组。

3、按照权利要求1所述的信息处理设备，其中按照解码的顺序供给所述编码数据。

4、按照权利要求1所述的信息处理设备，还包括每隔预定增量编码所述图像数据并产生所述编码数据的编码装置，

其中所述分割装置分割由所述编码装置产生的所述编码数据。

5、按照权利要求4所述的信息处理设备，其中所述编码装置供给格式与所述报头信息相同的附加信息，

其中所述创建装置利用由所述编码装置供给的所述附加信息创建所述报头信息。

6、按照权利要求4所述的信息处理设备，其中所述编码装置供给指示所述编码的成功或失败的标记信息，并且在根据所述标记信息确定所述编码失败的情况下，所述封包装置只使用由所述创建装置创建的所述报头信息执行封包。

7、一种执行向每隔预定增量编码的图像数据的编码数据中添加报头信息并进行封包的封包处理的信息处理设备的信息处理方法，包括下述步骤：

创建所述报头信息；

间隔事先确定的每个预定数据量，把所述编码数据分成多个部分数据；

把所述报头信息添加到分割所述编码数据而获得的所述多个部分数据中的每一个中并进行封包；和

关于产生的分组中有效负载是多个所述部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个所述部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记。

8、一种使计算机执行向每隔预定增量编码的图像数据的编码数据中添加报头信息并进行封包的封包处理的程序，所述程序使计算机执行包括下述步骤的信息处理：

创建所述报头信息；

间隔事先确定的每个预定数据量，把所述编码数据分成多个部分数据；

把所述报头信息添加到分割所述编码数据而获得的所述多个部分数据中的每一个中并进行封包；和

关于产生的分组中有效负载是多个所述部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个所述部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记。

9、一种执行从分组提取有效负载数据的解包处理的信息处理设备，包括：

获取外部供给的所述分组的获取装置；

根据所述获取装置获取的所述分组的报头信息，确定在所述获取装置的获取中是否发生分组丢失的丢失确定装置；和

在所述丢失确定装置确定未发生所述分组的丢失的情况下，从所述获取装置获取的所述分组提取有效负载数据并供给下游处理单元，在所述丢失确定装置确定发生了所述分组的丢失的情况下，丢弃所述获取装置获取的所述分组的供给装置。

10、按照权利要求9所述的信息处理设备，其中在包括在所述报头信息中的序列号和在前次获得的分组的序列号不连续的情况下，所述丢失确定装置确定发生了所述分组的丢失，所述序列号是指示分组的顺序的信息。

11、按照权利要求9所述的信息处理设备，还包括在所述丢失确定装置确定发生了所述分组的丢失的情况下，通知所述下游处理单元的通知装置。

12、按照权利要求9所述的信息处理设备，还包括确定所述获取装置获取的分组是否是由所述序列号连续的多个分组构成的一组分组的起始分组的头部确定装置；

其中在所述丢失确定装置确定未发生所述分组的丢失的情况下，并且另外在所述头部确定装置确定是所述一组分组的起始分组的情况下，所述供给装置还把所述报头信息供给下游处理单元。

13、按照权利要求12所述的信息处理设备，其中在所述丢失确定装置确定发生了所述分组的丢失的情况下，所述供给装置丢弃所述分组，直到所述头部确定装置确定所述获取装置已获取新的一组分组的起始分组为止。

14、按照权利要求9所述的信息处理设备，其中所述有效负载数据是已以区域为增量被小波变换和熵编码的编码数据，所述区域是为产生一行最低频带分量所必需的包括其它子带的行组。

15、按照权利要求14所述的信息处理设备，其中按照解码的顺序供给所述编码数据。

16、按照权利要求14所述的信息处理设备，还包括在所述下游处理单元执行解码所述编码数据的解码处理的解码处理执行装置，所述编码数据是由所述供给装置供给的所述有效负载数据。

17、按照权利要求16所述的信息处理设备，所述解码处理执行装置包括：

临时保持从所述供给装置供给的所述编码数据的保持装置；

以所述区域为增量对所述保持装置保持的所述编码数据解码的解码装置；和

关于所述解码装置解码获得的系数数据进行小波逆变换的小波逆变换装置。

18、按照权利要求14所述的信息处理设备，还包括根据所述获取装置获取的所述分组的报头信息确定所述熵编码成功还是失败的编码成功/失败确定装置；

其中在所述编码成功/失败确定装置确定所述编码失败的情况下，所述供给装置只供给所述报头信息。

19、一种执行从分组提取有效负载数据的解包处理的信息处理设备的信息处理方法，包括下述步骤：

获取外部供给的所述分组；

根据获取的所述分组的报头信息确定是否发生了分组丢失；和

在确定未发生所述分组的丢失的情况下，从获得的所述分组提取有效负载数据并供给下游处理单元，在确定发生了所述分组的丢失的情况下，丢弃获得的所述分组。

20、一种使计算机执行从分组提取有效负载数据的解包处理的程序，所述程序使计算机执行包含下述步骤的信息处理：

获取外部供给的所述分组；

根据获取的所述分组的报头信息确定是否发生了分组丢失；和

在确定未发生所述分组的丢失的情况下，从获得的所述分组提取有效负载数据并供给下游处理单元，在确定发生了所述分组的丢失的情况下，丢弃获得的所述分组。

Images