Nothing Special   »   [go: up one dir, main page]

RU2530310C2 - Способ и устройство для декодирования/кодирования сигнала видео - Google Patents

Способ и устройство для декодирования/кодирования сигнала видео Download PDF

Info

Publication number
RU2530310C2
RU2530310C2 RU2010111711/08A RU2010111711A RU2530310C2 RU 2530310 C2 RU2530310 C2 RU 2530310C2 RU 2010111711/08 A RU2010111711/08 A RU 2010111711/08A RU 2010111711 A RU2010111711 A RU 2010111711A RU 2530310 C2 RU2530310 C2 RU 2530310C2
Authority
RU
Russia
Prior art keywords
frame
image
prediction
information
inter
Prior art date
Application number
RU2010111711/08A
Other languages
English (en)
Other versions
RU2010111711A (ru
Inventor
Биеонг Моон ДЗЕОН
Сеунг Воок ПАРК
Хан Сух КОО (умер)
Йонг Дзоон ДЗЕОН
Дзи Хо ПАРК
Original Assignee
ЭлДжи ЭЛЕКТРОНИКС ИНК.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ЭлДжи ЭЛЕКТРОНИКС ИНК. filed Critical ЭлДжи ЭЛЕКТРОНИКС ИНК.
Publication of RU2010111711A publication Critical patent/RU2010111711A/ru
Application granted granted Critical
Publication of RU2530310C2 publication Critical patent/RU2530310C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности декодирования. Способ декодирования мультикадровых данных видео в потоке мультикадровых данных видео, в котором принимают поток мультикадровых данных видео, включающий в себя изображение с произвольным доступом, включающее в себя вырезку с произвольным доступом; получают флаг произвольного доступа для межкадрового предсказания; получают информацию инициализации списка опорных изображений для вырезки с произвольным доступом, основываясь на флаге произвольного доступа, причем информация инициализации представляет опорное соотношение между множеством кадров и включает в себя информацию о номере кадра и информацию идентификации кадра; выполняют инициализацию списка опорных изображений, используя информацию о номере кадра и информацию идентификации кадра; получают из упомянутого потока мультикадровых данных видео информацию модификации для инициализированного списка опорных изображений; модифицируют инициализированный список опорных изображений для межкадрового предсказания, используя значение модификации назначения; определяют значение предсказания макроблока в изображении с произвольным доступом, основываясь на модифицированном списке опорных изображений; и декодируют макроблок, используя значение предсказания. 2 н. и 11 з.п. ф-лы, 49 ил.

Description

Область техники
Настоящее изобретение относится к способу и устройству для декодирования/кодирования сигнала видео.
Предшествующий уровень техники
Кодирование со сжатием означает ряд способов обработки сигналов для передачи оцифрованной информации через схему связи или сохранение оцифрованной информации в форме, подходящей для носителя данных. Объекты для кодирования со сжатием включают в себя аудио, видео, текст и т.п. В частности, способ выполнения кодирования со сжатием в отношении последовательности называется сжатием последовательности видео. Последовательность видео в общем случае характеризуется наличием пространственной избыточности и временной избыточности.
Раскрытие изобретения
Техническая задача
Задача настоящего изобретения заключается в повышении эффективности кодирования сигнала видео.
Техническое решение
Задачей настоящего изобретения является кодирование сигнала видео эффективным образом посредством определения информации кадра для идентификации кадра (представления) изображения.
Другая задача настоящего изобретения состоит в повышении эффективности кодирования посредством кодирования сигнала видео на основании межкадровой опорной информации.
Другая задача настоящего изобретения состоит в обеспечении масштабируемости кадра (представления) сигнала видео посредством определения информации уровня кадра.
Другая задача настоящего изобретения состоит в кодировании сигнала видео эффективным образом посредством определения идентификатора предсказания межкадрового синтеза, указывающего, получить ли изображение виртуального кадра.
Полезные результаты
При кодировании сигнала видео настоящее изобретение обеспечивает более эффективное выполнение кодирования посредством выполнения межкадрового предсказания, используя информацию кадра (представления) для идентификации кадра изображения. И с помощью определения заново информации уровня, указывающей информацию для иерархической структуры, чтобы обеспечить масштабируемость кадра, настоящее изобретение способно обеспечить последовательность кадров, подходящую для пользователя. Кроме того, посредством определения кадра, соответствующего самому низкому уровню в качестве опорного кадра, настоящее изобретение обеспечивает совместимость с обычным декодером. Кроме того, настоящее изобретение повышает эффективность кодирования с помощью определения, предсказать ли изображение виртуального кадра при выполнении межкадрового предсказания. В случае предсказания изображения виртуального кадра настоящее изобретение обеспечивает более точное предсказание, таким образом сокращая количество битов, подлежащих передаче.
Краткое описание чертежей
Фиг.1 - схематическая блок-схема устройства для декодирования сигнала видео согласно настоящему изобретению.
Фиг.2 - диаграмма информации конфигурации для мультикадрового видео, добавляемого к кодированному потоку битов мультикадрового видео согласно варианту осуществления настоящего изобретения.
Фиг.3 - внутренняя блок-схема модуля 620 создания списка опорных изображений согласно варианту осуществления настоящего изобретения.
Фиг.4 - диаграмма иерархической структуры информации уровня для обеспечения масштабируемости кадра сигнала видео согласно варианту осуществления настоящего изобретения.
Фиг.5 - диаграмма конфигурации NAL-блока, включающего в себя информацию уровня в пределах области расширения NAL-заголовка согласно одному варианту осуществления настоящего изобретения.
Фиг.6 - диаграмма полной структуры предсказания мультикадрового сигнала видео согласно варианту осуществления настоящего изобретения, для описания концепции группы межкадровых изображений.
Фиг.7 - диаграмма структуры предсказания согласно варианту осуществления настоящего изобретения для объяснения концепции заново определенной группы межкадровых изображений.
Фиг.8 - схематическая блок-схема устройства для декодирования мультикадрового видео, используя идентификационную информацию группы межкадровых изображений согласно варианту осуществления настоящего изобретения.
Фиг.9 - последовательность операций процесса для построения списка опорных изображений согласно варианту осуществления настоящего изобретения.
Фиг.10 - диаграмма для пояснения способа инициализации списка опорных изображений, когда текущей вырезкой является P-вырезка согласно одному варианту осуществления настоящего изобретения.
Фиг.11 - диаграмма для пояснения способа инициализации списка опорных изображений, когда текущей вырезкой является B-вырезка согласно одному варианту осуществления настоящего изобретения.
Фиг.12 - внутренняя блок-схема модуля 630 переупорядочения списка опорных изображений согласно варианту осуществления настоящего изобретения.
Фиг.13 - внутренняя блок-схема модуля 643B или 645B изменения назначения ссылочного индекса согласно одному варианту осуществления настоящего изобретения.
Фиг.14 - диаграмма для пояснения процесса для переупорядочения списка опорных изображений, используя информацию кадра согласно одному варианту осуществления настоящего изобретения.
Фиг.15 - внутренняя блок-схема модуля 630 переупорядочения списка опорных изображений согласно другому варианту осуществления настоящего изобретения.
Фиг.16 - внутренняя блок-схема модуля 970 переупорядочения списка опорных изображений для межкадрового предсказания согласно варианту осуществления настоящего изобретения.
Фиг.17 и фиг.18 - диаграммы синтаксиса для переупорядочения списка опорных изображений согласно одному варианту осуществления настоящего изобретения.
Фиг.19 - диаграмма синтаксиса для переупорядочения списка опорных изображений согласно другому варианту осуществления настоящего изобретения.
Фиг.20 - диаграмма для процесса для получения значения разности освещения текущего блока согласно одному варианту осуществления настоящего изобретения.
Фиг.21 - последовательность операций процесса для выполнения компенсации освещения текущего блока согласно варианту осуществления настоящего изобретения.
Фиг.22 - диаграмма процесса для получения значения предсказания разности освещения текущего блока, используя информацию для соседнего блока, согласно одному варианту осуществления настоящего изобретения.
Фиг.23 - последовательность операций процесса для выполнения компенсации освещения, используя информацию для соседнего блока согласно одному варианту осуществления настоящего изобретения.
Фиг.24 - последовательность операций процесса для выполнения компенсации освещения, используя информацию для соседнего блока согласно другому варианту осуществления настоящего изобретения.
Фиг.25 - диаграмма процесса для предсказания текущего изображения, используя изображение в виртуальном кадре согласно одному варианту осуществления настоящего изобретения.
Фиг.26 - последовательность операций процесса для синтеза изображения в виртуальном кадре при выполнении межкадрового предсказания в MVC согласно варианту осуществления настоящего изобретения.
Фиг.27 - последовательность операций способа выполнения взвешенного предсказания согласно типу вырезки при кодировании сигнала видео согласно настоящему изобретению.
Фиг.28 - диаграмма типов макроблока, допустимых в типе вырезки при кодировании сигнала видео согласно настоящему изобретению.
Фиг.29 и фиг.30 - диаграммы синтаксиса для выполнения взвешенного предсказания согласно вновь определенному типу вырезки согласно одному варианту осуществления настоящего изобретения.
Фиг.31 - последовательность операций способа выполнения взвешенного предсказания, используя информацию флага, указывающую, выполнить ли межкадровое взвешенное предсказание при кодировании сигнала видео согласно настоящему изобретению.
Фиг.32 - диаграмма для пояснения способа взвешенного предсказания согласно информации флага, указывающей, выполнить ли взвешенное предсказание, используя информацию для изображения в кадре, отличном от такового текущего изображения согласно одному варианту осуществления настоящего изобретения.
Фиг.33 - диаграмма синтаксиса для выполнения взвешенного предсказания согласно вновь определенной информации флага согласно одному варианту осуществления настоящего изобретения.
Фиг.34 - последовательность операций способа выполнения взвешенного предсказания согласно типу блока NAL (сетевого уровня абстракции) согласно варианту осуществления настоящего изобретения.
Фиг.35 и фиг.36 - диаграммы синтаксиса для выполнения взвешенного предсказания в случае, когда тип NAL-блока предназначен для мультикадрового кодирования видео согласно одному варианту осуществления настоящего изобретения.
Фиг.37 - частичная блок-схема устройства декодирования сигнала видео согласно вновь определенному типу вырезки согласно варианту осуществления настоящего изобретения.
Фиг.38 - последовательность операций для пояснения способа декодирования сигнала видео в устройстве, показанном на фиг.37 согласно настоящему изобретению.
Фиг.39 - диаграмма режима предсказания макроблока согласно одному варианту осуществления настоящего изобретения.
Фиг.40 и фиг.41 - диаграммы синтаксиса, имеющего тип вырезки и режим макроблока, применяемый к нему, согласно настоящему изобретению.
Фиг.42 - диаграмма вариантов осуществления, к которым применяются типы вырезки согласно фиг.41.
Фиг.43 - диаграмма различных вариантов осуществления типа вырезки, включенного в типы вырезки, показанные на фиг.41.
Фиг.44 - диаграмма макроблока, допустимого для смешанного типа вырезки в соответствии с предсказанием двух смешанных предсказаний согласно одному варианту осуществления настоящего изобретения.
фиг.45 - 47 - диаграммы типа макроблока для макроблока, существующего в смешанной вырезке в соответствии с предсказанием двух смешанных предсказаний согласно одному варианту осуществления настоящего изобретения.
Фиг.48 - частичная блок-схема устройства кодирования сигнала видео согласно вновь определенному типу вырезки согласно варианту осуществления настоящего изобретения.
Фиг.49 - последовательность операций способа кодирования сигнала видео в устройстве, показанном на фиг.48, согласно настоящему изобретению.
Лучший режим выполнения изобретения
Чтобы достичь этих и других преимуществ и в соответствии с целью настоящего изобретения, которое реализовано и подробно описано, способ декодирования сигнала видео включает в себя этапы проверки схемы кодирования сигнала видео, получения информации конфигурации для сигнала видео согласно схеме кодирования, распознавания общего количества кадров, используя информацию конфигурации, распознавания межкадровой опорной информации на основании общего количества кадров, и декодирование сигнала видео на основании межкадровой опорной информации, причем информация конфигурации включает в себя по меньшей мере информацию кадра для идентификации кадра сигнала видео.
Чтобы дополнительно получить эти и другие преимущества и в соответствии с целью настоящего изобретения, способ декодирования сигнала видео включает в себя этапы: проверку схемы кодирования сигнала видео, получение информации конфигурации для сигнала видео согласно схеме кодирования, проверку уровня для масштабируемости кадра сигнала видео из информации конфигурации, распознавание межкадровой опорной информации, используя информацию конфигурации, и декодирование сигнала видео на основании уровня и межкадровой опорной информации, причем информация конфигурации включает в себя информацию кадра для идентификации кадра изображения.
Режим для изобретения
Ниже делается ссылка на подробное описание предпочтительных вариантов осуществления настоящего изобретения, примеры которого иллюстрируются на сопроводительных чертежах.
Методика сжатия и кодирования данных сигнала видео рассматривает пространственную избыточность, временную избыточность, масштабируемую избыточность, и межкадровую избыточность. И также возможно выполнить кодирование со сжатием, рассматривая взаимную избыточность между кадрами в процессе кодирования со сжатием. Методика для кодирования со сжатием, которая рассматривает межкадровую избыточность, является только вариантом осуществления настоящего изобретения. И техническая идея настоящего изобретения применима к временной избыточности, масштабируемой избыточности и т.д.
Если рассмотреть конфигурацию битового потока в H.264/AVC, существует структура отдельного уровня, называемая NAL (сетевой уровень абстракции) между VCL (уровнем кодирования видео), имеющая дело непосредственно с процессом кодирования движущихся изображений и более низкой (низкоуровневой) системой, которая транспортирует и хранит кодированную информацию. Выходной сигнал из процесса кодирования представляют собой VCL-данные и отображаются NAL-блоком до транспортировки или сохранения. Каждый NAL-блок включает в себя сжатые данные видео или RBSP (необработанные полезные данные последовательности байтов: данные результата сжатия движущихся изображений), которые являются данными, соответствующими информации заголовка.
NAL-блок в основном включает в себя NAL-заголовок и RBSP. NAL-заголовок включает в себя информацию флага (nal_ref_idc), указывающую, включена ли вырезка в качестве опорного изображения NAL-блока, и идентификатор (nal_unit_type), указывающий тип NAL-блока. Сжатые первоначальные данные сохранены в RBSP. И хвостовой бит RBSP добавляют к последней части RBSP, чтобы представить длину RBSP в качестве 8-битового умножения. В качестве типа NAL-блока имеется изображение IDR (мгновенное обновление декодирования), SPS (набор параметров последовательности), PPS (набор параметров изображения), SEI (дополнительная информация расширения), или подобное.
При стандартизации устанавливают ограничения для различных профилей и уровней, чтобы разрешить реализацию целевого продукта с подходящей стоимостью. В этом случае декодер должен удовлетворить ограничению, определенному согласно соответствующим профилю и уровню. Таким образом, определены две концепции - 'профиль' и 'уровень', чтобы указать функцию или параметр для представления - насколько декодер может справиться с диапазоном сжатой последовательности. И индикатор (profile_idc) профиля может идентифицировать, что битовый поток основан на предписанном профиле. Индикатор профиля означает флаг, указывающий профиль, на котором основан битовый поток. Например, в H.264/AVC, если индикатор профиля равен 66, это означает, что битовый поток основан на базовом профиле. Если индикатор профиля равен 77, это означает, что битовый поток основан на главном профиле. Если индикатор профиля равен 88, это означает, что битовый поток основан на расширенном профиле. И идентификатор профиля может быть включен в набор параметров последовательности.
Итак, чтобы иметь дело с мультикадровым видео, необходимо идентифицировать, является ли профиль введенного битового потока мультикадровым профилем. Если профиль введенного битового потока является мультикадровым профилем, необходимо добавить синтаксис, чтобы разрешить передачу по меньшей мере одной дополнительной информации для множества кадров. В этом случае мультикадровый профиль указывает режим профиля, обрабатывающий мультикадровое видео в качестве методики внесения поправки в H.264/AVC. В MVC может быть более эффективно добавить синтаксис в качестве дополнительной информации для режима MVC вместо безусловного синтаксиса. Например, когда индикатор профиля для AVC указывает мультикадровый профиль, если информация для мультикадрового видео добавлена, возможно повысить эффективность кодирования.
Набор параметров последовательности указывает информацию заголовка, содержащую информацию, собранную при кодировании полной последовательности, такую как профиль, уровень и т.п. Целиком сжатое движущееся изображение, то есть последовательность, должна начинаться с заголовка последовательности. Так, набор параметров последовательности, соответствующий информации заголовка, должен приходить на декодер прежде, чем прибывают данные, ссылающиеся на набор параметров. А именно, набор RBSP параметров последовательности играет роль информации заголовка для результирующих данных сжатия движущегося изображения. Как только битовый поток введен, индикатор профиля предпочтительно идентифицирует, что введенный битовый поток основан на каком-то одном из множества профилей. Таким образом, добавляя часть для определения, относится ли введенный битовый поток к мультикадровому профилю (например, 'IF (profile_idc == MULTI_VIEW_PROFILE)') к синтаксису, принимается решение, относится ли введенный битовый поток к мультикадровому профилю. Различные виды информации конфигурации могут быть добавлены только если введенный битовый поток определен как относящийся к мультикадровому профилю. Например, возможно добавить ряд полных кадров, ряд мультикадровых опорных изображений (List0/1) в случае группы межкадровых изображений, ряд мультикадровых опорных изображений (List0/1) в случае группы не межкадровых изображений и т.п. И различная информация для кадра используется для генерации и управления списком опорных изображений в буфере декодированных изображений.
Фиг.1 - иллюстрирует схематичную блок-схему устройства для декодирования сигнала видео согласно настоящему изобретению.
Со ссылками на фиг.1 устройство для декодирования сигнала видео согласно настоящему изобретению включает в себя синтаксический анализатор 100 NAL, модуль 200 статистического декодирования, модуль 300 инверсного квантования / обратного преобразования, модуль 400 внутреннего (интра-) предсказания, модуль 500 фильтра устранения блочности, буферный модуль 600 декодированных изображений, модуль 700 внешнего (интер-) предсказания и т.п.
Буферный модуль 600 декодированных изображений включает в себя модуль 610 сохранения опорного изображения, модуль 620 создания списка опорных изображений, модуль 650 управления опорными изображениями и т.п. И модуль 620 создания списка опорных изображений включает в себя модуль 625 получения переменной, модуль 630 инициализации списка опорных изображений и модуль 640 переупорядочения списка опорных изображений.
И, модуль 700 интер-предсказания включает в себя модуль 710 компенсации движения, модуль 720 компенсации освещения, модуль 730 предсказания разности освещения, модуль 740 предсказания синтеза кадра и т.п.
Синтаксический анализатор 100 NAL выполняет синтаксический анализ посредством NAL-блока, чтобы декодировать принятую последовательность видео. Вообще, по меньшей мере один набор параметров последовательности и по меньшей мере один набор параметров изображения передается декодеру прежде, чем декодируются заголовок вырезки (часть массива информации) и данные вырезки. В этом случае различные виды информации конфигурации могут быть включены в область NAL-заголовка или область расширения NAL-заголовка. Так как MVC является методикой поправки для обычной методики AVC, может быть более эффективным добавлять информацию конфигурации только в случае битового потока MVC вместо безусловного добавления. Например, возможно добавить информацию флага для идентификации присутствия или не-присутствия битового потока MVC в области NAL-заголовка или области расширения NAL-заголовка. Только если введенный битовый поток является кодированным битовым потоком мультикадрового видео согласно информации флага, возможно добавить информацию конфигурации для мультикадрового видео. Например, информация конфигурации может включать в себя временную информацию уровня, информацию уровня кадра, идентификационную информацию группы межкадровых изображений, идентификационную информацию кадра и т.п. Это описано подробно ниже со ссылками на фиг.2.
Фиг.2 показывает диаграмму информации конфигурации для мультикадрового видео, добавляемую к кодированному битовому потоку мультикадрового видео согласно одному варианту осуществления настоящего изобретения. Подробности информации конфигурации для мультикадрового видео описаны в нижеследующем описании.
Прежде всего, временная информация уровня указывает информацию для иерархической структуры, чтобы обеспечить временную масштабируемость из сигнала видео ((1)). Посредством временной информации уровня возможно обеспечить пользователя последовательностями в отношении различных временных зон.
Информация уровня кадра указывает информацию для иерархической структуры, чтобы обеспечить масштабируемость кадра из сигнала видео ((2)). В мультикадровом видео необходимо определить уровень для времени и уровень для кадра, чтобы обеспечить пользователя различными временными и кадровыми последовательностями. В случае определения вышеупомянутой информации уровня возможно использовать временную масштабируемость и масштабируемость кадра. Поэтому пользователь способен выбрать последовательность в конкретное время и кадр, или выбранная последовательность может быть ограничена условием.
Информации уровня могут быть установлены различными способами согласно конкретному условию. Например, информация уровня может быть установлена по-разному согласно расположению камеры (фотоаппарата) или выравниванию камеры (фотоаппарата). И информация уровня может быть определена, рассматривая зависимость кадра. Например, уровень для кадра, имеющего I-изображение в группе межкадровых изображений, установлен в 0, уровень для кадра, имеющего P-изображение в группе межкадровых изображений, установлен в 1, и уровень для кадра, имеющего B-изображение в группе межкадровых изображений, установлен равным 2. Кроме того, информации уровня могут быть случайно установлены не на основании специального условия. Информация уровня кадра описана подробно со ссылками на фиг.4 и фиг.5 ниже.
Идентификационная информация группы межкадровых изображений указывает информацию для идентификации, является ли кодированное изображение текущего NAL-блока группой межкадровых изображений ((3)). В этом случае группа межкадровых изображений означает кодированное изображение, в котором все вырезки ссылаются только на вырезки с одним и тем же порядковым индексом изображения. Например, группа межкадровых изображений означает кодированное изображение, которое ссылается на вырезки только в отличном кадре без ссылки на вырезки в текущем кадре. В процессе декодирования мультикадровое видео может быть необходим межкадровый произвольный доступ. Идентификационная информация группы межкадровых изображений может быть необходима, чтобы реализовать эффективный произвольный доступ. И межкадровая опорная (ссылочная) информация может быть необходима для межкадрового предсказания. Так, идентификационная информация группы межкадровых изображений может использоваться, чтобы получить межкадровую опорную информацию. Кроме того, идентификационная информация группы межкадровых изображений может использоваться, чтобы добавить опорные изображения для межкадрового предсказания при построении списка опорных изображений. Кроме того, идентификационная информация группы межкадровых изображений может использоваться, чтобы управлять добавленными опорными изображениями для межкадрового предсказания. Например, опорные изображения могут быть классифицированы в группы межкадровых изображений и группы не межкадровых изображений, и классифицированные опорные изображения могут быть затем промаркированы так, что опорные изображения, не используемые для межкадрового предсказания, не должны использоваться. Между тем, идентификационная информация группы межкадровых изображений применима к гипотетическому опорному декодеру. Подробности идентификационной информации группы межкадровых изображений описаны со ссылками на фиг.6 ниже.
Идентификационная информация кадра означает информацию для различения изображения в текущем кадре от изображения в отличном кадре ((4)). При кодировании сигнала видео POC (порядковый индекс изображения) или 'frame_num' может использоваться, чтобы идентифицировать каждое изображение. В случае последовательности мультикадрового видео может быть выполнено межкадровое предсказание. Поэтому необходима идентификационная информация для различения изображения в текущем кадре от изображения в другом кадре. Итак, необходимо определить идентификационную информацию кадра для идентификации кадра изображения. Эта идентификационная информация кадра может быть получена из области заголовка сигнала видео. Например, область заголовка может быть областью NAL-заголовка, областью расширения NAL-заголовка или областью заголовка вырезки. Информацию для изображения в кадре, отличном от таковой текущего изображения, получают, используя идентификационную информацию кадра, и можно декодировать сигнал видео с использованием информации изображения в отличном кадре. Идентификационная информация кадра применима к полному процессу кодирования / декодирования сигнала видео. И идентификационная информация кадра может быть применима к кодированию мультикадрового видео, используя 'frame_num', который рассматривает кадр вместо рассмотрения идентификатора конкретного кадра.
Между тем, модуль 200 статистического декодирования выполняет статистическое декодирование в отношении синтаксически разобранного битового потока, и затем извлекает коэффициент каждого макроблока, вектор движения и т.п. Блок 300 инверсного квантования/обратного преобразования получает значение преобразованного коэффициента посредством умножения принятого квантованного значения на константу и затем обратно преобразовывает значение коэффициента, чтобы восстановить значение пикселей. Используя восстановленное значение пикселей модуль 400 внутреннего (интра-) предсказания выполняет внутреннее (интра-) предсказание из декодированной выборки в пределах текущего изображения. Между тем, модуль 500 фильтра устранения блочности применяется к каждому кодированному макроблоку, чтобы уменьшить блочное искажение. Фильтр сглаживает край блока, чтобы повысить качество изображения декодированного кадра. Выбор процесса фильтрования зависит от уровня границы и градиента выборки изображения вокруг границы. Изображения через фильтрование выдаются или сохраняются в буферном модуле 600 декодированных изображений, чтобы использоваться в качестве опорного изображения.
Буферный модуль 600 декодированных изображений играет роль в сохранении или открытии ранее кодированных изображений, чтобы выполнить внешнее (интер-) предсказание. В этом случае для сохранения изображений в буферном модуле 600 декодированных изображений или для открытия изображений, используется 'frame_num' и POC (порядковый индекс изображения) каждого изображения. Итак, так как существуют изображения в кадре, отличном от такового текущего изображения среди ранее кодированных изображений, информация кадра для идентификации кадра изображения может быть использована для использования вместе с 'frame_num' и POC. Буферный модуль 600 декодированных изображений включает в себя модуль 610 сохранения опорного изображения, модуль 620 создания списка опорных изображений, и модуль 650 управления опорными изображениями. Модуль 610 сохранения опорного изображения хранит изображения, на которые будут ссылаться для кодирования текущего изображения. Модуль 620 создания списка опорных изображений конструирует список опорных изображений для предсказания между изображениями. При кодировании мультикадрового видео может быть необходимо межкадровое предсказание. Так, если текущее изображение ссылается на изображение в другом кадре, может быть необходимо создать список опорных изображений для межкадрового предсказания. В этом случае модуль 620 создания списка опорных изображений может использовать информацию для кадра при генерации списка опорных изображений для межкадрового предсказания. Подробности модуля 620 создания списка опорных изображений описаны ниже со ссылками на фиг.3.
Фиг.3 изображает внутреннюю блок-схему модуля 620 создания списка опорных изображений согласно варианту осуществления настоящего изобретения.
Модуль 620 создания списка опорных изображений включает в себя модуль 625 получения (вывода) переменной, модуль 630 инициализации списка опорных изображений и модуль 640 переупорядочения опорного списка.
Модуль 625 получения переменной получает (выводит) переменные, используемые для инициализации списка опорных изображений. Например, переменная может быть получена, используя 'frame_num', указывающий идентификационный номер изображения. В частности, переменные FrameNum и FrameNumWrap могут быть использованы для каждого краткосрочного опорного изображения. Прежде всего, переменная FrameNum равна значению элемента frame_num синтаксиса. Переменная FrameNumWrap может использоваться для буферного модуля 600 декодированных изображений, чтобы назначить малый номер каждому опорному изображению. И переменная FrameNumWrap может быть получена из переменной FrameNum. Так, возможно получить переменную PicNum, используя полученную переменную FrameNumWrap. В этом случае переменная PicNum может означать идентификационный номер изображения, используемого буферным модулем 600 декодированных изображений. В случае указания долгосрочного опорного изображения может быть использована переменная LongTermPicNum.
Чтобы создать список опорных изображений для межкадрового предсказания, можно получить (вывести) первую переменную (например, ViewNum) для создания списка опорных изображений для межкадрового предсказания. Например, можно получить вторую переменную (например, Viewld), используя 'view_id' для идентификации кадра изображения. Прежде всего, вторая переменная может быть равна значению элемента 'view_id' синтаксиса. И третья переменная (например, ViewIdWrap) может использоваться для буферного модуля 600 декодированных изображений для назначения малого идентификационного номера кадра каждому опорному изображению и может быть получена из второй переменной. В этом случае первая переменная ViewNum может означать идентификационный номер кадра изображения, используемого буферным модулем 600 декодированных изображений. Однако так как количество опорных изображений, используемых для межкадрового предсказания при кодировании мультикадрового видео, может быть относительно меньшим, чем таковое, используемое для временного предсказания, можно не определять другую переменную для указания идентификационного номера кадра долгосрочного опорного изображения.
Модуль 630 инициализации списка опорных изображений инициализирует список опорных изображений, используя вышеупомянутые переменные. В этом случае процесс инициализации для списка опорных изображений может отличаться согласно типу вырезки. Например, в случае декодирования P-вырезки, возможно назначить ссылочный индекс на основании порядка декодирования. В случае декодирования B-вырезки, возможно назначить ссылочный индекс на основании порядка вывода изображения. В случае инициализации списка опорных изображений для межкадрового предсказания можно назначить индекс опорному изображению на основании первой переменной, то есть переменной, полученной из информации кадра.
Модуль 640 переупорядочения списка опорных изображений играет роль при повышении эффективности сжатия, назначая меньший индекс изображению, на который часто ссылаются в инициализированном списке опорных изображений. Это происходит потому, что маленький бит назначается, если ссылочный индекс для кодирования становится меньше.
И, модуль 640 переупорядочения списка опорных изображений включает в себя модуль 642 проверки типов вырезки, модуль 643 переупорядочения списка 0 опорных изображений, и модуль 645 переупорядочения списка 1 опорных изображений. Если вводится инициализированный список опорных изображений, модуль 642 проверки типов вырезки проверяет тип вырезки, которую нужно декодировать, и затем решает, переупорядочить ли список-0 опорных изображений или список-1 опорных изображений. Так, модуль 643, 645 переупорядочивания списка 0/1 опорных изображений выполняет переупорядочение списка 0 опорных изображений, если тип вырезки не является I-вырезкой, и также выполняет переупорядочение списка 1 опорных изображений дополнительно, если тип вырезки есть B-вырезка. Таким образом, после завершения процесса переупорядочения, создается список опорных изображений.
Модуль 643, 645 переупорядочивания списка 0/1 опорных изображений включает в себя модуль 643A, 645A получения идентификационной информации и модуль 643B, 645B изменения назначения ссылочного индекса, соответственно. Модуль 643A, 645A получения идентификационной информации принимает идентификационную информацию (reordering_of_pic_nums_idc), указывающую способ назначения ссылочного индекса, если переупорядочение списка опорных изображений выполняется согласно информации флага, указывающей, выполнять ли переупорядочение списка опорных изображений. И модуль 643B, 645B изменения назначения ссылочного индекса переупорядочивает список опорных изображений посредством изменения назначения ссылочного индекса согласно идентификационной информации.
И, модуль 640 переупорядочения списка опорных изображений работает другим способом. Например, переупорядочение может быть выполнено посредством проверки типа NAL-блока, переданного до прохождения через модуль 642 проверки типов вырезки, и затем посредством классификации типа NAL-блока в случае MVC NAL и случая не-MVC NAL.
Модуль 650 управления опорным изображением управляет опорными изображениями для выполнения внешнего предсказание более гибко. Например, используются операционный способ управления памятью и способ подвижного окна. Это должно обеспечить управление памятью опорных изображений и памятью не опорных изображений посредством объединения блоков памяти в одну память и реализовать эффективное управление памятью с маленькой памятью. При кодировании мультикадрового видео, так как изображения в направлении кадра имеют тот же самый порядковый индекс изображения, информация для идентификации кадра каждого из изображений пригодна для использования при маркировке изображений в направлении кадра. И опорные изображения, управляемые вышеупомянутым способом, могут использоваться модулем 700 интер-предсказания.
Модуль 700 интер-предсказания выполняет внешнее (интер-) предсказание, используя опорные изображения, сохраненные в буферном модуле 600 декодированных изображений. Интер-кодированный макроблок может быть разделен на части макроблока. И каждая из частей макроблока может быть предсказана, исходя из одного или двух опорных изображений. Модуль 700 интер-предсказания включает в себя модуль 710 компенсации движения, модуль 720 компенсации освещения, модуль 730 предсказания разности освещения, модуль 740 предсказания синтеза кадра, модуль 750 взвешенного предсказания и т.п.
Модуль 710 компенсации движения компенсирует движение текущего блока, используя информации, переданные из модуля 200 статистического декодирования. Векторы движения соседних блоков текущего блока извлекаются из сигнала видео, и затем блок предсказания вектора движения текущего блока выводится из векторов движения соседних блоков. И движение текущего блока компенсируют, используя полученный блок предсказания вектора движения и разностный вектор движения, извлеченный из сигнала видео. И возможно выполнить компенсацию движения, используя одно опорное изображение или множество изображений. При кодировании мультикадрового видео в случае, если это текущее изображение ссылается на изображения в отличных кадрах, возможно выполнить компенсация движения, используя информацию списка опорных изображений для межкадрового предсказания, сохраненного в буферном модуле 600 декодированных изображений. И также возможно выполнить компенсацию движения, используя информацию кадра для идентификации кадра опорного изображения. Прямым режимом является режим кодирования для предсказания информации движения текущего блока из информации движения для кодированного блока. Так как этот способ способен сэкономить ряд битов, требуемых для кодирования информации движения, эффективность сжатия повышается. Например, режим временного направления предсказывает информацию движения для текущего блока, используя корреляцию информации движения во временном направлении. Используя способ, подобный этому способу, настоящее изобретение способно предсказать информацию движения для текущего блока, используя корреляцию информации движения в направлении кадров.
Между тем, в случае, если введенный битовый поток соответствует мультикадровому видео, так как соответствующие последовательности кадров получены отличной камерой, разность в освещении генерируется внутренними и внешними факторами этих камер. Чтобы предотвратить это, модуль 720 компенсации освещения компенсирует разность в освещении. При выполнении компенсации освещения возможно использовать информацию флага, указывающую, выполнить ли компенсацию освещения в отношении конкретного уровня сигнала видео. Например, возможно выполнить компенсацию освещения, используя информацию флага, указывающую, выполнить ли компенсацию освещения в отношении соответствующей вырезки или макроблока. При выполнении компенсации освещения, используя информацию флага, компенсация освещения применима к различным типам макроблоков (например, интер-режим 16×16, режим B-skip, прямой режим и т.д.).
При выполнении компенсации освещения возможно использовать информацию для соседнего блока или информацию для блока в кадре, отличном от такового текущего блока, чтобы восстановить текущий блок. И также возможно использовать значение разности освещения текущего блока. В этом случае, если текущий блок ссылается на блоки в отличном кадре, возможно выполнить компенсацию освещения, используя информацию списка опорных изображений для межкадрового предсказания, сохраненную в буферном модуле 600 декодированных изображений. В этом случае значение разности освещения текущего блока указывает разность между средним значением пикселей текущего блока и средним значением пикселей опорного блока, соответствующего текущему блоку. В качестве примера использования значения разности освещения, значение предсказания разности освещения текущего блока получают, используя соседние блоки текущего блока, и используется значение разности (остаточная разность освещения) между значением разности освещения и этим значением предсказания разности освещения. Следовательно, модуль декодирования способен восстановить значение разности освещения текущего блока, используя остаточную разность освещения и значение предсказания разности освещения. При получении значения предсказания разности освещения текущего блока возможно использовать информацию для соседнего блока. Например, возможно предсказать значение разности освещения текущего блока, используя значение разности освещения соседнего блока. До предсказания проверяют, является ли ссылочный индекс текущего блока равным таковому соседнего блока. Согласно результату проверки, затем решается - какой вид из соседнего блока или значения будет использоваться.
Модуль 740 предсказания синтеза кадра используется, чтобы синтезировать изображения в виртуальном кадре, используя изображения в кадре, соседнем для кадра текущего изображения, и предсказывать текущее изображение, используя синтезируемые изображения в виртуальном кадре. Модуль декодирования способен решить, синтезировать ли изображение в виртуальном кадре согласно идентификатору предсказания межкадрового синтеза, переданного от модуля кодирования. Например, если view_synthesize_pred_flag = 1 или view_syn_pred_flag = 1, то синтезируется вырезка или макроблок в виртуальном кадре. В этом случае, когда идентификатор предсказания межкадрового синтеза информирует, что виртуальный кадр будет сформирован, возможно сгенерировать изображение в виртуальном кадре, используя информацию кадра для идентификации кадра изображения. И при предсказании текущего изображения из синтезированных изображений в виртуальном кадре возможно использовать информацию кадра, чтобы использовать изображение в виртуальном кадре как опорное изображение.
Модуль 750 взвешенного предсказания используется, чтобы компенсировать явление, при котором качество изображения последовательности значительно ухудшается в случае кодирования последовательности, яркость которого изменяется во времени. В MVC, взвешенное предсказание может быть выполнено, чтобы компенсировать разность яркости из последовательности в отличном кадре, также как это выполняется для последовательности, яркость которого изменяется во времени. Например, способ взвешенного предсказания может быть классифицирован в способ явного взвешенного предсказания и способ неявного взвешенного предсказания.
В частности, явный способ взвешенного предсказания может использовать одно опорное изображение или два опорных изображения. В случае использования одного опорного изображения сигнал предсказания получают из умножения сигнала предсказания, соответствующего компенсации движения, на весовой коэффициент. В случае использования двух опорных изображений сигнал предсказания получают из суммирования значения смещения к значению, получаемому из умножения сигнала предсказания, соответствующего компенсации движения, на весовой коэффициент.
И, неявное взвешенное предсказание выполняет взвешенное предсказание, используя расстояние от опорного изображения. В качестве способа получения расстояния от опорного изображения возможно использовать POC (порядковый индекс изображения), указывающий порядок вывода изображения, например. В этом случае POC может быть получен, рассматривая идентификационную информацию кадра каждого изображения. При получении весового коэффициента для изображения в отличном кадре возможно использовать информацию кадра для идентификации кадра изображения, чтобы получить расстояние между кадрами соответствующих изображений.
При кодировании сигнала видео информация глубины пригодна для использования для конкретного приложения или другой цели. В этом случае информация глубины может означать информацию, способную указывать разность межкадрового рассогласования. Например, возможно получить вектор рассогласования в соответствии с межкадровым предсказанием. И полученный вектор рассогласования должен быть передан устройству декодирования для компенсации рассогласования текущего блока. Однако если карта глубины получена и затем передана к устройству декодирования, вектор рассогласования может быть логически выведен из карты глубины (или карты рассогласования) без передачи вектора рассогласования устройству декодирования. В этом случае это выгодно тем, что количество битов информации глубины, которое должно быть передано устройству декодирования, может быть уменьшено. Так, получая вектор рассогласования из карты глубины, возможно обеспечить новый способ компенсации рассогласования. Таким образом, в случае использования изображения в отличном кадре в ходе получения вектора рассогласования из карты глубины, может использоваться информация кадра для идентификации кадра изображения.
Интер-предсказанные или интра-предсказанные изображения посредством выше описанного процесса, выбирают согласно режиму предсказания, чтобы восстановить текущее изображение. В нижеследующем описании описываются различные варианты осуществления, обеспечивающие эффективный способ декодирования сигнала видео.
Фиг.4 - диаграмма иерархической структуры информации уровня для обеспечения масштабируемости кадра сигнала видео согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.4 информация уровня для каждого кадра может быть определена, рассматривая межкадровую опорную информацию. Например, так как невозможно декодировать P-изображение и B-изображение без I-изображения, возможно назначить 'level=0' основному виду, группа межкадровых изображений которого есть I-изображение, 'level=1' основному виду, группа межкадровых изображений которого есть P-изображение, и 'level=2' основному виду, группа межкадровых изображений которого есть B-изображение. Однако также возможно определить информацию уровня случайным образом согласно конкретному стандарту.
Информация уровня может быть случайным образом определена согласно конкретному стандарту или без стандарта. Например, в случае, когда информация уровня определена на основании кадра, возможно установить кадр V0 в качестве основного кадра в уровень 0 кадра, кадр изображений, предсказанных с использованием изображения в одном кадре в уровень 1 кадра, и кадр изображений, предсказанных с использованием изображения во множестве кадров, в уровень 2 кадра. В этом случае может быть необходима по меньшей мере одна последовательность кадров, чтобы иметь совместимость с обычным декодером (например, H.264/AVC, MPEG-2, MPEG-4, и т.д.). Этот основной кадр становится основой кодирования мультикадрового видео, которое может соответствовать опорному кадру для предсказания другого кадра. Последовательность, соответствующая основному кадру в MVC (мультикадровое кодирование видео), может быть конфигурирована в независимый битовый поток посредством кодирования в соответствии с обычной схемой кодирования последовательности (MPEG-2, MPEG-4, H.263, H.264, и т.д.). Последовательность, соответствующая основному кадру, является совместимой с H.264/AVC, или может не быть таковой. Однако последовательность в кадре, совместимом с H.264/AVC, соответствует основному кадру.
Как можно видеть на фиг.4, возможно установить кадр V2 изображений, предсказанных, используя изображения в кадре V0, кадр V4 изображений, предсказанных используя изображения в кадре V2, кадр V6 изображений, предсказанных используя изображения в кадре V4, и кадр V7 изображений, предсказанных используя изображения в кадре V6 в уровень 1 кадра. И возможно установить кадр V1 изображений, предсказанных используя изображения в кадрах V0 и V2, и кадр V3, предсказанный тем же самым способом, и кадр V5, предсказанный тем же самым способом, в уровень 2 кадра. Так, в случае когда декодер пользователя является не способным просмотреть последовательность мультикадрового видео, он декодирует последовательности в кадре, соответствующие только уровню 0 кадров. В случае, если декодер пользователя ограничен информацией профиля, возможно декодировать информацию только ограниченного уровня кадров. В этом случае профиль означает, что технические элементы для алгоритма в процессе кодирования/ декодирования видео являются стандартизированными. В частности, профиль является набором технических элементов, требуемых для декодирования битовой последовательности сжатой последовательности и может быть своего рода подстандартизацией.
Согласно другому варианту осуществления настоящего изобретения информация уровня может измениться согласно расположению камеры. Например, принимая, что кадры V0 и V1 являются последовательностями, полученными камерой, расположенной впереди, что кадры V2 и V3 являются последовательностями, расположенными сзади, что кадры V4 и V5 являются последовательностями, расположенными слева, и что кадры V6 и V7 являются последовательностями, расположенными справа, возможно установить кадры V0 и V1 в уровень 0 кадров, кадры V2 и V3 в уровень 1 кадров, кадры V4 и V5 в уровень 2 кадров, и кадры V6 и V7 в уровень 3 кадров. Альтернативно, информация уровня может измениться согласно выравниванию камеры. Альтернативно, информация уровня может быть случайным образом определена не на основании конкретного стандарта.
Фиг.5 - диаграмма конфигурации NAL-блока, включающего в себя информацию уровня в области расширения NAL-заголовка согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.5, NAL-блок в основном включает в себя NAL-заголовок и RBSP. NAL-заголовок включает в себя информацию флага (nal_ref_idc), указывающую, включена ли вырезка, становящаяся опорным изображением NAL-блока, и идентификатор (nal_unit_type), указывающий тип NAL-блока. И NAL-заголовок может также включать в себя информацию уровня (view_level), указывающую информацию для иерархической структуры, чтобы обеспечить масштабируемость кадра.
Сжатые первоначальные данные сохранены в RBSP, и хвостовой бит RBSP добавляют к последней части RBSP, чтобы представить длину RBSP в качестве 8-битового номера перемножения. В качестве типов NAL-блока существуют IDR (мгновенное обновление декодирования), SPS (набор параметров последовательности), PPS (набор параметров изображения), SEI (дополнительная информация расширения), и т.д.
NAL-заголовок включает в себя информацию для идентификатора кадра. И последовательность видео соответствующего уровня кадров декодируется со ссылкой на идентификатор кадра в ходе выполнения декодирования согласно уровню кадров.
NAL-блок включает в себя NAL-заголовок 51 и уровень 53 вырезки. NAL-заголовок 51 включает в себя расширение 52 NAL-заголовка. И уровень 53 вырезки включает в себя заголовок 54 вырезки и данные 55 вырезки.
NAL-заголовок 51 включает в себя идентификатор (nal_unit_type), указывающий тип NAL-блока. Например, идентификатор, указывающий тип NAL-блока, может быть идентификатором и для масштабируемого кодирования и мультикадрового кодирования видео. В этом случае расширение 52 NAL-заголовка может включать в себя информацию флага, различающую, является ли текущий NAL NAL для масштабируемого кодирования видео или NAL для мультикадрового кодирования видео. И расширение 52 NAL-заголовка может включать в себя информацию расширения для текущего NAL согласно информации флага. Например, в случае, когда текущий NAL есть NAL для кодирования мультикадрового видео согласно информации флага, расширение 52 NAL-заголовка может включать в себя информацию уровня (view_level), указывающую информацию для иерархической структуры, чтобы обеспечить масштабируемость кадра.
Фиг.6 - диаграмма полной структуры предсказания сигнала мультикадрового видео согласно одному варианту осуществления настоящего изобретения, чтобы объяснить концепцию группы межкадровых изображений.
Со ссылками на фиг.6, Т0 - T100 по горизонтальной оси указывают кадры согласно времени, и S0 - S7 на вертикальной оси указывают кадры согласно кадру. Например, изображения в момент T0 означают кадры, зафиксированные различными камерами в одной и той же временной зоне T0, в то время как изображения в S0 означают последовательности, зафиксированные отдельной камерой на различных временных зонах. И стрелки на чертеже указывают направления предсказания и порядки предсказания соответствующих изображений. Например, изображение Р0 в кадре S2 во временной зоне T0 является изображением, предсказанным из I0, которое становится опорным изображением изображения Р0 в кадре S4 во временной зоне Т0. И оно становится опорным изображением изображений B1 и B2 во временных зонах T4 и T2 в кадре S2, соответственно.
В процессе мультикадрового декодирования видео может быть необходим межкадровый произвольный доступ. Так, доступ к случайному кадру должен быть возможен, посредством минимизации усилия декодирования. В этом случае может быть необходима концепция группы межкадровых изображений, чтобы реализовать эффективный доступ. Группа межкадровых изображений означает кодированное изображение, в котором все вырезки ссылаются только на вырезки с одним и тем же порядковым индексом изображения. Например, группа межкадровых изображений означает кодированное изображение, которое ссылается на вырезки только на отличном кадре без ссылки на вырезки в текущем кадре. На фиг.6, если изображение I0 в кадре S0 во временной зоне Т0 есть группа межкадровых изображений, все изображения в различных кадрах в отношении одной и той же временной зоны, то есть временной зоны Т0, становятся группами мультикадровых изображений. В качестве другого примера, если изображение I0 в кадре S0 во временной зоне T8 есть группа межкадровых изображений, все изображения в отличных кадрах на той же самой временной зоне, то есть, временной зоне T8, являются группами мультикадровых изображений. Аналогично, все изображения в T16, ..., T96, и T100 также становятся группами мультикадровых изображений.
Фиг.7 иллюстрирует диаграмму структуры предсказания согласно варианту осуществления настоящего изобретения, чтобы объяснить концепцию вновь определенной группы межкадровых изображений.
В общей структуре предсказания MVC, GOP может начинать с I-изображения. И это I-изображение является совместимым с H.264/AVC. Так, все группы межкадровых изображений, совместимые с H.264/AVC, могут всегда стать I-изображением. Однако в случае, если I-изображения заменены P-изображением, разрешается более эффективное кодирование. В частности, более эффективное кодирование разрешается, используя структуру предсказания, допускающую GOP для начала c P-изображения, совместимого с H.264/AVC.
В этом случае, если группа межкадровых изображений заново определена, все вырезки станут кодированным изображением, способным ссылаться не только на вырезку в кадре в некоторой временной зоне, но также и вырезку в том же самом кадре в отличной временной зоне. Однако в случае ссылки на вырезку в отличной временной зоне в том же самом кадре, это может быть ограничено группой мультикадровых изображений, совместимых только с H.264/AVC. Например, P-изображение во временной точке T8 в кадре S0 на фиг.6 может стать вновь определенной группой мультикадровых изображений. Аналогично, P-изображение во временной точке T96 в кадре S0 или P-изображение во временной точке T100 в кадре S0 может стать вновь определенной группой мультикадровых изображений. И группа межкадровых изображений может быть определена, только если она есть основной кадр.
После того, как группа межкадровых изображений декодирована, все последовательно кодированные изображения декодируются из изображений, декодированных перед группой мультикадровых изображений в порядке вывода без интер-предсказания.
Рассматривая общую структуру кодирования мультикадрового видео, показанную на фиг.6 и фиг.7, так как межкадровая опорная информация группы межкадровых изображений отличается от таковой группы не межкадровых изображений, необходимо отличать группу межкадровых изображений и группу не межкадровых изображений друг от друга согласно идентификационной информации группы межкадровых изображений.
Межкадровая опорная информация означает информацию, способную распознавать структуру предсказания между межкадровыми изображениями. Она может быть получена из области данных сигнала видео. Например, она может быть получена из области набора параметров последовательности. И межкадровая опорная информация может быть распознана, используя количество опорных изображений и информацию кадра для опорных изображений. Например, получают количество полных кадров, и информация кадра для идентификации каждого кадра может быть затем получена на основании количества полных кадров. И возможно получить количество опорных изображений для направления ссылки для каждого кадра. Согласно количеству опорных изображений возможно получить информацию кадра для каждого из опорных изображений. Таким образом, может быть получена межкадровая опорная информация. И межкадровая опорная информация может быть распознана посредством различения группы межкадровых изображений и группы не межкадровых изображений. Она может быть распознана, используя идентификационную информацию группы межкадровых изображений, указывающую, является ли кодированная вырезка в текущем NAL группой мультикадровых изображений. Подробности идентификационной информации группы межкадровых изображений описываются со ссылками на фиг.8 ниже.
Фиг.8 - схематическая блок-схема устройства для декодирования мультикадрового видео, используя группу межкадровых изображений, идентифицирующую информацию согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.8 устройство декодирования согласно одному варианту осуществления настоящего изобретения включает в себя модуль 81 определения битового потока, модуль 82 получения идентификационной информации группы межкадровых изображений и модуль 83 декодирования мультикадрового видео.
Если битовый поток введен, модуль 81 определения битового потока определяет, является ли введенный битовый поток кодированным битовым потоком для масштабируемого кодирования видео или кодированным битовым потоком для кодирования мультикадрового видео. Это может быть определено из информации флага, включенной в битовый поток.
Модуль 82 получения идентификационной информации группы межкадровых изображений может получать идентификационную информацию группы межкадровых изображений, если введенный битовый поток является битовым потоком для кодирования мультикадрового видео в результате определения. Если полученная идентификационная информация группы межкадровых изображений есть 'истина', это означает, что кодированная вырезка текущего NAL есть группа межкадровых изображений. Если полученная идентификационная информация группы межкадровых изображений есть 'ложь', это означает, что кодированная вырезка текущего NAL есть группа не межкадровых изображений. Идентификационная информация группы межкадровых изображений может быть получена из области расширения NAL-заголовка или области уровня вырезки.
Модуль 83 декодирования мультикадрового видео декодирует мультикадровое видео согласно идентификационной информации группы межкадровых изображений. Согласно общей структуре кодирования последовательности мультикадрового видео, межкадровая опорная (ссылочная) информация группы межкадровых изображений отличается от таковой группы не межкадровых изображений. Так, возможно использовать идентификационную информацию группы межкадровых изображений для добавления опорных изображений для межкадрового предсказания, чтобы сгенерировать список опорных изображений, например, и также возможно использовать идентификационную информацию группы межкадровых изображений для управления опорными изображениями для межкадрового предсказания. Кроме того, идентификационная информация группы межкадровых изображений применима к гипотетическому опорному декодеру.
В качестве другого примера использования идентификационной информации группы межкадровых изображений, в случае использования информации в отличном кадре для каждого процесса декодирования используется межкадровая опорная информация, включенная в набор параметров последовательности. В этом случае информация для различения, является ли текущее изображение группой межкадровых изображений или группой не межкадровых изображений, то есть, идентификационная информация группы межкадровых изображений, может требоваться. Так, возможно использовать отличную межкадровую опорную информацию для каждого процесса декодирования.
Фиг.9 - последовательность операций процесса для формирования списка опорных изображений согласно варианту осуществления настоящего изобретения.
Со ссылками на фиг.9, буферный модуль 600 декодированных изображений играет роль при сохранении или открытии предварительно кодированных изображений для выполнения интер-предсказания для изображения.
Прежде всего, изображения, кодированные до текущего изображения, сохраняют в модуле 610 сохранения опорного изображения, чтобы использоваться в качестве опорного изображения (S91).
При кодировании мультикадрового видео, так как некоторые из предварительно кодированных изображений находятся в кадре, отличном от такового текущего изображения, информация кадра для идентификации кадра изображения может использоваться, чтобы использовать эти изображения в качестве опорного изображения. Так, декодер должен получить информацию кадра для идентификации кадра изображения (S92). Например, информация кадра может включать в себя 'view_id' для идентификации кадра изображения.
Буферный модуль 600 декодированных изображений необходим для получения переменной, используемой в нем, чтобы сформировать список опорных изображений. Так как межкадровое предсказание может требоваться для кодирования мультикадрового видео, если текущее изображение ссылается на изображение в отличном кадре, может быть необходимо сформировать список опорных изображений для межкадрового предсказания. В этом случае буферный модуль 600 декодированных изображений необходим для получения переменной, используемой для формирования списка опорных изображений для межкадрового предсказания, используя полученную информацию кадра (S93).
Список опорных изображений для временного предсказания или список опорных изображений для межкадрового предсказания может быть сгенерирован отличным способом согласно типу вырезки текущей вырезки (S94). Например, если тип вырезки есть P/SP вырезка, формируют список 0 опорных изображений (S95). В случае, когда типом вырезки является B-вырезка, формируют список 0 опорных изображений и список 1 опорных изображений (S96). В этом случае список 0 или 1 опорных изображений может включать в себя только список опорных изображений для временного предсказания или оба из списка опорных изображений для временного предсказания и списка опорных изображений для межкадрового предсказания. Это описан подробно со ссылками на фиг.8 и фиг.9 ниже.
Инициализированный список опорных изображений подвергается процессу назначения меньшего номера для часто ссылаемых изображении, чтобы дополнительно повысить коэффициент сжатия (S97). И это может называться процессом переупорядочения для списка опорных изображений, который описан подробно со ссылками на фиг.12 - 19 ниже. Текущее изображение декодирует, используя переупорядоченный список опорных изображений, и буферный модуль 600 декодированных изображений необходим для управления декодированными опорными изображениями, чтобы использовать буфер более эффективно (S98). Опорные изображения, управляемые вышеупомянутым процессом, считываются модулем 700 интер-предсказания, чтобы использоваться для интер-предсказания. При кодировании мультикадрового видео интер-предсказание может включать в себя межкадровое предсказание. В этом случае используется список опорных изображений для межкадрового предсказания.
Подробные примеры для способа формирования списка опорных изображений согласно типу вырезки описываются со ссылками на фиг.10 и фиг.11 ниже.
Фиг.10 - диаграмма для пояснения способа инициализации списка опорных изображений, когда текущая вырезка есть P-вырезка, согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.10 время обозначается как T0, T1, … TN, в то время как кадр обозначен V0, V1, ., V4. Например, текущее изображение указывает изображение в момент T3 в кадре V4. И тип вырезки текущего изображения есть P-вырезка. 'PN' является аббревиатурой переменной PicNum, 'LPN' является аббревиатурой переменной LongTermPicNum, и 'VN' является аббревиатурой переменной ViewNum. Цифра, добавленная к конечной части каждой из переменных, указывает индекс, указывающий время каждого изображения (для PN или LPN) или кадр каждого изображения (для VN). Это применимо к фиг.11 равным образом.
Список опорных изображений для временного предсказания или список опорных изображений для межкадрового предсказания может быть сформирован другим способом согласно типу вырезки текущей вырезки. Например, тип вырезки на фиг.12 есть P/SP вырезка. В этом случае формируют список 0 опорных изображений. В частности, список 0 опорных изображений может включать в себя список опорных изображений для временного предсказания и/или список опорных изображений для межкадрового предсказания. В данном варианте осуществления принимается, что список опорных изображений включает в себя как список опорных изображений для временного предсказания так и список опорных изображений для межкадрового предсказания.
Имеются различные способы для упорядочения опорных изображений. Например, опорные изображения могут быть выстроены согласно порядку декодирования или вывода изображения. Альтернативно, опорные изображения могут быть выстроены на основании переменной, полученной с использованием информации кадра. Альтернативно, опорные изображения могут быть выстроены согласно межкадровой опорной информации, указывающей структуру межкадрового предсказания.
В случае списка опорных изображений для временного предсказания, краткосрочные опорные изображения и долгосрочные опорные изображения могут быть выстроены на основании порядка декодирования. Например, они могут быть выстроены согласно значению переменной PicNum или LongTermPicNum, полученных из значения, указывающего идентификационный номер изображения (например, frame_num или Longtermframeidx). Прежде всего, краткосрочные опорные изображения могут быть инициализированы до долгосрочных опорных изображений. Порядок выстраивания краткосрочных опорных изображений может быть установлен от опорного изображения, имеющего самое высокое значение переменной PicNum, к опорному изображению, имеющему самое низкое значение переменной. Например, краткосрочные опорные изображения могут быть выстроены в порядке PN1, имеющем самую высокую переменную, PN2, имеющую промежуточную переменную, и PN0, имеющем самую низкую переменную среди PN0 - PN2. Порядок выстраивания долгосрочных опорных изображений может быть установлен от опорного изображения, имеющего самое низкое значение переменной LongTermPicNum, к опорному изображению, имеющему самое низкое значение. Например, долгосрочные опорные изображения могут быть выстроены в порядке LPN0, имеющем самое высокое значение переменной и LPN1, имеющем самое низкое значение переменной.
В случае списка опорных изображений для межкадрового предсказания опорные изображения могут быть выстроены на основании первой переменной ViewNum, полученной с использованием информации кадра. В частности, опорные изображения могут быть выстроены в порядке от опорного изображения, имеющего самое высокое значение первой переменной (ViewNum), к опорному изображению, имеющему самое низкое значение первой переменной (ViewNum). Например, опорные изображения могут быть выстроены в порядке VN3, имеющем самую высокую переменную, VN2, VN1 и VN0, имеющим самую низкую переменную среди VN0, VN1, VN2 и VN3.
Таким образом, оба из списка опорных изображений для временного предсказания и списка опорных изображений для межкадрового предсказания могут управляться как один список опорных изображений. Альтернативно, оба из списка опорных изображений для временного предсказания и списка опорных изображений для межкадрового предсказания могут управляться как отдельные списки опорного изображения, соответственно. В случае управления обоими из списка опорных изображений для временного предсказания и списка опорных изображений для межкадрового предсказания как одним списком опорных изображений, они могут быть инициализированы согласно порядку или одновременно. Например, в случае инициализации обоих из списка опорных изображений для временного предсказания и списка опорных изображений для межкадрового предсказания согласно порядку, предпочтительно инициализируется список опорных изображений для временного предсказания, и список опорных изображений для межкадрового предсказания затем инициализируется дополнительно. Эта концепция также применима к фиг.11.
Случай, когда типом вырезки текущего изображения является B-вырезка, описан со ссылками на фиг.11 ниже.
Фиг.11 - диаграмма для пояснения способа инициализации списка опорных изображений, когда текущая вырезка есть B-вырезка согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.9, в случае, если типом вырезки является B-вырезка, формируют список 0 опорных изображений и список 1 опорных изображений. В этом случае список 0 опорных изображений или список 1 опорных изображений может включать в себя только список опорных изображений для временного предсказания или оба - как список опорных изображений для временного предсказания так и список опорных изображений для межкадрового предсказания.
В случае списка опорных изображений для временного предсказания, способ выстраивания краткосрочных опорных изображений может отличиться от способа выстраивания долгосрочных опорных изображений. Например, в случае краткосрочных опорных изображений опорные изображения могут быть выстроены согласно порядковому индексу изображения (в дальнейшем сокращенно - POC). В случае долгосрочных опорных изображений, опорные изображения могут быть выстроены согласно значению переменной (LongtermPicNum). И краткосрочные опорные изображения могут быть инициализированы до долгосрочных опорных изображений.
В порядке выстраивания краткосрочных опорных изображений списка 0 опорных изображений, опорные изображения предпочтительно выстраивают от опорного изображения, имеющего самое высокое значение POC, к опорному изображению, имеющему самое низкое значение POC, среди опорных изображений, имеющих POC значения, меньшие, чем таковое у текущего изображения, и затем выстраивают от опорного изображения, имеющего самое низкое значение POC, к опорному изображению, имеющему самое высокое значение POC среди опорных изображений, имеющих POC значения, большие, чем таковое текущего изображения. Например, опорные изображения могут быть, предпочтительно, выстроены от PN1, имеющего самое высокое значение POC в опорных изображениях PN0 и PN1, имеющих значения POC, меньшие, чем таковое текущего изображения, к PN0, и затем выстроены от PN3, имеющего самое низкое значение POC в опорных изображениях PN3 и PN4, имеющих значение POC, меньшие, чем таковое текущего изображения, к PN4.
В порядке выстраивания долгосрочных опорных изображений списка 0 опорных изображений, опорные изображения выстраивают от опорного изображения, имеющего самую низкую переменную LongtermPicNum, к опорному изображению, имеющему самую высокую переменную. Например, опорные изображения выстраивают от LPN0, имеющего самое низкое значение в LPN0 и LPN1, к LPN1, имеющему вторую самую низкую переменную.
В случае списка опорных изображений для межкадрового предсказания опорные изображения могут быть выстроены на основании первой переменной ViewNum, полученной с использованием информации кадра. Например, в случае списка 0 опорных изображений для межкадрового предсказания, опорные изображения могут быть выстроены от опорного изображения, имеющего самое высокое значение первой переменной среди опорных изображений, имеющих значения первой переменной ниже, чем таковое текущего изображения, к опорному изображению, имеющему самое низкое значение первой переменной. Опорные изображения затем выстраивают от опорного изображения, имеющего самое низкое значение первой переменной среди опорных изображений, имеющих значение первой переменная большее, чем таковое текущего изображения, к опорному изображению, имеющему самое высокое значение первой переменной. Например, опорные изображения предпочтительно выстраивают от VN1, имеющего самое высокое значение первой переменной в VN0 и VN1, имеющих значение первой переменной, меньшее, чем таковое текущего изображения, к VN0, имеющему самое низкое значение первой переменной, и затем выстраивают от VN3, имеющего самое низкое значение первой переменной в VN3 и VN4, имеющим значение первой переменной большее, чем таковое текущего изображения, к VN4, имеющему самое высокое значение первой переменной.
В случае списка 1 опорных изображений вышеописанный способ выстраивания списка 0 опорного является применимым аналогично.
Прежде всего, в случае списка опорных изображений для временного предсказания, в порядке выстраивания (упорядочения) краткосрочного опорного изображения списка 1 опорных изображений опорные изображения предпочтительно выстраиваются от опорного изображения, имеющего самое низкое значение POC, к опорному изображению, имеющему самое высокое значение POC среди опорных изображений, имеющих POC значения, большие, чем таковые текущего изображения, и затем выстраиваются от опорного изображения, имеющего самое высокое значение POC, к опорному изображению, имеющему самое низкое значение POC среди опорных изображений, имеющих значения POC, меньшие, чем таковое текущего изображения. Например, опорные изображения могут быть предпочтительно выстроены от PN3, имеющего самое низкое значение POC в опорных изображениях PN3 и PN4, имеющих POC значения, большие, чем таковое текущего изображения, к PN4, и затем выстроены от PN1, имеющего самое высокое значение POC в опорных изображениях PN0 и PN1, имеющих POC значения, большие, чем таковое текущего изображения, к PN0.
В порядке выстраивания (упорядочения) долгосрочных опорных изображений списка 1 опорных изображений, опорные изображения выстраиваются от опорного изображения, имеющего самую низкую переменную LongtermPicNum, к опорному изображению, имеющему самую высокую переменную. Например, опорные изображения выстроены от LPN0, имеющего самое низкое значение в LPN0 и LPN1, к LPN1, имеющему самую низкую переменную.
В случае списка опорных изображений для межкадрового предсказания опорные изображения могут быть выстроены на основании первой переменной ViewNum, полученной с использованием информации кадра. Например, в случае 1 списка опорных изображений для межкадрового предсказания, опорные изображения могут быть выстроены от опорного изображения, имеющего самое низкое значение первой переменной среди опорных изображений, имеющих значение первой переменной, большее, чем таковое текущего изображения, к опорному изображению, имеющему самое высокое значение первой переменной. Опорные изображения затем выстраивают (упорядочивают) от опорного изображения, имеющего самое высокое значение первой переменной среди опорных изображений, имеющих значение первой переменной, меньшее, чем таковое текущего изображения, к опорному изображению, имеющему самое низкое значение первой переменной. Например, опорные изображения предпочтительно выстраивают от VN3, имеющего самое низкое значение первой переменной в VN3 и VN4, имеющих значение первой переменной, большее, чем таковое текущего изображения, к VN4, имеющему самое высокое значение первой переменной, и затем выстраивают от VN1, имеющему самое высокое значение первой переменной в VN0 и VN1, имеющих значение первой переменной, меньшее, чем таковое текущего изображения, к VN0, имеющему самое низкое значение первой переменной.
Список опорных изображений, инициализированный вышеупомянутым процессом, передают модулю 640 переупорядочения списка опорных изображений. Инициализированный список опорных изображений затем переупорядочивают для более эффективного кодирования. Процесс переупорядочения должен уменьшить частоту следования битов, назначая малое количество опорному изображению, имеющему самую высокую вероятность выбора в качестве опорного изображения, используя буфер декодированных изображений. Различные способы переупорядочения списка опорных изображений описываются со ссылками на фиг.12-19 ниже.
Фиг.12 иллюстрирует внутреннюю блок-схему модуля 640 переупорядочения списка опорных изображений согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.12 модуль 640 переупорядочения списка опорных изображений в основном включает в себя модуль 642 проверки типов вырезки, модуль 643 переупорядочения списка 0 опорных изображений и модуль 645 переупорядочения списка 1 опорных изображений.
В частности, модуль 643 переупорядочения списка 0 опорных изображений включает в себя первый модуль 643A получения идентификационной информации и первый модуль 643B изменения назначения ссылочного индекса. И модуль 645 переупорядочения списка 1 опорных изображений включает в себя второй модуль 645A получения идентификационной информации и второй модуль 645B изменения назначения ссылочного индекса.
Модуль 642 проверки типов вырезки проверяет тип вырезки текущей вырезки. Затем принимается решение - переупорядочить ли список 0 опорных изображений и/или список 1 опорных изображений согласно типу вырезки. Например, если тип вырезки текущей вырезки есть I-вырезка, оба из списка 0 опорных изображений и списка 1 опорных изображений не переупорядочиваются. Если тип вырезки текущей вырезки есть P-вырезка, переупорядочивается только список 0 опорных изображений. Если тип вырезки текущей вырезки есть B-вырезка, переупорядочиваются оба из списка 0 опорных изображений и списка 1 опорных изображений.
Модуль 643 переупорядочения списка 0 опорных изображений активизируется, если информация флага для выполнения переупорядочения списка опорных изображений равна 'истина', и если тип вырезки текущей вырезки не есть I-вырезка. Первый модуль 643A получения идентификационной информации получает идентификационную информацию, указывающую способ назначения ссылочного индекса. Первый модуль 643B изменения назначения ссылочного индекса изменяет ссылочный индекс, назначенный каждому опорному изображению списка 0 опорных изображений согласно этой идентификационной информации.
Аналогично, модуль 645 переупорядочения списка 1 опорных изображений активизируется, если информация флага для выполнения переупорядочения списка 1 опорных изображений равна 'истина' и если типом вырезки текущей вырезки является B-вырезка. Второй модуль 645A получения идентификационной информации получает идентификационную информацию, указывающую способ назначения ссылочного индекса. Второй модуль 645B изменения назначения ссылочного индекса изменяет ссылочный индекс, назначенный каждому опорному изображению списка 1 опорных изображений, согласно этой идентификационной информации.
Так, информацию списка опорных изображений, используемую для фактического интер-предсказания, формируют посредством модуля 643 переупорядочения списка 0 опорных изображений и модуля 645 переупорядочения списка 1 опорных изображений.
Способ изменения ссылочного индекса, назначенного каждому опорному изображению посредством модуля 643B или 645B изменения назначения первого или второго ссылочного индекса, описан со ссылками на фиг.13 ниже.
Фиг.13 - внутренняя блок-схема модуля 643B или 645B изменения назначения ссылочного индекса согласно одному варианту осуществления настоящего изобретения. В следующем описании модуль 643 переупорядочения списка 0 опорных изображений и модуль 645 переупорядочения списка 1 опорных изображений, показанные на фиг.12, описаны вместе.
Со ссылками на фиг.13 каждый из первого и второго модуля 643B и 645B изменения назначения ссылочного индекса включает в себя модуль 644A изменения назначения ссылочного индекса для временного предсказания, модуль 644B изменения назначения ссылочного индекса для долгосрочного опорного изображения, модуль 644C изменения назначения ссылочного индекса для межкадрового предсказания, и модуль 644D окончания (завершения) изменения назначения ссылочного индекса. Согласно идентификационным информациям, полученным первым или вторым модулями 643B или 645B изменения назначения ссылочного индекса, части в первом или втором модулях 643B и 645B изменения назначения ссылочного индекса активизируются, соответственно. И процесс переупорядочения продолжает выполнение, пока не будет введена идентификационная информация для завершения изменения назначения ссылочного индекса.
Например, если идентификационная информация для изменения назначения ссылочного индекса для временного предсказания получена от первого или второго модуля 643B или 645B изменения назначения ссылочного индекса, активизируется модуль 644A изменения назначения ссылочного индекса для временного предсказания. Этот модуль 644A изменения назначения ссылочного индекса для временного предсказания получает разность номеров изображения согласно принятой идентификационной информации. В этом случае разность номеров изображения означает разность между номером изображения текущего изображения и номером предсказанного изображения. И номер предсказанного изображения может указывать номер опорного изображения, назначенного непосредственно перед (ним). Так, возможно изменить назначение ссылочного индекса, используя полученную разность номеров изображения. В этом случае разность номеров изображения может быть добавлена/вычтена к/из предсказанного номера изображения согласно идентификационной информации.
Для другого случая, если принята идентификационная информация для изменения назначения ссылочного индекса для назначенного долгосрочного опорного изображения, активизируется модуль 644B изменения назначения ссылочного индекса для долгосрочного опорного изображения. Модуль 644B изменения назначения ссылочного индекса для долгосрочного опорного изображения получает номер долгосрочного опорного изображения обозначенного изображения согласно идентификационному номеру.
Для другого случая, если принята идентификационная информация для изменения назначения ссылочного индекса для межкадрового предсказания, активизируется модуль 644С изменения назначения ссылочного индекса для межкадрового предсказания. Модуль 644С изменения назначения ссылочного индекса для межкадрового предсказания получает разность информации кадра согласно идентификационной информации. В этом случае разность информации кадра означает разность между номером кадра текущего изображения и номером предсказанного кадра. И предсказанный номер кадра может указывать номер кадра опорного изображения, назначенный непосредственно до него. Так, возможно изменить назначение ссылочного индекса, используя полученную разность информации кадра. В этом случае разность информации кадра может быть добавлена/вычтена к/из предсказанного номера кадра согласно идентификационной информации.
Для другого случая, если принята идентификационная информация для завершения изменения назначения ссылочного индекса, активизируется модуль 644D окончания изменения назначения ссылочного индекса. Модуль 644D окончания изменения назначения ссылочного индекса заканчивает изменение назначения ссылочного индекса согласно принятой идентификационной информации. Так, модуль 640 переупорядочения списка опорных изображений генерирует информацию списка опорных изображений.
Таким образом, опорные изображения, используемые для межкадрового предсказания, могут управляться вместе с опорными изображениями, используемыми для временного предсказания. Альтернативно, опорные изображения, используемые для межкадрового предсказания, могут управляться отдельно от опорных изображений, используемых для временного предсказания. Для этого могут требоваться новые информации для управления опорными изображениями, используемыми для межкадрового предсказания. Это будет описано со ссылками на фиг.15-19 ниже.
Подробности модуля 644C изменения назначения ссылочного индекса для межкадрового предсказания описаны со ссылками на фиг.14 ниже.
Фиг.14 - диаграмма для пояснения процесса для переупорядочения списка опорных изображений, используя информацию кадра согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.14, если номер VN кадра текущего изображения равен 3, если размер буфера DPBsize декодированного изображения равен 4, и если тип вырезки текущей вырезки есть P-вырезка, процесс переупорядочения для списка 0 опорных изображений описан ниже.
Прежде всего, первоначально предсказанный номер кадра равен '3', который является номером кадра текущего изображения. И начальное упорядочение списка 0 опорных изображений для межкадрового предсказания равно '4, 5, 6, 2' ((1)). В этом случае, если принята идентификационная информация для изменения назначения ссылочного индекса для межкадрового предсказания посредством вычитания разности информации кадра, '1' получают в качестве разности информации кадра согласно принятой идентификационной информации. Вновь предсказанный номер кадра (=2) вычисляют, вычитая разность информации кадра (=1) из предсказанного номера кадра (=3). В частности, первый индекс списка 0 опорных изображений для межкадрового предсказания назначается опорному изображению, имеющему номер кадра 2. И изображение, ранее назначенное первому индексу, может быть перемещено в самую заднюю часть списка 0 опорных изображений. Таким образом, переупорядоченный список опорных изображений равен '2, 5, 6, 4' ((2)). Затем, если принята идентификационная информация для изменения назначения ссылочного индекса для межкадрового предсказания посредством вычитания разности информации кадра, '-2' получают в качестве разности информации кадра согласно этой идентификационной информации. Вновь предсказанный номер кадра затем вычисляют, вычитая разность информации кадра (= -2) из предсказанного номера кадра. В частности, второй индекс списка 0 опорных изображений для межкадрового предсказания назначают опорному изображению, имеющему номер кадра 4. Следовательно, переупорядоченный список 0 опорных изображений есть '2, 4, 6, 5' ((3)). Затем, если принята идентификационная информация для завершения изменения назначения ссылочного индекса, список 0 опорных изображений, имеющий переупорядоченный список 0 опорных изображений в качестве окончания, формируют согласно принятой идентификационной информации ((4)). Следовательно, порядок окончательно сформированного списка 0 опорных изображений для межкадрового предсказания равен '2, 4, 6, 5'.
Для другого случая переупорядочения остальных изображений после того, как первый индекс списка 0 опорных изображений для межкадрового предсказания был назначен, изображение, назначенное каждому индексу, может быть перемещено вправо в позицию сразу позади таковой соответствующего изображения. В частности, второй индекс назначен изображению, имеющему номер кадра 4, третий индекс назначен изображению (номер кадра 5), которому был назначен второй индекс, и четвертый индекс назначен изображению (номер кадра 6), которому был назначен третий индекс. Следовательно, переупорядоченный список 0 опорных изображений становится равным '2, 4, 5, 6'. И последующий процесс переупорядочения может быть выполнен таким же образом.
Список опорных изображений, сформированный вышеупомянутым процессом, используется для интер- (внешнего) предсказания. Оба из списка опорных изображений для межкадрового предсказания и списка опорных изображений для временного предсказания могут управляться как один список опорных изображений. Альтернативно, каждый из списка опорных изображений для межкадрового предсказания и списка опорных изображений для временного предсказания может управляться как отдельный список опорных изображений. Это описано со ссылками на фиг. от 15 до 19 ниже.
Фиг.15 - внутренняя блок-схема модуля 640 переупорядочения списка опорных изображений согласно другому варианту осуществления настоящего изобретения.
Со ссылками на фиг.15, чтобы управлять списком опорных изображений для межкадрового предсказания как отдельным списком опорных изображений, новая информация может быть необходимо. Например, список опорных изображений для временного предсказания переупорядочивается, и список опорных изображений для межкадрового предсказания затем переупорядочивается в некоторых случаях.
Модуль 640 переупорядочения списка опорных изображений в основном включает в себя модуль 910 переупорядочения списка опорных изображений для временного предсказания, модуль 960 проверки типа NAL, и модуль 970 переупорядочения списка опорных изображений для межкадрового предсказания.
Модуль 910 переупорядочения списка опорных изображений для временного предсказания включает в себя модуль 642 проверки типов вырезки, третий модуль 920 получения идентификационной информации, третий модуль 930 изменения назначения ссылочного индекса, четвертый модуль 940 получения идентификационной информации, и четвертый модуль 950 изменения назначения ссылочного индекса. Третий модуль 930 изменения назначения ссылочного индекса включает в себя модуль 930A изменения назначения ссылочного индекса для временного предсказания, модуль 930B изменения назначения ссылочного индекса для долгосрочного опорного изображения, и модуль 930C завершения изменения назначения ссылочного индекса. Аналогично, четвертый модуль 950 изменения назначения ссылочного индекса включает в себя модуль 950A изменения назначения ссылочного индекса для временного предсказания, модуль 950B изменения назначения ссылочного индекса для долгосрочного опорного изображения, и модуль 950C завершения изменения назначения ссылочного индекса.
Модуль 910 переупорядочения списка опорных изображений для временного предсказания переупорядочивает опорные изображения, используемые для временного предсказания. Операции модуля 910 переупорядочения списка опорных изображений для временного предсказания идентичны таковым вышеупомянутого модуля 640 переупорядочения списка опорных изображений, показанного на фиг.10, кроме информации для опорных изображений для межкадрового предсказания. Таким образом, подробности модуля 910 переупорядочения списка опорных изображений для временного предсказания опущены в нижеследующем описании.
Блок проверки типа NAL 960 проверяет тип NAL принятого битового потока. Если тип NAL есть NAL для мультикадрового кодирования видео, опорные изображения, используемые для межкадрового предсказания, переупорядочивают посредством модуля 970 переупорядочения списка опорных изображений для временного предсказания. Сформированный список опорных изображений для межкадрового предсказания используется для интер-предсказания вместе со списком опорных изображений, сформированным модулем 970 переупорядочения списка опорных изображений для временного предсказания. Однако если тип NAL есть не NAL для мультикадрового кодирования видео, список опорных изображений для межкадрового предсказания не переупорядочивают. В этом случае формируют только список опорных изображений для временного предсказания. И модуль 970 переупорядочивания списка опорных изображений межкадрового предсказания переупорядочивает опорные изображения, используемые для межкадрового предсказания. Это описано подробно со ссылками на фиг.16 ниже.
Фиг.16 - внутренняя блок-схема модуль 970 переупорядочения списка опорных изображений для межкадрового предсказания согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.16, модуль 970 переупорядочения списка опорных изображений для межкадрового предсказания включает в себя модуль 642 проверки типов вырезки, пятый модуль 971 получения идентификационной информации, пятый модуль 972 изменения назначения ссылочного индекса, шестой модуль 973 получения идентификационной информации, и шестой модуль 974 изменения назначения ссылочного индекса.
Модуль 642 проверки типов вырезки проверяет тип вырезки текущей вырезки. Если да, затем принимается решение, выполнить ли переупорядочение списка 0 опорных изображений и/или списка 1 опорных изображений согласно типу вырезки. Подробности модуля 642 проверки типов вырезки могут быть выведены из фиг.10, которые опущены в нижеследующем описании.
Каждый из пятого и шестого модулей 971 и 973 получения идентификационной информации получает идентификационную информацию, указывающую способ назначения ссылочного индекса. И каждый из пятого и шестого модулей 972 и 974 изменения назначения ссылочного индекса изменяет ссылочный индекс, назначенный каждому опорному изображению списка 0 и/или 1 опорных изображений. В этом случае ссылочный индекс может означать только номер кадра опорных изображений. И идентификационная информация, указывающая способ назначения ссылочного индекса, может быть информацией флага. Например, если информация флага истинна, назначение номера кадра изменяется. Если информация флага есть 'ложь', процесс переупорядочения номера кадра может быть закончен. Если информация флага есть 'истина', каждый из пятого и шестого модулей 972 и 974 изменения назначения ссылочного индекса может получить разность номеров кадра согласно информации флага. В этом случае разность номеров кадров означает разность между номером кадра текущего изображения и номером кадра предсказанного изображения. И номер кадра предсказанного изображения может означать номер кадра опорного изображения назначенное как раз перед ним. Затем можно изменить назначение номера кадра, используя разность номеров кадров. В этом случае разность номеров кадров может быть добавлена/вычтена к/из количества кадра предсказанного изображения согласно идентификационной информации.
Таким образом, чтобы управлять списком опорных изображений для межкадрового предсказания в качестве отдельного списка опорных изображений, необходимо заново определить структуру синтаксиса. Как один вариант осуществления содержания, описанного на фиг.15 и фиг.16, синтаксис описан со ссылками на фиг.17, фиг.18 и фиг.19 ниже.
Фиг.17 и фиг.18 - диаграммы синтаксиса для переупорядочения списка опорных изображений согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.17, работа модуля 910 переупорядочения списка опорных изображений для временного предсказания, показанного на фиг.15, представлена в виде синтаксиса. По сравнению с блоками, показанными на фиг.15, модуль 642 проверки типов вырезки соответствует S1 и S6, и четвертый модуль 940 получения идентификационной информации соответствует S7. Внутренние блоки третьего модуля 930 изменения назначения ссылочного индекса соответствуют S3, S4 и S5, соответственно. И внутренние блоки четвертого модуля 950 изменения назначения ссылочного индекса соответствуют S8, S9 и S10, соответственно.
Со ссылками на фиг.18, работа модуля 960 проверки типа NAL и модуля 970 переупорядочивания списка опорных мультикадровых изображений представлены как синтаксис. По сравнению с соответствующими блоками, показанными на фиг.15 и фиг.16, модуль 960 проверки типа NAL соответствует S11, модуль 642 проверки типов вырезки соответствует S13 и S16, пятый модуль 971 получения идентификационной информации соответствует S14, и шестой 973 модуль получения идентификационной информации соответствует S17. Пятый модуль 972 изменения назначения ссылочного индекса соответствует S15, и шестой модуль 974 изменения назначения ссылочного индекса соответствует S18.
Фиг.19 - диаграмма синтаксиса для переупорядочения списка опорных изображений согласно другому варианту осуществления настоящего изобретения.
Со ссылками на фиг.19, работа модуля 960 проверки типа NAL и модуля 970 переупорядочивания списка опорных межкадровых изображений представлены как синтаксис. По сравнению с соответствующими блоками, показанными на фиг.15 и фиг.16, модуль 960 проверки типа NAL соответствует S21, модуль 642 проверки типов вырезки соответствует S22 и S25, пятый модуль 971 получения идентификационной информации соответствует S23, и шестой 973 модуль получения идентификационной информации соответствует S26. Пятый модуль 972 изменения назначения ссылочного индекса соответствует S24, и шестой модуль 974 изменения назначения ссылочного индекса соответствует S27.
Как упомянуто в предшествующем описании, список опорных изображений для межкадрового предсказания может использоваться модулем 700 интер-предсказания и также пригоден для использования для выполнения компенсации освещения. Компенсация освещения применима в ходе выполнения компенсации движения / оценки движения. В случае, когда текущее изображение использует опорное изображение в отличном кадре, возможно выполнить компенсацию освещения более эффективно с использованием списка опорных изображений для межкадрового предсказания. Компенсации освещения согласно вариантам осуществления настоящего изобретения описываются ниже.
Фиг.20 - диаграмма процесса для получения значения разности освещения текущего блока согласно одному варианту осуществления настоящего изобретения.
Компенсация освещения означает процесс для декодирования адаптивно скомпенсированного по движению сигнала видео согласно изменению освещения. И это применимо к структуре предсказания сигнала видео, например, межкадрового предсказания, внутрикадрового предсказания и т.п.
Компенсация освещения означает процесс для декодирования сигнала видео с использованием остаточной разности освещения и значения предсказания разности освещения, соответствующего блоку, подлежащего декодированию. В этом случае значение предсказания разности освещения может быть получено из соседнего блока текущему блоку. Процесс для получения значения предсказания разности освещения от соседнего блока может быть определен, используя опорную информацию для соседнего блока, и последовательность и направление могут быть приняты в рассмотрение в ходе поиска соседних блоков. Соседний блок означает уже декодированный блок и также означает блок, декодированный посредством рассмотрения избыточности в пределах того же самого изображения для кадра или времени, или последовательности, декодированной посредством рассмотрения избыточности в пределах различных изображений.
При сравнении подобий между текущим блоком и опорным блоком-кандидатом разность освещения между этими двумя блоками должна быть учтена. Чтобы компенсировать разность освещения, выполняется новая оценка / компенсация движения. Новый SAD может быть найден, используя Формулу 1.
[Формула 1]
Mcur= 1 S × T ∑ i = m m + S − 1 ∑ j = n n + T − 1 f ( i , j )
Figure 00000001
Mref(p,q)= 1 S × T ∑ i = p p + S − 1 ∑ j = q q + T − 1 r ( i , j )
Figure 00000002
[Формула 2]
NewSAD(x,y)= ∑ i = m m + S − 1 ∑ j = n n + T − 1 | { f ( i , j ) − M c u r } − { r ( i + x , j + y ) − M r e f ( m + x , n + y ) } |
Figure 00000003
В этом случае 'Mcur' указывает среднее значение пикселей текущего блока и 'Mref' указывает среднее значение пикселей опорного блока. 'f(i,j)' указывает значение пикселей текущего блока и 'r (i+x, j+y)' указывает значение пикселей опорного блока. Выполняя оценку движения на основании нового SAD согласно Формуле 2, можно получить среднее значение разности пикселей между текущим блоком и опорным блоком. И полученное среднее значение разности пикселей может быть названо значением разности освещения (IC_offset).
В случае выполнения оценки движения, к которой применяется компенсация освещения, формируют значение разности освещения и вектор движения. И компенсация освещения выполняется согласно Формуле 3 с использованием значения разности освещения и вектора движения.
[Формула 3]
NewR(i,j)={f(i,j)-Mcur}-{r(i+x',j+y')-Mref(m+x',n+y')} =
{f(i,j) -r(i+x',j+y')} - {Мcur-Mref(m+x',n+y')} =
{(f(i,j)-r(i+x',j+y')}-IC_offset
В этом случае NewR(i,j) указывает компенсированное по освещению значение ошибки (остаточное) и (x', y') указывает вектор движения.
Значение разности освещения (Mcurr-Mref) должно быть передано на модуль декодирования. Модуль декодирования выполняет компенсацию освещения следующим образом.
[Формула 4]
f'(i,j) = {NewR"(x',y',i,j)+r(i+x',j+y')}+{Mcur-Mref(m+x', n+y')} = {NewR''(x',y',i, j) +r (i+x', j + y')} +IC_offset
В Формуле 4 NewR"(i,j) указывает восстановленное компенсированное по освещению значение ошибки (остаточное) и f'(i,j) указывает значение пикселей восстановленного текущего блока.
Чтобы восстановить текущий блок, значение разности освещения должно быть передано модулю декодирования. И значение разности освещения может быть предсказано из информации соседних блоков. Чтобы дополнительно уменьшить количество битов для кодирования значения разности освещения, можно послать только значение разности (RIC_offset) между значением разности освещения текущего блока и значением разности освещения соседнего блока. Это представлено в виде Формулы 5.
[Формула 5]
RIC_offset = IC_offset - predIC_offset
Фиг.21 - последовательность операций процесса для выполнения компенсации освещения текущего блока согласно варианту осуществления настоящего изобретения.
Со ссылками на фиг.21, прежде всего, значение разности освещения соседнего блока, указывающее среднее значение разности пикселей между соседним блоком текущего блока и блока, на который ссылается соседний блок, извлекают из сигнала видео (S2110).
Затем, значение предсказания разности освещения для компенсации освещения текущего блока получают, используя это значение разности освещения (S2120). Так, возможно восстановить значение разности освещения текущего блока, используя полученное значение предсказания разности освещения.
При получении значения предсказания разности освещения можно использовать различные способы. Например, прежде чем значение разности освещения текущего блока предсказывается из значения разности освещения соседнего блока, проверяют, является ли ссылочный индекс текущего блока равным таковому соседнего блока. Затем можно решить, какой соседний блок или значение будут использоваться согласно результату проверки. Для другого случая, при получении значения предсказания разности освещения, может использоваться информация флага (IC_flag), указывающая, выполнить ли компенсацию освещения текущего блока. И информация флага для текущего блока может быть предсказана, используя также информацию соседних блоков. Для другого случая возможно получить значение предсказания разности освещения, используя оба из способа проверки ссылочного индекса и способа предсказания информации флага. Они описаны подробно со ссылками на фиг.22 - 24 ниже.
Фиг.22 - блок-схема процесса для получения значения предсказания разности освещения текущего блока, используя информацию для соседнего блока согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.22, можно использовать информацию для соседнего блока при получении значения предсказания разности освещения текущего блока. В настоящем раскрытии, блок может включать в себя макроблок или под-макроблок. Например, возможно предсказать значение разности освещения текущего блока, используя значение разности освещения соседнего блока. Перед этим проверяют, является ли ссылочный индекс текущего блока равным таковому соседнего блока. Согласно результату проверки, затем возможно решить какой соседний блок или значение будет использоваться. На фиг.22 'refIdxLX' указывает ссылочный индекс текущего блока, 'refIdxLXN' указывает ссылочный индекс блока-N. В этом случае 'N' является меткой блока-соседа текущего блока и указывает A, B или C. И 'PredIC_offsetN' указывает значение разности освещения для компенсации освещения соседнего блока-N. Если невозможно использовать блок C, который расположен в верхнем правом конце текущего блока, возможно использовать блок - D вместо блока - C. В частности, информация для блока - D пригодна для использования в качестве информации для блока C. Если невозможно использовать оба из блока - B и блока - C, возможно использовать блок А вместо этого. А именно, возможно использовать информацию для блока А в качестве информации для блока - B или блока - C.
Для другого случая, при получении значения предсказания разности освещения можно использовать информацию флага (IC_flag), указывающую, выполнить ли компенсацию освещения текущего блока. Альтернативно, возможно использовать оба из способа проверки ссылочного индекса и способа предсказания информации флага при получении значения предсказания разности освещения. В этом случае, если информация флага для соседнего блока указывает, что компенсация освещения не выполнена, то есть, если IC_falg == 0, значение разности освещения 'PredIC_offsetN' соседнего блока установлена в 0.
Фиг.23 - последовательность операций процесса для выполнения компенсации освещения, используя информацию для соседнего блока, согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.23, модуль декодирования извлекает среднее значение пикселей опорного блока, ссылочный индекс текущего блока, ссылочный индекс опорного блока, и т.п. из сигнала видео, и затем может получить значение предсказания разности освещения текущего блока, используя извлеченную информацию. Модуль декодирования получает значение разности (остаточную разность освещения) между значением разности освещения текущего блока и значением предсказания разности освещения, и затем способен восстановить значение разности освещения текущего блока, используя полученную остаточную разность освещения и значение предсказания разности освещения. В этом случае возможно использовать информацию для соседнего блока, чтобы получить значение предсказания разности освещения текущего блока. Например, можно предсказать значение разности освещения текущего блока, используя значение разности освещения соседнего блока. Перед этим проверяют, является ли ссылочный индекс текущего блока равным таковому соседнего блока. Согласно результату проверки затем можно решить какой соседний блок или значение будет использоваться.
В частности, значение разности освещения соседнего блока, указывающее среднее значение разности пикселей между соседним блоком текущего блока и блоком, на который ссылается соседний блок, извлекают из сигнала видео (S2310).
Затем проверяют, является ли ссылочный индекс текущего блока равным ссылочному индексу одного из множества соседних блоков (S2320).
В результате этапа S2320 проверки, если существует по меньшей мере один соседний блок, имеющий тот же самый ссылочный индекс что и таковой текущего блока, проверяют, существуют ли один соответствующий соседний блок или нет (S2325).
В результате этапа S2325 проверки, если существует только один соседний блок, имеющий тот же самый ссылочный индекс текущего блока, значение разности освещения соседнего блока, имеющего тот же самый ссылочный индекс текущего блока, назначают значению предсказания разности освещения текущего блока (S2330). В частности, это есть 'PredIC_offset = PredIC_offsetN'.
Если соседний блок, имеющий тот же самый ссылочный индекс как таковой текущего блока, не существует в результате этапа S2320 проверки или если существуют по меньшей мере два соседних блока, имеющих тот же самый ссылочный индекс как таковой у текущего блока в результате этапа S2325 проверки, среднее из значений разности освещения (PredIC_offsetN, N = A, B, или C) соседних блоков назначают значению предсказания разности освещения текущего блока (S650). В частности, это есть 'PredIC_offset = Среднее(PredIC_offsetA, PredIC_offsetB, PredIC_offsetC)'.
Фиг.24 - последовательность операций процесса для выполнения компенсации освещения, используя информацию для соседнего блока, согласно другому варианту осуществления настоящего изобретения.
Со ссылками на фиг.24 модуль декодирования должен восстановить значение разности освещения текущего блока, чтобы выполнить компенсацию освещения. В этом случае возможно использовать информацию для соседнего блока, чтобы получить значение предсказания разности освещения текущего блока. Например, возможно предсказать значение разности освещения текущего блока, используя значение разности освещения соседнего блока. Перед этим проверяют, является ли ссылочный индекс текущего блока равным таковому соседнего блока. Согласно результату проверки, затем возможно решить какой соседний блок или значение будет использоваться.
В частности, значение разности освещения соседнего блока, указывающее среднее значение разности пикселей между соседним блоком текущего блока и блоком, на который ссылается соседний блок, извлекают из сигнала видео (S2410).
Затем проверяют, является ли ссылочный индекс текущего блока равным ссылочному индексу одного из множества соседних блоков (S2420).
В результате этапа S720 проверки, если существует по меньшей мере один соседний блок, имеющий тот же самый ссылочный индекс, как таковой у текущего блока, проверяют, существуют ли один соответствующий соседний блок или нет (S2430).
В результате этапа S2430 проверки, если существует только один соседний блок, имеющий тот же самый ссылочный индекс как таковой у текущего блока, значение разности освещения соседнего блока, имеющего тот же самый ссылочный индекс, как таковой у текущего блока, назначают значению предсказания разности освещения текущего блока (S2440). В частности это есть 'PredIC_offset = PredIC_offsetN'.
Если соседний блок, имеющий тот же самый ссылочный индекс, как таковой у текущего блока, не существует в результате этапа S2420 проверки, то значение предсказания разности освещения текущего блока устанавливают в 0 (S2460). В частности это есть 'PredIC_offset = 0'.
Если существуют по меньшей мере два соседних блока, имеющие тот же самый ссылочный индекс как таковой у текущего блока в результате этапа S2430 проверки, соседний блок, имеющий ссылочный индекс, отличный от такового у текущего блока, устанавливают в 0, и среднее значений разности освещения соседних блоков, включая значение, установленное в 0, назначают значению предсказания разности освещения текущего блока (S2450). В частности это есть 'PredIC_offset = Сретнее(PredIC_offsetA, PredIC_offsetB, PredIC_offsetC)'. Однако в случае, если существует соседний блок, имеющий ссылочный индекс, отличный от такового текущего блока, значение '0' может быть включено в PredIC_offsetA, PredIC_offsetB, или PredIC_offsetC.
Между тем, информация кадра для идентификации кадра изображения, и список опорных изображений для межкадрового предсказания применим к синтезу изображения в виртуальном кадре. В процессе для синтеза изображения в виртуальном кадре на изображение в отличном кадре можно ссылаться. Так, если используются информация кадра и список опорных изображений для межкадрового предсказания, можно синтезировать изображение в виртуальном кадре более эффективно. В нижеследующем описании описываются способы синтеза изображения в виртуальном кадре согласно вариантам осуществления настоящего изобретения.
Фиг.25 - блок-схема процесса для предсказания текущего изображения, используя изображение в виртуальном кадре, согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.25 при выполнении межкадрового предсказания при кодировании мультикадрового видео возможно предсказать текущее изображение, используя изображение в кадре, отличном от такового текущего кадра, в качестве опорного изображения. Однако изображение в виртуальном кадре получают, используя изображения в кадре, соседнем таковому текущего изображения, и текущее изображение затем предсказывают, используя полученное изображение в виртуальном кадре. Если так, предсказание может быть выполнено более точно. В этом случае идентификатор кадра, указывающий кадр изображения, может использоваться, чтобы использовать изображения в соседних кадрах или изображениях в конкретном кадре. В случае, когда виртуальный кадр генерируется, должен существовать специальный синтаксис для индикации, генерировать ли виртуальный кадр. Если синтаксис указывает, что виртуальный кадр должен быть сгенерирован, возможно сформировать виртуальный кадр, используя идентификатор кадра. Изображения в виртуальном кадре, полученном модулем 740 предсказания синтеза кадра, пригодны для использования в качестве опорных изображений. В этом случае идентификатор кадра может быть назначен изображениям в виртуальном кадре. В процессе выполнения предсказания вектора движения для передачи вектора движения, соседние блоки текущего блока могут ссылаться на изображения, полученные модулем 740 предсказания синтеза кадра. В этом случае, чтобы использовать изображение в виртуальном кадре как опорное изображение, может использоваться идентификатор кадра, указывающий кадр изображения.
Фиг.26 - последовательность операций процесса для синтеза изображения виртуального кадра при выполнении межкадрового предсказания в MVC согласно варианту осуществления настоящего изобретения.
Со ссылками на фиг.26, изображение в виртуальном кадре синтезируют, используя изображения в кадре, соседнем таковому текущего изображения. Текущее изображение затем предсказывают, используя синтезируемое изображение в виртуальном кадре. Если так, возможно достичь более точного предсказания. В случае, когда изображение в виртуальном кадре синтезируется, существует специальный синтаксис, указывающий, выполнять ли предсказание текущего изображения, посредством синтеза изображения в виртуальном кадре. Если решено, выполнять ли предсказание текущего изображения, возможно более эффективное кодирование. Специальный синтаксис определяется как идентификатор предсказания межкадрового синтеза, который описан ниже. Например, изображение в виртуальном кадре синтезируется посредством уровня вырезки, чтобы определить 'view_synthesize pred_flag', указывающий, выполнить ли предсказание текущего изображения. И изображение в виртуальном кадре синтезируется посредством уровня макроблоков, чтобы определить 'view_syn_pred_flag', указывающий, выполнить ли предсказание текущего изображения. Если 'view_synthesize_pred_flag = 1', текущая вырезка синтезирует вырезку в виртуальном кадре, используя вырезку в кадре, соседнем таковому текущей вырезки. Затем возможно предсказать текущую вырезку, используя синтезированную вырезку. Если 'view_synthesize_pred_flag = 0', вырезка в виртуальном кадре не синтезируется. Аналогично, если 'view_syn_pred_flag = 1', текущий макроблок синтезирует макроблок в виртуальном кадре, используя макроблок в кадре, соседнем таковому текущего макроблока. Затем возможно предсказать текущий макроблок, используя синтезированный макроблок. Если 'view_syn_pred_flag = 0', макроблок в виртуальном кадре не синтезируется. Следовательно, в настоящем изобретении, идентификатор предсказания межкадрового синтеза, указывающий, получить ли изображение в виртуальном кадре, извлекается из сигнала видео. Затем возможно получить изображение в виртуальном кадре, используя этот идентификатор предсказания межкадрового синтеза.
Как упомянуто в предшествующем описании, информация кадра для идентификации кадра изображения, и список опорных изображений для межкадрового предсказания могут использоваться модулем 700 интер-предсказания. И они могут также использоваться при выполнении взвешенного предсказания. Взвешенное предсказание применимо к процессу для выполнения компенсации движения. При этом, если текущее изображение использует опорное изображение в отличном кадре, возможно выполнить взвешенное предсказание более эффективно с использованием информации кадра и списка опорных изображений для межкадрового предсказания. Взвешенные способы предсказания согласно вариантам осуществления настоящего изобретения описываются ниже.
Фиг.27 - последовательность операций способа выполнения взвешенного предсказания согласно типу вырезки при кодировании сигнала видео согласно настоящему изобретению.
Со ссылками на фиг.27, взвешенное предсказание является способом масштабирования выборки скомпенсированных по движению данных предсказания в макроблоке P-slice или B-slice. Способ взвешенного предсказания включает в себя явный режим для выполнения взвешенного предсказания для текущего изображения, используя информацию взвешенного коэффициента, полученную из информации для опорных изображений, и неявный режим для выполнения взвешенного предсказания для текущего изображения, используя информацию взвешенного коэффициента, полученную из информации для расстояния между текущим изображением и одним из опорных изображений. Способ взвешенного предсказания может применяться отличным образом согласно типу вырезки текущего макроблока. Например, в явном режиме, информация взвешенного коэффициента может быть изменена согласно тому, является ли текущий макроблок, в отношении которого выполняется взвешенное предсказание, макроблоком P-вырезки или макроблоком B-вырезки. И взвешенный коэффициент явного режима может быть определен кодером и может быть передан как включенный в заголовок вырезки. С другой стороны, в неявном режиме взвешенный коэффициент может быть получен на основании относительной временной позиции Списка 0 и Списка 1. Например, если опорное изображение является по времени близким к текущему изображению, применим большой взвешенный коэффициент. Если опорное изображение по времени удалено от текущего изображения, применяется малый взвешенный коэффициент.
Прежде всего тип вырезки макроблока для применения взвешенного предсказания к нему извлекают из сигнала видео (S2710).
Затем взвешенное предсказание может быть выполнено в отношении макроблока согласно извлеченному типу вырезки (S2720).
В этом случае тип вырезки может включать в себя макроблок, к которому применяется межкадровое предсказание. Межкадровое предсказание означает, что текущее изображение предсказывают, используя информацию для изображения в кадре, отличном от такового текущего изображения. Например, тип вырезки может включать в себя макроблок, к которому применяется временное предсказание для выполнения предсказания, используя информацию для изображения в том же самом кадре, что и таковая текущего изображения, макроблок, к которому применяется межкадровое предсказание, и макроблок, к которому применяются оба из временного предсказания и межкадрового предсказания. И тип вырезки может включать в себя макроблок, к которому применяется только временное предсказание, макроблок, к которому применяется только межкадровое предсказание, или макроблок, к которому применяются оба из временного предсказания и межкадрового предсказания. Кроме того, тип вырезки может включать в себя два из типов макроблока или все три типа макроблока. Это описано подробно со ссылками на фиг.28 ниже. Таким образом, в случае, если тип вырезки, включающий в себя макроблок с применяемым межкадровым предсказанием, извлечен из сигнала видео, выполняется взвешенное предсказание, используя информацию для изображения в кадре, отличном от такового текущего изображения. При этом идентификатор кадра для идентификации кадра изображения может использоваться, чтобы использовать информацию для изображения в отличном кадре.
Фиг.28 - диаграмма типов макроблоков, допустимых в типе вырезки при кодировании сигнала видео согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.28, если тип P-вырезки посредством межкадрового предсказания определен как VP (View_P), интра-макроблок I, макроблок P, предсказанный из одного изображения в текущем кадре, или макроблок VP, предсказанный из одного изображения в отличном кадре, допустим для этого типа P-вырезки в соответствии с межкадровым предсказанием (2810).
В случае, когда тип B-вырезки в соответствии с межкадровым предсказанием определен как VB (View_B), макроблок P или B, предсказанный из по меньшей мере одного изображения в текущем кадре, или макроблок VP или VB, предсказанный из по меньшей мере одного изображения в отличном кадре, является допустимым (2820).
В случае, если тип вырезки, в отношении которого выполнено предсказание, используя временное предсказание, межкадровое предсказание, или оба из временного предсказания и межкадрового предсказания, определен как 'Смешанный', интра-макроблок I, макроблок P или B, предсказанный из по меньшей мере одного изображения в текущем кадре, макроблок VP или VB, предсказанный из по меньшей мере одного изображения в отличном кадре, или макроблок 'Смешанный', предсказанный с использованием обоих из изображения в текущем кадре и изображения в отличном кадре, допустимы для смешанного типа вырезки (2830). В этом случае, чтобы использовать изображение в отличном кадре, можно использовать идентификатор кадра для идентификации кадра изображения.
Фиг.29 и фиг.30 - диаграммы синтаксиса для выполнения взвешенного предсказания согласно вновь определенному типу вырезки согласно одному варианту осуществления настоящего изобретения.
Как упомянуто в предшествующем описании фиг.28, если тип вырезки определен как VP, VB, или Mixed (Смешанный), синтаксис для выполнения обычного взвешенного предсказания (например, H.264) может быть модифицирован в фиг.29 или фиг.30.
Например, если типом вырезки является P-вырезка в соответствии с временным предсказанием, добавляют часть 'if(slice_type! = VP Il slice_type! = VB)' (2910).
Если тип вырезки есть B-вырезка в соответствии с временным предсказанием, условный оператор может изменяться на 'if(slice_type == B Il slice_type == Смешанный)' (2920).
Заново определяя тип вырезки VP и тип вырезки VB, формат, подобный фиг.29, может быть вновь добавлен (2930, 2940). В этом случае, так как информация для кадра добавляется, элементы синтаксиса включают в себя части 'кадра', соответственно. Например, имеется 'luma_Iog2_view_weiht_denom, chroma_log2_view_weight_denom'.
Фиг.31 - последовательность операций способа выполнения взвешенного предсказания, используя информацию флага, указывающую, выполнить ли межкадровое взвешенное предсказание при кодировании сигнала видео согласно настоящему изобретению.
Со ссылками на фиг.31, при кодировании сигнала видео, к которому настоящее изобретение применяется, в случае использования информации флага, указывающей, будет ли взвешенное предсказание выполнено, разрешается более эффективное кодирование.
Информация флага может быть определена на основании типа вырезки. Например, может существовать информация флага, указывающая, будет ли взвешенное предсказание применяться к P-вырезке или SP-вырезке, или информация флага, указывающая, будет ли взвешенное предсказание применяться к B-вырезке.
В частности, информация флага может быть определена как 'weighted_pred_flag' или 'weighted_bipred_idc'. Если 'weighted_pred_flag=0', это указывает, что взвешенное предсказание не применяется к P-вырезке и SP-вырезке. Если 'weighted_pred_flag=1', это указывает, что взвешенное предсказание применяется к P-вырезке и SP-вырезке. Если 'weighted_bipred_idc=0', это указывает, что заданное по умолчанию взвешенное предсказание применяется к B-вырезке. Если 'weighted_bipred_idc=1', это указывает, что явное взвешенное предсказание применяется к B-вырезке. Если 'weighted_bipred_idc= 2', это указывает, что неявное взвешенное предсказание применяется к B-вырезке.
При кодировании мультикадрового видео информация флага, указывающая, будет ли выполнено взвешенное предсказание, используя информацию для межкадрового изображения, может быть определена на основании тип вырезки.
Прежде всего, тип вырезки и информацию флага, указывающую, будет ли выполнено межкадровое взвешенное предсказание, извлекают из сигнала видео (S3110, S3120). В этом случае тип вырезки может включать в себя макроблок, к которому временное предсказание для выполнения предсказания, используя информацию для изображения в том же самом кадре, что и таковая текущего изображения, применяется, и макроблок, к которому применяется межкадровое предсказание для выполнения предсказания, используя информацию для изображения в кадре, отличном от такового текущего изображения.
Затем можно определить взвешенный режим предсказания на основании извлеченного типа вырезки и извлеченной информации флага (S3130).
Затем можно выполнить взвешенное предсказание согласно определенному взвешенному режиму (S3140) предсказания. В этом случае информация флага может включать в себя информацию флага, указывающую, будет ли выполнено взвешенное предсказание, используя информацию для изображения в кадре, отличном от такового текущего изображения, а также вышеупомянутые 'weighted_pred_flag' и 'weighted_bipred_flag'. Это описано подробно со ссылками на фиг.32 ниже.
Следовательно, в случае, если тип вырезки текущего макроблока является типом вырезки, включающим в себя макроблок, к которому применяется межкадровое предсказание, обеспечивается более эффективное кодирование, чем случай использования информации флага, указывающей, будет ли выполнено взвешенное предсказание, используя информацию для изображения в отличном кадре.
Фиг.32 - диаграмма для пояснения способа взвешенного предсказания согласно информации флага, указывающей, выполнить ли взвешенное предсказание, используя информацию для изображения в кадре, отличном от такового текущего изображения согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.32, например, информация флага, указывающая, будет ли выполнено взвешенное предсказание, используя информацию для изображения в кадре, отличном от такового текущего изображения, может быть определена как 'view_weighted_pred_flag' или 'view_weighted_bipred_flag'.
Если 'view_weighted_pred_flag=0', это указывает, что взвешенное предсказание не применяется к VP-вырезке. Если 'view_weighted_pred_flag=1', явное взвешенное предсказание применяется к VP-вырезке. Если 'view_weighted_bipred_flag=0', это указывает, что заданное по умолчанию взвешенное предсказание применяется к VB-вырезке. Если 'view_weighted_bipred_flag=1', это указывает, что явное взвешенное предсказание применяется к VB-вырезке. Если 'view_weighted_bipred_flag=2', это указывает, что неявное заданное по умолчанию взвешенное предсказание применяется к VB-вырезке.
В случае, когда неявное взвешенное предсказание применяется к VB-вырезке, весовой коэффициент может быть получен из относительного расстояния между текущим кадром и отличным кадром. В случае, когда неявное взвешенное предсказание применяется к VB-вырезке, взвешенное предсказание может быть выполнено, используя идентификатор кадра, идентифицирующий кадр изображения, или порядковый индекс изображения (POC), воспроизведенный посредством рассмотрения разрешения каждого кадра.
Вышеупомянутая информация флага могут быть включена в набор параметров изображения (PPS). В этом случае набор параметров изображения (PPS) означает информацию заголовка, указывающую режим кодирования всех изображений (например, режим статистического кодирования, начальное значение параметра квантования единицей изображения и т.д.). Однако набор параметров изображения не применяется ко всем изображениям. Если набор параметров изображения не существует, набор параметров изображения, существующий непосредственно прежде, используется в качестве информации заголовка.
Фиг.33 - диаграмма синтаксиса для выполнения взвешенного предсказания согласно вновь определенной информации флага согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.33 при кодировании мультикадрового видео, к которому применятся настоящее изобретение, в случае, если тип вырезки, включающий в себя макроблок, примененный к межкадровому предсказанию, и информация флага, указывающая будет ли выполнено взвешенное предсказание, используя информацию для изображения в кадре, отличную от такового текущего изображения, определены, необходимо определить, какое взвешенное предсказание будет выполнено согласно типу вырезки.
Например, если тип вырезки, как показано на фиг.33, извлеченный из сигнала видео, есть P-вырезка или SP-вырезка, взвешенное предсказание может быть выполнено, если 'weighted_pred_flag=1'. В случае, когда типом вырезки является B-вырезка, взвешенное предсказание может быть выполнено, если 'weighted_bipred_flag=1'. В случае, когда типом вырезки является VP-вырезка, взвешенное предсказание может быть выполнено, если 'view_weighted_pred_flag=1'. В случае, когда типом вырезки является VB-вырезка, взвешенное предсказание может быть выполнено, если 'view_weighted_bipred_flag=1'.
Фиг.34 - последовательность операций способа выполнения взвешенного предсказания согласно NAL (сетевой уровень абстракции)-блоку согласно варианту осуществления настоящего изобретения.
Со ссылками на фиг.34, прежде всего, тип NAL-блока (nal_unit_type) извлекают из сигнала видео (S910). В этом случае тип NAL-блока означает идентификатор, указывающий тип NAL-блока. Например, если 'nal_unit_type=5', NAL-блоком является вырезка изображения IDR. И IDR (мгновенное восстановление декодирования) изображение означает головное изображение последовательности видео.
Затем проверяют, является ли извлеченный тип NAL-блока типом NAL-блока для мультикадрового кодирования видео (S3420).
Если тип NAL-блока есть тип NAL-блока для мультикадрового кодирования видео, взвешенное предсказание выполняют с использованием информации для изображения в кадре, отличном от такового текущего изображения (S3430). Тип NAL-блока может быть типом NAL-блока, применимым как к масштабируемому кодированию видео, так и мультикадровому кодированию видео или типом NAL-блока только для мультикадрового кодирования видео. Таким образом, если тип NAL-блока предназначен для кодирования мультикадрового видео, взвешенное предсказание должно быть выполнено, используя информацию для изображения в кадре, отличном от такового текущего изображения. Так, необходимо определить новый синтаксис. Это описано подробно со ссылками на фиг.35 и фиг.36 ниже.
Фиг.35 и фиг.36 - диаграммы синтаксиса для выполнения взвешенного предсказания в случае, если тип NAL-блока предназначен для мультикадрового кодирования видео, согласно одному варианту осуществления настоящего изобретения.
Прежде всего, если тип NAL-блока есть тип NAL-блока для кодирования мультикадрового видео, синтаксис для выполнения обычного взвешенного предсказания (например, H.264) может изменяться в синтаксис, показанный на фиг.35 или фиг.36. Например, ссылочная позиция 3510 указывает часть синтаксиса для выполнения обычного взвешенного предсказания, и ссылочная позиция 3520 указывает часть синтаксиса для выполнения взвешенного предсказания при кодировании мультикадрового видео. Так, взвешенное предсказание выполнено частью 3520 синтаксиса только, если типом NAL-блока является тип NAL-блока для мультикадрового кодирования видео. В этом случае, так как информация для кадра добавлена, каждый элемент синтаксиса включает в себя часть 'Кадр'. Например, имеется 'Iuma_view_log2_weight_denom, chroma_view_log2_weight_denom' или подобное. И ссылочная позиция 3530 на фиг.36 указывает часть синтаксиса для выполнения обычного взвешенного предсказания и ссылочная позиция 3540 на фиг.36 указывает часть синтаксиса для выполнения взвешенного предсказания при кодировании мультикадрового видео. Так, взвешенное предсказание выполнено частью 3540 синтаксиса только, если типом NAL-блока является тип NAL-блока для мультикадрового кодирования видео. Аналогично, так как добавлена информация для кадра, каждый элемент синтаксиса включает в себя часть 'кадр'. Например, имеется 'luma_view_weight_l1_flag, chroma_view_weight_l1_flag' или подобное. Таким образом, если тип NAL-блока для мультикадрового кодирования видео определен, более эффективное кодирование допускается в отношении способа выполнения взвешенного предсказания, используя информацию для изображения в кадре, отличном от такового текущего изображения.
Фиг.37 - блок-схема устройства для декодирования сигнала видео согласно варианту осуществления настоящего изобретения.
Со ссылками на фиг.37 устройство для декодирования сигнала видео согласно настоящему изобретению включает в себя модуль 3710 извлечения типа вырезки, модуль 3720 извлечения режима предсказания и модуль 3730 декодирования.
Фиг.38 - последовательность операций способа декодирования сигнала видео в устройстве декодирования, показанном на фиг.37, согласно одному варианту осуществления настоящего изобретения.
Со ссылками на фиг.38 способ декодирования сигнала видео согласно одному варианту осуществления настоящего изобретения включает в себя этап S3810 извлечения типа вырезки и режима предсказания макроблока, и этап S3820 декодирования текущего макроблока согласно типу вырезки и/или режиму предсказания макроблока.
Сначала, схема предсказания, используемая вариантом осуществления настоящего изобретения, описана для помощи в понимании настоящего изобретения. Схема предсказания может быть классифицирована на внутри-(интра-) кадровое предсказание (например, предсказание между изображениями в одном и том же кадре) и межкадровое предсказание (например, предсказание между изображениями в различных кадрах). И внутрикадровое предсказание может быть той же схемой предсказания, что и обычное временное предсказание.
Согласно настоящему изобретению, модуль 3710 извлечения типа вырезки извлекает тип вырезки для вырезки, включающей в себя текущий макроблок (S3810).
В этом случае поле (slice_type) типа вырезки, указывающее тип вырезки для внутрикадрового предсказания и/или поле типа вырезки (view_slice_type), указывающее тип вырезки для межкадрового предсказания, могут быть обеспечены как часть синтаксиса сигнала видео, чтобы обеспечить тип вырезки. Это описано более подробно ниже со ссылками на фиг.6(a) и 6(b). И каждый из типа вырезки (slice_type) для внутрикадрового предсказания и типа вырезки (view_slice_type) для межкадрового предсказания может указывать, например, тип I-вырезки (I_SLICE), тип P-вырезки (P_SLICE), или тип B-вырезки (B_SLICE).
Например, если 'slice_type' конкретной вырезки есть B-вырезка и 'view_slice_type' является P-вырезка, макроблок в конкретной вырезке декодируется посредством схемы кодирования B-вырезки (B_SLICE) во внутрикадровом направлении (то есть, временном направлении) и/или схемы кодирования P-вырезки (P_SLICE) в направлении кадра.
Между тем, тип вырезки способен включать в себя тип P-вырезки (VP) для межкадрового предсказания, тип B-вырезки (VB) для межкадрового предсказания и тип смешанной вырезки (Mixed) для предсказания, полученным от смешивания обоих типов предсказания. А именно, тип смешанной вырезки обеспечивает предсказание, используя комбинацию внутрикадрового и межкадрового предсказания.
В этом случае тип P-вырезки для межкадрового предсказания означает случай, когда каждый макроблок или часть макроблока, включенный в вырезку, предсказывается из одного изображения в текущем кадре или одного изображения в отличном кадре. Тип B-вырезки для межкадрового предсказания означает случай, когда каждый макроблок или часть макроблока, включенный в вырезку, предсказывается из "одного или двух изображений в текущем кадре" или "одного изображения в отличном кадре или двух изображений в различных кадрах, соответственно". И смешанный тип вырезки для предсказания, полученный из смешения обоих предсказаний, означает случай, когда каждый макроблок или часть макроблока, включенный в вырезку, предсказывается из "одного или двух изображений в текущем кадре", "одного изображения в отличном кадре или двух изображений в отличных кадрах, соответственно", или "одного или двух изображений в текущем кадре и одном изображении в отличном кадре или двух изображений в различных кадрах, соответственно".
Другими словами, ссылочное (опорное) изображение и разрешенный тип макроблока отличаются по каждому типу вырезки, что описано подробно со ссылками на фиг.43 и фиг.44 ниже.
И синтаксис среди вышеупомянутых вариантов осуществления типа вырезки описан подробно со ссылками на фиг.40 и фиг.41 ниже.
Модуль 3720 извлечения режима предсказания может извлекать индикатор режима предсказания макроблока, указывающий, является ли текущий макроблок макроблоком в соответствии с внутрикадровым предсказанием, макроблоком в соответствии с межкадровым предсказанием или макроблоком в соответствии с предсказанием, полученным из смешивания обоих типов предсказания (S3820). Для этого настоящее изобретение определяет режим (mb_pred_mode) предсказания макроблока. Один вариант осуществления режимов предсказания макроблока описан подробно со ссылками на фиг.39, 40 и фиг.41 ниже.
Модуль 3730 декодирования декодирует текущий макроблок согласно типу вырезки и/или режиму предсказания макроблока, чтобы принять/получить текущий макроблок. В этом случае текущий макроблок может быть декодирован согласно типу макроблока текущего макроблока, определенного из информации типа макроблока. И тип макроблока может быть определен согласно режиму предсказания макроблока и типу вырезки.
В случае, когда режим предсказания макроблока является режимом для внутрикадрового предсказания, тип макроблока определяют согласно типу вырезки для внутрикадрового предсказания, и текущий макроблок затем декодируют в соответствии с внутрикадровым предсказанием согласно определенному типу макроблока.
В случае, когда режим предсказания макроблока является режимом для межкадрового предсказания, тип макроблока определяют согласно типу вырезки для межкадрового предсказания, и текущий макроблок затем декодируют в соответствии с межкадровым предсказанием согласно определенному типу макроблока.
В случае, когда режим предсказания макроблока является режимом для предсказания, полученным из смешивания обоих предсказаний, тип макроблока определяют согласно типу вырезки для внутрикадрового предсказания и типу вырезки для межкадрового предсказания, и текущий макроблок затем декодируют в соответствии с предсказанием, полученным смешиванием обоих предсказаний согласно каждому из определенных типов макроблоков.
В этом случае тип макроблока зависит от режима предсказания макроблока и типа вырезки. В частности, схема предсказания, которую нужно использовать для типа макроблока, может быть определена из режима предсказания макроблока, и тип макроблока затем определен из информации типа макроблока по типу вырезки согласно схеме предсказания. А именно, один или оба из извлеченных slice_type и view_slice_type выбирают на основании режима предсказания макроблока.
Например, если режимом предсказания макроблока является режим для межкадрового предсказания, тип макроблока может быть определен из таблицы макроблоков типов вырезки (I, P, B), соответствующих типу вырезки (view_slice_type) для межкадрового предсказания. Отношение между режимом предсказания макроблоков и типом макроблоков описан подробно со ссылками на фиг.39, 40 и фиг.41 ниже.
Фиг.39 - диаграмма режимов предсказания макроблоков согласно вариантам осуществления примера настоящего изобретения.
На фиг.39(a) изображена таблица, соответствующая одному варианту осуществления режимов (mb_pred_mode) предсказания макроблоков согласно настоящему изобретению.
В случае внутрикадрового предсказания, то есть используется только временное предсказание для макроблока, '0' назначают значению 'mb_pred_mode'. В случае, если используется только межкадровое предсказание для макроблока, '1' назначается значению 'mb_pred_mode'. В случае, если используются и временное искажение и межкадровое предсказание для макроблока, '2' назначают значению 'mb_pred_mode'.
В этом случае, если значение 'mb_pred_mode' является '1', то есть, если 'mb_pred_mode' указывает межкадровое предсказание, List0 направления кадра (ViewList0) или List1 направление кадра (ViewList1) определяется в качестве списка опорных изображений для межкадрового предсказания.
На фиг.39 (b) показано соотношение между режимом предсказания макроблоков и типом макроблоков согласно другому варианту осуществления.
Если значение 'mb_pred_mode' равно '0', используется только временное предсказание. И тип макроблока определяется согласно типу вырезки (slice_type) для внутрикадрового предсказания.
Если значение 'mb_pred_mode' равно '1', используется только межкадровое предсказание. И тип макроблока определяется согласно типу вырезки (view_slice_type) для межкадрового предсказания.
Если значение 'mb_pred_mode' равно '2', используется смешанное предсказание как временного, так и внутрикадрового предсказания. И два типа макроблоков определяются согласно типу вырезки (slice_type) для внутрикадрового предсказания и типу вырезки (view_slice_type) для межкадрового предсказания.
На основании режима предсказания макроблока тип макроблока задается на основании типа вырезки, как показано в таблицах 1-3 ниже. [Пожалуйста, вставьте таблицы 7-12 - 7-14 в N6540 здесь как таблицы 1-3].
Другими словами, в этом варианте осуществления схема предсказания, используемая для макроблока, и тип вырезки, на которые ссылаются, определяются режимом предсказания макроблоков. И тип макроблока определяют согласно типу вырезки.
Фиг.40 и фиг.41 - диаграммы вариантов осуществления примера синтаксиса части сигнала видео, принятого устройством для декодирования сигнала видео. Как показано, синтаксис имеет тип вырезки и информацию режима предсказания макроблоков согласно варианту осуществления настоящего изобретения.
На фиг.40 показывается примерный синтаксис. В этом синтаксисе поле 'slice_type' и поле 'view_slice_type' обеспечивает типы вырезки, и поле 'mb_pred_mode' обеспечивает режим предсказания макроблока.
Согласно настоящему изобретению, поле 'slice_type' обеспечивает тип вырезки для внутрикадрового предсказания и поле 'view_slice_type' обеспечивает тип вырезки для межкадрового предсказания. Каждый тип вырезки может стать типом I-вырезки, типом P-вырезки или типом B-вырезки. Если значение 'mb_pred_mode' равно '0' или '1', определяется один тип макроблока. Однако в случае, если это значение 'mb_pred_mode' равно '2', можно видеть, что другой тип макроблока (или два типа) дополнительно определяется. Другими словами, синтаксис, показанный на (a) на фиг.40, указывает, что 'view_slice_type' добавляется, чтобы далее применить обычные типы вырезки (I, P, B) для мультикадрового кодирования видео.
На фиг.41 показывается другой примерный синтаксис. В этом синтаксисе поле 'slice_type' используется, чтобы обеспечить тип вырезки и поле 'mb_pred_mode' используется, чтобы обеспечить режим предсказания макроблока.
Согласно настоящему изобретению поле 'slice_type' может включать в себя, помимо прочего, тип (VP) вырезки для межкадрового предсказания, тип-B вырезки (VB) для межкадрового предсказания и смешанный тип вырезки (Mixed) для предсказания, полученного из смешивания как внутрикадрового и межкадрового предсказаний.
Если значение в поле 'mb_pred_mode' равно '0' или '1', один тип макроблока определяется. Однако в случае, если значение в поле 'mb_pred_mode' равно '2', можно видеть, что определяется дополнительный (то есть, общее количество равное двум) тип макроблока. В этом варианте осуществления информация типа вырезки существует в заголовке вырезки, который описан подробно со ссылками на фиг.42. Другими словами, синтаксис, показанный на фиг.41, указывает, что типы вырезки VP, VB и Mixed добавлены к обычному типу вырезки (slice_type).
Фиг.42 изображают диаграммы примеров для применения типов вырезки, показанных на фиг.41.
Диаграмма на фиг.42(a) показывает, что тип P-вырезки (VP) для межкадрового предсказания, тип B-вырезки (VB) для межкадрового предсказания и смешанный тип вырезки (Mixed) для предсказания, полученного из смешивания обоих предсказания, может существовать в качестве типа вырезки, в дополнение к другим типам вырезки, в заголовке вырезки. В частности, тип вырезки VP, VB и Mixed согласно варианту осуществления примера добавлены к типам вырезки, которые могут существовать в общем заголовке вырезки.
Диаграмма на фиг.42 (b) показывает, что тип P-вырезки (VP) для межкадрового предсказания, тип B-вырезки (VB) для межкадрового предсказания и смешанный тип вырезки (Mixed) для предсказания, полученный из смешивания обоих предсказаний, может существовать в качестве типа вырезки в заголовке вырезки для кодирования мультикадрового видео (MVC). В частности, типы вырезки согласно примерному варианту осуществления определены в заголовке вырезки для кодирования мультикадрового видео.
Диаграмма на фиг.42(c) показывает, что тип вырезки (VP) для межкадрового предсказания, тип B-вырезки (VB) для межкадрового предсказания и смешанный тип вырезки (Mixed) для предсказания, полученный из смешивания обоих предсказания, может существовать в качестве типа вырезки, в дополнение к существующему типу вырезки для масштабируемого кодирования видео в заголовке вырезки для масштабируемого кодирования видео (SVC). В частности, тип вырезки VP, VB и Mixed согласно варианту осуществления примера добавлены к типам вырезки, которые могут существовать в заголовке вырезки стандарта масштабируемого кодирования видео (SVC).
Фиг.43 - диаграмма различных примеров типов вырезки, включенных в тип вырезки, показанный на фиг.41.
На фиг.43(a) показывается случай, когда тип вырезки предсказан из одного изображения в отличном кадре. Так, тип вырезки становится типом вырезки (VP) для межкадрового предсказания.
На фиг.43(b) показывается случай, когда тип вырезки предсказан из двух изображений в различных кадрах, соответственно. Так, тип вырезки становится типом B-вырезки (VB) для межкадрового предсказания.
На фиг.43(c) и 43(f) показывается случай, когда тип вырезки предсказан из одного или двух изображений в текущем кадре и одном изображении в отличном кадре. Так, тип вырезки становится смешанным типом вырезки (Mixed) для предсказания, полученного из смешивания обоих предсказаний. Также, на фиг.43(d) и 43(e) показывается случай, когда тип вырезки предсказывается из одного или двух изображений в текущем кадре и двух изображениях в различных кадрах. Так, тип вырезки также становится смешанным (Mixed) типом вырезки.
Фиг.44 - диаграмма макроблока, разрешенного для типов вырезки, показанных на фиг.41.
Со ссылками на фиг.44, интра-макроблок (I), макроблок (P), предсказанный из одного изображения в текущем кадре, или макроблок (VP), предсказанный из одного изображения в отличном кадре, разрешены для типа P-вырезки (VP) в соответствии с межкадровым предсказанием.
Интра-макроблок (I), макроблок (P или B), предсказанные из одного или двух изображений в текущем кадре, или макроблок VP или VB, предсказанный из одного изображения в отличном кадре или двух изображений в различных кадрах, соответственно, разрешены для типа B-вырезки (VB) в соответствии с межкадровым предсказанием.
И интра-макроблок (I); макроблок (P или B), предсказанный из одного или двух изображений в текущем кадре; макроблок (VP или VB), предсказанный из одного изображения в отличном кадре или двух изображений в различных кадрах, соответственно, или макроблок (Mixed), предсказанный из одного или двух изображений в текущем кадре, одного изображения в отличном кадре или двух изображений в различных кадрах, соответственно, разрешены для смешанного типа вырезки (Mixed).
Фиг.45-47 - диаграммы типа макроблока для макроблока, существующего в смешанном типе вырезки (Mixed) согласно вариантам осуществления настоящего изобретения.
На фиг.45(a) и 45(b) показываются схемы конфигурации для типа макроблока (mb_type) и типа под-макроблока (sub_mb_type) для макроблока, существующего в смешанной вырезки, соответственно.
На фиг.46 и 47 показывается двоичный кадр направления(й) предсказания макроблока, существующего в смешанной вырезке, и фактическое направление(я) предсказания смешанной вырезки, соответственно.
Согласно варианту осуществления настоящего изобретения, тип макроблока (mb_type) подготавливают посредством рассмотрения и размера (Partition_Size) части макроблока и направления (Direction) предсказания части макроблока.
И тип под-макроблока (sub_mb_type) подготавливают посредством рассмотрения и размера (Sub_Partition_Size) части под-макроблока и направления предсказания (Sub_Direction) каждой части под-макроблока.
Со ссылками на фиг.45(a) 'Direction0' и 'Direction1' указывают направление предсказания первой части макроблока и направление предсказания второй части макроблока, соответственно. В частности, в случае макроблока 8×16, 'Direction0' указывает направление предсказания для левой части макроблока 8×16, и 'Direction1' указывает направление предсказания для правой части макроблока 8×16. Конфигурационный принцип типа макроблока (mb_type) описан подробно ниже. Сначала, первые два бита указывают размер части (Partition_Size) соответствующего макроблока, и значение 0~3 доступно для этих первых двух битов. И четыре бита, следующие после первых двух битов, указывают направление предсказания (Direction) в случае, когда макроблок разделен на части.
Например, в случае макроблока 16×16 четыре бита, указывающие направление предсказания макроблока, присоединены позади первых двух битов. В случае макроблока 16×8 четыре бита после первых двух битов указывает направление предсказания (Direction0) первой части, и другие четыре бита присоединены к упомянутым четырем битам, чтобы указать направление предсказания (Direction1) второй части. Аналогично, в случае макроблока 8×16 восемь битов присоединены позади первых двух битов. В этом случае первые четыре бита из восьми битов, присоединенных к первым двум битам, указывают направление предсказания первой части, и следующие четыре бита указывают направление предсказания второй части.
Со ссылками на фиг.45(b) направление предсказания (Sub_Direction) под-макроблока используется тем же самым способом, что и направление предсказания (Direction) части макроблока, показанного на фиг.45(a). Принцип конфигурирования типа под-макроблока (sub_mb_type) описан подробно ниже.
Сначала, первые два бита указывают размер части (Partition_Size) соответствующего макроблока и вторые два бита, следующие за упомянутыми двумя битами, указывают размер части (Sub_Partition_Size) под-макроблока соответствующего макроблока. Значение 0-3 доступно для каждого из первых и вторых двух битов. Затем четыре бита, присоединенные ко вторым двум битам, указывают направление предсказания (Sub_Direction) в случае, когда макроблок разделен на части под-макроблока. Например, если размер (Partition_Size) части макроблока равен 8×8, и если размер (Sub_Partition_Size) части под-макроблока равен 4×8, первые два бита имеют значение 3, вторые два бита имеют значение 2, первые четыре бита вслед за вторыми двумя битами указывают направление предсказания для левого блока 4×8 из двух 4×8 блоков, и вторые четыре бита вслед за первыми четырьмя битами указывают направление предсказания для правого блока 4×8.
Со ссылками на фиг.46, направление предсказания макроблока создается четырьмя битами. И можно видеть, что каждое двоичное представление становится равным '1' согласно случаю ссылки на изображение в левой (L), верхней (T), правой (R) или нижней (B) позициях текущего изображения.
Со ссылками на фиг.47, например, в случае, если направление предсказания является верх (T), изображение, расположенное сверху в направлении кадра текущего изображения, является опорным. В случае, когда направление предсказания соответствует всем направлениям (LTRB), можно видеть, что изображения во всех направлениях (LTRB) текущего изображения являются опорными.
Фиг.48 - блок-схема устройства для кодирования сигнала видео согласно варианту осуществления настоящего изобретения.
Со ссылками на фиг.48 (изображено) устройство для кодирования сигнала видео согласно варианту осуществления настоящего изобретения. Устройство включает в себя модуль 4810 определения типа макроблока, модуль 4820 формирования макроблока и модуль 4830 кодирования.
Фиг.49 иллюстрирует последовательность операций способа кодирования сигнала видео в устройстве кодирования, показанном на фиг.48, согласно варианту осуществления настоящего изобретения.
Со ссылками на фиг.49, способ кодирования сигнала видео согласно варианту осуществления настоящего изобретения включает в себя этап S4910 определения первого типа макроблока для внутрикадрового предсказания и второго типа макроблока для межкадрового предсказания, этап S4920 формирования первого макроблока, имеющего первый тип макроблока, и второго макроблока, имеющего второй тип макроблока, этап S4930 формирования третьего макроблока, используя первый и второй макроблоки, и этап S4940 кодирования типа макроблока текущего макроблока и режима предсказания макроблока.
Согласно настоящему изобретению, модуль 4810 определения типа макроблока определяет первый тип макроблока для внутрикадрового предсказания и второй тип макроблока для межкадрового предсказания (S4910), как описано подробно выше.
Затем модуль 4820 формирования макроблока формирует первый макроблок, имеющий первый тип макроблока, и второй макроблок, имеющий второй тип макроблока (S4920), с использованием известных способов предсказания, и затем формирует третий макроблок, используя первый и второй макроблоки (S4930). В этом случае третий макроблок формируют согласно среднему значению между первым и вторым макроблоками.
Наконец, модуль 4830 кодирования кодирует тип макроблока (mb_type) текущего макроблока и режим (mb_pred_mode) предсказания макроблока текущего макроблока, сравнивая эффективности кодирования первого-третьего макроблоков (S4940).
В этом случае имеются различные способы измерить эффективности кодирования. В частности, способ, использующий RD-стоимость (искажения частоты следования битов) используется в этом варианте осуществления настоящего изобретения. Как известно, в способе RD-стоимости соответствующая стоимость вычисляется с двумя компонентами: количество битов кодирования, сформированных из кодирования соответствующего блока, и значение искажения, указывающее ошибку от фактической последовательности.
Первый и второй типы макроблоков могут быть определены способом выбора типа макроблока, имеющего минимальное значение выше описанной RD стоимости. Например, тип макроблока, имеющий минимальное значение RD-стоимости среди типов макроблока в соответствии с внутрикадровым предсказанием, определяется как первый тип макроблока. И тип макроблока, имеющий минимальное значение RD-стоимости среди типа макроблока в соответствии с межкадровым предсказанием определяется как второй тип макроблока.
На этапе кодирования типа макроблока и режима предсказания макроблока, тип макроблока и режим предсказания, связанные с этими первым и вторым макроблоками, имеющих меньшую RD-стоимость, можгут быть выбраны. Затем определяется RD-стоимость третьего макроблока. Наконец, тип макроблока и режим предсказания макроблока текущего макроблока кодируют посредством сравнения RD-стоимости выбранного первого или второго макроблока и RD-стоимости третьего макроблока друг с другом.
Если RD-стоимость выбранного первого или второго макроблока равна или больше, чем RD-стоимость третьего макроблока, тип макроблока становится типом макроблока, соответствующим выбранному первому или второму макроблоку.
Например, если RD-стоимость первого макроблока меньше, чем таковая второго и третьего макроблоков, текущий макроблок устанавливается как первый тип макроблока. И режим предсказания макроблока (то есть, внутрикадровое предсказания) становится схемой предсказания макроблока, соответствующего RD-стоимости.
Например, если RD-стоимость второго макроблока меньше, чем таковая первого и третьего макроблоков, схема межкадрового предсказания в качестве схемы предсказания второго макроблока становится режимом предсказания макроблока текущего макроблока.
Между тем, если RD-стоимость третьего макроблока меньше, чем RD стоимости первого и второго макроблоков, типы макроблоков соответствуют и первому, и второму типам макроблоков. В частности, типы макроблока внутрикадрового предсказания и межкадрового предсказания становятся типами макроблока текущего макроблока. И режим предсказания макроблока становится схемой смешанного предсказания, полученной из смешивания внутрикадрового предсказания и межкадрового предсказания.
Соответственно, настоящее изобретение обеспечивает по меньшей мере следующий эффект или преимущество.
Настоящее изобретение способно исключить информацию избыточности между кадрами из-за различных схем предсказания между кадрами и такую информацию как типы вырезки, типы макроблока и режимы предсказания макроблока; таким образом повышая производительность кодирования/эффективность декодирования.
Промышленная применимость
Хотя настоящее изобретение было описано и проиллюстрировано со ссылками на предпочтительные варианты его осуществления, специалистам очевидно, что различные модификации и изменения могут быть сделаны без отхода от объема и сущности изобретения. Таким образом, предполагается, что настоящее изобретение охватывает модификации и изменения этого изобретения, которые определяются прилагаемой формулой изобретения и ее эквивалентами.

Claims (13)

1. Способ декодирования мультикадровых данных видео в потоке мультикадровых данных видео, содержащий этапы, на которых:
принимают поток мультикадровых данных видео, включающий в себя изображение с произвольным доступом, включающее в себя вырезку с произвольным доступом, при этом вырезка с произвольным доступом ссылается только на вырезки, соответствующие одному и тому же времени и другому кадру упомянутого изображения с произвольным доступом;
получают флаг произвольного доступа для межкадрового предсказания, причем флаг произвольного доступа указывает, является ли тип изображения изображением с произвольным доступом;
получают информацию инициализации списка опорных изображений для вырезки с произвольным доступом, основываясь на флаге произвольного доступа, причем информация инициализации представляет опорное соотношение между множеством кадров, причем информация инициализации включает в себя информацию о номере кадра и информацию идентификации кадра;
выполняют инициализацию списка опорных изображений, используя информацию о номере кадра и информацию идентификации кадра;
получают из упомянутого потока мультикадровых данных видео информацию модификации для инициализированного списка опорных изображений, причем информация модификации представляет способ назначения межкадрового ссылочного индекса в инициализированном списке опорных изображений;
определяют значение модификации назначения для модификации межкадрового ссылочного индекса в инициализированном списке опорных изображений в соответствии с информацией модификации;
модифицируют инициализированный список опорных изображений для межкадрового предсказания, используя упомянутое определенное значение модификации назначения;
определяют значение предсказания макроблока в изображении с произвольным доступом, основываясь на модифицированном списке опорных изображений; и
декодируют упомянутый макроблок, используя упомянутое значение предсказания,
при этом информацию инициализации получают, основываясь на значении, указывающем порядок декодирования множества кадров.
2. Способ по п.1, в котором информация номера кадра указывает номер опорных кадров изображения с произвольным доступом, а информация идентификации кадра обеспечивает идентификатор кадра каждого опорного кадра для изображения с произвольным доступом.
3. Способ по п.1, в котором мультикадровые данные видео включают в себя данные видео основного кадра, независимого от других кадров, при этом основной кадр представляет собой кадр, декодируемый без использования межкадрового предсказания.
4. Способ по п.1, в котором межкадровый ссылочный индекс назначают путем выполнения операции вычитания или операции сложения в соответствии с информацией модификации.
5. Способ по п.1, в котором информацию модификации получают из заголовка вырезки.
6. Способ по п.1, в котором определенное значение модификации назначения используют для назначения межкадрового ссылочного индекса межкадровому опорному изображению в инициализированном списке опорных изображений.
7. Способ по п.1, в котором положения любых других оставшихся изображений смещают к концу в инициализированном списке опорных изображений.
8. Устройство для декодирования мультикадровых данных видео в потоке мультикадровых данных видео, содержащее:
модуль синтаксического анализа NAL, принимающий поток мультикадровых данных видео, включающий в себя изображение с произвольным доступом, включающее в себя вырезку с произвольным доступом, при этом вырезка с произвольным доступом ссылается только на вырезки, соответствующие одному и тому же времени и другому кадру упомянутого изображения с произвольным доступом; и получающий флаг произвольного доступа для межкадрового предсказания, причем флаг произвольного доступа указывает, является ли тип изображения изображением с произвольным доступом; и получающий информацию инициализации списка опорных изображений для вырезки с произвольным доступом, основываясь на флаге произвольного доступа, причем информация инициализации представляет опорное соотношение между множеством кадров, причем информация инициализации включает в себя информацию о номере кадра и информацию идентификации кадра;
буферный модуль декодированных изображений, выполняющий инициализацию списка опорных изображений, используя информацию о номере кадра и информацию идентификации кадра; и получающий из потока мультикадровых данных видео информацию модификации для инициализированного списка опорных изображений, причем информация модификации представляет способ назначения межкадрового ссылочного индекса в инициализированном списке опорных изображений; и определяющий значение модификации назначения для модификации межкадрового ссылочного индекса в инициализированном списке опорных изображений в соответствии с информацией модификации; и модифицирующий инициализированный список опорных изображений для межкадрового предсказания, используя упомянутое определенное значение модификации назначения;
модуль внешнего предсказания, определяющий значение предсказания макроблока в изображении с произвольным доступом, основываясь на модифицированном списке опорных изображений; и декодирующий упомянутый макроблок, используя упомянутое значение предсказания,
при этом информация инициализации получена, основываясь на значении, указывающем порядок декодирования множества кадров.
9. Устройство по п.8, в котором информация номера кадра указывает номер опорных кадров изображения с произвольным доступом, а информация идентификации кадра обеспечивает идентификатор кадра каждого опорного кадра для изображения с произвольным доступом.
10. Устройство по п.8, в котором мультикадровые данные видео включают в себя данные видео основного кадра, независимого от других кадров, при этом основной кадр представляет собой кадр, декодируемый без использования межкадрового предсказания.
11. Устройство по п.8, в котором межкадровый ссылочный индекс назначают путем выполнения операции вычитания или операции сложения в соответствии с информацией модификации.
12. Устройство по п.8, в котором определенное значение модификации назначения используют для назначения межкадрового ссылочного индекса межкадровому опорному изображению в инициализированном списке опорных изображений.
13. Устройство по п.8, в котором положение любых других оставшихся изображений смещают к концу в инициализированном списке опорных изображений.
RU2010111711/08A 2006-03-30 2007-03-30 Способ и устройство для декодирования/кодирования сигнала видео RU2530310C2 (ru)

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
US78717106P 2006-03-30 2006-03-30
US60/787,171 2006-03-30
US80139806P 2006-05-19 2006-05-19
US60/801,398 2006-05-19
US81064206P 2006-06-05 2006-06-05
US60/810,642 2006-06-05
US83060106P 2006-07-14 2006-07-14
US60/830,601 2006-07-14
US83215306P 2006-07-21 2006-07-21
US60/832,153 2006-07-21
US83792506P 2006-08-16 2006-08-16
US60/837,925 2006-08-16
US84003206P 2006-08-25 2006-08-25
US60/840,032 2006-08-25
US84215206P 2006-09-05 2006-09-05
US60/842,152 2006-09-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2008142963/09A Division RU2395174C1 (ru) 2006-03-30 2007-03-30 Способ и устройство для декодирования/кодирования сигнала видео

Publications (2)

Publication Number Publication Date
RU2010111711A RU2010111711A (ru) 2011-10-10
RU2530310C2 true RU2530310C2 (ru) 2014-10-10

Family

ID=38563848

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010111711/08A RU2530310C2 (ru) 2006-03-30 2007-03-30 Способ и устройство для декодирования/кодирования сигнала видео

Country Status (13)

Country Link
US (29) US8565319B2 (ru)
EP (7) EP3139615A1 (ru)
JP (5) JP5247677B2 (ru)
KR (26) KR100934675B1 (ru)
AU (1) AU2007232607B2 (ru)
BR (1) BRPI0710048A2 (ru)
CA (1) CA2647735C (ru)
DE (4) DE202007019458U1 (ru)
ES (3) ES2533765T3 (ru)
MX (1) MX2008012437A (ru)
PL (2) PL2008460T3 (ru)
RU (1) RU2530310C2 (ru)
WO (5) WO2007114610A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2605237C1 (ru) * 2015-07-16 2016-12-20 Общество с ограниченной ответственностью "МАКИНТЕХ" Управляющее устройство, система и способ управления освещением

Families Citing this family (245)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090016544A (ko) 2006-01-09 2009-02-16 엘지전자 주식회사 영상 신호의 레이어 간 예측 방법
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
JP5192393B2 (ja) * 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
ZA200900857B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
MX2009000207A (es) * 2006-07-06 2009-02-13 Thomson Licensing Metodo y aparato para desacoplar el numero de cuadro y/o la cuenta del orden de imagen (poc) para la codificacion y decodificacion de video de multiples vistas.
EP2052546A4 (en) 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
US20090147860A1 (en) * 2006-07-20 2009-06-11 Purvin Bibhas Pandit Method and apparatus for signaling view scalability in multi-view video coding
US8731311B2 (en) * 2006-09-26 2014-05-20 Panasonic Corporation Decoding device, decoding method, decoding program, and integrated circuit
US8948256B2 (en) * 2006-10-13 2015-02-03 Thomson Licensing Reference picture list management syntax for multiple view video coding
KR101351935B1 (ko) 2006-10-13 2014-01-17 톰슨 라이센싱 멀티뷰 비디오 코딩을 수반하는 참조 화상 관리를 위한 방법
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
FR2907575B1 (fr) * 2006-10-18 2009-02-13 Canon Res Ct France Soc Par Ac Procede et dispositif de codage d'images representant des vues d'une meme scene
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
KR20090085581A (ko) * 2006-10-24 2009-08-07 톰슨 라이센싱 다중-뷰 비디오 코딩을 위한 화상 관리
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US20090100482A1 (en) * 2007-10-16 2009-04-16 Rodriguez Arturo A Conveyance of Concatenation Properties and Picture Orderness in a Video Stream
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
EP2103136B1 (en) * 2006-12-21 2017-11-01 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
JP5273816B2 (ja) * 2007-01-04 2013-08-28 トムソン ライセンシング 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
US8644379B2 (en) * 2007-03-07 2014-02-04 Himax Technologies Limited De-interlacing method and method of compensating a de-interlaced pixel
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2008123917A2 (en) * 2007-04-04 2008-10-16 Thomson Licensing Reference picture list management
KR101301181B1 (ko) * 2007-04-11 2013-08-29 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
BRPI0809585A2 (pt) * 2007-04-17 2014-09-23 Thomson Licensing Decodificador de referência hipotética para codificação de vídeo multivisualização
KR101427647B1 (ko) * 2007-04-25 2014-08-07 삼성전자주식회사 패킷 생성과 처리에 관한 방법 및 그 장치
US8917775B2 (en) * 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR101366250B1 (ko) * 2007-06-19 2014-02-25 삼성전자주식회사 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
BRPI0814854A2 (pt) * 2007-08-06 2015-01-27 Thomson Licensing Métodos e aparelho para modo de salto de vídeo animado com múltiplas imagens de referência entre exibições
KR20100058471A (ko) * 2007-08-15 2010-06-03 톰슨 라이센싱 다시점 코딩된 비디오에서의 오류 은폐를 위한 방법 및 장치
JP4739295B2 (ja) * 2007-08-27 2011-08-03 日本電信電話株式会社 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20110038424A1 (en) * 2007-10-05 2011-02-17 Jiancong Luo Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
KR101524465B1 (ko) * 2008-01-10 2015-06-02 삼성전자주식회사 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
CN102017632B (zh) * 2008-03-04 2013-06-12 汤姆逊许可证公司 虚拟基准视图
CN101960854B (zh) * 2008-03-10 2013-12-18 汤姆森许可贸易公司 支持增强效率和主观质量的预测帧选择的方法和设备
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
EP2109047A1 (en) * 2008-04-07 2009-10-14 Global Digital Technologies SA Video characterization, identification and search system
US8707151B2 (en) * 2008-04-21 2014-04-22 Samsung Electronics Co., Ltd Apparatus and method for composing scenes using Rich Media contents
US20090279614A1 (en) * 2008-05-10 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
CN101803388B (zh) 2008-05-23 2012-11-21 松下电器产业株式会社 图像解码装置、图像解码方法、图像编码装置、以及图像编码方法
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8705631B2 (en) * 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US20090323822A1 (en) * 2008-06-25 2009-12-31 Rodriguez Arturo A Support for blocking trick mode operations
CN102177717B (zh) * 2008-10-07 2014-01-29 艾利森电话股份有限公司 一种用于产生媒体容器文件的方法及设备
WO2010050728A2 (ko) 2008-10-27 2010-05-06 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
EP2348732A4 (en) * 2008-11-10 2012-05-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION
US8259814B2 (en) * 2008-11-12 2012-09-04 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
WO2010058955A2 (ko) * 2008-11-18 2010-05-27 엘지전자 주식회사 영상 신호 처리 방법 및 장치
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
MX2010007649A (es) 2009-01-19 2010-08-13 Panasonic Corp Metodo de codificacion, metodo de decodificacion, aparato de codificacion, aparato de decodificacion, programa y circuito integrado.
US8326131B2 (en) * 2009-02-20 2012-12-04 Cisco Technology, Inc. Signalling of decodable sub-sequences
JP5521202B2 (ja) 2009-02-23 2014-06-11 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US8767832B2 (en) * 2009-03-10 2014-07-01 Mediatek Inc. Method and apparatus for processing a multimedia bitstream
JP4947389B2 (ja) 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
KR101619451B1 (ko) * 2009-04-17 2016-05-10 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
WO2010123198A2 (ko) * 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
EP2424240A4 (en) * 2009-04-22 2013-04-10 Lg Electronics Inc METHOD FOR MODIFYING REFERENCE COPY LISTS FOR A MORE VIEWED VIDEO
JP5614901B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄｖの参照ピクチャ・リスト
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
TWI384887B (zh) * 2009-06-11 2013-02-01 Univ Nat Central 多視點影像編解碼方法
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
WO2011013257A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 マルチビュービデオ復号装置およびその方法
CA2711311C (en) * 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
US9445119B2 (en) * 2009-10-29 2016-09-13 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and device for processing a video sequence
KR101282552B1 (ko) 2009-11-04 2013-07-04 한국전자통신연구원 병렬 처리 스케일러블 비디오 부/복호화 방법 및 장치
TW201121331A (en) * 2009-12-10 2011-06-16 Novatek Microelectronics Corp Picture decoder
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
KR102344855B1 (ko) * 2010-05-26 2021-12-28 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
JP2012023651A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
WO2012011525A1 (ja) * 2010-07-21 2012-01-26 株式会社プランネット・アソシエイツ 三次元ビデオストリームへの映像変換方法
US9883161B2 (en) 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
KR102006443B1 (ko) * 2010-09-30 2019-08-02 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
US9106916B1 (en) 2010-10-29 2015-08-11 Qualcomm Technologies, Inc. Saturation insensitive H.264 weighted prediction coefficients estimation
US9521424B1 (en) * 2010-10-29 2016-12-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for local weighted prediction coefficients estimation for video encoding
KR20120050725A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 데이터 재생 방법 및 장치
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US9172956B2 (en) 2010-11-23 2015-10-27 Lg Electronics Inc. Encoding and decoding images using inter-prediction
JP5092011B2 (ja) * 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
KR20120080122A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2012093879A2 (ko) * 2011-01-06 2012-07-12 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2012096164A1 (ja) * 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
CN105100822B (zh) * 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
WO2012115434A2 (ko) * 2011-02-21 2012-08-30 한국전자통신연구원 복수 참조 영상을 이용한 영상 부복호화 방법 및 이러한 방법을 사용하는 장치
US20130322535A1 (en) * 2011-02-21 2013-12-05 Electronics And Telecommunications Research Institute Method for encoding and decoding images using plurality of reference images and device using method
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
JP6072678B2 (ja) * 2011-04-25 2017-02-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US9154804B2 (en) * 2011-06-04 2015-10-06 Apple Inc. Hint based adaptive encoding
TWI530161B (zh) * 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
KR20120140592A (ko) * 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
WO2012177063A2 (ko) 2011-06-24 2012-12-27 엘지전자 주식회사 스킵 모드 부호화 복호화 방법 및 장치
WO2013001813A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US11647197B2 (en) 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
PL2728861T3 (pl) * 2011-07-02 2017-12-29 Samsung Electronics Co., Ltd. Sposób i urządzenie do multipleksowania i demultipleksowania danych wideo w celu identyfikowania stanu odtwarzania danych wideo
MX2014000159A (es) * 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
CA2844595A1 (en) * 2011-08-09 2013-02-14 Samsung Electronics Co., Ltd. Method for multiview video prediction encoding and device for same, and method for multiview video prediction decoding and device for same
CA2845548C (en) 2011-08-25 2018-04-24 Panasonic Corporation Methods and apparatuses for encoding and decoding video using periodic buffer description
EP3094092B1 (en) 2011-09-07 2018-06-06 Sun Patent Trust Image decoding method and image decoding apparatus
SE538787C2 (sv) 2011-09-09 2016-11-22 Kt Corp Metod för att utföra interprediktion av videosignal genom att adaptivt bestämma ett sammansatt block i en sammansatt bild
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
CA2827278C (en) * 2011-09-19 2018-11-27 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
SI3474551T1 (sl) 2011-09-22 2022-06-30 Lg Electronics Inc. Postopek zunanjega napovedovanja, ki ga izvaja dekodirna naprava, postopek za kodiranje videa, ki ga izvaja kodirna naprava, in z dekodirnikom berljiv pomnilniški medij, ki ima shranjene kodirane informacije o videu
SE1850158A2 (sv) * 2011-09-23 2018-12-11 Kt Corp Förfarande för att utse ett kandidatblock för fusion samt en anordning för tillämpning av detta förfarande
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
KR20140085456A (ko) 2011-09-29 2014-07-07 텔레폰악티에볼라겟엘엠에릭슨(펍) 레퍼런스 픽처 리스트 핸들링
US9712819B2 (en) 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US8855433B2 (en) * 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
CN107770548B (zh) 2011-10-19 2020-04-14 太阳专利托管公司 解码方法、解码装置
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
EP2777258B1 (en) * 2011-11-04 2017-01-11 Huawei Technologies Co., Ltd. Binarization of prediction residuals for lossless video coding
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US20130113882A1 (en) * 2011-11-08 2013-05-09 Sony Corporation Video coding system and method of operation thereof
KR101841914B1 (ko) * 2011-11-08 2018-03-27 한국전자통신연구원 컬러 영상 및 깊이 영상을 포함하는 다시점 비디오의 부호화 및 복호화 방법, 그리고 부호화 및 복호화 장치
US10440389B2 (en) * 2011-11-11 2019-10-08 Lg Electronics Inc. Method and device for transmitting image information, and decoding method and device using same
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
WO2013105207A1 (en) * 2012-01-10 2013-07-18 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
DK3177018T3 (en) 2012-01-17 2018-06-06 Ericsson Telefon Ab L M Managing reference image lists
TW201921951A (zh) 2012-01-19 2019-06-01 美商Ｖｉｄ衡器股份有限公司 影巷編碼參考圖像清單發信及建構方法及裝置
US8693793B2 (en) * 2012-01-19 2014-04-08 Sharp Laboratories Of America, Inc. Reducing reference picture set signal overhead on an electronic device
US8867852B2 (en) 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
WO2013107939A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
US9560353B2 (en) * 2012-01-27 2017-01-31 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
EP2822277A4 (en) 2012-03-02 2015-03-04 Panasonic Ip Corp America IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
US20130243085A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
TWI816249B (zh) 2012-04-13 2023-09-21 美商Ｇｅ影像壓縮有限公司 用以自資料串流重構圖像的解碼器及方法、用以將圖像編碼入資料串流的編碼器及方法、與相關電腦程式及機器可存取媒體
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
KR101456501B1 (ko) * 2012-04-15 2014-11-03 삼성전자주식회사 참조픽처리스트 변경이 가능한 인터 예측 방법과 그 장치
US10051264B2 (en) 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
CN104396251A (zh) * 2012-04-23 2015-03-04 三星电子株式会社 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
WO2013162259A1 (ko) 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
HUE031264T2 (en) 2012-06-29 2017-07-28 Ge Video Compression Llc Video Stream Concept
JP5743968B2 (ja) * 2012-07-02 2015-07-01 株式会社東芝 動画像復号方法及び動画像符号化方法
RU2647674C1 (ru) * 2012-07-02 2018-03-16 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видео и способ и устройство для декодирования видео, определяющие список опорных изображений внешнего прогнозирования в зависимости от размера блока
CN103533374B (zh) * 2012-07-06 2018-02-16 乐金电子(中国)研究开发中心有限公司 一种视频编码、解码的方法及装置
KR102185384B1 (ko) * 2012-07-11 2020-12-02 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
WO2014010894A1 (ko) 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
WO2014013695A1 (ja) * 2012-07-19 2014-01-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN104604233B (zh) * 2012-09-28 2018-04-27 杜比国际公司 图像解码装置
US9706199B2 (en) 2012-09-28 2017-07-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
WO2014053514A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using base-layer hints for enhancement layer motion parameters
US9854234B2 (en) * 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
US10165282B2 (en) 2012-11-21 2018-12-25 Lg Electronics Inc. Image decoding method and apparatus using same
US9357212B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
KR101614361B1 (ko) 2012-12-10 2016-04-21 엘지전자 주식회사 영상의 디코딩 방법 및 이를 이용하는 장치
WO2014091933A1 (ja) * 2012-12-11 2014-06-19 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
JP6233656B2 (ja) * 2012-12-21 2017-11-22 ソニー株式会社 画像処理装置および方法
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
JP6027143B2 (ja) * 2012-12-27 2016-11-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
EP2945386B1 (en) * 2013-01-09 2020-05-06 LG Electronics Inc. Method and apparatus for processing video signals
US10136119B2 (en) * 2013-01-10 2018-11-20 Qualcomm Incoporated View synthesis in 3D video
US10491458B2 (en) * 2013-01-31 2019-11-26 Dell Products L.P. System and method for reporting peer-to-peer transfer events
WO2014163466A1 (ko) 2013-04-05 2014-10-09 삼성전자 주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
WO2014163454A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9473771B2 (en) 2013-04-08 2016-10-18 Qualcomm Incorporated Coding video data for an output layer set
EP2986000A4 (en) * 2013-04-11 2016-09-21 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
WO2014166104A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
KR102105323B1 (ko) * 2013-04-15 2020-04-28 인텔렉추얼디스커버리 주식회사 객체 기반 적응적 밝기 보상 방법 및 장치
EP3021588A4 (en) 2013-07-12 2017-12-06 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor
EP3013052A4 (en) * 2013-07-12 2017-02-01 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer encoding and method and apparatus for inter-layer decoding video using residual prediction
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
CN109905703B (zh) * 2013-10-11 2023-11-17 Vid拓展公司 Hevc扩展的高级句法
JP2016213519A (ja) * 2013-10-15 2016-12-15 シャープ株式会社 画像復号装置、画像符号化装置
US9674544B2 (en) * 2013-11-25 2017-06-06 Qualcomm Incorporated POC value design for multi-layer video coding
US9942546B2 (en) 2013-12-12 2018-04-10 Qualcomm Incorporated POC value design for multi-layer video coding
US10368084B2 (en) 2014-11-27 2019-07-30 Kt Corporation Video signal processing method and device
KR102553844B1 (ko) 2014-11-27 2023-07-10 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN105100549B (zh) * 2015-07-27 2018-06-29 京东方科技集团股份有限公司 图像补偿方法及装置
GB2553315A (en) 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
KR20180057789A (ko) 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
AT519902B1 (de) 2017-05-11 2022-07-15 Blum Gmbh Julius Führungssystem zur Führung eines Türflügels
CN111194553B (zh) 2017-10-05 2024-07-16 交互数字Vc控股公司 用于视频编码和解码中的自适应照明补偿的方法和装置
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
CN112514394B (zh) 2018-07-17 2024-10-29 松下电器（美国）知识产权公司 用于视频编码的系统和方法
CN110741647A (zh) * 2018-09-29 2020-01-31 深圳市大疆创新科技有限公司 一种图像处理方法、装置、可移动平台及存储介质
US11166048B2 (en) * 2018-10-02 2021-11-02 Tencent America LLC Method and apparatus for video coding
PL3846467T3 (pl) 2018-10-04 2024-04-08 Lg Electronics Inc. Bazujące na historii sposoby kodowania obrazu
US10708626B2 (en) * 2018-11-19 2020-07-07 Google Llc Iterative IDCT with adaptive non-linear filtering
US11184607B2 (en) * 2019-06-13 2021-11-23 Qualcomm Incorporated Same picture order count (POC) numbering for scalability support
WO2021054720A1 (ko) * 2019-09-16 2021-03-25 엘지전자 주식회사 가중 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021132962A1 (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 Nal 유닛 타입 기반 영상 또는 비디오 코딩
MX2022008593A (es) 2020-01-12 2022-10-20 Huawei Tech Co Ltd Método y aparato para armonizar predicción ponderada con modos de fusión no rectangulares.
MX2022009920A (es) * 2020-02-19 2022-09-09 Bytedance Inc Se?alizacion de pesos de una lista de imagenes de referencia.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
RU2005131939A (ru) * 2003-03-17 2006-03-20 Квэлкомм Инкорпорейтед (US) Способ и система для частичного внутрикадрового кодирования для мультимедийной радиопередачи

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US28498A (en) * 1860-05-29 Improvement in corn-planters
US147850A (en) * 1874-02-24 Improvement in cutting-nippers
US10A (en) * 1836-08-10 Gtttlslto andi
US262856A (en) * 1882-08-15 Car-heater
US89412A (en) * 1869-04-27 Improvement in mowing-machines
US202594A (en) * 1878-04-16 Improvement in fence-posts
US116558A (en) * 1871-07-04 Improvement in smelting iron ores
US106191A (en) * 1870-08-09 Fire-place heater
US159638A (en) * 1875-02-09 Improvement in grain-drills
DE1098653B (de) * 1959-06-27 1961-02-02 Hoechst Ag Verfahren zur Herstellung von Sensibilisierungsfarbstoffen
US3093928A (en) * 1961-02-16 1963-06-18 Robert K Ostrander Multivoice unit
TW352384B (en) * 1992-03-24 1999-02-11 Hoechst Ag Sulfonamido- or sulfonamidocarbonylpyridine-2-carboxamides, process for their preparation and their use as pharmaceuticals
US5473379A (en) 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
CA2138929A1 (en) * 1993-12-30 1995-07-01 Klaus Weidmann Substituted heterocyclic carboxamides, their preparation and their use as pharmaceuticals
GB9402857D0 (en) * 1994-02-15 1994-04-06 Isis Innovation Targeting gene therapy
DE4410423A1 (de) * 1994-03-25 1995-09-28 Hoechst Ag Sulfonamidocarbonylpyridin-2-carbonsäureamide sowie ihre Pyridin-N-oxide, Verfahren zu ihrer Herstellung und ihre Verwendung als Arzneimittel
DE4410480A1 (de) * 1994-03-25 1995-09-28 Hoechst Ag Sulfonamidocarbonylpyridin-2-carbonsäureesteramide sowie ihre Pyridin-N-oxide, Verfahren zu ihrer Herstellung und ihre Verwendung als Arzneimittel
IL135495A (en) * 1995-09-28 2002-12-01 Hoechst Ag Intermediate compounds for the preparation of quinoline-converted amines - 2 - carboxylic acid
US5659933A (en) * 1996-04-01 1997-08-26 Mcwilliams; Edward L. Odor-proof sealable container for bodily remains
JP4159606B2 (ja) * 1996-05-24 2008-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き推定
US5886736A (en) 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
DE19650215A1 (de) * 1996-12-04 1998-06-10 Hoechst Ag 3-Hydroxypyridin-2-carbonsäureamidester, ihre Herstellung und ihre Verwendung als Arzneimittel
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
DE19746287A1 (de) * 1997-10-20 1999-04-22 Hoechst Marion Roussel De Gmbh Substituierte Isochinolin-2-Carbonsäureamide, ihre Herstellung und ihre Verwendung als Arzneimittel
US6200974B1 (en) * 1997-10-24 2001-03-13 Zeneca Limited Phenanthroline derivatives
US5916898A (en) * 1997-10-24 1999-06-29 Zeneca Limited Phenanthroline derivatives
WO1999028469A1 (en) * 1997-12-04 1999-06-10 Genzyme Corporation Compositions and methods for inducing gene expression
US6124131A (en) * 1998-08-25 2000-09-26 The Johns Hopkins University School Of Medicine Mutant hypoxia inducible factor-1 HIF-1
US6005012A (en) * 1998-10-29 1999-12-21 The Regents Of The University Of California Method for producing hydrophobic aerogels
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
EP1075147A1 (en) 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Motion estimation
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
KR100680452B1 (ko) * 2000-02-22 2007-02-08 주식회사 팬택앤큐리텔 움직임 벡터 메모리의 갱신방법 및 장치
IT1321181B1 (it) 2000-05-04 2003-12-30 Magneti Marelli Spa Metodo e dispositivo per la stima della posizione di un corpoattuatore in un azionatore elettromagnetico per il comando di una
FR2811791B1 (fr) 2000-07-13 2002-11-22 France Telecom Estimateur de mouvement pour le codage et le decodage de sequences d'images
US6516501B2 (en) * 2000-07-31 2003-02-11 Vazquez-Perez Jose Fernando Method and apparatus for ecological burial
KR100375708B1 (ko) 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
US20020106191A1 (en) 2001-01-05 2002-08-08 Vm Labs, Inc. Systems and methods for creating a video montage from titles on a digital video disk
KR100863652B1 (ko) 2001-01-16 2008-10-15 마츠시타 덴끼 산교 가부시키가이샤 정보기록장치, 정보기록방법 및 기록매체
JP4234438B2 (ja) * 2001-03-07 2009-03-04 メルク パテント ゲゼルシャフト ミット ベシュレンクテル ハフトング ハイブリッド・イソタイプ抗体部分を含有する蛋白質の発現技術
JP4157686B2 (ja) * 2001-05-15 2008-10-01 株式会社モノリス 画像符号化および復号のための方法および装置
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6985231B2 (en) * 2001-09-20 2006-01-10 Strainoptics, Inc. Method and apparatus for measuring the optical quality of a reflective surface
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100480787B1 (ko) * 2001-11-27 2005-04-07 삼성전자주식회사 좌표 인터폴레이터의 키 값 데이터 부호화/복호화 방법 및 장치
CN100452883C (zh) 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
US20030123546A1 (en) 2001-12-28 2003-07-03 Emblaze Systems Scalable multi-level video coding
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
DK1486065T3 (en) * 2002-03-15 2016-02-29 Nokia Technologies Oy PROCEDURE FOR CODING MOVEMENT IN A VIDEO SEQUENCE
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US7831990B2 (en) 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US7023921B2 (en) 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US6925622B2 (en) * 2002-09-30 2005-08-02 Freescale Semiconductor, Inc. System and method for correlated clock networks
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
US20040080078A1 (en) * 2002-10-25 2004-04-29 Collins David C. Methods and systems for producing a desired apparent coloring in an object produced through rapid prototyping
KR100513732B1 (ko) * 2002-12-05 2005-09-08 삼성전자주식회사 3차원 객체 데이터 부호화 및 복호화 방법 및 장치
GB0229354D0 (en) 2002-12-18 2003-01-22 Robert Gordon The University Video encoding
KR100693669B1 (ko) 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US8135683B2 (en) * 2003-12-16 2012-03-13 International Business Machines Corporation Method and apparatus for data redundancy elimination at the block level
TWI238651B (en) 2004-04-30 2005-08-21 Benq Corp Method and apparatus for determining frame status of video data
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
US8184108B2 (en) 2004-06-30 2012-05-22 Poa Sana Liquidating Trust Apparatus and method for a folded optical element waveguide for use with light based touch screens
US7142209B2 (en) 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
TWI254571B (en) 2004-12-07 2006-05-01 Sunplus Technology Co Ltd Method for fast multiple reference frame motion estimation
CN102263962A (zh) 2004-12-10 2011-11-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US7728877B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US7671894B2 (en) 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US20060146932A1 (en) * 2004-12-30 2006-07-06 Krit Panusopone Method and apparatus for providing motion estimation with weight prediction
US20060233247A1 (en) 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
US20060254010A1 (en) * 2005-05-13 2006-11-16 Eugene Wagner Interproximal tool
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
US8559515B2 (en) 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
KR101244911B1 (ko) 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
KR100667830B1 (ko) 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US7903737B2 (en) 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
JP5224458B2 (ja) * 2006-01-09 2013-07-03 トムソン ライセンシング マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
JP5192393B2 (ja) 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
CN101395840B (zh) * 2006-03-01 2011-09-28 松下电器产业株式会社 发送装置和收发装置
JP5213064B2 (ja) * 2006-03-29 2013-06-19 トムソン ライセンシング マルチビュービデオ符号化方法及びその装置
MX2009000207A (es) * 2006-07-06 2009-02-13 Thomson Licensing Metodo y aparato para desacoplar el numero de cuadro y/o la cuenta del orden de imagen (poc) para la codificacion y decodificacion de video de multiples vistas.
JP5013993B2 (ja) 2006-07-12 2012-08-29 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 或るシーンの複数のマルチビュービデオを処理する方法及びシステム
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR101351935B1 (ko) 2006-10-13 2014-01-17 톰슨 라이센싱 멀티뷰 비디오 코딩을 수반하는 참조 화상 관리를 위한 방법
US8948256B2 (en) 2006-10-13 2015-02-03 Thomson Licensing Reference picture list management syntax for multiple view video coding
CN101627634B (zh) * 2006-10-16 2014-01-01 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
KR20090085581A (ko) 2006-10-24 2009-08-07 톰슨 라이센싱 다중-뷰 비디오 코딩을 위한 화상 관리
KR100823287B1 (ko) 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
US20090116558A1 (en) * 2007-10-15 2009-05-07 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
US8553781B2 (en) 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
JP4569635B2 (ja) * 2008-01-17 2010-10-27 カシオ計算機株式会社 電波受信装置および電波時計

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
RU2005131939A (ru) * 2003-03-17 2006-03-20 Квэлкомм Инкорпорейтед (US) Способ и система для частичного внутрикадрового кодирования для мультимедийной радиопередачи
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2605237C1 (ru) * 2015-07-16 2016-12-20 Общество с ограниченной ответственностью "МАКИНТЕХ" Управляющее устройство, система и способ управления освещением

Also Published As

Publication number Publication date
KR20090099586A (ko) 2009-09-22
US20100020870A1 (en) 2010-01-28
US8559505B2 (en) 2013-10-15
KR100949982B1 (ko) 2010-03-29
KR100959537B1 (ko) 2010-05-27
EP2005753A4 (en) 2010-02-03
EP3139615A1 (en) 2017-03-08
KR100966568B1 (ko) 2010-06-29
KR20090101500A (ko) 2009-09-28
US20100026883A1 (en) 2010-02-04
JP2009532931A (ja) 2009-09-10
KR20090101502A (ko) 2009-09-28
US7782945B2 (en) 2010-08-24
US20100091843A1 (en) 2010-04-15
US7782947B2 (en) 2010-08-24
KR100966570B1 (ko) 2010-06-29
AU2007232607A1 (en) 2007-10-11
US20100128787A1 (en) 2010-05-27
KR100949974B1 (ko) 2010-03-29
KR100937431B1 (ko) 2010-01-18
US20100074334A1 (en) 2010-03-25
US7782948B2 (en) 2010-08-24
US20100026884A1 (en) 2010-02-04
CA2647735C (en) 2013-08-06
US8571113B2 (en) 2013-10-29
JP2009532934A (ja) 2009-09-10
JP5054092B2 (ja) 2012-10-24
PL2005753T3 (pl) 2017-07-31
US8432972B2 (en) 2013-04-30
US20100316360A1 (en) 2010-12-16
US7782943B2 (en) 2010-08-24
US8428130B2 (en) 2013-04-23
US20090279608A1 (en) 2009-11-12
EP2005753A1 (en) 2008-12-24
KR100934675B1 (ko) 2009-12-31
US8411744B2 (en) 2013-04-02
KR100949981B1 (ko) 2010-03-29
US20100027682A1 (en) 2010-02-04
DE202007019459U1 (de) 2012-09-13
KR20090099585A (ko) 2009-09-22
KR100949978B1 (ko) 2010-03-29
KR20090101499A (ko) 2009-09-28
US20090296811A1 (en) 2009-12-03
US7782944B2 (en) 2010-08-24
KR20090101498A (ko) 2009-09-28
KR20090006094A (ko) 2009-01-14
JP2009532930A (ja) 2009-09-10
KR100934674B1 (ko) 2009-12-31
US8170108B2 (en) 2012-05-01
KR100949983B1 (ko) 2010-03-29
KR20090101496A (ko) 2009-09-28
US20100026882A1 (en) 2010-02-04
KR20090099091A (ko) 2009-09-21
KR20100074314A (ko) 2010-07-01
EP2008461A1 (en) 2008-12-31
US7782950B2 (en) 2010-08-24
DE202007019446U1 (de) 2012-09-05
US20100215100A1 (en) 2010-08-26
WO2007114610A1 (en) 2007-10-11
JP5055355B2 (ja) 2012-10-24
KR100949975B1 (ko) 2010-03-29
JP5247677B2 (ja) 2013-07-24
KR100966569B1 (ko) 2010-06-30
US20100316361A1 (en) 2010-12-16
US20100316362A1 (en) 2010-12-16
KR20090006095A (ko) 2009-01-14
WO2007114612A1 (en) 2007-10-11
KR20090099093A (ko) 2009-09-21
US20100027660A1 (en) 2010-02-04
KR20090096651A (ko) 2009-09-11
KR100959538B1 (ko) 2010-05-27
EP2005752A1 (en) 2008-12-24
ES2636917T3 (es) 2017-10-10
JP5055353B2 (ja) 2012-10-24
US20100091885A1 (en) 2010-04-15
KR20090099587A (ko) 2009-09-22
DE202007019458U1 (de) 2012-09-13
KR100934672B1 (ko) 2009-12-31
KR20090099090A (ko) 2009-09-21
KR100934673B1 (ko) 2009-12-31
KR20090099096A (ko) 2009-09-21
US8611427B2 (en) 2013-12-17
EP2025170A1 (en) 2009-02-18
US20100027653A1 (en) 2010-02-04
US20100316135A1 (en) 2010-12-16
KR20090004996A (ko) 2009-01-12
US8483273B2 (en) 2013-07-09
KR100949976B1 (ko) 2010-03-29
US8472519B2 (en) 2013-06-25
KR20090099092A (ko) 2009-09-21
KR100998912B1 (ko) 2010-12-08
EP2008460A4 (en) 2010-02-03
WO2007114611A1 (en) 2007-10-11
JP5055354B2 (ja) 2012-10-24
EP3151564A1 (en) 2017-04-05
EP2025170A4 (en) 2010-02-17
WO2007114608A1 (en) 2007-10-11
US8559523B2 (en) 2013-10-15
EP2008460A1 (en) 2008-12-31
BRPI0710048A2 (pt) 2011-08-02
PL2008460T3 (pl) 2017-10-31
US20100091883A1 (en) 2010-04-15
US20100091844A1 (en) 2010-04-15
US8576920B2 (en) 2013-11-05
EP2005752A4 (en) 2010-06-09
ES2619522T3 (es) 2017-06-26
US8565319B2 (en) 2013-10-22
US7782949B2 (en) 2010-08-24
US8363732B2 (en) 2013-01-29
US20100027654A1 (en) 2010-02-04
KR20090007331A (ko) 2009-01-16
US8611419B2 (en) 2013-12-17
US8526504B2 (en) 2013-09-03
KR100949980B1 (ko) 2010-03-29
US20100027659A1 (en) 2010-02-04
RU2010111711A (ru) 2011-10-10
EP2008461A4 (en) 2010-02-03
US20100080293A1 (en) 2010-04-01
EP2025170B1 (en) 2015-01-07
US20100111169A1 (en) 2010-05-06
KR20090101501A (ko) 2009-09-28
US8457207B2 (en) 2013-06-04
EP2008461B1 (en) 2015-09-16
AU2007232607B2 (en) 2010-09-16
JP2009532932A (ja) 2009-09-10
CA2647735A1 (en) 2007-10-11
KR100934671B1 (ko) 2009-12-31
US20100316136A1 (en) 2010-12-16
KR100966567B1 (ko) 2010-06-29
KR20090006093A (ko) 2009-01-14
US20100260265A1 (en) 2010-10-14
KR100943911B1 (ko) 2010-02-24
KR20090099094A (ko) 2009-09-21
MX2008012437A (es) 2008-11-18
KR100949979B1 (ko) 2010-03-29
US20100086036A1 (en) 2010-04-08
KR20090101497A (ko) 2009-09-28
ES2533765T3 (es) 2015-04-15
JP2009532933A (ja) 2009-09-10
KR100959536B1 (ko) 2010-05-27
KR100949977B1 (ko) 2010-03-29
KR20090099089A (ko) 2009-09-21
KR20090099095A (ko) 2009-09-21
US7782946B2 (en) 2010-08-24
WO2007114609A1 (en) 2007-10-11
EP2005753B1 (en) 2016-12-21
US20100091884A1 (en) 2010-04-15
DE202007019454U1 (de) 2012-09-03
KR20090099584A (ko) 2009-09-22
US20100091886A1 (en) 2010-04-15
EP2008460B1 (en) 2017-05-17
US8565303B2 (en) 2013-10-22
US8634475B2 (en) 2014-01-21

Similar Documents

Publication Publication Date Title
RU2530310C2 (ru) Способ и устройство для декодирования/кодирования сигнала видео
RU2395174C1 (ru) Способ и устройство для декодирования/кодирования сигнала видео