Главная страница
Навигация по странице:

  • 1.1.2. YCbCr

  • 1.3.1. Пиковое отношение сигнал/шум.

  • 1.3.2. Индекс структурного сходства.

  • 1.3.3. Неэталонный индекс блочности.

  • Магистерская. Содержание введение модификация билатерального фильтра для удаления блочности из видеопоследовательностей


    Скачать 0.99 Mb.
    НазваниеСодержание введение модификация билатерального фильтра для удаления блочности из видеопоследовательностей
    АнкорМагистерская.doc
    Дата26.04.2017
    Размер0.99 Mb.
    Формат файлаdoc
    Имя файлаМагистерская.doc
    ТипРеферат
    #3979
    страница1 из 4
      1   2   3   4

    СОДЕРЖАНИЕ



    ВВЕДЕНИЕ



    1. Модификация билатерального фильтра для удаления блочности из видео-последовательностей.




      1. Цветовые пространства и их взаимопреобразования.



    Большинство цифровых видеоприложений приспособлены для отображения цветного видео, поэтому необходимо иметь определенный механизм для захвата (т.е. фиксации) и представления цветовой информации. Для монохромного изображения достаточно задать всего одно число для выражения яркости или светимости каждого пространственного пиксела. А цветное изображение требует не менее трех чисел на один пиксел для точной передачи его цвета. Метод, выбранный для представления яркости (или светимости) и цвета, называется цветовым пространством.

        1. RGB

    В цветовом пространстве RGB пикселы цветного изображения представляются с помощью трех чисел, указывающих относительное соотношение красного, зеленого и голубого цветов (три основные компоненты видимого света). Любой цвет можно получить с помощью комбинации красного, зеленого и голубого цветов в соответствующей пропорции.

    Захват изображения RGB основан на фильтровании красной, зеленой и голубой компонент видеосцены и их фиксировании с помощью отдельных сенсорных матриц. Цветные электронно-лучевые трубки CRTs (Cathode Ray Tubes) и жидкокристаллические дисплеи отображают RGB-изображения, отдельно освещая красные, зеленые и голубые компоненты каждого пиксела в соответствии с интенсивностью каждого из них.

    1.1.2. YCbCr

    Известно, что органы зрения человека менее чувствительны к цвету предметов, чем к их яркости (светимости). В цветовом пространстве RGB все три цвета считаются одинаково важными, и они обычно сохраняются с одинаковым разрешением. Однако можно отобразить цветное изображение более эффективно, отделив светимость от цветовой информации и представив её с большим разрешением, чем цвет.

    Цветовое пространство YCbCr и его вариации (иногда их обозначают YUV) является популярным методом эффективного представления цветных изображений. Буква Y обозначает компоненту светимости, которая вычисляется как взвешенное усреднение компонент R, G и B по следующей формуле

    (2,1)

    где k обозначает соответствующий весовой множитель.

    Цветовая (хроматическая) информация может быть представлена компонентами цветовых разностей, т.е. каждая компонента цветности – это разность между компонентами R, G, B и компонентой светимости Y:

    (2,2)

    Полное описание цветного изображения задается величиной Y (компонентой светимости) и тремя хроматическими разностями Cb, Cr и Cg, которые выражают разность между интенсивностью соответствующего цвета и средней светимостью каждого пиксела изображения.

    Однако число Cb+Cr+Cg является постоянной, поэтому только две из трех хроматических компонент необходимо хранить или передавать, поскольку третью компоненту всегда легко вычислить, зная две другие. В цветовом пространстве YCbCr используется компонента яркости (Y) и две хроматические компоненты (Cb, Cr). Преимущество пространства YCbCr по сравнению с RGB заключается в том, что компоненты Cb и Cr можно представлять с меньшим разрешением, чем Y, так как глаз человека менее чувствителен к цвету предметов, чем к их яркости. Это позволяет сократить объем информации, требуемый для представления хроматических компонент, без заметного ухудшения качества передачи цветовых оттенков изображения.

    Перевод из пространства RGB в пространство YCbCr и обратно осуществляется с помощью формул:

    (2,5)

    (2,6)


      1. MPEG.



      1. Метрики оценки качества сжатых видео-последовательностей.


    Наше восприятие визуальных сцен формируется в сложнейшем взаимодействии органов зрения, глаз и мозга человека. На восприятие визуального качества влияет пространственная точность (на сколько четко видны разные части сцены, нет ли очевидных искажений) и временная точность (насколько естественным выглядит движение сцены, является ли оно «плавным» и «гладким»). Кроме того, с точки зрения зрителя, на качество воздействуют другие факторы, такие как внешнее окружение этого человека, его внутреннее состояние и степень вовлеченности во взаимодействие с визуальной сценой. На качество восприятия также влияет то особое внимание, которое зритель оказывает различным частям и точкам изображения по сравнению с общим взглядом на экран. Это так называемый эффект новизны. Все эти факторы делают чрезвычайно сложным аккуратное количественное измерение визуального качества.

    1.3.1. Пиковое отношение сигнал/шум.

    Сложность и дороговизна субъективных методов оценивания качества делают привлекательным автоматическое измерение качества с помощью определенных алгоритмов. Многие разработчики систем видеосжатия и видеообработки часто опираются на так называемые объективные (алгоритмические) меры качества. Наиболее популярной мерой служит пиковое соотношение сигнал/шум PSNR.

    Пиковое соотношение сигнал/шум PSNR (Peak Signal to Noise Ratio) измеряется с помощью логарифмической шкалы и вычисляется по среднеквадратичному отклонению MSE (mean squared error) исходного изображения от преобразованного видеокадра относительно числа (2n-1)2 (квадрата наибольшего возможного значения пиксела, где n – число бит на сэмпл кадра):

    (2,7)

    Высокое значение ПОСШ означает определенную схожесть восстановленного и исходного изображений, но оно не дает гарантию того, что зрителю понравится восстановленный образ. Большим минусом использования ПОСШ в системах цифровой обработки изображений и, в частности, в цифровых фильтрах является то, что данная величина не имеет абсолютного значения. Бессмысленно говорить о том, что если ПОСШ равно, например, 25 дБ, то это хорошо. Величина ПОСШ используется только для сравнения различных алгоритмов обработки или для изучения влияния параметров на эффективность того или иного алгоритма.

    Следует иметь в виду, что критерий ПОСШ будет характеризовать «среднее» качество изображения в целом, а на различных его фрагментах ошибки, в принципе, могут различаться [3, 4].

    Широкое применение данной оценки обусловлено тем, что подсчет этой характеристики математически прост и, следовательно, не требует больших вычислительных затрат.
    1.3.2. Индекс структурного сходства.
    Объективные методы для оценки визуального качества информации традиционно стремятся к измерению наблюдаемых зрительно ошибок (разницы) между искаженным и исходным изображением, используя разнообразные из известных свойств зрительной системы человека. Предполагая, что визуальное восприятие человека хорошо адаптировано для извлечения структурной информации из сцены, вводится альтернативная дополнительная структура для качественной оценки, основанной на деградации структурной информации. Как специфический пример этой концепции разработан индекс структурного подобия (Structural Similarity Index).

    Цифровые изображения подвержены широкому ряду искажений при получении, обработке, сжатии, хранении, передаче и воспроизведении, многие из которых приводят к ухудшению визуального качества. Для приложений, в которых изображения в конце концов наблюдаются человеком, единственным «правильным» методом измерения качества визуальной информации является метод субъективной оценки. Однако на практике субъективная оценка слишком неудобна, дорогостояща и занимает довольно много времени. Целю исследования в области объективной оценки качества изображения является создание количественной меры, которая может автоматически прогнозировать и воспроизводить качество изображений.

    Метрика объективной оценки качества может играть важную роль в широком спектре приложений. Во-первых она может быть использована в динамических мониторах, регулируя качество изображений. Например, сетевой цифровой видео сервер может, исследуя качество передаваемого видео, контролировать распределение потоковых ресурсов. Во-вторых, она может применяться для оптимизации алгоритмов и параметров настройки систем цифровой обработки изображений. Например, в системе видео-связи метрика качества может помочь в оптимальной разработке системы префильтрации и алгоритма битового распределения в кодере, а также в оптимальном восстановлении, маскировке ошибок и алгоритмах постфильтрации в декодере. В-третьих, она может быть использована как критерий качества работы систем и алгоритмов обработки изображений.

    Объективные метрики качества изображений могут быть классифицированы в соответствие с наличием или отсутствием исходного (без искажений) изображения, с которым сравнивается искаженное изображение. Наиболее часто встречающийся подход, известный как полноссылочный, предполагает известность всего исходного изображения. Однако во многих практических приложениях исходное изображение недоступно и необходимы нессылочные или «слепые» методы оценки качества. Для третьего типа методов исходное изображение доступно только частично. Это может быть набор определенных характеристик, которые сделаны доступными как дополнительная, чтобы облегчить оценку качества искаженного изображения. Такие методы называют неполноссылочной оценкой качества.

    Простейшими и широко используемыми полноссылочными метриками качества являются средняя квадратичная ошибка (MSE), вычисляемая с помощью среднего квадрата разности интенсивностей пикселей искаженного и исходного изображений, а также связанное с ней пиковое отношение сигнал/шум (PSNR). Они так популярны из-за простоты вычисления, простого физического смысла, и удобности для математической оптимизации. Однако они не очень хорошо согласуются с воспринимаемым визуальным качеством. За последние три десятилетия, некоторое количество попыток вылились в разработку методов оценки качества, которые используют известные характеристики человеческой зрительной системы. Большинство предложенных моделей оценки визуального качества основаны на той идее модификации измерения MSE, при которой ошибки учитываются в соответствии с их видимостью.

    Сигналы несинтезированных изображений высоко структурированы: их пиксели имеют строгую зависимость друг от друга, особенно когда они пространственно близки, а их зависимость несет важную информацию о структуре объекта на визуальной сцене.

    Была разработана новая структура для оценки качества изображений, основанная на предположении, что зрительная система человека высоко адаптирована к извлечению структурной информации из наблюдаемой области. Из этого следует, что изменение структурной информации приведет к хорошей аппроксимации наблюдаемых искажений визуальной информации.

    Такой подход можно лучше понять, сравнивая его с подходом, основанном на чувствительности к ошибкам. Во-первых, подход, основанный на чувствительности к ошибкам, оценивает воспроизводимые ошибки, измеряя ухудшение изображения. В то время как новый подход рассматривает ухудшение изображения как изменение визуальной структурной информации.

    Во-вторых, парадигма «чувствительный к ошибкам» означает восходящий подход, симулирующий функцию значимых начальных компонент в HVS. Новая парадигма использует нисходящий подход, подражающий гипотетической функциональности полного HVS. Это, с одной стороны, помогает новой философии избежать проблемы превышения порога, т.к. она не рассчитана на психофизический подход измерения наблюдаемых искажений. С другой стороны, проблема когнитивного взаимодействия также производит точный размер, так как исследование структуры объекта рассматривается как цель целого процесса визуального наблюдения, включая высокий уровень интерактивного процесса (которые трудно включить в восходящем подходе).

    В-третьих, проблема сложности несинтезированных изображений и их сложности также избегает некоторые области из-за того, что новая философия не пытается предсказать качество изображения путем накопления ошибок, связанных с психофизиологическим пониманием простого рисунка. Вместо этого, новая философия предлагает оценивать структурные изменения между двумя высоко-структурированными сигналами напрямую.

    Мы разработали специфический пример меры качества на основе структурного сходства из перспективы (вида) структуры изображения. Предыдущая реализация такого подхода была сделана в [6-8], были достигнуты обещающие результаты на простых тестах. В этой статье, мы обобщили этот алгоритм, обеспечили более широкий набор проверки результатов.

    Яркость поверхности наблюдаемого объекта – это результат освещения и отражения, однако структура объектов на сцене не зависит от освещения. Следовательно, исследуя структурную информацию на изображении, мы хотим отделить влияние освещения. Мы определяем структурную информацию на изображении как характерную черту, которая представляет структуру объектов на сцене, независящую от средней яркости и контраста. Тогда как яркость и контраст могут изменяться на протяжении сцены, мы используем для определенности термин «локальные» яркость и контраст.

    Системная диаграмма предложенной системы измерения качества показана на рис. Положим, что x и y – это два неотрицательных сигнала изображения, которые выровнены друг с другом (т.е. пространственные патчи извлечены из каждого изображения). Если мы предположим, что один из сигналов обладает совершенным качеством, тогда измерение схожести может служить количественной оценкой качества второго сигнала. Система выделяет задачи измерения схожести на три этапа (сравнения): яркость, контраст, структура. Во-первых, сравнивается яркость каждого сигнала. Предположим, что сигналы дискретны, тогда оценка средней интенсивности вычисляется как

    (2)

    Яркость сравнительной функции l(x,y) есть функция от μx и μy.

    Во-вторых, удаляем среднюю интенсивность из сигнала. В дискретной форме, результирующий сигнал соответствует проекции вектора x на гиперплоскость:

    (3)

    Мы используем стандартное отклонение (квадратный корень из разности) как оценку контраста сигнала. Объективная оценка в дискретной форме определяется как

    (4)

    Сравнение контраста c(x,y) тогда определяется также как сравнение σx и σy.

    В-третьих, сигнал пронормирован (поделен) на его собственное стандартное отклонение, так что два сравниваемых сигнала имеют целое стандартное отклонение. Структура сравнения s(x,y) управляет этими нормализованными сигналами (x- μx)/ σx и (y- μy)/ σy.

    Наконец, три компоненты объединяются в итоге в полное измерение схожести:

    (5)

    Очень важным является то, что эти три компоненты являются независимыми относительно друг друга. Например, изменение яркости и/или контраста не оказывает эффекта на структуру изображения.

    Для того, чтобы завершить определение измерения схожести в (5), нам необходимо определить три функции l(x,y), c(x,y), s(x,y), а также итоговую функцию f(.). Нам также необходимо, чтобы мера схожести удовлетворяла следующим условиям:

    1.3.3. Неэталонный индекс блочности.

    Математическая модель блочности



    Невооруженным глазом заметно, что данное изображение имеет блочную структуру, т.е. содержит артефакты блочности. Поскольку артефакты блочности, возникающие в горизонтальных и вертикальных направлениях, ничем не отличаются друг от друга, предложенный алгоритм будет описан только для измерения горизонтальных артефактов блочности.

    Каждый блок можно представить как сумму постоянной составляющей и независимого равномерно распределенного белого шума с нулевым математическим ожиданием и неизвестной дисперсией.




    Рассмотрим два соседних блока 8 × 8 пикселей и со средними значениями и соответственно, где . Таким образом, эти блоки можно описать следующими формулами [5]:

    , , (6)

    где и - слагаемые, являющиеся независимым равномерно распределенным белым шумом с нулевым математическим ожиданием. Когда коэффициенты ДКП соответствующих блоков и квантуются с большим шагом квантования, большинство квантованных коэффициентов равны нулю, что снижает переменные составляющие и . В результате ступенчатая двумерная функция между и может стать видимой (из-за того, что ), создавая артефакт блочности, как показано на рис. 1. Основываясь на этом наблюдении, мы формируем новый смещенный блок , составленный из правой половины и левой половины , как показано на рис. 2.




    Рис. 2. Иллюстрация формирования нового смещенного блока

    Артефакт блочности между блоками и может быть смоделирован как ступенчатая двумерная функция в блоке . Определим ступенчатый двумерный блок в новом смещенном блоке как [5]:

    (7)

    Таким образом, смещенный блок можно представить в виде следующего выражения:

    (8)

    где – это амплитуда ступенчатой двумерной функции , – это среднее значение блока , показывающее локальную яркость фона, а – это остаточный блок, который описывает локальную детализацию на границе исходных блоков и . Чем больше значение величины , тем больше артефакты блочности при неизменных яркости фона и локальной детализации. Далее применяется эффективный алгоритм на базе пространства ДКП, с помощью которого находятся коэффициенты ДКП блока и величины параметров , и .

    Представление модели блочности в пространстве ДКП


    Для перехода в область ДКП-коэффициентов определим две матрицы и следующим образом [5]:

    (9)

    где – это тождественная (единичная) матрица, а – нулевая матрица. Представим смещенный блок в виде

    (10)

    Используя свойства линейности и дистрибутивности ДКП, легко получить отображение (9) в пространстве ДКП.

    (11)

    где , , , и – это матрицы коэффициентов ДКП для блоков , , , и соответственно. Несмотря на то, что матрицы и содержат много нулей, соответствующие им в пространстве ДКП матрицы и не разрежены. Это означает, что для получения потребуется совершить много операций умножения. Однако матрица суммы и матрица разности содержат много нулей (более 50% от всех элементов), поэтому значительная экономия в вычислительных операциях может быть достигнута с помощью следующего уравнения:

    (12)

    где , а . Отметим, что ДКП ступенчатой двумерной функции имеет лишь четыре ненулевых элемента в первой строке, поскольку – это матрица, постоянная в вертикальном направлении и антисимметричная в горизонтальном направлении. Пусть вектор – первая строка матрицы коэффициентов ДКП ступенчатой двумерной функции . Тогда . Из свойства унитарности ДКП получаем, что

    (13)

    Таким образом, параметры из (8) могут быть посчитаны по формулам:

    (14)

    (15)

    Пусть – это матрица коэффициентов ДКП остаточного блока . Тогда можно легко получить последовательным выполнением следующих логических операций:

    (16)

    Благодаря разреженности коэффициентов ДКП, предложенный алгоритм гораздо более эффективен, чем традиционные методы, такие как [6-11], даже если используются быстрые алгоритмы ДКП [12, 13-21].

    Измерение артефактов блочности с учетом
    характеристик зрительной системы человека


    В большинстве случаев человек является конечным получателем визуальной информации. Поэтому измерение артефактов блочности с учетом известных характеристик ЗСЧ является целесообразным для оценки видимости артефактов блочности [22, 23-24]. Структурная маскировка, возникающая на изображениях с большим количеством мелких деталей, и яркостная маскировка – это две хорошо изученные характеристики ЗСЧ, которые в значительной степени влияют на восприятие артефактов блочности [24]. Рассмотрим сначала структурную маскировку. Для того чтобы использовать эту характеристику человеческой зрительной системы, предположим, что общая детализированность каждого блока – это просто сумма детализированностей по всем пространственным частотам, причем амплитуда каждой составляющей этой суммы равна соответствующему коэффициенту ДКП. Эффект маскировки также зависит от относительной ориентации сигнала маскировки [3,25,26]. Поскольку артефакты блочности возникают только в двух конкретных направлениях (вертикальном и горизонтальном), определим две по-разному ориентированные детализированности (вертикальную и горизонтальную ) следующим образом:



    (17)

    Для вертикальных артефактов блочности преобладает эффект маскировки за счет горизонтальной детализированности, поэтому общая детализированность определяется по формуле

    (18)

    Общая детализированность для горизонтальных артефактов блочности определяется аналогично:

    (19)

    где .

    Также необходимо учитывать яркостную маскировку: видимость артефактов блочности зависит от локальной яркости фона. С учетом обоих эффектов маскировки итоговое значение видимости артефактов блочности на границе двух соседних блоков определяется следующим образом [27, 5]:

    (20)

    где и определяются из выражений (14) и (15) соответственно, – это общая горизонтальная детализированность блока , а и .

    Для вертикальных артефактов блочности может быть применен аналогичный метод. Результатом работы описанного выше алгоритма является вычисление видимости артефактов блочности на границе двух соседних блоков для каждой пары соседних блоков.

    Локальные значения блочности могут быть объединены для получения численного значения блочности для всего изображения с целью оценки его качества.

    (21)

    где – это общее число границ между всеми блоками изображения, – это глобальное значение блочности всего изображения, а показатель степени .

      1.   1   2   3   4
    написать администратору сайта