Концепция мультимедийных кодеков (контейнер, формат, кодек, мультиплексор, демультиплексор)

На прошлой неделе я просмотрел множество мультимедийных материалов и теперь запутался в нескольких вопросах. Они связаны с моей работой над разработкой медиаплеера. Мои вопросы ниже основаны только на этом. Я также ищу электронную книгу/ресурс по мультимедийным кодекам?

Я ищу следующую информацию?

  1. В чем разница между контейнером, форматом, кодеком, пакетом, кадром? Я считаю, что это Контейнер -> Аудио (потоки) + Видео (потоки)

Потоки кодируются/декодируются с помощью кодеков Потоки -> Пакеты Пакеты -> Кадры

(2) Как работает мультиплексор, демультиплексор, кодер, декодер? На какой стороне лежит?

(3) Когда мы говорим новый кодек - что это значит? - Кодер/декодер или новый формат файла. AVI - это кодек или формат? Есть ли какая-либо связь между используемым кодеком и форматом файла.

(4) В каком смысле один кодек отличается от другого? Воспроизведение битрейт,размер,качество,fps?

(5) Если мы разрабатываем новый кодек, что должно быть другим? Алгоритм для кодировщика и декодера?

(6) Blu-ray и DVD рип? Что это за новый формат? Или новые кодеки?

(7) Если я хочу обеспечить поддержку вышеуказанных кодеков в своем медиаплеере, как я буду интегрировать различные кодеки? В виде некоторых библиотек или прямой ссылки на исходный код?

(8) Чем разные мультимедийные фреймворки (Gstremaer, ffmpeg, stagefright, OpenCore) отличаются от кодеков.

Ниже приведены ссылки, через которые я прошел:

http://dranger.com/ffmpeg/tutorial01.html


person Raulp    schedule 31.03.2012    source источник


Ответы (2)


Вот бесплатный онлайн-ресурс для начала (полное раскрытие: я управляю сайтом :-)) ): MultimediaWiki. Кроме того, вот документ, который я написал давным-давно и который может помочь ответить на многие ваши вопросы: Основы мультимедийных технологий. Я постараюсь ответить на ваши вопросы здесь.

1) Контейнерный формат (такой как AVI или QuickTime/MOV) обычно содержит (содержит) различные потоки, обычно как минимум один видеопоток и один аудиопоток. Эти видео- и аудиопотоки обычно кодируются с помощью кодека, который представляет собой алгоритм, описывающий более эффективный метод кодирования данных. Пакеты и кадры. Иногда фрагменты видео- или аудиоданных разбиваются на пакеты или кадры в соответствии со спецификациями их кодеков, но это, как правило, сводится к семантике — пакеты, кадры, фрагменты — все это просто фрагменты.

2) Когда вы создаете мультимедийный файл, вы используете алгоритмы кодера для кодирования видео- и аудиоданных, затем вы используете мультиплексор для объединения потоков в файл (контейнер). Чтобы воспроизвести файл, демультиплексор разделяет потоки и подает их в декодеры для получения видео- и аудиоданных.

3) Кодек означает кодер/декодер и является отдельным понятием от формата контейнера. Многие форматы контейнеров могут содержать множество различных типов форматов (AVI и QuickTime/MOV являются очень общими). Другие форматы ограничены одним или двумя типами носителей.

4) Кодеки конкурируют по многим факторам и предназначены для многих целей. Одна большая разница - с потерями и без потерь. Если вам нужно сохранить всю исходную информацию, вы выбираете формат без потерь, но вы не получите наилучшего сжатия. Если вы можете позволить себе потерять некоторые данные, вы можете выбрать формат с потерями, который принесет в жертву информацию (надеюсь, незаметную для человека) в обмен на большее сжатие. Некоторые кодеки оптимизированы для различных типов данных, таких как речевые кодеки, которые предполагают, что входные данные — это разговоры людей, или кодеки экранного видео, которые предполагают, что входное видео представляет собой относительно статические сеансы рабочего стола компьютера.

5) Создание нового кодека подразумевало бы новый алгоритм, который потребовал бы нового кодера И декодера.

6) Я думаю, что это будет считаться контейнером. Рип DVD, скорее всего, будет чем-то, что называется программным потоком MPEG (MPEG-PS), который, вероятно, будет содержать видеоданные MPEG-2 и один из нескольких различных типов аудио.

7) Есть много библиотек для воспроизведения этого материала. Прежде всего, вам необходимо учитывать вашу платформу (Windows, Mac OS X, Linux, iOS, Android и т. д.). На каждом есть соответствующие библиотеки и фреймворки.

8) Опять же, многие из этих фреймворков и библиотек, вероятно, удовлетворят ваши потребности. Это зависит от вашей платформы и потребностей в лицензировании.

Я надеюсь, что это дало вам что-то для работы. Как вы можете видеть по моей ручке, я люблю говорить об этом. :-)

person Multimedia Mike    schedule 31.03.2012
comment
очень информативный... Я буду тщательно. Спасибо. - person Raulp; 05.04.2012
comment
@Multimedia Майк: Спасибо за этот пост. - person sam; 29.11.2013
comment
@Multimedia Майк Не могли бы вы помочь с моим вопросом по адресу: link Заранее спасибо! - person learner; 10.01.2014

Концепции, методы и показатели цифрового видео. Книга в основном сосредоточена на концепциях мультимедиа, включая качество, сжатие, производительность и т. д. Эта книга охватывает общие концепции мультимедиа.

Издатель предоставляет разрешение на открытый доступ к PDF-версии этой книги. ссылка: https://www.apress.com/gp/book/9781430267126

person Abdullah Farweez    schedule 01.11.2018