동영상 DCT 변환, 양자화, 모션벡터를 이용한 부호화 및 복호화 과정 이해

소개글

동영상 DCT 변환, 양자화, 모션벡터를 이용한 부호화 및 복호화 과정 이해에 대한 보고서 자료입니다.

목차

* 전체적인 구조 및 단계적인 진행
1장. Intra coding
1)DCT 변환
2)양자화
3)역DCT 변환
4)역양자화
2장. Inter coding
1)Motion Estimation/Motion Compensation
3장. 부호기 매뉴얼

매트랩을 이용한 동영상 복호기 구현(부호기와 한쌍으로 이루어져있음)
1. 전체적인 구조 및 단계적인 진행
1) I 프레임 복원
- 수신데이터 ==> VLC ==> 역양자화 ==> 역DCT(복원영상)
2) P 프레임 복원
(1) 차분영상 : 수신데이터 ==> VLC ==> 역양자화 ==> 역DCT
(2) 움직임보상 영상
(3) 합성된 P 프레임 : 차분영상 + 움직임보상영상
2. 이미지로 보는 복호기 흐름
3. Decoder 매뉴얼

본문내용

1장. Intra coding
이 장에서는 정지영상, 곧 초기 시작 프레임이 1)DCT 변환 2)양자화 3)역DCT 변환 4)역양자화로 변환되는 과정을 다루었다. 기본적으로 YCbCr 영상과 RGB 변환에 대한 이해가 필요하며, 그 뒤에 시간도메인에서 주파수도메인으로 변환하는 DCT변환에 대한 이해를 돕기 위해 구성되어 있다. 특히 영상에서 어떻게 DCT변환을 적용하는지 코드와 각 단계별 출력이미지를 통해 쉽게 접근할 것으로 생각한다.
2장. Inter coding
인터 코딩은 프레임과 프레임 사이이 유사성을 이용하여 압축하는 단계로1)Motion Estimation/Motion Compensation 과정을 통해 수행된다. 모션예측에는 다양한 모션예측이 활용되는데, 기본적인 Full Search 알고리즘, 그리고, 3-step, 4-step, diamond search algorithm 등을 구현하여 어떻게 이전 프레임에서 현재 프레임을 생성하는지, 그리고 여기서 얻어지는 차영상 및 모션벡터를 생성하는 과정이 구현되어 있다.
3장. 부호기 매뉴얼
각 단계별 과정을 구현한 함수에 대해서 설명하고 있다.
다시 정리하면, YUV(YCbCr) 시퀸스 영상을 가지고 인트라, 인터 프레임 생성하게 되는데 그 기본적인 과정으로 DCT변환, 양자화, 역양자화, 역DCT과정을 수행하게 되며 이때 생성된 인트라 프레임과 이것을 복원하여 참조프레임이 생성되고, 현재 프레임이 들어올 때 모션예측을 통해 참조프레임을 구성하여 현재 프레임과 비슷하게 만들어 이 영상들간의 차영상이 부호화되고, 모션벡터가 부호화된다. 이러한 과정에서 압축효율이 올라가게 되며, 다음단계는 무손실 압축단계인 VLC 코딩이 이루어진다. 여기서는 VLC 코딩은 다루지 않으며, 손실부분에 대한 과정을 메트랩6.5 버전으로 구현하였다. 또한 이를 기반으로 복호기를 구성하였고 내부 소스를 보면 단계적으로 복호화하는 과정을 확인해 볼 수 있다. 다만, 부호기나 복호기에는 역dct, 역 양자화 과정을 다루고 모션 벡터를 통한 P프레임 복원을 다루며, 무손실압축에 해당되는 부분은 제외시켰다. 그리고 원영상(Raw Image, yuv)을 사용할 때는 반드시 이름에 352x288인 경우는 cif를 포함한 이름, 176x144는 qcf이름을 포함해서 원영상 파일명을 만들기를 바란다.

매트랩을 이용한 동영상 복호기 구현에 대한 내용이다. 이 프로젝트의 전체적인 구조는 수신된 데이터(동영상)의 I프레임 데이터와 P프레임데이터에대한 복호화 과정을 나누어 접근하였다.
1. 전체적인 구조 및 단계적인 진행
1) I 프레임 복원
- 수신데이터 ==> VLC(이부분은 생략) ==> 역양자화 ==> 역DCT(복원영상)
위의 순서로 인트라 프레임은 복원된다.
2) P 프레임 복원
(1) 차분영상 : 수신데이터 ==> VLC(이부분은 생략) ==> 역양자화 ==> 역DCT
(2) 움직임보상 영상
(3) 합성된 P 프레임 : 차분영상 + 움직임보상영상
2. 이미지로 보는 복호기 흐름
각 과정을 이미지로 표현하였다. 이 이미지는 직접 소스를 실행하여 단계별로 캡춰한 것이다. 또한 본 자료에는 직접 실험할 수 있도록 인코더에 의해 만들어진 소스를 함께 실었다. 그래서 매트랩6.x 버전을 가진 사람은 바로 그 결과를 확인해 볼 수 있도록 구성되어있다.
3. Decoder 매뉴얼
여기서는 실제 구현된 각 단계별, 함수별 소스에 대한 설명을 나타내었다

키워드

부호기,   복호기,   yuv,   모션벡터,   cif,   양자화,   dct,   qcif