동영상 디코딩 시 오디오 비디오 동기를 맞추는 방법

Stream의 재생 기준 시간은 System Layer에 있읍니다.
PS의 경우 SCR(System Clock Reference) TS의 경우 PCR(Program Clock Reference)이라고 합니다.

System 상위 계층인
MPEG PES Pkt(Packet)에 PTS(Presentation TimeStamp)가 들어 있읍니다.
해당 패킷(정확하게는 Frame)의 재생 타이밍인 PTS는 Clock Reference를 기준으로 기록돼 있읍니다.
PTS가 없는 경우라도 Audio는 Access Unit 들어오는 순서대로
Video는 Picture(또는 Frame) Type (I, P, B-picture)으로 재생순서를 알 수 있고 Frame Rate를 알고 있으므로 재생 가능합니다.

Player는 내부 시계를 가지고 있으며, 수신한 Clock Reference로 내부 시계를 보정합니다.
// Local 재생이 아닌 경우
Local Machine이 아니고 Streaming Server에서 Stream을 받고 있다면 Server의 Performance나 Network 사정에 의해서 Network(PCR) Jitter가 발생합니다. Jitter에 대비한 버퍼링이 필요하고 CBR이 아닌 VBR(Variable BitRate)의 경우Bitrate Smoothing등의 알고리즘을 적용하는 경우도 있읍니다.

Player Backend(Renderer)는
내부 시계를 기준으로 PTS에 따라 비디오 오디오를 각각 표시 또는 발음합니다. Backend는 만약 기준 시간에 늦은 Frame이 있으면 Drop합니다. Audio와 Video는 따로 따로 재생하지만 결과적으로 기준시에 맞춰져 립싱크가 맞습니다.
___________________________________
Less is More (Robert Browning)