증강현실 엔진...개발 하려면 어떡해 해야하나요...

증강현실에 대해서 구체적인 프로젝트는 한적은 없지만, 관련 논문은 몇개 읽은적이 있습니다.
확실하진 않지만 제 생각에 대해서 말씀드리자면,
증강현실이라면 카메라로 촬영된 실화상위에 가상 텍스쳐를 입히는건데,
이런걸 하기 위해서는,
1 .실화상의 어느곳에 가상이미지를 띄울것이냐.
2. 어떻게 가상이미지를 띄울것이냐
3. 어떤 가상 이미지를 띄울것이냐.
이 세가지가 중요할것 같네요.
1과 2는 이미지프로세싱, 컴퓨터 비젼 영역으로 알고있습니다. 일단 실화상안에 특정한 마커나, 특정한 패턴을 찾는거지요.
기본적으로 이미지 검출방법, 트랙킹등 여러가지 이미지 프로세싱 기법이 사용됩니다.
또한 카메라의 각도에 따라서 가상이미지가 달라질수 있으므로 카메라의 위치도 중요한 파라매터가 됩니다.
자세한건 네이버의 openCV까페에서 좋은 정보를 얻으실수 있으실것 같습니다.
3의 경우는, 위치, 카메라의 위치등 모든 파라매터가 주어져있을때 가상 텍스쳐를 입히는 단계 입니니다.
이건 게임프로그래밍에 쓰이는 openGL이나 다이렉트등이 쓰이는걸로 알고있습니다.

언어는, 이미지프로세싱에 관한 라이브러리인 openCV를 사용하기 위해서는 C++를 사용합니다.

관련 논문 쓰면서 ARtoolkit을 활용하였거든요..
처음부터 전체를 구현하는데는 너무나도 시간도 오래 걸리고 힘든 과정이 될 것 같습니다.
ARtoolkit에 대해서 공부하면서 그동안 나온 관련 증강현실 기술들의 흐름을 대략적으로 확인 가능하실 겁니다.

저 같은 경우는 ARtoolkit 을 가져와서 MFC로 껍데기 만들어 움직이는 동화책 구현해보았었구요.
JARtoolkit 이용해서는 JAVA로 껍데기 입히고 인식부분 좀 변형해서 뭐하나 만들어 본적이 있습니다.
모바일에서도 JARtoolkit 활용해보았구요.

한 2년 증강현실 봤는데도 첨부터 전체를 구현하기에는 당시로는 실력이 턱없이 부족하더라구요..

물론 실력이 있으실 것처럼 보이긴하지만 남들이 어느정도 정립한것을 익히고 새로운 방식으로 만들어내는게 배우는 것에는 더 효과적일 것 같습니다.

증강현실의 범위가 너무나 광범위하다보니...
제가 했던부분은 입체영상부분(stereo3D)인데. 영상인식과 그 영상출력.
이미지 프로세싱과 가상 이미지가 들어가는데 그 부분을 현실과 매칭할 수 있는 트랙킹 기술,
센서 컨트롤 등이 필요하겠죠.
실시간으로 처리를 해야하니 2D이미지가 아닌 3D로 출력을해야하기에 윗분글처럼 openGL이나
DirectX 등으로 영상을 실시간 렌더링 할 수 있어야하구요.

우선적으로 영상을 읽어들여 처리(필터링)할수 있는 프로그래밍(데이터로 인식할수 있게
영상을 분석해서 서로간의 경계선을 만들고 형체를 만들고 각 포인트를 잡는 등.)
학부시절 할수있는 글자인식이라던지 모션인식 프로그램 개발부터 시작을 하시면서
차차 필요한부분을 추가로 하시면 좋지 않을까 생각해서 글을 남깁니다.

ps : 저같은 경우 MATLAB을 이용해서 공부했었습니다.
참고서적 : Digital Image Processing Using MATLAB - Rafael C. Gonzalez
(8~9년전에 봤던 책이지만 알고리즘에 대해 사진과 함께 잘 설명되어 있습니다)
요즘은 openCV의 라이브러리를 많이들 사용하시지만 원리를 알면 이해도 쉽다고 말씀드리고 싶습니다.

ps2 : 글 적고보니.. 1년전 글이군요 -_-;

결국에는 어떤 데이터를 어디 위에 보기 좋도록 뿌려줄 것인가가 일반인들이 이해하는 증강현실이 아닌가 싶습니다.

미리 시중에 나와있는 증강현실이라 불리는 앱들을 리버싱해서 뜯어보는 것도 좋은 공부가 될 것 같네요 : )