한글 인코딩 체계의 확립 문제

리눅스를 처음 접하는 초보자에게 가장 까다로운 문제가 무엇일까요? 바로 한글 문제가 아닐까요? 요즘 배포판이 한글 환경이 충실하다고는해도 아직 문제가 많습니다. 프로그래머들에게도 한글 문제는 상당히 스트레스를 받게 만드는 문제죠. 기껏 로직을 다 만들어놓고 테스트했는데 한글로 해보니까 안되더라..이러면 어디서 인코딩을 설정해야하는지 찾기 위해 또 한참 헤매야하죠. 하루빨리 한글 인코딩 체계가 통합되고 리눅스 프로그램의 국제화가 더 완전해져서 아무런 추가 설정 없이 단지 언어를 한글로 바꾸는 작업 하나만으로 완벽하게 한글을 사용할 수 있기를 바랍니다.

그러면 과연 어떤 코드를 써야할까요? 제 생각을 말씀드리기에 앞서 제 글 내용 중에 틀린 부분이 있을 수도 있다는 것에 대해 양해를 미리 구합니다.

먼저 이런 코드의 통일이 중요한 부분은 어디일까요? 어차피 바이너리 파일은 직접 읽을 일이 많지 않고 해당 응용프로그램으로 읽게 되므로 제대로된 필터만 제공된다면 문제가 안됩니다. 문제가 되는 것은 텍스트 파일의 인코딩과 파일 시스템의 인코딩 방식이죠. 현재 윈도우에서는 텍스트 파일은 유니코드를 지원하지만 파일시스템은 KSC5601에 기반한 cp949(확장완성형이라고 불렸었죠..아마)라서 유니코드로 저장한 자바 프로그램에서 한글 파일명을 지정해서 쓰거나 하면 한글 코드가 깨져서 쓰여집니다. 변환을 해야하죠. 텍스트 문서는 비단 text/plain 뿐만 아니라 텍스트 파일에 기반한 html, xml 등의 문서가 다 포함됩니다. 웹을 통할 때도 이런 코드 호환이 중요하죠.

그럼 코드에 대해 살펴볼까요? 현재 쓰이는 코드는 아시다시피 KSC5601입니다. 리눅스에서 보통 ksc5601-1987이라는 이름으로 쓰이죠? euc-kr도 같은 코드를 가리킵니다. 정확히 말하면 KSC5601은 다소 추상적인 개념으로 사용되는 글자와 그 글자들의 순서 정도를 정의한 것이고 euc-kr이 실제 인코딩 방법을 가리키는 말이라고 합니다. 그런데, 다들 아시다시피 이 KSC5601은 완성형 코드에 기반하여 한글을 완전하게 표현하지 못한다는 한계가 있죠. 그래서 한텀, 아래아한글 등에서는 자체 조합형 코드를 사용합니다. 완성형의 탄생에 얽힌 복잡하고 짜증나는 이야기들은 다시 하고 싶지 않습니다만, 어쨋건 전 이 코드는 하루빨리 구시대의 유물로 사라져가야할 코드라고 생각합니다. 왜냐면 한글을 거의 완벽하게 표현할 수 있는 유니코드가 있으니까요.

유니코드는 현재 제가 알기로 3.0까지 나와 있는데 1.0에서는 한글이 6000여자가 포함되어서 완전하지 못했는데 2.0 이후부터는 11762자던가..암튼 모든 한글이 포함되었고 한글 자모까지 포함되어서 첫가끝 코드란 게 탄생했습니다. 완성형 방식으로도, 조합형 방식으로도 어쨋건 모든 한글을 제대로 표현할 수 있게 된 코드죠. 그리고 이 유니코드도 인코딩 방법이 두 가지가 있습니다. UTF-8과 UTF-16이 그것인데 먼저 UTF-16은 보통 일반적으로 유니코드라고 말하는 것이며 리눅스에서 ISO-10646 코드와 동일합니다.(equals는 true지만 ==는 true가 아닙니다-_-) 이는 모든 문자를 2바이트로 표현하는 코드인데 동양권에서는 아주 좋은 방법이지만 1바이트 언어권에서는 모든 문서의 용량이 2배로 늘어나게되는 것이 되죠. 반면 UTF-8은 ASCII는 1바이트로, 그 외의 문자는 2~5바이트로 표현합니다. 한글은 3바이트로 표현됩니다. 따라서, 1바이트 언어권에서는 손해가 없고(ASCII를 부분집합으로 가집니다.) 동양권에서는 용량의 1.5배 증가가 되어 다소 불리하다고 할 수 있죠. 이 UTF-8은 XML에서 기본 인코딩으로 사용되는 탓에 요즘 중요성이 커졌고 미국을 중심으로 UTF-8이 빠르게 확산되고 있죠.(걔네들은 손해볼 게 없으니까)

유니코드는 사실상 우리 한국을 위해 탄생한 거나 다름 없습니다. 그런데도 정작 한국에서는 유니코드가 외면당하고 구시대의 유물인 KSC5601이 아직까지 사실상의 표준으로 쓰이고 있습니다. 모든 파일 시스템과 텍스트 파일의 기본 인코딩이 유니코드가 된다면 프로그래머들은 얼마나 편해질까요. 그 혜택은 결국 엔드유저들에게 돌아갈 겁니다. 어쨋든 하루빨리 인코딩의 표준이 유니코드로 바뀌어야한다고 생각합니다.

그러나, 아직 문제는 있습니다. UTF-8이냐 UTF-16이냐의 문제죠. 또한 첫가끝 방식을 어떻게 활용할 것인가의 문제도 남아 있습니다.

현재 이런 문제들을 깊이 연구하고 있는 사람들이 상당수 되는 걸로 압니다. 유니코드에 직접 참여했던 사람들도 있을 꺼구요. 이런 사람들이 유니코드 관련 문서들을 많이 배포하고 확산에 앞장서야하겠죠.

제가 무식해서 틀린 부분이 꽤 있을 겁니다. 잘 아시는 분들은 그런 거 좀 지적해주시면 좋겠고, 그 외에 한글 코드에 관한 지식이 많은 분들은 이번 기회에 그런 지식을 대중을 위해 쏟아내보여주셨으면 합니다. 아울러 한글의 미래에 관한 많은 이야기들이 오고갔으면 합니다.

다만, 논의의 확산을 막기 위해 '리눅스의 한글화'쪽의 얘기보다는 '한글 인코딩 체계의 확립' 쪽으로 논의가 오갔으면 하는 바램입니다.