(C) 한글 문자열 상수 문제

"CP949 던 유니코드던 한글은 한 문자당 2 바이트 이상(UTF-8는 3 바이트, UTF-16는 2 바이트)인데 개당 1바이트인 char 배열에 넣는 것 자체가 이미 잘못된 거죠." (sdjskr)

------------------------------
그리고 어떤 분은 네트워크 전송을 말씀하셨던데,
0xac00 을 utf-8 로 인코딩하면 char * 바이트코드(또는 uint8 *) 가 나오는데.. 그걸 네트워크로 전송하시면 되겠습니다.
------------------------------

"추가 알고리즘 구성해야 하며 이로인해 쓸데 없는 시간 낭비와 비용이 소요됩니다." (sdjskr)

https://en.wikipedia.org/wiki/UTF-8
------------------------------
UTF-8 can encode any Unicode character, avoiding the need to figure out and set a "code page" or
otherwise indicate what character set is in use, and allowing output in multiple scripts at the same time.
------------------------------

char str[3] = "가"; 이렇게 할당하는 것은 제가 보이에는 좀 이상합니다. ... "가" 코드는 0xac00 이므로 uint16 또는 uint32 변수에 저장하면 됩니다.

char[] str = "가"; 대신 uint32_t str[] = "\U0000ac00";라고 해야하지 않나는 말씀이신지요? 일반적으로 후자가 입력하기도 힘들고 가독성이 훨씬 떨어지지 않을까 싶습니다만.

"익명 글쓰신 분은 지극히 웹쪽에만 국한된 말씀입니다."
"웹은 UTF-8, 시스템은 UTF-16."

#1

network > web

#2

Firefox 구현 언어:
- Rendering engine: C++
- JavaScript engine: C

Chrome 구현 언어:
- Rendering engine: C++
- JavaScript engine: C++

Safari 구현 언어:
- Rendering engine: C++
- JavaScript engine: C++

Internet Explorer
- 모두 C++

wchar_t 크기가 다른 문제는 리눅스건 윈도우건 나누기 sizeof(wchar_t)로 하면되기 때문에 별도의 추가 알고리즘이 필요없으며 이식성 문제도 전혀 없습니다.

wchar_t의 크기에 따라 알고리즘이 달라집니다. 예를 들어, 한 문자가 항상 하나의 wchar_t에 대응하면 문자 갯수를 셀 때 단순 배열 크기 계산으로 충분하지만, 그렇지 않은 경우 다른 알고리즘을 사용해야 합니다.

그리고 이미 예시에서 보였듯이 wcslen()같은 Wide Character 대응 함수가 Wide Character의 길이를 정확하게 출력하고 있습니다.

VC++의 wcslen()이 윈도우 내부 인코딩인 UTF-16을 충실히 구현하고 있다면, 단순히 배열 크기 계산만으로는 부족합니다. 따라서, wchar_t를 사용하더라도 여전히 배열 크기 계산을 넘어선 추가 알고리즘 이 필요하다는 뜻이었습니다.

그리고 유니코드(UTF-16)에서 추가적으로 할당된 4-바이트로 구성된 Code Point는 평생 한 번 쓸까말까한 중요성이 없는 문자들이 대부분이기 때문에 무시해도 상관없을 정도입니다. 대부분 2 바이트며, 2바이트만으로 한국어를 모두 표현할 수 있습니다.

그런 경우 한글 지원이라고는 말할 수 있어도, 유니코드 세상에서 다국어를 제대로 지원한다고는 말하기 어렵다고 생각합니다.

그리고 익명 글쓰신 분은 지극히 웹쪽에만 국한된 말씀입니다. C나 C++ 언어는 태생이 시스템용입니다. JAVA나 PHP같은 것들이 등장한 이유이기도 하죠. 멀티 바이트가 그리 좋다면 멀티 바이트를 극구 추천할 테지만 일반적으로 그렇지 않습니다. 비주얼 스튜디오에서도 어느 순간 부터는 멀티바이트를 지양하고 있는 추세입니다. 윈도우의 경우 이미 윈도우 NT 이후로 유니코드를 지원하고 있습니다.

시대에 맞는 추세는 유니코드입니다. 웹은 UTF-8, 시스템은 UTF-16.

MS 때문에 용어 사용에 혼란이 있는 것 같습니다. UTF-8도 UTF-16도 멀티바이트 인코딩입니다. 아래에 위키피디아를 인용합니다. UTF-8 자체는 byte-oriented이기 때문에, char[]가 wchar_t[]보다 더 자연스럽습니다.

https://en.wikipedia.org/wiki/Variable-width_encoding

A variable-width encoding is a type of character encoding scheme in which codes of differing lengths are used to encode a character set (a repertoire of symbols) for representation in a computer. Most common variable-width encodings are multibyte encodings, which use varying numbers of bytes (octets) to encode different characters. (Some authors, notably in Microsoft documentation, use the term multibyte character set, which is a misnomer since representation size is an attribute of the encoding, not of the character set.)

...

The Unicode standard has two variable-width encodings: UTF-8 and UTF-16 (it also has a fixed-width encoding, UTF-32).