문자 인코딩

문자 인코딩 분류

1. SBCS(Single Byte Character Set)
   • 1Byte로 문자를 표현하는 방식
   • 표현 범위 : 영문, 숫자 및 일부 특수 문자
   • 대표 문자셋: ASCII
2. MBCS(Multi Byte Character Set)
   • 문자에 따라 유동적인 크기로 문자를 표현하는 방식
     • 1Byte : 영문, 숫자 및 일부 특수 문자
     • 2Byte~ : 아스키 코드 범위 외의 아시아 문자나 특수 문자
   • 대표 문자셋 : ANSI, UTF-8
3. WBCS(Wide Byte Character Set)
   • 2Byte 이상의 고정 크기로 문자를 표현하는 방식
   • 표현 범위 : 대부분의 문자
   • 대표 문자셋: Unicode

문자 인코딩

1. ASCII (American Standard Code for Information Interchange)

• ASCII는 최초의 문자열 인코딩
• 7bit로 구성
• 영어를 위한 문자, 숫자, 특수문자, 기호 등 128개 문자를 표현 (2^7 == 128)
• 영어를 위한 문자(American Standard Code)이기 때문에 다른 언어는 표현이 불가능

2. ANSI (American National Standard Institute)

• ANSI는 ASCII의 확장판 느낌으로 영어 이외의 다른 언어를 지원할 목적으로 만들어짐
• 8bit로 256개의 문자를 표현
• 앞의 7bit는 ASCII와 동일하며, 뒤의 1bit로 다른 언어의 문자표(Code Page)를 의미
• 각 언어별로 Code 값을 가짐 - CodePage
• ANSI = ASCII(7bit) + CodePage(1bit)
• ANSI는 Windows에서 CP949 등으로 저장된다

3. EUC-KR (Extended Unix Code-Korea)

• 한글 지원을 위해 유닉스 계열에서 나온 완성형 코드 조합
  • 완성형 코드 - 완성된 문자 하나하나에 코드 번호를 부여한 것
  • 조합형 코드 - 완성형 코드의 반대로, 자음과 모음 각각에 코드 번호를 부여하여 초성, 중성, 종성을 조합하여 하나의 문자를 나타내는 방식
• 2Byte로 하나의 문자를 표현
• 한글 단어 2350자만 사전순으로 배열하여 모든 한글 단어를 표현하기에 역부족

4. CP949 (Code Page 949)

• 한글 지원을 위해 윈도우즈 계열에서 나온 확장 완성형 코드 조합
• 2Byte로 하나의 문자를 표현
• EUC-KR이 사용하지 않는 나머지 바이트열을 활용하여 대부분의 한글 단어를 표현 가능
• EUC-KR의 확장이므로 호환되며, EUC-KR에서 표현되지 않는 문자는 조합하여 표현
• 949는 한국 페이지 번호를 의미
• MS949, Windows-949라 부르기도 함
• 윈도우 메모장에서 ANSI 인코딩으로 저장하면 CP949 방식에 의해 인코딩 된다.

5.  UNICODE 기반 인코딩

Unicode

• 전 세계의 모든 문자를 컴퓨터에서 일관되게 표현할 수 있도록 문자에 부여된 고유한 코드값(CP: Code Point)들의 "표"
• 2byte 숫자로 문자와 코드를 1:1 매핑시키는 방식
  • UTF-8, UTF-16, UTF-32 등은 유니코드 기반의 문자들을 바이트열에 인코딩하는 방식
  • 유니코드는 전 세계 문자들 각각에 맵핑된 코드들을 담고 있는 거대한 표이며, UTF-8 등의 인코딩 방식은 그러한 유니코드 표를 바탕으로 문자들을 바이트열에 표현하는 방식이라 생각
• (유니코드를 표현하는 여러 가지 인코딩 방식들이 존재)
• 유니코드는 문자에 부여된 코드값의 집합이며, 이를 메모리나 파일로 저장할 때는 UTF-8/16/32 등의 인코딩 방식이 필요함

5-1. UTF-8 (Unicode Transformation Format - 8bit)

• 유니코드를 위한 가변 길이 문자 인코딩(멀티바이트) 방식 중 하나
• 멀티바이트 개념을 사용하여 하나의 Character Set에 거의 모든 문자를 넣음
• 멀티바이트란 표현해야 하는 문자에 따라 글자 크기를 가변으로 변경하여 사용하는 것
  • 멀티바이트(1~4bytes)로 최대 1,112,064자를 표현 가능
• ANSI의 단점 보완을 목적으로 만들어짐
  • ANSI는 다국어를 지원하기 위해 CodePage 정보를 미리 알고 있어야 한다.
  • ANSI는 고정바이트(1byte) 형태로 최대 256자 표현 가능
• 첫 128자는 ASCII 코드 값으로 ANSI와 UTF-8이 동일
• 언어별 크기
  • 영어- 1byte
  • 중동지역 언어 또는 많은 유럽 언어가 2bytes
  • 한국 중국, 일본 등 동아시아권 언어는 3bytes이상

5-2. UTF-16

• 16bit 기반으로 저장하는 UTF-8의 변형
• 자주 사용하는 문자는 2byte, 그렇지 않은 문자는 4byte로 표현
• 한글의 경우, UTF-16으로 저장하면 2bytes면 되어 용량의 이점이 있다.
  • UTF-8로 저장하면 3bytes가 필요
• 경우에 따라서는 2bytes 이상을 사용할 경우도 있어 큰 이점은 아니다.
• Byte Ordering을 고려함에 따른 복잡성 증대와 ANSI와 호환이 안 되는 단점이 있다.(BOM - Byte Order Mark)
  • Byte Ordering은 데이터가 저장되는 순서로, Little Endian과 Big Endian 방식이 있다.

5-3 UTF-32

• 모든 문자를 4byte의 고정 길이로 인코딩
• 코드 변형 규칙이나 가변 길이에 대한 특별한 고려를 하고 싶지 않을 때, 일관성 있고 단순한 방식으로 문자열을 처리할 수 있다는 장점
• 하나의 문자를 저장하는데 너무 많은 저장 공간이 사용되고 Byte Ordering을 고려함해야 하는 문제가 있어 자주 사용되지 않는다.