그림 Locking shift
97/04/27
이 상 로
특정한 문자에 비트의 조합을 부여한 것을 코드화된 문자표(coded character sets), 간단히 코드라고 말한다. 사용하는 문자가 많아질수록 문자를 코드화하는데 필요한 비트수도 많아지게 된다. 그러나 비트수가 많아진다는 것은 그만큼 메모리나 CPU등의 컴퓨터의 자원을 많이 사용하게 되어 컴퓨터 전반의 효율이 저하된다. 코드화된 문자표(coded character sets)의(코드) 발전 배경에는 가능한 가장 적은 비트로 가장 많은 글자(character)를 표현하려는 노력에 있었다.
1. 최초의 바이너리 코드
1.1 Baudot가 미친 영향
이진수로 만들어진 코드화된 최초의 문자표는 프랑스의 Jean-Maurice-Emile Baudot(1845-1903)이 1874년 전신인쇄기(teleprinter)를 발명하면서 고안되었다. 전신인쇄기는 전자식 메카니즘에 의해 작동되었으므로 비트를 하나 추가하는 것은 인쇄기의 구조를 모두 바꿔야 할만큼 어려운 것이었다. 1992년 CCITT 는 5비트 Baudot코드를 전신인쇄기의 표준으로 지정하였으며 이 기준은 지금까지도 국제 전신인쇄에세 사용되고 있다.
1.2 Locking shifts
5비트 코드는 2^5=32로 모두 32개 문자를 코드화할 수 있다. 그러나 이 크기는 알파벳 26자와 숫자 10개를 표현하기에도 턱없이 부족한 숫자이다. 바도(Baudot)가 만든 전신인쇄기에서 숫자와 문자를 모두 표현하기위해 타자기에서의 shift키 기능과 비슷한 shift lock기능을 추가하였다. 이것은 문자 26키(A-Z)를 쉬프트 기능을 이용하여 쉬프트가 눌러있지 않을때는 알파벳 모드로 하고 쉬프트가 눌려있으면(locking shift) 숫자모드로 하는 방식을 취하였다. 따라서 보통 상태에서는 알파벳 26자를 찍을수 있고 눌러지면(shift lock되면) 숫자 10개와 각종 쉼표, 따옴표등의 특수문자 16개를 찍을수 있게된다.
쉬프트가 눌러있지 않을때는 모두 32개 문자를 표현할 수 있다. 그런데 쉬프트가 눌러있지 않을때는 알파벳모드이므로 알파벳에 코드를 배정하고 32-26의 6개 만큼이 남는다. 여기에는 CR(줄의 처음으로 프린트헤더를 이동하는 기능), LF(다음줄로 프린터 헤더를 이동하는 기능) , BELL(한종이에 모두 인쇄가 끝났을 때 땡하고 벨이 울리는 기능)에 관한 코드가 배정되었다.
위의 그림에서 쉬프트 락이 되는 것은 문자부분 26개만 해당한다. 왜냐하면 CR, LF, BELL과 같은 기능은 쉬프트가 눌림상태에 있어도 여전히 사용할 수 있기 때문이다.(타자기를 연상해 보세요)
또한가지 Locking shift에서 유의할 점은 쉬프트가 눌림상태에서의 비트 조합과 쉬프트가 풀림상태에서의 비트조합이 같다는 것이다. 예를 들어 그림에서 알파벳 A와 숫자 0은 이진수로 00001이라는 동일한 비트를 갖는다. 이것은 8비트하에서 두 개의 7비트로 구성되는 문자표와 구분하여야 한다. 8비트에서 나뉜 7비트는 서로 다른 비트조합을 갖는다. (다음장에 나옵니다)
바도(Baudot)코드가 표준으로 인정된 초기부터 나라마다 각기 다른 코드가 필요하였다. 바도의 코드에서 표시할 수 있는 58개 비트조합은 알파벳, 숫자외 라틴어계열을 표현하는데 상당히 부족했는데도 1932년 표준 바도코드는 58개중 55개에 문자를 지정하고 나머지 3개는 각국의 필요에 따라 배정하도록 하였다.
2. 아스키(ASCII)
2.1 7비트 아스키 코드
1950년 후반 미국표준화연합(ANSI의 전신)은 데이터의 저장과 교환에 사용하려고 새로운 코드를 개발하였다. 새로운 코드에는 더많은 제어문자(control character)와 프린트할수 있는 문자(프린트로 종이에 찍히는 문자)를 표시할 수 있는 코드가 필요하였다. 이당시 컴퓨터는 유닉스 기반의 컴퓨터로 7비트가 1바이트로된 메모리를 사용하였다. 따라서 자연스럽게 한 character을 표현하는데 7비트를 사용하게 되었다. 7비트는 2^7로 모두 128가지 조합이 생기므로 128개의 character을 표현할 수 있게된다.
(주의: 여기서 사용한 character는 의미가 a, b, c등의 문자만을 가르키는게 아니라 코드에 배정된 문자라는 의미이다. 따라서 제어문자 Null과 같은 것도 character이라고 포함된다. 그러나 프린트 문자라고 하면 종이에 찍을 수 있는 문자를 가르킨다. )
2.2 천공카드(paper tape)가 아스키에 미친영향
이때까지만 해도 종이에 구멍을 뚫어 데이타를 처리하는 천공카드가 주로 사용되었다. 천공카드는 한행에 한바이트씩 처리하도록 되어있는데 7비트면 한행에 7개의 구멍을 뚫어 데이터를 표시할 수 있다. 천공카드에서 1은 구멍을 뚫은 것이고 0은 구멍이 뚫리지 않은 상태이다. 천공카드에서 한줄이 구멍이 뚫리지 않은 상태는 천공카드을 구입했을 때 상태와 같으므로 한행이 모두 0인 0000000상태를 NULL로 지정하였다.
또한, 천공카드는 특성상 한번 구멍을 뚫으면 다시 수정할 수 없으므로 수정을 용이하게 하기 위해 한행이 모두 구멍을 뚫은 상태, 1111111를 DELETE문자로 지정하였다. 이렇게 함으로서 1111111는 데이터 처리에 과정에서 삭제된 것으로 인식할 수 있었다.
2.3 94개 character
이제 128개 문자중 최초 0000000을 NULL, 마지막 1111111를 DELETE 문자에 비트를 배정하였으므로 126개가 남는다. 제어문자로는 Null을 포함하여 순서대로 32개를 지정하였다. 따라서 제어문자에는 NULL은 포함되나 DELETE는 제외된다. 이제 프린트 문자(2.1의 주의를 보세요)로는 128-32(제어문자)-1(DELETE)= 95개를 지정할 수 있다. 프린트 문자는 오름차순, 내림차순으로 정렬하기 위해 순서대로 배정하였는데(A가 B보다 앞에오는 것과 같은 기능) 공백문자(SPACE)를 프린트문자에서 처음에 두었다. 따라서 SPACE(0100000)와 DELETE(1111111)사이에 모두 94개 문자를 배치할 수 있다.
따라서 Null로 시작하는 32개 제어문자 + 공백문자(SPACE) + 94개 프린트문자 + 지움문자(DELETE)로 128개의 비트조합을 배정하였다. 이에 따라 1963년 최초의 아스키 표준이 제정되었다. 그러나 이때까지만 해도 많은 비트조합이 문자에 배정되지 않은 상태였다. 그러다가 1968년 오늘날과 같은 아스키코드가 만들어져 표준으로 지정되었다.
2.4 아스키 코드의 확장
5비트에서 7비트로 바꾼 주요 이유중의 하나가 5비트에 있던 거추장스런 "Locking shift" 기능을 7비트에서 다시 사용하지 않으려고 한것이었으나 문자확장을 위해 쉬프트 눌림(SHIFT IN: SI)과 쉬프트 풀림(SHIFT OUT: SO)문자가 제어문자의 하나로 지정되었다. 또한 ESCAPE문자가 제어문자로 포함되었는데 이 문자는 Locking shift를 이용하지 않고 문자를 확장하기 위한 수단으로 사용하기 위해서이다.
아스키 코드는 ISO단체와 연합하여 1967년 ISO 646를 발표하였다(관련 ISO모음 참조) 바도코드에서와 마찬가지로 국가적으로 달리 표현하는 문자를 위해 프린트 문자 94중 10개를 지정하지 않고 국가마다 지정하여 사용하도록 남겨두었다. 그리고 남겨둔 10개 문자가 하나도 사용되지 않는 상태와의 호환을 위해 10의 바이트조합(포지션)위에 디폴트로 10개 문자를 지정하였다. 이때 "94개문자 + 디폴트로 배정된 10개 문자"가 모두 비트조합에 배당된 상태표를 아스키 코드료라고 한다. (International Reference Version(IRV)
아스키의 최신 버전은 ISO/IEC 646:1991의 3차 개정버전이다. 이버전에서도 10개의 위치가 국가마다 사용을 위해 남겨두었고 추가로 2개를 #, $을 파운드문자, 각국의 화폐문자로 바꿔쓸수 있도록 하였다.
3. 아스키 이후
3.1 8비트에서 7비트 코드
개인용 컴퓨터가 널리 보급됨에 따라 메모리 구조도 바뀌어 8비트가 1바이트를 구성하였다. 7비트 코드는 8비트에서 최상위비트(MSB, most significant bit, 1111111중 가장왼쪽 비트)를 0으로 지정하면 7비트와 동일해진다. 그러나 NULL은 00000000로 되어 7비트의 0000000과 같은데 DELETE는 8비트에서는 01111111가 되어 DEL이 더 이상 모든 비트가 1이 아니다.
3.2 8비트 코드
8비트 코드를 사용함으로서 자연스럽게 문자코드를 확장시킬수 있었다. 8비트는 7비트가 두 개 있는 상태이므로 8비트에서 최상위 비트가 0이면 7비트상태와 같고 1이면 최상위 비트가 1인 7비트가 또하나 있는 셈이다. 이 두 개의 영역을 7비트에서 Locking shifts처럼 SI와 SI를 이용하여 코드영역을 넘나들 수 있다. 그러나 Locking shifts와 다른 점은 두 개 영역이 별개의 비트조합을 가진다는 것이다.
최상위 바이트가 1인 두 번째 영역에서는 SPACE와 DELETE가 또다시 필요하지 않기 때문에 여기에 새로운 문자를 지정할 수 있다. 따라서 두 번째 영역은 SPACE, DELETE, 94개 프린트 문자를 합해 96개 문자를 지정할 수 있다.
이런 구도는 제어문자의 불연속을 초래한다. 첫 번째 코드표의 제어문자는 000xxxx로 시작하는데 비해 두 번째 코드표의 제어문자는 100xxxx로 두영역사이의 제어문자는 연속되는 비트조합에 대응되지 않는다. 두 개의 코드표로 나뉜 구도에서는 처음코드에 94 둘째코드에 96개를 비트조합에 지정하여 모두 190개의 프린트문자를 지정할 수 있다.
3.3 Locking shifts
8비트를 2개의 7비트로 나누어 사용하여 한쪽은 알파벳을 사용하고 다른 한쪽은 그리스문자나, 액센트가 붙는 문자(유럽계열)의 대문자를 지정하여 사용할 수 있다. 그러나 액센트 계열의 대소문자를 7비트의 한쪽영역만 가지고는 동시에 표현할 수 없었다. 따라서 동시에 대소문자를 사용하기 위해 다른 한쪽영역을 다시 확장하는 Locking shift 메카니즘을 이용하게 되었다.
7비트로 나뉘어진 두 번째 코드표는 locking shift를 이용해 다시 두개의 영역(쉬프트가 눌린 상태, 눌리지 않은 상태)로 확장하여 확장된 한쪽에는 대문자를, 다른 한쪽에는 소문자를 지정하여 사용할 수 있다. 이렇게 하면 7비트로된 4개의 코드표가 생긴다. 그 이후의 문제는 어떻게 4개의 영역을 넘나드느냐 하는 문제다. 이것은 어떤 특수코드를 이용하여 2개의 7비트로 나누어고 다시 locking shift를 이용해 확장된 4영역을 넘나들 수 있도록 하면 된다.
3.4 Internationa Register
사실 4개의 7비트코드는 임의적인 것이다. 비트수를 늘려 여러개의 7비트 코드를 만들고 거기에 Locking shift를 이용하여 추가로 7비트 코드를 확장할 수 있다. 그리고 8비트에서도 Shift In, Shift Out 문자대신에 다른 문자를 써서 다시 코드를 확장할 수 있다.
그러나 4개의 7비트 코드로 대부분의 문자를 표시할수 있으므로 코드확장의 다음단계는 control functions을 이용하여 4개의 7비트 코드영역을 어떻게 선택하느냐에 관한 것이다. 이것은 "타이프 헤드를 갈아끼울수 있는 타자기" 사용자에게 메시지를 전달하는 것과 같다. (편의를 위해 이타자기를 "고급타자기"라고 부르겠습니다)
고급타자기는 서울에 있고 사용자는 전주에 있다. 전주에서 서울에 있는 사용자에게 데이타를 고급타자기를 통해 자료를 전송하려고 하면 첫째, 무슨 타이프헤드를 사용할 것인가(영어, 한글, 일본어...)와 둘째, 각 언어에 대한 자판배열이 어떻게 되는지를 알려주어야 한다.
해당국가의 언어에 대한 카달로그는 ISO에 의해 International Register로 표준화되어 있으며 ISO-IR xx와 같은 이름을 가진다. 여기서 xx는 숫자를 의미한다. 예를 들어 ISO 646:1983 IRV는 ISO-IR 2라는 이름으로, ISO/IEC 646:1991(ASCII)는 ISO-IR 6라는 이름으로 등록되어 있다.
이 카달로그(ISO-IR xx)를 통해 무슨 언어를 사용할 것인지 선택하고(Designation) 해당언어에 대한 자판을 정함으로서(Invocation) 문자를 찍어낼수 있다.
지금까지 설명한 문자코드의 구조(the structure of character codes)와 코드 확장방법(code extension techniques)은 국제표준 ISO/IEC 2022으로 정식화되었다. 그리고 International Register는 ISO2357에 지정된 절차에 따라 유지되며 ISO권한를 얻어 ECMA가 출판한다. (따라서 인터넷을 뒤져도 ISO자료는 별로 찾을 수 없다. 학교 도서관에 가면 있다) 현재 180개 이상의 코드화된 문자표로 등록되어 있으며 분량은 900페이지에 달한다.
3.5 확장의 제한
어떤 통신프로토콜(communications protocols)에서는 지정(Designation)과 호출(Invokation)을 통한 코드 확장을 제한하는 경우가 있다. 이때에는 사용자가 이용가능한 코드만 사용하겠다고 공표(Announce)하는 것이 필요하다. 이 기능은 공표자(Announcers)라는 또다른 제어기능(control function)을 이용하여 수행할 수 있다. 이 기능을 통해 사용자는 시스템에 "나는 오직 확장하지 않은 7비트 코드만 사용하겠다"라고 공표(annouce)할 수 있다.
4. 16비트, 32비트
컴퓨터 기능향상과 통신체널이 확대됨에 따라 문자를 꼭 8비트 코드구조로 해야할 필요도 없어졌다. 이런 환경의 변화는 코드구조를 16비트, 32비트로 재구성할 여지를 남겨주었다. 그리고 이에 상응하는 새로운 표준도 요구되었다. 이렇게 해서 제정된 표준이 ISO/IEC 10646(Universal Multiple-Octet Coded Character Set )이다.
10646에도 8비트 유물이 남아 Control functions은 ISO/IEC 2022에 의해 코드화된다. 그러나 8비트에 있던 코드확장기능(code extension functions)는 금지되었다. 따라서 처음 32비트는 제어목적으로 배정되고 다음 95비트 조합은 스페이스를 포함하여 프린트 문자가 할당된다. 이방법에 의해 비트를 조합하면 "00.....001111111"(0은 16, 32비트에 맞게 채워진다)과 같이 되며 이 비트는 천공카드의 소산으로 여전히 DELETE에 배정되어 있다.