Кодировка юникод. Кодировка Unicode

Электроника 19.04.2019

Стандарт предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (англ. Unicode Consortium, Unicode Inc.). Применение этого стандарта позволяет закодировать очень большое число символов из разных письменностей: в документах Unicode могут соседствовать китайские иероглифы, математические символы, буквы греческого алфавита, латиницы и кириллицы, при этом становится ненужным переключение кодовых страниц.

Стандарт состоит из двух основных разделов: универсальный набор символов (англ. UCS, universal character set) и семейство кодировок (англ. UTF, Unicode transformation format). Универсальный набор символов задаёт однозначное соответствие символов кодам - элементам кодового пространства, представляющим неотрицательные целые числа. Семейство кодировок определяет машинное представление последовательности кодов UCS.

Стандарт Unicode был разработан с целью создания единой кодировки символов всех современных и многих древних письменных языков. Каждый символ в этом стандарте кодируется 16 битами, что позволяет ему охватить несравненно большее количество символов, чем принятые ранее 8-битовые кодировки. Еще одним важным отличием Unicode от других систем кодировки является то, что он не только приписывает каждому символу уникальный код, но и определяет различные характеристики этого символа, например:

Тип символа (прописная буква, строчная буква, цифра, знак препинания и т.д.);

Атрибуты символа (отображение слева направо или справа налево, пробел, разрыв строки и т.д.);

Соответствующая прописная или строчная буква (для строчных и прописных букв соответственно);

Соответствующее числовое значение (для цифровых символов).

Весь диапазон кодов от 0 до FFFF разбит на несколько стандартных подмножеств, каждое из которых соответствует либо алфавиту какого-то языка, либо группе специальных символов, сходных по своим функциям. На приведенной ниже схеме содержится общий перечень подмножеств Unicode 3.0 (рисунок 2).

Рисунок 2

Стандарт Unicode является основой для хранения и текста во многих современных компьютерных системах. Однако, он не совместим с большинством Интернет-протоколов, поскольку его коды могут содержать любые байтовые значения, а протоколы обычно используют байты 00 - 1F и FE - FF в качестве служебных. Для достижения совместимости были разработаны несколько форматов преобразования Unicode (UTFs, Unicode Transformation Formats), из которых на сегодня наиболее распространенным является UTF-8. Этот формат определяет следующие правила преобразования каждого кода Unicode в набор байтов (от одного до трех), пригодных для транспортировки Интернет-протоколами.

Здесь x,y,z обозначают биты исходного кода, которые должны извлекаться, начиная с младшего, и заноситься в байты результата справа налево, пока не будут заполнены все указанные позиции.

Дальнейшее развитие стандарта Unicode связано с добавлением новых языковых плоскостей, т.е. символов в диапазонах 10000 - 1FFFF, 20000 - 2FFFF и т.д., куда предполагается включать кодировку для письменностей мертвых языков, не попавших в таблицу, приведенную выше. Для кодирования этих дополнительных символов был разработан новый формат UTF-16.

Таким образом, существует 4 основных способа кодировки байтами в формате Unicode:

UTF-8: 128 символов кодируются одним байтом (формат ASCII), 1920 символов кодируются 2-мя байтами ((Roman, Greek, Cyrillic, Coptic, Armenian, Hebrew, Arabic символы), 63488 символов кодируются 3-мя байтами (Китайский, японский и др.) Оставшиеся 2 147 418 112 символы (еще не использованы) могут быть закодированы 4, 5 или 6-ю байтами.

UCS-2: Каждый символ представлен 2-мя байтами. Данная кодировка включает лишь первые 65 535 символов из формата Unicode.

UTF-16:Является расширением UCS-2, включает 1 114 112 символов формата Unicode. Первые 65 535 символов представлены 2-мя байтами, остальные - 4-мя байтами.

USC-4: Каждый символ кодируется 4-мя байтами.

Юникод - это очень большой и сложный мир, ведь стандарт позволяет ни много ни мало представлять и работать в компьютере со всеми основными письменностями мира. Некоторые системы письма существуют уже более тысячи лет, причём многие из них развивались почти независимо друг от друга в разных уголках мира. Люди так много всего придумали и оно зачастую настолько непохоже друг на друга, что объединить всё это в единый стандарт было крайне непростой и амбициозной задачей.

Чтобы по-настоящему разобраться с Юникодом нужно хотя бы поверхностно представлять себе особенности всех письменностей, с которыми позволяет работать стандарт. Но так ли это нужно каждому разработчику? Мы скажем, что нет. Для использования Юникода в большинстве повседневных задач, достаточно владеть разумным минимумом сведений, а дальше углубляться в стандарт по мере необходимости.

В статье мы расскажем об основных принципах Юникода и осветим те важные практические вопросы, с которыми разработчики непременно столкнутся в своей повседневной работе.

Зачем понадобился Юникод?

До появления Юникода, почти повсеместно использовались однобайтные кодировки, в которых граница между самими символами, их представлением в памяти компьютера и отображением на экране была довольно условной. Если вы работали с тем или иным национальным языком, то в вашей системе были установлены соответствующие шрифты-кодировки, которые позволяли отрисовывать байты с диска на экране таким образом, чтобы они представляли смысл для пользователя.

Если вы распечатывали на принтере текстовый файл и на бумажной странице видели набор непонятных кракозябр, это означало, что в печатающее устройство не загружены соответствующие шрифты и оно интерпретирует байты не так, как вам бы этого хотелось.

У такого подхода в целом и однобайтовых кодировок в частности был ряд существенных недостатков:

Можно было одновременно работать лишь с 256 символами, причём первые 128 были зарезервированы под латинские и управляющие символы, а во второй половине кроме символов национального алфавита нужно было найти место для символов псевдографики (╔ ╗).
Шрифты были привязаны к конкретной кодировке.
Каждая кодировка представляла свой набор символов и конвертация из одной в другую была возможна только с частичными потерями, когда отсутствующие символы заменялись на графически похожие.
Перенос файлов между устройствами под управлением разных операционных систем был затруднителен. Нужно было либо иметь программу-конвертер, либо таскать вместе с файлом дополнительные шрифты. Существование Интернета каким мы его знаем было невозможным.
В мире существуют неалфавитные системы письма (иероглифическая письменность), которые в однобайтной кодировке непредставимы в принципе.

Основные принципы Юникода

Все мы прекрасно понимаем, что компьютер ни о каких идеальных сущностях знать не знает, а оперирует битами и байтами. Но компьютерные системы пока создают люди, а не машины, и для нас с вами иногда бывает удобнее оперировать умозрительными концепциями, а затем уже переходить от абстрактного к конкретному.

Важно! Одном из центральных принципов в философии Юникода является чёткое разграничение между символами, их представлением в компьютере и их отображением на устройстве вывода.

Вводится понятие абстрактного юникод-символа, существующего исключительно в виде умозрительной концепции и договорённости между людьми, закреплённой стандартом. Каждому юникод-символу поставлено в соответствие неотрицательное целое число, именуемое его кодовой позицией (code point).

Так, например, юникод-символ U+041F - это заглавная кириллическая буква П. Существует несколько возможностей представления данного символа в памяти компьютера, ровно как и несколько тысяч способов отображения его на экране монитора. Но при этом П, оно и в Африке будет П или U+041F.

Это хорошо нам знакомая инкапсуляция или отделение интерфейса от реализации - концепция, отлично зарекомендовавшая себя в программировании.

Получается, что руководствуясь стандартом, любой текст можно закодировать в виде последовательности юникод-символов

Привет U+041F U+0440 U+0438 U+0432 U+0435 U+0442

записать на листочке, упаковать в конверт и переслать в любой конец Земли. Если там знают о существовании Юникода, то текст будет воспринят ими ровно так же, как и нами с вами. У них не будет ни малейших сомнений, что предпоследний символ - это именно кириллическая строчная е (U+0435), а не скажем латинская маленькая e (U+0065). Обратите внимание, что мы ни слова не сказали о байтовом представлении.

Кодовое пространство Юникода

Кодовое пространство Юникода состоит из 1 114 112 кодовых позиций в диапазоне от 0 до 10FFFF. Из них к девятой версии стандарта значения присвоены лишь 128 237. Часть пространства зарезервирована для частного использования и консорциум Юникода обещает никогда не присваивать значения позициям из этих специальный областей.

Ради удобства всё пространство поделено на 17 плоскостей (сейчас задействовано шесть их них). До недавнего времени было принято говорить, что скорее всего вам придётся столкнуться только с базовой многоязыковой плоскостью (Basic Multilingual Plane, BMP), включающей в себя юникод-символы от U+0000 до U+FFFF. (Забегая немного вперёд: символы из BMP представляются в UTF-16 двумя байтами, а не четырьмя). В 2016 году этот тезис уже вызывает сомнения. Так, например, популярные символы Эмодзи вполне могут встретиться в пользовательском сообщении и нужно уметь их корректно обрабатывать.

Кодировки

Если мы хотим переслать текст через Интернет, то нам потребуется закодировать последовательность юникод-символов в виде последовательности байтов.

Стандарт Юникода включает в себя описание ряда юникод-кодировок, например UTF-8 и UTF-16BE/UTF-16LE, которые позволяют кодировать всё пространство кодовых позиций. Конвертация между этими кодировками может свободно осуществляться без потерь информации.

Также никто не отменял однобайтные кодировки, но они позволяют закодировать свой индивидуальный и очень узкий кусочек юникод-спектра - 256 или менее кодовых позиций. Для таких кодировок существуют и доступны всем желающим таблицы, где каждому значению единственного байта сопоставлен юникод-символ (см. например CP1251.TXT). Несмотря на ограничения, однобайтные кодировки оказываются весьма практичными, если речь идёт о работе с большим массивом моноязыковой текстовой информации.

Из юникод-кодировок самой распространённой в Интернете является UTF-8 (она завоевала пальму первенства в 2008 году), главным образом благодаря её экономичности и прозрачной совместимости с семибитной ASCII. Латинские и служебные символы, основные знаки препинания и цифры - т.е. все символы семибитной ASCII - кодируются в UTF-8 одним байтом, тем же, что и в ASCII. Символы многих основных письменностей, не считая некоторых более редких иероглифических знаков, представлены в ней двумя или тремя байтами. Самая большая из определённых стандартом кодовых позиций - 10FFFF - кодируется четырьмя байтами.

Обратите внимание, что UTF-8 - это кодировка с переменной длиной кода. Каждый юникод-символ в ней представляется последовательностью кодовых квантов с минимальной длиной в один квант. Число 8 означает битовую длину кодового кванта (code unit) - 8 бит. Для семейства кодировок UTF-16 размер кодового кванта составляет, соответственно, 16 бит. Для UTF-32 - 32 бита.

Если вы пересылаете по сети HTML-страницу с кириллическим текстом, то UTF-8 может дать весьма ощутимый выигрыш, т.к. вся разметка, а также JavaScript и CSS блоки будут эффективно кодироваться одним байтом. К примеру главная страница Хабра в UTF-8 занимает 139Кб, а в UTF-16 уже 256Кб. Для сравнения, если использовать win-1251 с потерей возможности сохранять некоторые символы, то размер сократится всего на 11Кб.

Для хранения строковой информации в приложениях часто используются 16-битные юникод-кодировки в силу их простоты, а так же того факта, что символы основных мировых систем письма кодируются одним шестнадцатибитовым квантом. Так, например, Java для внутреннего представления строк успешно применяет UTF-16. Операционная система Windows внутри себя также использует UTF-16.

В любом случае, пока мы остаёмся в пространстве Юникода, не так уж и важно, как хранится строковая информация в рамках отдельного приложения. Если внутренний формат хранения позволяет корректно кодировать все миллион с лишним кодовых позиций и на границе приложения, например при чтении из файла или копировании в буфер обмена, не происходит потерь информации, то всё хорошо.

Для корректной интерпретации текста, прочитанного с диска или из сетевого сокета, необходимо сначала определить его кодировку. Это делается либо с использованием метаинформации, предоставленной пользователем, записанной в тексте или рядом с ним, либо определяется эвристически.

В сухом остатке

Информации много и имеет смысл привести краткую выжимку всего, что было написано выше:

Юникод постулирует чёткое разграничение между символами, их представлением в компьютере и их отображением на устройстве вывода.
Кодовое пространство Юникода состоит из 1 114 112 кодовых позиций в диапазоне от 0 до 10FFFF.
Базовая многоязыковая плоскость включает в себя юникод-символы от U+0000 до U+FFFF, которые кодируются в UTF-16 двумя байтами.
Любая юникод-кодировка позволяет закодировать всё пространство кодовых позиций Юникода и конвертация между различными такими кодировками осуществляется без потерь информации.
Однобайтные кодировки позволяют закодировать лишь небольшую часть юникод-спектра, но могут оказаться полезными при работе с большим объёмом моноязыковой информации.
Кодировки UTF-8 и UTF-16 обладают переменной длиной кода. В UTF-8 каждый юникод-символ может быть закодирован одним, двумя, тремя или четырьмя байтами. В UTF-16 - двумя или четырьмя байтами.
Внутренний формат хранения текстовой информации в рамках отдельного приложения может быть произвольным при условии корректной работы со всем пространством кодовых позиций Юникода и отсутствии потерь при трансграничной передаче данных.

Краткое замечание про кодирование

С термином кодирование может произойти некоторая путаница. В рамках Юникода кодирование происходит дважды. Первый раз кодируется набор символов Юникода (character set), в том смысле, что каждому юникод-символу ставится с соответствие кодовая позиция. В рамках этого процесса набор символов Юникода превращается в кодированный набор символов (coded character set). Второй раз последовательность юникод-символов преобразуется в строку байтов и этот процесс также называется кодирование.

В англоязычной терминологии существуют два разных глагола to code и to encode, но даже носители языка зачастую в них путаются. К тому же термин набор символов (character set или charset) используется в качестве синонима к термину кодированный набор символов (coded character set).

Всё это мы говорим к тому, что имеет смысл обращать внимание на контекст и различать ситуации, когда речь идёт о кодовой позиции абстрактного юникод-символа и когда речь идёт о его байтовом представлении.

В заключение

В Юникоде так много различных аспектов, что осветить всё в рамках одной статьи невозможно. Да и ненужно. Приведённой выше информации вполне достаточно, чтобы не путаться в основных принципах и работать с текстом в большинстве повседневных задач (читай: не выходя за рамки BMP). В следующих статьях мы расскажем о нормализации, дадим более полный исторический обзор развития кодировок, побеседуем о проблемах русскоязычной юникод-терминологии, а также сделаем материал о практических аспектах использования UTF-8 и UTF-16.

Ограничения и проблемы, связанные с использованием кодовых страниц, создают потребность в других решениях.

Над такими решениями работает некоммерческая организация Unicode Consortium . Организация вырабатывает стандарт, предметом которого является система кодирования символов для поддержки всемирного обмена, обработки и отображения текстов разнообразных языков и технических приложений в современном мире. Дополнительно стандарт поддерживает классические и исторические тексты на многих естественных языках.

История стандарта начинается с 1991 года. Он получил название Юникод (Unicode). В его основе лежит универсальный набор символов - UCS (Universal Character Set ), объединяющий буквы практически всех современных языков, большой набор иероглифов языков, использующих иероглифическую письменность, цифры, знаки пунктуации, огромное множество математических и технических символов.

Символы в UCS пронумерованы целыми неотрицательными числами. В сущности UCS представляет собой большую кодовую страницу. Её принципиальным отличием от рассмотренных ранее кодовых страниц является размер. Существует два варианта UCS: короткий (UCS-2) и длинный (UCS -4). Диапазон номеров в UCS -2 - 0‥65535, и для представления таких чисел требуется два байта. Для представления символов в UCS -4, как нетрудно догадаться, нужно 4 байта. Из всей огромной «номерной ёмкости» (0‥4294967295) UCS -4 по техническим причинам решено использовать очень малую часть, которая, впрочем, весьма велика: 1114112 позиций. В настоящее время этого более чем достаточно: это пространство заполнено символами лишь примерно на одну десятую. UCS -2 естественным образом встраивается в UCS -4 и в рамках большой таблицы называется базовой многоязычной плоскостью (BMP - Basic Multilanguage Plane ).

Базовая многоязычная плоскость включает 99,9% того, что может потребоваться для решения большинства задач. Многие программы, поддерживающие Юникод, ограничивают такую поддержку базовой плоскостью.

Универсальный набор символов хорошо продуман. Его заполнение подчинено двум принципам:

Наиболее востребованные символы располагаются ближе к началу таблицы (имеют меньшие номера).

Символы ASCII с номерами 0‥127 имеют те же самые номера в UCS .

Для обозначения позиций в UCS применяется особая нотация. Например, для символа № 9786 (смайлик - ☺) обозначением будет U+263A (здесь 263A - шестнадцатеричная запись числа 9786).

Таблица символов UCS несёт дополнительную нагрузку. Символы, кроме номеров, имеют дополнительные признаки, в зависимости от которых символы подразделяются на графические (имеющие изображение), управляющие, и символы форматирования. Графические символы, в свою очередь, делятся на категории:

буквы
цифры
знаки пунктуации
особые знаки (например, математические и технические)
разделители

Использование большой кодовой таблицы ставит перед нами очень неприятную проблему. Поскольку номера символов из таблицы UCS -4 требуют четырёх байт, текст, закодированный таким образом, становится в 4 раза длиннее. Это плата за большой выбор используемых символов. Это очень расточительно, но по-другому не получится, если кодировать каждый символ одним и тем же количеством байтов.

Есть и другая возможность, но она предполагает отказ от фиксированной длины символов (измеренной в байтах). Это кодировки с переменной длиной символа. Большое распространение получила кодировка UTF-8

Эта кодировка охватывает диапазон символов UCS -4 с номерами из диапазона 0 ‥ 2 31 , то есть первую половину таблицы UCS -4. Это символы с номерами, занимающими в двоичной записи не более 31 бита. Этого вполне достаточно. Один символ в кодировке UTF-8 занимает, в зависимости от его номера, от одного до шести байтов (октетов) в соответствии с таблицей:

диапазон номеров символов	последовательность октетов
0 ‥ 2 7 − 1	0*******
2 7 ‥ 2 11 − 1	110*** 10****
2 11 ‥ 2 16 − 1	1110** 10** 10****
2 16 ‥ 2 21 − 1	11110* 10** 10** 10****
2 21 ‥ 2 26 − 1	111110 10** 10** 10** 10****
2 26 ‥ 2 31 − 1	1111110* 10**** 10** 10** 10** 10****

В таблице вместо звёздочек размещаются биты двоичной записи номера символа.

Заметим, что символы с номерами из диапазона 0 ‥ 127 кодируются одним октетом с тем же самым, что и у символа, номером. Кодирование всех остальных пяти диапазонов устроены по одному принципу. Это последовательность октетов, каждый из которых начинается с битов служебных (показаны в таблице как нули и единицы), и заканчивается битами информационными (показаны как звёздочки). Первый (головной) октет в начале содержит столько единиц, какова длина последовательности, а за единицами следует ноль. Все последующие октеты начинаются со служебной битовой последовательности 10 .

Для тренировки определим UTF-8 -код смайлика ☺ . Его номер в таблице UCS -4 равен 9786, или в двоичной записи 10011000111010 . Из таблицы определяем, что в кодировке UTF-8 запись символа потребует трёх октетов: 1110**** 10****** 10****** . Дополним слева двоичный код двумя нулевыми битами до 16 (по количеству звёздочек), и заменим звёздочки полученными битами: 11100010 10011000 10111010 .

Помимо своей простоты, кодировка UTF-8 имеет и другие достоинства:

Символы ASCII кодируются «как есть».

Лексикографический порядок для символьных строк соответствует лексикографическому порядку кодирующих эти строки последовательностей октетов.

Стандарт Юникод размещает символы лишь в диапазоне 0 ‥ 1114111 , поэтому в содержательных текстах символы занимают не более 4 октетов.

Очевидным недостатком кодировки является переменная длина символа. Чтобы разбить последовательность октетов по символам, нужно анализировать головной октет, чтобы определить, сколько октетов приходится на очередной символ. Затем следует прочитать нужное количество добавочных октетов, извлечь из головного и оставшихся информационные биты и составить из них номер символа.

Особо отметим, что не всякая последовательность октетов является закодированной последовательностью символов. «Плохими» являются, например, последовательности 11011001 и 11100101 00010011 .

Perl - один из немногих языков программирования, в котором имеется встроенная поддержка стандарта Юникод. И, хотя эта поддержка не полная, многие возможности, предоставляемые стандартом, реализованы.

Перечислим некоторые аспекты поддержки Юникода в Perl. Они касаются того, где могут встречаться символы UCS:

в именах переменных и процедур
в строковых константах
в регулярных выражениях
в содержимом файлов, в том числе STDIN , STDOUT и STDERR
в именах файлов
в параметрах командной строки

Чтобы использовать буквы, не входящие в ASCII , в именах, следует поместить в начале файла с программой директиву

Perl

use utf8 ;

Тогда станут возможными программы вроде

Perl

use utf8 ; for (my $счётчик=1 ; $счётчик<=100 ; $счётчик++) { print "$счётчик\n" ; }

Perl

use utf8 ; print $ბაყაყი, $წყალში, $ყიყინებს;

Но мы не приветствуем такие имена. Это полностью противоречит нашему представлению о прекрасном.

Гораздо важнее другое применение директивы use utf8 ; . С ней строки, заключённые между апострофами и двойными кавычками, будут рассматриваться как строки символьные, а не октетные.

А какая, спрашивается, разница? Обсудим этот важный вопрос подробно.

Рассмотрим строку Привет! . Согласно таблице UCS она состоит из символов U+41F U+440 U+438 U+432 U+435 U+442 U+21 . Но, закодированная в UTF-8 , она представлена как последовательность октетов D0 9F D1 80 D0 B8 D0 B2 D0 B5 D1 82 21 (в шестнадцатеричной записи). Здесь на каждую русскую букву приходится по два октета, и лишь восклицательный знак (он есть в таблице ASCII) занимает один октет.

Сравним две программы:

Perl

print length "Привет!" ;

Perl

use utf8 ; print length "Привет!" ;

Первая напечатает число 13 , поскольку по умолчанию один октет означает один символ с тем же номером. Вторая выведет 7 . В отсутствие команды use utf8 ; с точки зрения Perl строка состоит из символов U+D0 U+9F U+D1 U+80 U+D0 U+B8 U+D0 U+B2 U+D0 U+B5 U+D1 U+82 U+21 , то есть ÐÑÐ¸Ð²ÐµÑ! . Пусть читатель поверит нам на слово, здесь действительно 13 символов, но некоторые из них являются служебными, поэтому невидимы.

Директива use utf8 ; влияет на смысл регулярных выражений. Рассмотрим программу, которая, по нашему замыслу, печатает те названия месяцев, которые состоят из восьми букв:

Perl

for () { print "$_\n" if m/^.{8}$/ ; }

Но вместо ожидаемого вывода

сентябрь

появится

март июнь июль

Каждая русская буква в кодировке UTF-8 превращается в два октета, которые по умолчанию считаются парой символов с теми же номерами. Так что март - восьмисимвольная строка. Директива исправляет это поведение программы.

Ещё один пример влияния директивы на смысл регулярных выражений. Выведем те названия месяцев, в которые входит русская буква а (заглавная или маленькая).

Perl

for (qw/январь февраль март апрель май июнь июль август сентябрь октябрь ноябрь декабрь/ ) { print "$_\n" if m/[Аа]/ ; }

Но что же это?

январь февраль март апрель май июнь июль август сентябрь октябрь ноябрь декабрь

Откуда буква а в слове июнь? Дело в том, что символьный класс в регулярном выражении [Аа] состоит вовсе не из двух русских букв, а из символов U+D0 , U+90 , U+D0 и U+B0 (два из них совпали). С октета D0 начинается код UTF-8 у многих русских букв, так что не удивительно, что он встречается в названиях всех месяцев. Опять же ситуацию исправит директива.

Каждое строковое значение в программе на Perl кодируется при помощи UTF-8 . Но в разных ситуациях оно рассматривается либо как октетная строка, либо как символьная. Соответствующий признак хранится вместе с октетами, составляющими строку. Он называется флагом UTF-8 . При использовании директивы use utf8 ; все строки и регулярные выражения из текста программы устанавливают этот флаг, в отсутствие директивы этот флаг очищен.

Помимо процедуры length , состояние флага влияет и на некоторые другие встроенные процедуры языка Perl. Например, для процедуры substr важно, из чего состоят строки - из октетов или символов. Для процедуры chop флаг тоже имеет значение.

До сих пор мы обсуждали поддержку Юникода в текстах программ. Пришло время подумать о строках, которые программа получает извне, читая из файла, или выводит вовне, записывая в файл.

Аналогичным образом открывается файл для записи или добавления, если записываться будут именно символьные строки: в качестве второго параметра в процедуре open указывается ">:utf8" или ">>:utf8" .

Описанная возможность является частью более общего механизма, который позволяет соединить файловый ввод/вывод с дополнительными манипуляциями над считываемыми или записываемыми октетами. Это так называемые слои ввода/вывода ). Но упомянем ещё одну возможность, которую дают слои.

Часто большие файлы с целью уменьшения их размера сжимают компрессором. Таких компрессоров несколько, но среди них наиболее популярны gzip и xz . Первый из них уступает второму в степени сжатия, но заметно выигрывает в быстродействии. В комплекте с компрессором поставляется и декомпрессор. Особый слой ввода/вывода позволяет читать и записывать файлы, сжатые при помощи gzip , не прибегая к услугам соответствующих программ - компрессора и декомпрессора:

Perl

open my $in , "<:gzip" , "input.txt.gz" ; open my $out , ">:gzip" , "output.txt.gz" ;

Слой:gzip становится доступным в программе, если в системе установлен модуль PerlIO::gzip , который обеспечивает поддержку слою. Этот модуль не входит в стандартный набор модулей, и его придётся устанавливать дополнительно.

Слои ввода/вывода могут комбинироваться друг с другом. Если требуется читать символьные строки из сжатого файла, открываем его так:

Perl

open my $in , "<:gzip:utf8" , "input.txt.gz" ;

Для чтения или записи файлов в других кодировках будет полезен слой ввода/вывода:encoding(…) . В скобках указывается название кодировки, разумеется, оно должно быть среди известных. В следующем примере программа читает по строкам файл input.txt в кодировке CP1251 и записывает его содержимое уже в кодировке CP866 . Это простейший код, осуществляющий перекодировку.

Perl

open my $in , "<:encoding(CP1251)" , "input.txt" ; open my $out , ">:encoding(CP866)" , "output.txt" ; print {$out } $_ while <$in >; close $out ; close $in ;

Зачем понадобился Юникод?

У такого подхода в целом и однобайтовых кодировок в частности был ряд существенных недостатков:

Можно было одновременно работать лишь с 256 символами, причём первые 128 были зарезервированы под латинские и управляющие символы, а во второй половине кроме символов национального алфавита нужно было найти место для символов псевдографики (╔ ╗).
Шрифты были привязаны к конкретной кодировке.
Каждая кодировка представляла свой набор символов и конвертация из одной в другую была возможна только с частичными потерями, когда отсутствующие символы заменялись на графически похожие.
Перенос файлов между устройствами под управлением разных операционных систем был затруднителен. Нужно было либо иметь программу-конвертер, либо таскать вместе с файлом дополнительные шрифты. Существование Интернета каким мы его знаем было невозможным.
В мире существуют неалфавитные системы письма (иероглифическая письменность), которые в однобайтной кодировке непредставимы в принципе.

Основные принципы Юникода

Привет U+041F U+0440 U+0438 U+0432 U+0435 U+0442
записать на листочке, упаковать в конверт и переслать в любой конец Земли. Если там знают о существовании Юникода, то текст будет воспринят ими ровно так же, как и нами с вами. У них не будет ни малейших сомнений, что предпоследний символ - это именно кириллическая строчная е (U+0435), а не скажем латинская маленькая e (U+0065). Обратите внимание, что мы ни слова не сказали о байтовом представлении.

Хотя юникод-символы и называются символами, они далеко не всегда соответствуют символу в традиционно-наивном понимании, например букве, цифре, пунктуационному знаку или иероглифу. (Подробнее смотри под спойлером.)

Примеры различных юникод-символов

Существуют чисто технические юникод-символы, например:

U+0000: нулевой символ;
U+D800–U+DFFF: младшие и старшие суррогаты для технического представления кодовых позиций в диапазоне от 10000 до 10FFFF (читай: за пределами БМЯП/BMP) в семействе кодировок UTF-16;
и т.д.

Существуют пунктуационные маркеры, например U+200F: маркер смены направления письма справа-налево.

Существует целая когорта пробелов различной ширины и назначения (см. отличную хабра-статью: ):

U+0020 (пробел);
U+00A0 (неразрывный пробел, в HTML);
U+2002 (полукруглая шпация или En Space);
U+2003 (круглая шпация или Em Space);
и т.д.

Существуют комбинируемые диакритические знаки (сombining diacritical marks) - всевозможные штрихи, точки, тильды и т.д., которые меняют/уточняют значение предыдущего знака и его начертание. Например:

U+0300 и U+0301: знаки основного (острого) и второстепенного (слабого) ударений;
U+0306: кратка (надстрочная дуга), как в й;
U+0303: надстрочная тильда;
и т.д.

Существует даже такая экзотика, как языковые тэги (U+E0001, U+E0020–U+E007E, и U+E007F), которые сейчас находятся в подвешенном состоянии. Они задумывались как возможность маркировать определённые участки текста как относящиеся к тому или иному варианту языку (скажем американский и британский вариант английского), что могло влиять на детали отображения текста.

Что такое символ, чем отличается графемный кластер (читай: воспринимаемое как единое целое изображение символа) от юникод-символа и от кодового кванта мы расскажем в следующий раз.

Кодовое пространство Юникода

Кодировки

Если вы пересылаете по сети HTML-страницу с кириллическим текстом, то UTF-8 может дать весьма ощутимый выигрыш, т.к. вся разметка, а также JavaScript и CSS блоки будут эффективно кодироваться одним байтом. К примеру главная страница Хабра в UTF-8 занимает 139Кб, а в UTF-16 уже 256Кб. Для сравнения, если использовать win-1251 с потерей возможности сохранять некоторые символы, то размер, по сравнению с UTF-8, сократится всего на 11Кб до 128Кб.

В сухом остатке

Информации много и имеет смысл привести краткую выжимку всего, что было написано выше:

Юникод постулирует чёткое разграничение между символами, их представлением в компьютере и их отображением на устройстве вывода.
Юникод-символы не всегда соответствуют символу в традиционно-наивном понимании, например букве, цифре, пунктуационному знаку или иероглифу.
Кодовое пространство Юникода состоит из 1 114 112 кодовых позиций в диапазоне от 0 до 10FFFF.
Базовая многоязыковая плоскость включает в себя юникод-символы от U+0000 до U+FFFF, которые кодируются в UTF-16 двумя байтами.
Любая юникод-кодировка позволяет закодировать всё пространство кодовых позиций Юникода и конвертация между различными такими кодировками осуществляется без потерь информации.
Однобайтные кодировки позволяют закодировать лишь небольшую часть юникод-спектра, но могут оказаться полезными при работе с большим объёмом моноязыковой информации.
Кодировки UTF-8 и UTF-16 обладают переменной длиной кода. В UTF-8 каждый юникод-символ может быть закодирован одним, двумя, тремя или четырьмя байтами. В UTF-16 - двумя или четырьмя байтами.
Внутренний формат хранения текстовой информации в рамках отдельного приложения может быть произвольным при условии корректной работы со всем пространством кодовых позиций Юникода и отсутствии потерь при трансграничной передаче данных.

Краткое замечание про кодирование

В заключение

Юникод (по-английски Unicode) - это стандарт кодирования символов. Проще говоря, это таблица соответствия текстовых знаков ( , букв, элементов пунктуации ) двоичным кодам. Компьютер понимает только последовательность нулей и единиц. Чтобы он знал, что именно должен отобразить на экране, необходимо присвоить каждому символу свой уникальный номер. В восьмидесятых, знаки кодировали одним байтом, то есть восемью битами (каждый бит это 0 или 1). Таким образом получалось, что одна таблица (она же кодировка или набор) может вместить только 256 знаков. Этого может не хватить даже для одного языка. Поэтому, появилось много разных кодировок, путаница с которыми часто приводила к тому, что на экране вместо читаемого текста появлялись какие-то странные кракозябры. Требовался единый стандарт, которым и стал Юникод. Самая используемая кодировка - UTF-8 (Unicode Transformation Format) для изображения символа задействует от 1 до 4 байт.

Символы

Символы в таблицах Юникода пронумерованы шестнадцатеричными числами. Например, кириллическая заглавная буква М обозначена U+041C. Это значит, что она стоит на пересечении строки 041 и столбца С. Её можно просто скопировать и потом вставить куда-либо. Чтобы не рыться в многокилометровом списке следует воспользоваться поиском. Зайдя на страницу символа, вы увидите его номер в Юникоде и способ начертания в разных шрифтах. В строку поиска можно вбить и сам знак, даже если вместо него отрисовывается квадратик, хотя бы для того, чтобы узнать, что это было. Ещё, на этом сайте есть специальные (и - случайные) наборы однотипных значков, собранные из разных разделов, для удобства их использования.

Стандарт Юникод - международный. Он включает знаки почти всех письменностей мира. В том числе и тех, которые уже не применяются. Египетские иероглифы, германские руны, письменность майя, клинопись и алфавиты древних государств. Представлены и обозначения мер и весов, нотных грамот, математических понятий.

Сам консорциум Юникода не изобретает новых символов. В таблицы добавляются те значки, которые находят своё применение в обществе. Например, знак рубля активно использовался в течении шести лет прежде чем был добавлен в Юникод. Пиктограммы эмодзи (смайлики) тоже сначала получили широкое применение в Япониии прежде чем были включены в кодировку. А вот товарные знаки, и логотипы компаний не добавляются принципиально. Даже такие распространённые как яблоко Apple или флаг Windows. На сегодняшний день, в версии 8.0 закодировано около 120 тысяч символов.

Кодировка юникод. Кодировка Unicode

Зачем понадобился Юникод?

Основные принципы Юникода

Кодовое пространство Юникода

Кодировки

В сухом остатке

Краткое замечание про кодирование

В заключение

Символы

Рекомендуем почитать

Поиск по сайту