作者： Marius Bancila 翻譯： wangxg
字符集簡史
在所有字符集中，最知名可能要數(shù)被稱為ASCII的7位字符集了。它是美國信息交換標(biāo)準(zhǔn)委員會（American Standards Committee for Information Interchange）的縮寫, 為美國英語通信所設(shè)計(jì)。它由128個(gè)字符組成，包括大小寫字母、數(shù)字0-9、標(biāo)點(diǎn)符號、非打印字符（換行符、制表符等4個(gè)）以及控制字符（退格、響鈴等）組成。
但是，由于他是針對英語設(shè)計(jì)的，當(dāng)處理帶有音調(diào)標(biāo)號（形如漢語的拼音）的歐洲文字時(shí)就會出現(xiàn)問題。因此，創(chuàng)建出了一些包括255個(gè)字符的由ASCII擴(kuò)展的字符集。其中有一種通常被成為IBM字符集，它把值為128-255之間的字符用于畫圖和畫線，以及一些特殊的歐洲字符。另一種8位字符集是ISO 8859-1 Latin 1，也簡稱為ISO Latin-1。它把位于128-255之間的字符用于拉丁字母表中特殊語言字符的編碼，也因此而得名。
歐洲語言不是地球上的唯一語言，因此亞洲和非洲語言并不能被8位字符集所支持。僅漢語（或pictograms）字母表就有80000以上個(gè)字符。但是把漢語、日語和越南語的一些相似的字符結(jié)合起來，在不同的語言里，使不同的字符代表不同的字，這樣只用2個(gè)字節(jié)就可以編碼地球上幾乎所有地區(qū)的文字。因此，創(chuàng)建了UNICODE編碼。它通過增加一個(gè)高字節(jié)對ISO Latin-1字符集進(jìn)行擴(kuò)展，當(dāng)這些高字節(jié)位為0時(shí)，低字節(jié)就是ISO Latin-1字符。UNICODE支持歐洲、非洲、中東、亞洲（包括統(tǒng)一標(biāo)準(zhǔn)的東亞像形漢字和韓國像形文字）。但是，UNICODE并沒有提供對諸如Braille, Cherokee, Ethiopic, Khmer, Mongolian, Hmong, Tai Lu, Tai Mau文字的支持。同時(shí)它也不支持如Ahom, Akkadian, Aramaic, Babylonian Cuneiform, Balti, Brahmi, Etruscan, Hittite, Javanese, Numidian, Old Persian Cuneiform, Syrian之類的古老的文字。
事實(shí)證明，對可以用ASCII表示的字符使用UNICODE并不高效，因?yàn)閁NICODE比ASCII占用大一倍的空間，而對ASCII來說高字節(jié)的0對他毫無用處。為了解決這個(gè)問題，就出現(xiàn)了一些中間格式的字符集，他們被稱為通用轉(zhuǎn)換格式，既UTF（Universal Transformation Format）。目前存在的UTF格式有：UTF-7, UTF-7.5, UTF-8, UTF-16, 以及 UTF-32。本文討論UTF-8字符集的基礎(chǔ)。
UTF_8字符集
UTF-8是UNICODE的一種變長字符編碼，由Ken Thompson于1992年創(chuàng)建?，F(xiàn)在已經(jīng)標(biāo)準(zhǔn)化為RFC 3629。UTF-8用1到6個(gè)字節(jié)編碼UNICODE字符。如果UNICODE字符由2個(gè)字節(jié)表示，則編碼成UTF-8很可能需要3個(gè)字節(jié)，而如果UNICODE字符由4個(gè)字節(jié)表示，則編碼成UTF-8可能需要6個(gè)字節(jié)。用4個(gè)或6個(gè)字節(jié)去編碼一個(gè)UNICODE字符可能太多了，但很少會遇到那樣的UNICODE字符。
UFT-8轉(zhuǎn)換表表示如下：
UNICODE UTF-8
00000000 - 0000007F 0xxxxxxx 00000080 - 000007FF 110xxxxx 10xxxxxx 00000800 - 0000FFFF 1110xxxx 10xxxxxx 10xxxxxx 00010000 - 001FFFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 00200000 - 03FFFFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 04000000 - 7FFFFFFF 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
實(shí)際表示ASCII字符的UNICODE字符，將會編碼成1個(gè)字節(jié)，并且UTF-8表示與ASCII字符表示是一樣的。所有其他的UNCODE字符轉(zhuǎn)化成UTF-8將需要至少2個(gè)字節(jié)。每個(gè)字節(jié)由一個(gè)換碼序列開始。第一個(gè)字節(jié)由唯一的換碼序列，由n位1加一位0組成。n位1表示字符編碼所需的字節(jié)數(shù)。
示例
UNICODE uCA(11001010) 編碼成UTF-8將需要2個(gè)字節(jié)：
uCA -> C3 8A
UNICODE uF03F (11110000 00111111) 編碼成UTF-8將需要3個(gè)字節(jié):
u F03F -> EF 80 BF
譯者注：由上分析可以看到，UNCODE到UTF-8的轉(zhuǎn)換就是先確定編碼所需要的字節(jié)數(shù)，然后用UNICODE編碼位從低位到高位依次填入上面表示為x的位上，不足的高位以0補(bǔ)充。以上是個(gè)人經(jīng)驗(yàn)，如有錯(cuò)誤，請不惜指教，謝過先:)
UTF-8編碼的優(yōu)點(diǎn)：
UTF-8編碼可以通過屏蔽位和移位操作快速讀寫。字符串比較時(shí)strcmp()和wcscmp()的返回結(jié)果相同，因此使排序變得更加容易。字節(jié)FF和FE在UTF-8編碼中永遠(yuǎn)不會出現(xiàn)，因此他們可以用來表明UTF-16或UTF-32文本（見BOM） UTF-8 是字節(jié)順序無關(guān)的。它的字節(jié)順序在所有系統(tǒng)中都是一樣的，因此它實(shí)際上并不需要BOM。
UTF-8編碼的缺點(diǎn)：
你無法從UNICODE字符數(shù)判斷出UTF-8文本的字節(jié)數(shù)，因?yàn)閁TF-8是一種變長編碼它需要用2個(gè)字節(jié)編碼那些用擴(kuò)展ASCII字符集只需1個(gè)字節(jié)的字符 ISO Latin-1 是UNICODE的子集，但不是UTF-8的子集 8位字符的UTF-8編碼會被email網(wǎng)關(guān)過濾，因?yàn)閕nternet信息最初設(shè)計(jì)為7為ASCII碼。因此產(chǎn)生了UTF-7編碼。 UTF-8 在它的表示中使用值100xxxxx的幾率超過50%， 而現(xiàn)存的實(shí)現(xiàn)如ISO 2022， 4873， 6429， 和8859系統(tǒng)，會把它錯(cuò)認(rèn)為是C1 控制碼。因此產(chǎn)生了UTF-7.5編碼。
修正的UTF-8：
java使用UTF-16表示內(nèi)部文本，并支持用于字符串串行化的非標(biāo)準(zhǔn)的修正UTF-8編碼。標(biāo)準(zhǔn)UTF-8和修正的UTF-8有兩點(diǎn)不同：修正的UTF-8中，null字符編碼成2個(gè)字節(jié)（11000000 00000000） 而不是標(biāo)準(zhǔn)的1個(gè)字節(jié)（00000000），這樣作可以保證編碼后的字符串中不會嵌入null字符。因此如果在類C語言中處理字符串，文本不會在第一個(gè)null字符時(shí)截?cái)啵–字符串以null結(jié)尾）。在標(biāo)準(zhǔn)UTF-8編碼中，超出基本多語言范圍（BMP - Basic Multilingual Plain）的字符被編碼為4字節(jié)格式，但是在修正的UTF-8編碼中，他們由代理編碼對（surrogate pairs）表示，然后這些代理編碼對在序列中分別重新編碼。結(jié)果標(biāo)準(zhǔn)UTF-8編碼中需要4個(gè)字節(jié)的字符，在修正后的UTF-8編碼中將需要6個(gè)字節(jié)。
位序標(biāo)志BOM
BOM（Byte Order Mark）是一個(gè)字符，它表明UNICODE文本的UTF-16,UTF-32的編碼字節(jié)順序（高字節(jié)低字節(jié)順序）和編碼方式（UTF-8,UTF-16,UTF-32， 其中UTF-8編碼是字節(jié)順序無關(guān)的）。
如下所示：
Encoding Representation
UTF-8 EF BB BF UTF-16 Big Endian FE FF UTF-16 Little Endian FF FE UTF-32 Big Endian 00 00 FE FF UTF-32 Little Endian FF FE 00 00 ......
限譯者水平有限，有不解之處請參考原文。版權(quán)屬原文作者所有，轉(zhuǎn)載請注明出處及作者。
