C 讀取 UTF-8 及 GBK 系列的文本方法及原理
[導(dǎo)讀]1.讀取UTF-8編碼文本原理首先了解UTF-8的編碼方式，UTF-8采用可變長編碼的方式，一個字符可占1字節(jié)-6字節(jié)，其中每個字符所占的字節(jié)數(shù)由字符開始的1的個數(shù)確定，具體的編碼方式如下：U-00000000–U-0000007F:0xxxxxxxU-00000080–U-00...
1.讀取 UTF-8 編碼文本原理
首先了解 UTF-8 的編碼方式，UTF-8 采用可變長編碼的方式，一個字符可占 1 字節(jié) -6 字節(jié)，其中每個字符所占的字節(jié)數(shù)由字符開始的 1 的個數(shù)確定，具體的編碼方式如下：
其中 Text 抽象類的定義如下：
首先了解 UTF-8 的編碼方式，UTF-8 采用可變長編碼的方式，一個字符可占 1 字節(jié) -6 字節(jié)，其中每個字符所占的字節(jié)數(shù)由字符開始的 1 的個數(shù)確定，具體的編碼方式如下：
U-00000000 – U-0000007F: 0xxxxxxxU-00000080 – U-000007FF: 110xxxxx 10xxxxxxU-00000800 – U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxxU-00010000 – U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxxU-00200000 – U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxxU-04000000 – U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx因此，對于每個字節(jié)如果起始位為“0”則說明，該字符占有 1 字節(jié)。如果起始位為“10”則說明該字節(jié)不是字符的其實字節(jié)。如果起始為為 n 個“1” 1個“0”，則說明改字符占有 n 個字節(jié)。其中1≤n≤6。因此對于 UTF-8 的編碼，我們只需要每次計算每個字符開始字節(jié)的 1 的個數(shù)，就可以確定這個字符的長度。GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(34, 34, 34);border-bottom: 1px solid rgb(238, 238, 238);line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;">2.讀取 GBK 系列文本原理
對于 ASCII、GB2312、GBK 到 GB18030 編碼方法是向下兼容的?，即同一個字符在這些方案中總是有相同的編碼，后面的標(biāo)準(zhǔn)支持更多的字符。在這些編碼中，英文和中文可以統(tǒng)一地處理。區(qū)分中文編碼的方法是高字節(jié)的最高位不為 0。因此我們只需處理好 GB18130，就可以處理與他兼容的所有編碼，對于GB18130 使用雙字節(jié)變長編碼。單字節(jié)部分從 0×0~0x7F 與 ASCII 編碼兼容。雙字節(jié)部分，首字節(jié)從 0×81~0xFE，尾字節(jié)從 0×40~0x7E以及 0×80~0xFE，與 GBK 標(biāo)準(zhǔn)基本兼容。因此只需檢測首字節(jié)是否小于 0×81 即可確定其為單字節(jié)編碼還是雙字節(jié)編碼。GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(34, 34, 34);border-bottom: 1px solid rgb(238, 238, 238);line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;">3.C 代碼實現(xiàn)
對于一個語言處理系統(tǒng)，讀取不同編碼的文本應(yīng)該是最基礎(chǔ)的需求，文本的編碼方式應(yīng)該對系統(tǒng)其他調(diào)用者透明，只需每次獲取一個字符即可，而不需要關(guān)注這個文本的編碼方式。從而我們定義了抽象類 Text，及其接口ReadOneChar，并使兩個文本類 GbkText 和 UtfText 繼承這個抽象類，當(dāng)系統(tǒng)需要讀取更多種編碼的文件時，只需要定義新的類然后繼承該抽象類即可，并不需要更改調(diào)用該類的代碼。從而獲得更好的擴展性。更好的方式是使用簡單工廠模式，使不同的文本編碼格式對于調(diào)用類完全透明，簡單工廠模式詳解請參看：設(shè)計模式：可復(fù)用面向?qū)ο筌浖A(chǔ)。其中 Text 抽象類的定義如下：
#ifndef TEXT_H#define TEXT_H#include #include using namespace std;class Text{ protected: char * m_binaryStr; size_t m_length; size_t m_index; public: Text(string path); void SetIndex(size_t index); virtual bool ReadOneChar(string 
下載文檔
