當(dāng)今世界的任何計(jì)算機(jī)系統(tǒng)，每天都會(huì)生成大量的日志或數(shù)據(jù)。隨著系統(tǒng)的發(fā)展，將調(diào)試數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中是不可行的，因?yàn)樗鼈兪遣豢勺兊模⑶抑荒苡糜诜治龊徒鉀Q故障。所以，大部分公司傾向于將日志存儲(chǔ)在文件中，而這些文件通常位于本地磁盤中。

我們將使用Go語(yǔ)言，從一個(gè)大小為16GB的.txt或.log文件中提取日志。

讓我們開始編碼……

首先，我們打開文件。對(duì)于任何文件的IO，我們都將使用標(biāo)準(zhǔn)的Go os.File。

f,?err?:=?os.Open(fileName)
?if?err?!=?nil?{
???fmt.Println("cannot?able?to?read?the?file",?err)
???return
?}
//?UPDATE:?close?after?checking?error
defer?file.Close()??//Do?not?forget?to?close?the?file
打開文件后，我們有以下兩個(gè)選項(xiàng)可以選擇：

逐行讀取文件，這有助于減少內(nèi)存緊張，但需要更多的時(shí)間。一次將整個(gè)文件讀入內(nèi)存并處理該文件，這將消耗更多內(nèi)存，但會(huì)顯著減少時(shí)間。

由于文件太大，即16 GB，因此無(wú)法將整個(gè)文件加載到內(nèi)存中。但是第一種選擇對(duì)我們來(lái)說(shuō)也是不可行的，因?yàn)槲覀兿Ｍ趲酌腌妰?nèi)處理文件。

但你猜怎么著，還有第三種選擇。瞧……相比于將整個(gè)文件加載到內(nèi)存中，在Go語(yǔ)言中，我們還可以使用bufio.NewReader()將文件分塊加載。

r?:=?bufio.NewReader(f)
for?{
buf?:=?make([]byte,4*1024)?//the?chunk?size
n,?err?:=?r.Read(buf)?//loading?chunk?into?buffer
???buf?=?buf[:n]
if?n?==?0?{
???
?????if?err?!=?nil?{
???????fmt.Println(err)
???????break
?????}
?????if?err?==?io.EOF?{
???????break
?????}
?????return?err
??}
}
一旦我們將文件分塊，我們就可以分叉一個(gè)線程，即Go routine，同時(shí)處理多個(gè)文件區(qū)塊。上述代碼將修改為：

//sync?pools?to?reuse?the?memory?and?decrease?the?preassure?on?Garbage?Collector
linesPool?:=?sync.Pool{New:?func()?interface{}?{
????????lines?:=?make([]byte,?500*1024)
????????return?lines
}}
stringPool?:=?sync.Pool{New:?func()?interface{}?{
??????????lines?:=?""
??????????return?lines
}}
slicePool?:=?sync.Pool{New:?func()?interface{}?{
???????????lines?:=?make([]string,?100)
???????????return?lines
}}
r?:=?bufio.NewReader(f)
var?wg?sync.WaitGroup?//wait?group?to?keep?track?off?all?threads
for?{
?????
?????buf?:=?linesPool.Get().([]byte)
?????n,?err?:=?r.Read(buf)
?????buf?=?buf[:n]
if?n?==?0?{
????????if?err?!=?nil?{
????????????fmt.Println(err)
????????????break
????????}
????????if?err?==?io.EOF?{
????????????break
????????}
????????return?err
?????}
nextUntillNewline,?err?:=?r.ReadBytes('\n')//read?entire?line
?????
?????if?err?!=?io.EOF?{
?????????buf?=?append(buf,?nextUntillNewline...)
?????}
?????
?????wg.Add(1)
?????go?func()?{?
??????
????????//process?each?chunk?concurrently
????????//start?->?log?start?time,?end?->?log?end?time
????????
????????ProcessChunk(buf,?