OCR NLP 提取信息并分析，這個(gè)開源項(xiàng)目火了！
[導(dǎo)讀]文字是傳遞信息的高效途徑，利用OCR技術(shù)提取文本信息是各行業(yè)向數(shù)字智能化轉(zhuǎn)型的第一步。與此同時(shí)，針對(duì)OCR提取的海量文本信息，利用NLP技術(shù)進(jìn)一步加工提取、分析理解后才能最大化發(fā)揮文本信息的價(jià)值。NLP技術(shù)可以提升OCR準(zhǔn)確率，并從文本中抽取關(guān)鍵信息、構(gòu)建知識(shí)圖譜，搭建檢索、推薦...
文字是傳遞信息的高效途徑，利用OCR技術(shù)提取文本信息是各行業(yè)向數(shù)字智能化轉(zhuǎn)型的第一步。與此同時(shí)，針對(duì)OCR提取的海量文本信息，利用NLP技術(shù)進(jìn)一步加工提取、分析理解后才能最大化發(fā)揮文本信息的價(jià)值。NLP技術(shù)可以提升OCR準(zhǔn)確率，并從文本中抽取關(guān)鍵信息、構(gòu)建知識(shí)圖譜，搭建檢索、推薦、問答系統(tǒng)等。
聽說文檔和代碼已經(jīng)開源了，來吧
OCR NLP 串聯(lián)技術(shù)難點(diǎn)
市面上有不少開源的OCR、NLP產(chǎn)品，但是如果想直接利用這些工具，會(huì)面臨底層框架不統(tǒng)一、串聯(lián)難度高、效果無法保證等問題。PaddleOCR和PaddleNLP是面向產(chǎn)業(yè)界的開發(fā)庫，均基于飛槳開源框架最新版本，能夠?qū)CR和NLP技術(shù)無縫結(jié)合。
今天我們針對(duì)金融行業(yè)研報(bào)、物流快遞單，來看看OCR NLP信息抽取技術(shù)的應(yīng)用。
OCR NLP金融研報(bào)分析
當(dāng)前，諸多投資機(jī)構(gòu)都通過研報(bào)的形式給出對(duì)于股票、基金以及行業(yè)的判斷，讓大眾了解熱點(diǎn)方向、龍頭公司等各類信息。然而，分析和學(xué)習(xí)研報(bào)往往花費(fèi)大量時(shí)間，研報(bào)數(shù)量的與日俱增也使得研報(bào)智能分析訴求不斷提高。這里我們采用命名實(shí)體識(shí)別技術(shù)，自動(dòng)抽取研報(bào)中的關(guān)鍵信息，例如，“中國銀行成立于1912年?！敝邪私M織機(jī)構(gòu)、場(chǎng)景事件、時(shí)間等實(shí)體信息。
OCR NLP Pipeline
針對(duì)研報(bào)數(shù)據(jù)的命名實(shí)體識(shí)別與詞頻統(tǒng)計(jì)整體流程如上圖所示。首先將研報(bào)pdf數(shù)據(jù)使用fitz包拆分為圖像格式，然后利用PaddleOCR套件在研報(bào)數(shù)據(jù)集上微調(diào)PP-OCR[1]的檢測(cè)模型，使用現(xiàn)有的識(shí)別模型獲得文本信息。PP-OCR是PaddleOCR中由百度自研的明星模型系列，由文本檢測(cè)、文本方向分類器與文本識(shí)別模塊串聯(lián)而成。
對(duì)OCR識(shí)別出的文本進(jìn)行整理后，調(diào)用PaddleNLP中的Taskflow API抽取文本信息中的組織機(jī)構(gòu)實(shí)體。最后對(duì)這些實(shí)體進(jìn)行詞頻統(tǒng)計(jì)，就可初步判定當(dāng)前研報(bào)分析的熱點(diǎn)機(jī)構(gòu)。
目前，Taskflow API 支持自然語言理解（NLU）和生成（NLG）兩大場(chǎng)景共八大任務(wù)，包括中文分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、句法分析、文本糾錯(cuò)、情感分析、生成式問答和智能寫詩，均可一鍵調(diào)用。
物流快遞單信息抽取
雙十一要到了，想必很多人都預(yù)備了一個(gè)滿滿的購物車。去年雙十一成交量4982億元，全國快遞企業(yè)共處理快件39億件，這背后則是物流行業(yè)工作量的驟增。除了滿負(fù)荷的長深高速公路，還有繁忙的快遞小哥。無論是企業(yè)業(yè)務(wù)匯總，還是寄件信息填寫，都少不了關(guān)鍵信息智能提取這一環(huán)節(jié)，這其中均采用了命名實(shí)體識(shí)別技術(shù)。
命名實(shí)體識(shí)別大體上有三種方案：字符串匹配、統(tǒng)計(jì)語言模型、序列標(biāo)注。前兩種方法需要預(yù)先構(gòu)建詞典、窮舉所有實(shí)體，無法發(fā)現(xiàn)新詞、變體等。本案例中采用了目前的主流方法——序列標(biāo)注。
數(shù)據(jù)集包括1600條訓(xùn)練集，200條訓(xùn)練集和200條測(cè)試集，采用BIO體系進(jìn)行標(biāo)注。
針對(duì)輕量化、高精度的需求，可以選用RNN CRF 方案。也可以采用預(yù)訓(xùn)練模型，通過模型壓縮、動(dòng)轉(zhuǎn)靜加速等方式滿足精度和性能的要求。我們采用Ernie-Gram[2] CRF 獲得了最佳效果。
此外，命名實(shí)體識(shí)別技術(shù)可以應(yīng)用于各類關(guān)鍵信息的提取，例如電商評(píng)論中的商品名稱、電子發(fā)票中的抬頭信息、收入證明中的金額、法律文書中的犯罪地點(diǎn)等信息。結(jié)合關(guān)系抽取、事件抽取技術(shù)，還可以構(gòu)建知識(shí)圖譜、搭建問答系統(tǒng)等。 ☆直播預(yù)告☆
為了便于大家更熟練地使用這些案例教程，百度高工將于10月26-28日圍繞四大行業(yè)、八大真實(shí)場(chǎng)景親授產(chǎn)業(yè)實(shí)踐案例課，歡迎小伙伴們鎖定我們的直播間，來和我們交流吧！掃碼報(bào)名直播課，立即加入技術(shù)交流群
聽說文檔和代碼已經(jīng)開源了，來吧
-
https://github.com/PaddlePaddle/awesome-DeepLearning
OCR NLP 串聯(lián)技術(shù)難點(diǎn)
市面上有不少開源的OCR、NLP產(chǎn)品，但是如果想直接利用這些工具，會(huì)面臨底層框架不統(tǒng)一、串聯(lián)難度高、效果無法保證等問題。PaddleOCR和PaddleNLP是面向產(chǎn)業(yè)界的開發(fā)庫，均基于飛槳開源框架最新版本，能夠?qū)CR和NLP技術(shù)無縫結(jié)合。
今天我們針對(duì)金融行業(yè)研報(bào)、物流快遞單，來看看OCR NLP信息抽取技術(shù)的應(yīng)用。
OCR NLP金融研報(bào)分析
當(dāng)前，諸多投資機(jī)構(gòu)都通過研報(bào)的形式給出對(duì)于股票、基金以及行業(yè)的判斷，讓大眾了解熱點(diǎn)方向、龍頭公司等各類信息。然而，分析和學(xué)習(xí)研報(bào)往往花費(fèi)大量時(shí)間，研報(bào)數(shù)量的與日俱增也使得研報(bào)智能分析訴求不斷提高。這里我們采用命名實(shí)體識(shí)別技術(shù)，自動(dòng)抽取研報(bào)中的關(guān)鍵信息，例如，“中國銀行成立于1912年?！敝邪私M織機(jī)構(gòu)、場(chǎng)景事件、時(shí)間等實(shí)體信息。
OCR NLP Pipeline
針對(duì)研報(bào)數(shù)據(jù)的命名實(shí)體識(shí)別與詞頻統(tǒng)計(jì)整體流程如上圖所示。首先將研報(bào)pdf數(shù)據(jù)使用fitz包拆分為圖像格式，然后利用PaddleOCR套件在研報(bào)數(shù)據(jù)集上微調(diào)PP-OCR[1]的檢測(cè)模型，使用現(xiàn)有的識(shí)別模型獲得文本信息。PP-OCR是PaddleOCR中由百度自研的明星模型系列，由文本檢測(cè)、文本方向分類器與文本識(shí)別模塊串聯(lián)而成。
對(duì)OCR識(shí)別出的文本進(jìn)行整理后，調(diào)用PaddleNLP中的Taskflow API抽取文本信息中的組織機(jī)構(gòu)實(shí)體。最后對(duì)這些實(shí)體進(jìn)行詞頻統(tǒng)計(jì)，就可初步判定當(dāng)前研報(bào)分析的熱點(diǎn)機(jī)構(gòu)。
目前，Taskflow API 支持自然語言理解（NLU）和生成（NLG）兩大場(chǎng)景共八大任務(wù)，包括中文分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、句法分析、文本糾錯(cuò)、情感分析、生成式問答和智能寫詩，均可一鍵調(diào)用。
物流快遞單信息抽取
雙十一要到了，想必很多人都預(yù)備了一個(gè)滿滿的購物車。去年雙十一成交量4982億元，全國快遞企業(yè)共處理快件39億件，這背后則是物流行業(yè)工作量的驟增。除了滿負(fù)荷的長深高速公路，還有繁忙的快遞小哥。無論是企業(yè)業(yè)務(wù)匯總，還是寄件信息填寫，都少不了關(guān)鍵信息智能提取這一環(huán)節(jié)，這其中均采用了命名實(shí)體識(shí)別技術(shù)。
命名實(shí)體識(shí)別大體上有三種方案：字符串匹配、統(tǒng)計(jì)語言模型、序列標(biāo)注。前兩種方法需要預(yù)先構(gòu)建詞典、窮舉所有實(shí)體，無法發(fā)現(xiàn)新詞、變體等。本案例中采用了目前的主流方法——序列標(biāo)注。
數(shù)據(jù)集包括1600條訓(xùn)練集，200條訓(xùn)練集和200條測(cè)試集，采用BIO體系進(jìn)行標(biāo)注。
針對(duì)輕量化、高精度的需求，可以選用RNN CRF 方案。也可以采用預(yù)訓(xùn)練模型，通過模型壓縮、動(dòng)轉(zhuǎn)靜加速等方式滿足精度和性能的要求。我們采用Ernie-Gram[2] CRF 獲得了最佳效果。
此外，命名實(shí)體識(shí)別技術(shù)可以應(yīng)用于各類關(guān)鍵信息的提取，例如電商評(píng)論中的商品名稱、電子發(fā)票中的抬頭信息、收入證明中的金額、法律文書中的犯罪地點(diǎn)等信息。結(jié)合關(guān)系抽取、事件抽取技術(shù)，還可以構(gòu)建知識(shí)圖譜、搭建問答系統(tǒng)等。 ☆直播預(yù)告☆
為了便于大家更熟練地使用這些案例教程，百度高工將于10月26-28日圍繞四大行業(yè)、八大真實(shí)場(chǎng)景親授產(chǎn)業(yè)實(shí)踐案例課，歡迎小伙伴們鎖定我們的直播間，來和我們交流吧！掃碼報(bào)名直播課，立即加入技術(shù)交流群
下載文檔
