www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置：首頁 > 公眾號精選 > AI科技大本營

預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！

時(shí)間：2021-10-14 17:01:17
手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]導(dǎo)讀PaddleNLP是兼具科研學(xué)習(xí)和產(chǎn)業(yè)實(shí)踐能力的PythonNLP工具包，提供中文領(lǐng)域豐富的預(yù)訓(xùn)練模型和部署工具，被高校、企業(yè)開發(fā)者廣泛應(yīng)用。近日，PaddleNLPv2.1正式發(fā)布，為開發(fā)者帶來三項(xiàng)重要更新：開箱即用的工業(yè)級NLP預(yù)置任務(wù)能力Taskflow：八大經(jīng)典場景一...

預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！



預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！導(dǎo)讀
PaddleNLP 是兼具科研學(xué)習(xí)和產(chǎn)業(yè)實(shí)踐能力的 Python NLP 工具包，提供中文領(lǐng)域豐富的預(yù)訓(xùn)練模型和部署工具，被高校、企業(yè)開發(fā)者廣泛應(yīng)用。近日，PaddleNLP v2.1正式發(fā)布，為開發(fā)者帶來三項(xiàng)重要更新：


  • 開箱即用的工業(yè)級NLP預(yù)置任務(wù)能力Taskflow：八大經(jīng)典場景一鍵預(yù)測。
  • 預(yù)訓(xùn)練時(shí)代的微調(diào)新范式應(yīng)用：三行代碼顯著提升小樣本學(xué)習(xí)效果。
  • 高性能預(yù)測加速：文本生成任務(wù)28倍加速效果。
傳送門：GitHub項(xiàng)目: https://github.com/PaddlePaddle/PaddleNLP
預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！PaddleNLP整體開源


能力速覽



PaddleNLP是飛槳生態(tài)的自然語言處理開發(fā)庫，旨在提升文本領(lǐng)域的開發(fā)效率，為開發(fā)者帶來模型構(gòu)建、訓(xùn)練及預(yù)測部署的全流程優(yōu)質(zhì)體驗(yàn)。


預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！


PaddleNLP功能全景圖


PaddleNLP項(xiàng)目自發(fā)布以來，就受到廣大NLPer的關(guān)注。在2021年6月PaddleNLP官方直播打卡課中，有7000 用戶參加PaddleNLP的項(xiàng)目學(xué)習(xí)和實(shí)踐，加速了自身科研和業(yè)務(wù)實(shí)踐進(jìn)程，同時(shí)也帶動PaddleNLP多次登上GitHub Trending榜單。


預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！


那么最近的2021年10月份更新，PaddleNLP又給大家?guī)砟男@喜呢？下文將為您逐一細(xì)細(xì)解讀。
預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！PaddleNLP 全新升級深入解讀
  • 1. 開箱即用的工業(yè)級NLP預(yù)置任務(wù)能力——Taskflow
依托于百度在多年語言與知識領(lǐng)域的業(yè)務(wù)積淀，PaddleNLP面向NLP八種任務(wù)場景，聚合了眾多百度自研的算法以及社區(qū)開源模型，并憑借飛槳核心框架的能力升級提供開箱即用、極致優(yōu)化的高性能一鍵預(yù)測能力——Taskflow。本次Taskflow升級覆蓋自然語言理解（NLU）和生成（NLG）兩大場景共八大任務(wù)，包括中文分詞、詞性標(biāo)注、命名實(shí)體識別、句法分析、文本糾錯、情感分析、生成式問答和智能寫詩。這些高質(zhì)量模型的背后，一方面聚合了百度在語言與知識領(lǐng)域多年的業(yè)務(wù)積淀和領(lǐng)先的開源成果：如詞法分析工具LAC、句法分析工具DDParser、情感分析系統(tǒng)Senta、文心ERNIE系列家族模型、開放域?qū)υ掝A(yù)訓(xùn)練模型PLATO、文本知識關(guān)聯(lián)框架解語等；另一方面也涵蓋了開源社區(qū)優(yōu)秀的中文預(yù)訓(xùn)練模型如CPM等。未來Taskflow會隨著PaddleNLP的版本迭代不斷擴(kuò)充技能，如開放域?qū)υ挕⑽谋痉g、信息抽取等能力，以滿足更多NLP開發(fā)者的需求。如下圖所示，通過PaddleNLP Taskflow，只需要一行代碼，傳入任務(wù)名稱即可自動選擇最優(yōu)的預(yù)置模型，并且以極致優(yōu)化的方式完成推理，開發(fā)者可以方便地集成到下游的應(yīng)用中。預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！圖：Taskflow使用示意圖https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/taskflow.md
  • 2. 預(yù)訓(xùn)練時(shí)代的微調(diào)新范式應(yīng)用：三行代碼提升小樣本學(xué)習(xí)效果
Few-Shot Learning（以下簡稱FSL）是機(jī)器學(xué)習(xí)的一個子領(lǐng)域。在僅有少數(shù)監(jiān)督樣本的情況下，訓(xùn)練得到強(qiáng)泛化能力的模型，實(shí)現(xiàn)對新數(shù)據(jù)的分類。結(jié)合最新的Prompt Tuning的思想，PaddleNLP中集成了三大前沿FSL算法： （1）EFL(Entailment as Few-Shot Learner)[1]，將 NLP Fine-tune任務(wù)統(tǒng)一轉(zhuǎn)換為二分類的文本蘊(yùn)含任務(wù)。 （2）PET(Pattern-Exploiting Training)[2]，通過人工構(gòu)建模板，將分類任務(wù)轉(zhuǎn)成完形填空任務(wù)。 （3）P-Tuning[3]：自動構(gòu)建模板，將模版的構(gòu)建轉(zhuǎn)化為連續(xù)參數(shù)優(yōu)化問題。使用小樣本學(xué)習(xí)策略，僅僅32條樣本即可在電商評論分類任務(wù)上取得87%的分類精度[4]。此外，PaddleNLP集成 R-Drop 策略作為 API，只需要增加三行代碼即可在原任務(wù)上快速漲點(diǎn)，如圖所示：預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！
https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/few_shot
  • 3. 高性能預(yù)測加速：文本生成場景高達(dá)28倍加速效果
PaddleNLP與NVDIA強(qiáng)強(qiáng)聯(lián)合，以FasterTransformer[5]為基礎(chǔ)，提供了Faster系列的推理API，重點(diǎn)拓展了更多主流網(wǎng)絡(luò)結(jié)構(gòu)適配與解碼策略支持。同時(shí)結(jié)合飛槳核心框架2.1版本全新的自定義OP的功能，提供了與飛槳框架無縫銜接的使用體驗(yàn)。預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！FasterTransformer Decoding Workflow （1）大幅提升生成任務(wù)的推理能力在Transformer機(jī)器翻譯、GPT文本生成兩個任務(wù)中，分別對比使用動態(tài)圖版本的性能和內(nèi)置Faster系列的推理API后，不同batch size下預(yù)測性能加速比，從對比數(shù)據(jù)可以看到無論Transformer還是GPT，均可得到高達(dá)28倍推理速度提升！預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！
PaddleNLP Transformer翻譯模型加速優(yōu)化前后的Nsight Profling對比圖 （2）支持豐富的經(jīng)典解碼策略PaddleNLP v2.1提供工業(yè)界主流的解碼加速支持，包括經(jīng)典的Beam Search，以及多個Sampling-based的解碼方式：如Diverse Sibling Search[6]、T2T版本的Beam Search實(shí)現(xiàn)[7]、Top-k/Top-p Sampling等。豐富的加速策略可以滿足對話、翻譯等工業(yè)場景的實(shí)際應(yīng)用，同時(shí)PaddleNLP的加速實(shí)現(xiàn)也在百度內(nèi)部經(jīng)過了大規(guī)模互聯(lián)網(wǎng)業(yè)務(wù)的真實(shí)考驗(yàn)。表1：PaddleNLP 2.1 支持加速的模型結(jié)構(gòu)與解碼策略預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！


更多PaddleNLP加速使用文檔可以參考：https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/advanced_guide/fastertransformer.rst別的不需要多說了，大家訪問GitHub點(diǎn)過star之后自己體驗(yàn)吧：https://github.com/PaddlePaddle/PaddleNLP預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！
預(yù)訓(xùn)練時(shí)代微調(diào)新范式，高性能加速2800%，NLPer趕緊看過來！


本站聲明： 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點(diǎn)，本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權(quán)益，請及時(shí)聯(lián)系本站刪除。
關(guān)閉
關(guān)閉