深度學習、AI人工智能等技術正在成為各大處理器的熱點，雖然目前的主流是通過專用的NPU單元來加速AI指令，但在CPU中集成相應的指令集也會帶來很大的改變，Intel在Cascade Lake及10nm Ice Lake處理器中就加入了BFlota16指令集（簡稱BF16），AI性能達到了前代的2．5倍以上。

BF16是為深度學習而優(yōu)化的新數(shù)字格式，它保證了計算能力和計算量的節(jié)省，而預測精度的降低幅度最小。

BF16，有時也被稱為BFloat16或Brain Float16，是一種針對人工智能／深度學習應用程序進行優(yōu)化的新數(shù)字格式。它在谷歌Brain上獲得了廣泛的應用，包括谷歌、英特爾、Arm和許多其他公司的人工智能加速器。

BF16背后的想法是通過降低數(shù)字的精度來減少計算能力和將張量相乘所需的能源消耗。張量是一個三維的數(shù)字矩陣；張量的乘法是計算人工智能所需的關鍵數(shù)學運算。

現(xiàn)在大多數(shù)人工智能訓練都使用FP32， 32位浮點數(shù)。雖然這意味著計算非常準確，但它需要強大的硬件和大量的電力。推理通常使用INT8， 8位整數(shù)（整數(shù)）。雖然使用諸如INT8這樣的較低精度的數(shù)字系統(tǒng)可以在相同的硬件上提供更高的吞吐量，從而節(jié)省電力，但是計算（預測）的結果卻不那么準確。

BF16的目的是優(yōu)化精度和預測精度之間的權衡，以增加吞吐量。

解剖FP

計算中的二進制數(shù)表示為：

底數(shù)是2，尾數(shù)是x的基指數(shù)，

在FP32中，每個數(shù)字都表示為：

1位表示符號（＋或－），后跟8位的指數(shù)，在后面是23位的尾數(shù)（總共32位）。

對于BF16，谷歌Brain提出通過將FP32的尾數(shù)截斷為7位來降低精度。

因此，BF16數(shù)字表示為：

1個符號位＋ 8個指數(shù)位＋7個尾數(shù)位（總共16位）。

這些16位數(shù)字提供了谷歌所追求的高吞吐量需求，同時保留了FP32的近似動態(tài)范圍（該系統(tǒng)可以表示的數(shù)字的整個范圍），因為指數(shù)是相同的大小。

使用BF16算法的預測精度與FP32相似，但不如FP32精確（谷歌曾說過，這是因為神經(jīng)網(wǎng)絡對指數(shù)的大小比尾數(shù)敏感得多）。對于大多數(shù)應用程序，這種折衷還是被認為可以接受。

為什么不用FP16？

現(xiàn)有的FP16格式（在移動圖形應用程序中很流行）也是16位浮點數(shù)格式。為什么不用它呢？

FP16包括：

1個符號位，5個指數(shù)位，10個尾數(shù)位（共16位）。

使用這種格式，指數(shù)比FP32小，因此動態(tài)范圍大大縮小。此外，將FP32數(shù)字轉換成FP16比轉換成BF16要困難得多——這比直接截斷尾數(shù)要多得多，而尾數(shù)截斷是一個相對簡單的操作。

另一個重點是計算所需的硅物理面積。由于硬件乘法器的物理大小隨尾數(shù)寬度的平方而增加，因此從FP32切換到BF16可以顯著節(jié)省硅面積（這足以說服谷歌在其張量處理單元（TPU）芯片中使用BF16）。BF16乘法器比FP32乘法器小8倍，但仍然是FP16的一半。

DL還有哪些格式？

BF16并不是為深度學習提出的唯一新數(shù)字格式。在2017年Nervana提出了一個名為Flexpoint的格式。這個想法是通過結合點和浮點數(shù)系統(tǒng)的優(yōu)點來減少計算和內存需求。

定點數(shù)使用固定的位來表示整數(shù)（整數(shù)）和分數(shù)（小數(shù)點后的部分）—與上面描述的浮點格式相比，用定點數(shù)計算通常更簡單、更快。但是，對于給定位數(shù)，定點數(shù)的動態(tài)范圍要比浮點數(shù)小得多。

Flexpoint數(shù)字共享相同的指數(shù)，使張量更容易相乘

Flexpoint張量中的（浮點數(shù)）數(shù)使用相同的指數(shù)（不僅僅是相同的指數(shù)大小，而是完全相同的指數(shù)值）。這個指數(shù)是由張量中的所有數(shù)字共享的，所以指數(shù)的傳遞可以在整個張量中平攤。

張量相乘可以作為一個定點運算，因為每個計算的指數(shù)是相同的——這比浮點數(shù)所需的數(shù)學運算要簡單。這些計算代表了深度學習數(shù)學的絕大部分，因此節(jié)省了相當大的費用。然而，由于所有數(shù)字都有相同的指數(shù)，所以導致管理指數(shù)很復雜，動態(tài)范圍（可以表示的數(shù)字范圍）很低。

可惜的是，F(xiàn)lexpoint從未成功，甚至Nervana自己的芯片在消亡前也使用了BF16。

延伸閱讀——ARM下代處理器架構將支持BFloat16指令集 AI性能突飛猛進

ARM宣布將在下一版ARMv8架構中加入新的Non及SVE指令，以便支持BFloat16運算。

BF16運算還不是IEEE的標準，但與標準的FP32浮點、FP16半精度相比，BF16運算優(yōu)點多多，它可以輕松取代FP32，而且還能保持正確的NN神經(jīng)網(wǎng)絡操作，這點是FP16做不到的，而且它占用的內存及帶寬只有FP32一半，所以性能更高，而且不需要復雜的架構改變。

總之，支持BF16運算優(yōu)點多多，根據(jù)ARM做的模擬，不同類型的運算中BF16帶來的性能提升不等，少的有1．6倍性能，多的可達4倍性能，所以在AI方面性能變化是非常大的，是前代的數(shù)倍之多。