在我之前的文章中，我討論了如何對(duì)卷積神經(jīng)網(wǎng)絡(luò)（CNN）學(xué)習(xí)的權(quán)重進(jìn)行拓?fù)鋽?shù)據(jù)分析，以便深入了解正在學(xué)習(xí)的內(nèi)容以及如何學(xué)習(xí)它。

這項(xiàng)工作的重要性可歸納如下：

它使我們能夠了解神經(jīng)網(wǎng)絡(luò)如何執(zhí)行分類任務(wù)。

它允許我們觀察網(wǎng)絡(luò)的學(xué)習(xí)方式

它允許我們看到深層網(wǎng)絡(luò)中的各個(gè)層如何在它們檢測(cè)到的內(nèi)容上有所不同

在這篇文章中，我們展示了如何將這種理解用于實(shí)際目的。那些是：

如何使用持久同源性的條形碼長(zhǎng)度來(lái)推斷CNN的準(zhǔn)確性。

我們的研究結(jié)果如何從一個(gè)數(shù)據(jù)集推廣到下一個(gè)數(shù)據(jù)集。

使用持久同源條形碼方法如何定量測(cè)量數(shù)據(jù)集的定性性質(zhì)。

我們需要回顧上一篇文章中的一些想法。引入的一個(gè)想法是使用持久同源作為測(cè)量數(shù)據(jù)形狀的工具。在我們的例子中，我們使用持久同源性來(lái)測(cè)量圓形的大小和強(qiáng)度或“明確定義”。

我們首先回顧一下持久同源性的概念。持久同源性分配給任何數(shù)據(jù)集并標(biāo)注“條形碼”，它是間隔的集合。在維度=0時(shí)，條形碼輸出反映了數(shù)據(jù)集分解為集群或組件。

對(duì)于更高維度，持久同源性測(cè)量除聚類分解之外的幾何特征的存在。在dimension=1的情況下，條形碼測(cè)量數(shù)據(jù)集中循環(huán)的存在。

在左邊，條形碼包括一個(gè)長(zhǎng)條和一些更短的條。長(zhǎng)條反映了圓的存在，而較短的條反映了噪聲。在右邊，我們?cè)俅斡袑?duì)應(yīng)于噪音的短桿和兩個(gè)不同長(zhǎng)度的長(zhǎng)桿。這些條反映了兩個(gè)環(huán)的存在，條的不同長(zhǎng)度對(duì)應(yīng)于環(huán)的大小。條形的長(zhǎng)度也可以反映出可能被稱為循環(huán)的“明確定義”的東西。

在左邊，我們有一個(gè)非常明確的循環(huán)及其條形碼。在右側(cè)，循環(huán)中添加了一些噪聲，使得更加分散且定義不太明確。右邊最長(zhǎng)的條比左邊的條長(zhǎng)。因此，最長(zhǎng)條的長(zhǎng)度可以反映環(huán)的明確定義。

推斷CNN的準(zhǔn)確性

實(shí)際上是通過(guò)條形碼中存在一個(gè)長(zhǎng)條來(lái)確認(rèn)的。我們現(xiàn)在想要了解隨著訓(xùn)練的進(jìn)展，循環(huán)形狀是如何演變的。

我們通過(guò)檢查條形碼中最長(zhǎng)條的長(zhǎng)度（可以在訓(xùn)練的任何階段計(jì)算）與訓(xùn)練點(diǎn)的準(zhǔn)確度之間的相關(guān)性來(lái)實(shí)現(xiàn)這一點(diǎn)。我們對(duì)兩個(gè)數(shù)據(jù)集MNIST和第二個(gè)房號(hào)數(shù)據(jù)集進(jìn)行了這些計(jì)算，稱為SVHN。

跨數(shù)據(jù)集的推廣

第二個(gè)發(fā)現(xiàn)涉及從一個(gè)數(shù)據(jù)集到另一個(gè)數(shù)據(jù)集的泛化過(guò)程。具體來(lái)說(shuō)，我們訓(xùn)練了基于MNIST的CNN，并在應(yīng)用于SVHN時(shí)檢查其準(zhǔn)確性。我們使用三種不同的方法進(jìn)行了培訓(xùn)。

測(cè)量可變性

第三個(gè)發(fā)現(xiàn)涉及檢查兩個(gè)數(shù)據(jù)集的可變性。定性地，我們可以確定SVHN比MNIST具有更多的可變性。反過(guò)來(lái)，我們希望SVHN提供更豐富的數(shù)據(jù)集和更精確的權(quán)重向量數(shù)據(jù)集。實(shí)際上，SVHN的持續(xù)時(shí)間間隔明顯長(zhǎng)于MINST（1.27對(duì)1.10）。這從上面進(jìn)一步證實(shí)，所生成的圓模型的“良好定義性”與神經(jīng)網(wǎng)絡(luò)的質(zhì)量之間存在強(qiáng)相關(guān)性。

加起來(lái)

拓?fù)浞治鲈谶@種類型的分析挑戰(zhàn)中有用的原因是它提供了一種將復(fù)雜數(shù)據(jù)集壓縮為可理解且可能可操作的形式的方法。在這里，與許多其他數(shù)據(jù)分析問(wèn)題一樣，獲得對(duì)數(shù)據(jù)中“頻繁出現(xiàn)的圖案”的理解至關(guān)重要。上述觀察結(jié)果表明，拓?fù)浞治隹捎糜讷@得對(duì)CNN學(xué)習(xí)和泛化能力的控制和理解。這些方面還有許多進(jìn)一步的想法，我們將在以后的文章中討論。