本質(zhì)上是兩個(gè)問題。如果一定要找聯(lián)系，兩者都涉及數(shù)據(jù)的稀疏表達(dá)。
壓縮感知解決“逆問題”：Ax=b。對(duì)于欠定的線性系統(tǒng)，如果已知解具有稀疏性（sparsity），稀疏性可以作為約束或者正則項(xiàng)，提供額外的先驗(yàn)信息。線性逆問題和稀疏性在這類問題中的應(yīng)用有相對(duì)完整的理論體系，樓上 yang liu推薦的 Michael Elad的書是很好的入門教材。

另一類關(guān)系密切的問題是低秩矩陣恢復(fù)(low-rank matrix recovery)，使用low-rank作為先驗(yàn)知識(shí)，解關(guān)于矩陣的線性逆問題，發(fā)展出一套理論。

壓縮感知的思想被應(yīng)用在了更多的領(lǐng)域，比如非線性逆問題。相關(guān)的理論正在快速的發(fā)展，但是應(yīng)用已經(jīng)領(lǐng)先一步。我個(gè)人感興趣的是雙線性逆問題（bilinear inverse problem），比如盲反卷積（blind deconvolution）、矩陣分解(matrix factorization)。

在應(yīng)用壓縮感知的過程中，我們發(fā)現(xiàn)大部分信號(hào)本身并不是稀疏的（即在自然基下的表達(dá)不是稀疏的）。但是經(jīng)過適當(dāng)?shù)木€性變換后是稀疏的（即在我們選擇的另一組基（basis）或者框架（frame，我不知道如何翻譯）下是稀疏的）。比如諧波提?。╤armonic retrieval）中，時(shí)域信號(hào)不稀疏，但在傅里葉域信號(hào)是稀疏的。再比如大部分自然圖像不是稀疏的，但經(jīng)過DCT（離散余先變換）或者wavelet transform（小波變換），可以得到稀疏的表達(dá)。一個(gè)一度非常熱門的研究課題是字典學(xué)習(xí)（Dictionary Learning）和變換學(xué)習(xí)（Transform Learning），通過大量的信號(hào)實(shí)例，自適應(yīng)地學(xué)習(xí)稀疏性表達(dá)。


深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種手段，參見樓上Stephen Wang的解釋。深度學(xué)習(xí)中通常都涉及非線性環(huán)節(jié)。這里數(shù)據(jù)表達(dá)的目的通常不再是數(shù)據(jù)恢復(fù)（recovery），而是分類（classification）等機(jī)器學(xué)習(xí)的任務(wù)。


下面是我理解的區(qū)別：
在信號(hào)處理中的稀疏表達(dá)學(xué)習(xí)（sparse representation learning）側(cè)重對(duì)信號(hào)建模，即目標(biāo)是獲取原信號(hào)的一個(gè)忠實(shí)的表達(dá)（faithful representation）。我們通常需要變換和逆變換，來實(shí)現(xiàn)信號(hào)的重建（reconstruction）。即使在不需要重建的問題中，我們也需要這種表達(dá)能夠很好地區(qū)分有意義的信號(hào)和無意義的噪聲（discriminate signal against noise）。所以這類變換通常有很多良好的性質(zhì)（可逆、很好的條件數(shù)（condition numer）等）。
深度學(xué)習(xí)或者更廣泛的機(jī)器學(xué)習(xí)中，數(shù)據(jù)表達(dá)的目標(biāo)因問題而異，但是通常我們都不需要這種表達(dá)過程的可逆性。比如在分類問題中，我們的目標(biāo)是把數(shù)據(jù)變換到有“意義”的空間，實(shí)現(xiàn)不同類別信號(hào)的分離。這種變換可以是線性或非線性的，可以是可逆或不可逆的，可以變換到稀疏的表達(dá)或其他有意義的便于分類的表達(dá)。