好吧，我想理解下Convex function(凸函數(shù))。

定義！

A function ?f : R^n -> R is convex if domf is a convex set and if for all x,y belongs todom f and theta with 0<=theta<=1, we have

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?f(theta*x+(1-theta)*y) <= theta*f(x) + (1-theta)*f(y)

可以用下面的圖看看凸函數(shù)。

從定義中我們可以得到如下信息：

* 函數(shù)f的定義域存在于N維空間。

* 凸函數(shù)的定義域是一個(gè)凸集。

* 函數(shù)滿足一個(gè)不等式，這個(gè)不等式大家都叫Jensen's inequality.

更進(jìn)一步：

* 凸函數(shù)的定義域是個(gè)凸集，并且滿足Jensen不等式，那么它在定義域的內(nèi)部一定是連續(xù)的，它唯一可能不連續(xù)的點(diǎn)只可能在邊界上。假設(shè)存在不連續(xù)點(diǎn)，一定可以推翻Jensen不等式！

其實(shí)凸函數(shù)還有一些性質(zhì)，我們不多做研究，繼續(xù)看凸優(yōu)化。

一個(gè)條件（First-Order Conditions）

Suppose f is differentiable. Then f is convex if and only if

? * dom f is convex

? * f(y) >= f(x) + ?f(x)^T (y-x)

可知：

* 大前提是f可微！

* 定義域是凸集

* 滿足不等式，這個(gè)不等式的右邊就是多元函數(shù)在x點(diǎn)展開的前兩項(xiàng)

對(duì)于一維函數(shù)的情況，我們也可以從圖形上理解一下

Second-order conditions

We now assume that f is twice differentiable, that is, its Hessian or second derivative exists at each point in dom f, which is open.

Then f is convex if and only if dom f is convex and its Hessian is positive semidefinite: for all x belongs to dom f, Hessian(f)0

其中的含義是：符號(hào)的左邊為向量（數(shù)學(xué)上一般向量指的是列向量）時(shí)，表示每個(gè)分量大于等于右邊的標(biāo)量。如果這個(gè)符號(hào)的左邊是個(gè)矩陣，那么這個(gè)符號(hào)表示的是左邊矩陣的每個(gè)特征值都大于等于右邊的標(biāo)量。

二階可微的函數(shù)是凸函數(shù)的充分必要條件是：

定義域是凸集，這個(gè)函數(shù)的Hessian矩陣是非負(fù)定矩陣。

說到這里我有兩個(gè)問題：

1）如果多元函數(shù)f是二次可微的，那么它的交叉求導(dǎo)項(xiàng)就一定可以交換順序么？也就是說，二次可微的多元函數(shù)的Hessian矩陣一定是對(duì)稱的么？

2）實(shí)對(duì)稱矩陣的是非負(fù)定陣的充分必要條件可以是矩陣的所有特征值都大于等于0么？

? 2.1）首先一個(gè)問題是：實(shí)對(duì)稱矩陣一定存在n個(gè)實(shí)特征值么？

? 2.2）每個(gè)特征子空間的維數(shù)一定等于它所隸屬的特征值的重?cái)?shù)么？

第一個(gè)問題是數(shù)學(xué)分析問題，第二個(gè)問題是代數(shù)問題。我會(huì)在后面的博文中分開解釋。