何為對(duì)齊?它是在機(jī)器學(xué)習(xí)，尤其是大模型技術(shù)發(fā)展過程中出現(xiàn)的?！度藱C(jī)對(duì)齊》一書認(rèn)為，“如何防止這種災(zāi)難性的背離——如何確保這些模型捕捉到我們的規(guī)范和價(jià)值觀，理解我們的意思或意圖，最重要的是，以我們想要的方式行事——已成為計(jì)算機(jī)科學(xué)領(lǐng)域最核心、最緊迫的問題之一。這個(gè)問題被稱為對(duì)齊問題(the alignment problem)”。也就是說，對(duì)齊意味著讓機(jī)器學(xué)習(xí)模型“捕捉”人類的規(guī)范或價(jià)值觀。

“捕捉”與“灌輸”相對(duì)，此時(shí)AI遵循的規(guī)范來自機(jī)器學(xué)習(xí)，而非工程師的編程輸入。通過大量學(xué)習(xí)人類行為，AI“搞清楚”人類行為規(guī)則，然后按照規(guī)則來行事。因此，對(duì)齊問題起碼可以一分為二，即對(duì)齊什么和如何對(duì)齊。

在很多人看來，包括“AI發(fā)展的有限主義者”(強(qiáng)調(diào)AI發(fā)展的有限性和受控性)，“對(duì)齊什么”這一問題無法完全澄清。

首先，人類并沒有統(tǒng)一的價(jià)值觀。生活在不同的國(guó)家、地區(qū)，不同傳統(tǒng)、文化下的不同性別、階層的人，對(duì)同一現(xiàn)象存在不同的價(jià)值判斷。比如，面對(duì)新冠病毒肆虐，有的人認(rèn)為保全生命最重要，有的人認(rèn)為自由活動(dòng)更重要。大模型究竟要學(xué)習(xí)誰的行動(dòng)規(guī)則呢?

其次，人類的主流價(jià)值觀不斷在變化。比如，一百多年前一夫多妻制在中國(guó)流行，現(xiàn)在則屬于重婚的犯罪行為。那么，我們要給大模型輸入什么時(shí)間段的資料以供學(xué)習(xí)呢?

再次，規(guī)則存在應(yīng)然與實(shí)然的偏差。比如，男女平等是社會(huì)提倡的價(jià)值觀，但在現(xiàn)實(shí)中性別歧視的現(xiàn)象并不少。如果AI學(xué)習(xí)真實(shí)案例，很可能成為性別歧視主義者。此類問題被稱為大模型的代表性問題，在實(shí)踐中屢見不鮮。

最后，有些AI如機(jī)器寵物狗，它應(yīng)該與寵物狗對(duì)齊，而不是與人對(duì)齊。否則，它成了狗形人，擁有它并沒有養(yǎng)寵物的樂趣。換句話說，不是所有AI均需和人類對(duì)齊的。

因此，“對(duì)齊什么”問題是“人類、社會(huì)和政治問題，機(jī)器學(xué)習(xí)本身無法解決”。對(duì)齊什么的問題，本質(zhì)上是以數(shù)據(jù)方法或統(tǒng)計(jì)方法厘清復(fù)雜的人類規(guī)則和價(jià)值觀的問題。

規(guī)則學(xué)習(xí)是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)一組用于對(duì)未見示例進(jìn)行判別的規(guī)則。

一條規(guī)則形如： ⊕←?1\and…\and??L是規(guī)則體中邏輯文字的個(gè)數(shù)，稱為規(guī)則長(zhǎng)度。 ⊕ 同樣是邏輯文字，用來表示規(guī)則判定的目標(biāo)類別或概念。

數(shù)理邏輯具有極強(qiáng)的表達(dá)能力，絕大多數(shù)人類知識(shí)都能用數(shù)理邏輯進(jìn)行簡(jiǎn)單的刻畫和表達(dá)。規(guī)則學(xué)習(xí)能更自然地在學(xué)習(xí)過程中引入領(lǐng)域知識(shí)。

規(guī)則集合中地每條規(guī)則都可看作一個(gè)子模型，規(guī)則集合是這些子模型地一個(gè)集成。當(dāng)同一個(gè)示例被判別結(jié)果不同的多條規(guī)則覆蓋時(shí)，則稱發(fā)生了沖突。

解決沖突的方法：投票法、排序法、元規(guī)則法。元規(guī)則法根據(jù)領(lǐng)域知識(shí)事先設(shè)定，即關(guān)于規(guī)則的規(guī)則。

在訓(xùn)練集學(xué)得的規(guī)則集合也許不能覆蓋所有可能的未見示例，因此規(guī)則學(xué)習(xí)算法通常需要設(shè)置一條默認(rèn)規(guī)則。

規(guī)則分為命題規(guī)則和一階規(guī)則：

命題規(guī)則是由原子問題和邏輯連接詞(與或非蘊(yùn)含)構(gòu)成的簡(jiǎn)單陳述句;

一階規(guī)則的基本成分是能描述事物屬性或關(guān)系的原子公式。例如父子關(guān)系”父親(X,Y)“等， X和Y稱為邏輯變量，\exist,? 用于限定變量的取值范圍，稱為量詞。一階規(guī)則能表達(dá)復(fù)雜的關(guān)系，因此稱為關(guān)系型規(guī)則。

簡(jiǎn)單地把屬性當(dāng)作謂詞來定義示例與屬性值之間的關(guān)系，則命題規(guī)則改寫為一階規(guī)則。命題規(guī)則是一階規(guī)則的特例。

序貫覆蓋

規(guī)則學(xué)習(xí)的目標(biāo)是產(chǎn)生一個(gè)能覆蓋進(jìn)行可能多的樣例的規(guī)則集，最直接的做法是序貫覆蓋，即逐條歸納：在訓(xùn)練集上學(xué)到一條規(guī)則，就將該規(guī)則覆蓋的訓(xùn)練樣例去除，然后剩下的訓(xùn)練樣例組成訓(xùn)練集重復(fù)上述過程。由于每一次只處理一部分?jǐn)?shù)據(jù)，也成為分治策略。

最簡(jiǎn)單的方法：從空規(guī)則 ⊕← 開始，將正例類別作為規(guī)則頭，再逐個(gè)遍歷訓(xùn)練集中每個(gè)屬性及取值，嘗試將其作為邏輯文字增加到規(guī)則體中。若能使當(dāng)前規(guī)則體僅覆蓋正例，則由此產(chǎn)生一條規(guī)則，然后去除已被覆蓋的正例并基于剩余樣本產(chǎn)生下一條規(guī)則。

上面的方法基于窮盡搜索的方法在屬性和候選值較多時(shí)會(huì)由于組合爆炸不可行?，F(xiàn)實(shí)任務(wù)中一般由兩種策略產(chǎn)生規(guī)則：自頂向下和自底向上。

自頂向下亦稱生成-測(cè)試，從較一般的規(guī)則逐漸添加新文字以縮小規(guī)則覆蓋范圍，稱為特化;自底向上亦稱數(shù)據(jù)驅(qū)動(dòng)，從比較特殊的規(guī)則開始刪除文字?jǐn)U大規(guī)則覆蓋范圍，直到滿足條件為止。

前者通常能產(chǎn)生泛化性能好的規(guī)則;后者更適用于訓(xùn)練樣本較少的情形。

通常采用第一種策略，而第二種策略在一階規(guī)則學(xué)習(xí)這類假設(shè)空間復(fù)雜的任務(wù)上使用較多。

規(guī)則生成過程中涉及一個(gè)評(píng)估規(guī)則優(yōu)劣的標(biāo)準(zhǔn)?？梢韵瓤紤]準(zhǔn)確率，在考慮屬性次序。

由于序貫覆蓋法簡(jiǎn)單有效。推廣到多分類：當(dāng)學(xué)習(xí)關(guān)于第c類的規(guī)則時(shí)，將屬于類別c的樣本作為正例，其他作為反例。

剪枝優(yōu)化

規(guī)則生成本質(zhì)是一個(gè)貪心搜索過程，需要一定的機(jī)制緩解過擬合的風(fēng)險(xiǎn)，最常見的做法是剪枝，分為預(yù)剪枝和后剪枝。

預(yù)剪枝CN2

預(yù)剪枝可以借助顯著性檢驗(yàn)來進(jìn)行，例如CN2算法。

假設(shè)用規(guī)則集進(jìn)行預(yù)測(cè)必須顯著優(yōu)于直接基于訓(xùn)練樣例集后驗(yàn)概率分布進(jìn)行預(yù)測(cè)。

CN2使用了似然率統(tǒng)計(jì)量(LRS)，令 ?+,?? 分別表示訓(xùn)練樣例 的正反例數(shù)目， ?^+,?^? 分別表示規(guī)則覆蓋的正反例數(shù)目。

衡量了規(guī)則覆蓋的分布與訓(xùn)練集經(jīng)驗(yàn)分布的差別。LRS越大，說明采用規(guī)則集進(jìn)預(yù)測(cè)與直接使用訓(xùn)練集正反例比率進(jìn)行猜測(cè)的差別越大;LBS越小，說明規(guī)則集的效果越可能僅是偶然現(xiàn)象。

后剪枝REP

后剪枝常用減錯(cuò)剪枝(REP)?；咀龇ㄊ牵簩永瘎澐譃橛?xùn)練集和驗(yàn)證集?；咀龇ㄊ牵簩永齽澐譃橛?xùn)練集和驗(yàn)證集。在訓(xùn)練集上學(xué)得規(guī)則集后進(jìn)行多輪剪枝，每一輪窮舉所有可能剪枝操作，用驗(yàn)證集評(píng)估后保留最好的規(guī)則集進(jìn)行下一輪剪枝，直到無法提升性能。

REP復(fù)雜度 ?(?4) ，m維訓(xùn)練樣例數(shù)目，IREP可以降低到 ?(????2?) 。做法是：

在訓(xùn)練集上產(chǎn)生一條規(guī)則r;在驗(yàn)證集上進(jìn)行REP剪枝，得到規(guī)則r';將r'覆蓋的樣例去除，在更新后的樣例上重復(fù)上述過程。REP對(duì)整個(gè)規(guī)則集剪枝，IREP對(duì)單條規(guī)則剪枝。

1. 有監(jiān)督學(xué)習(xí)

有監(jiān)督學(xué)習(xí)通常是利用帶有專家標(biāo)注的標(biāo)簽的訓(xùn)練數(shù)據(jù)，學(xué)習(xí)一個(gè)從輸入變量X到輸入變量Y的函數(shù)映射。Y = f (X)，訓(xùn)練數(shù)據(jù)通常是(n×x,y)的形式，其中n代表訓(xùn)練樣本的大小，x和y分別是變量X和Y的樣本值。

有監(jiān)督學(xué)習(xí)可以被分為兩類：

分類問題：預(yù)測(cè)某一樣本所屬的類別(離散的)。比如判斷性別，是否健康等。

回歸問題：預(yù)測(cè)某一樣本的所對(duì)應(yīng)的實(shí)數(shù)輸出(連續(xù)的)。比如預(yù)測(cè)某一地區(qū)人的平均身高。除此之外，集成學(xué)習(xí)也是一種有監(jiān)督學(xué)習(xí)。它是將多個(gè)不同的相對(duì)較弱的機(jī)器學(xué)習(xí)模型的預(yù)測(cè)組合起來，用來預(yù)測(cè)新的樣本。

1.1 單模型

1.11 線性回歸

線性回歸是指完全由線性變量組成的回歸模型。在線性回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。

1.12 邏輯回歸

用于研究Y為定類數(shù)據(jù)時(shí)X和Y之間的影響關(guān)系情況，如果Y為兩類比如0和1(比如1為愿意和0為不愿意，1為購買和0為不購買)，此時(shí)就叫二元邏輯回歸;如果Y為三類以上,此時(shí)就稱為多分類邏輯回歸。

自變量并不一定非要定類變量，它們也可以是定量變量。如果X是定類數(shù)據(jù)，此時(shí)需要對(duì)X進(jìn)行啞變量設(shè)置。

1.13 Lasso

Lasso方法是一種替代最小二乘法的壓縮估計(jì)方法。Lasso的基本思想是建立一個(gè)L1正則化模型，在模型建立過程中會(huì)壓縮一些系數(shù)和設(shè)定一些系數(shù)為零，當(dāng)模型訓(xùn)練完成后，這些權(quán)值等于0的參數(shù)就可以舍去，從而使模型更為簡(jiǎn)單，并且有效防止模型過擬合。被廣泛用于存在多重共線性數(shù)據(jù)的擬合和變量選擇。

1.14 K近鄰(KNN)

KNN做回歸和分類的主要區(qū)別在于最后做預(yù)測(cè)時(shí)候的決策方式不同。KNN做分類預(yù)測(cè)時(shí)，一般是選擇多數(shù)表決法，即訓(xùn)練集里和預(yù)測(cè)的樣本特征最近的K個(gè)樣本，預(yù)測(cè)為里面有最多類別數(shù)的類別。KNN做回歸時(shí)，一般是選擇平均法，即最近的K個(gè)樣本的樣本輸出的平均值作為回歸預(yù)測(cè)值。但它們的理論是一樣的。

1.15 決策樹

決策樹中每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)分裂問題：指定了對(duì)實(shí)例的某個(gè)屬性的測(cè)試，它將到達(dá)該節(jié)點(diǎn)的樣本按照某個(gè)特定的屬性進(jìn)行分割，并且該節(jié)點(diǎn)的每一個(gè)后繼分支對(duì)應(yīng)于該屬性的一個(gè)可能值。分類樹葉節(jié)點(diǎn)所含樣本中，其輸出變量的眾數(shù)就是分類結(jié)果。回歸樹的葉節(jié)點(diǎn)所含樣本中，其輸出變量的平均值就是預(yù)測(cè)結(jié)果。

1.16 bp神經(jīng)網(wǎng)絡(luò)

bp神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。bp神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的分類錯(cuò)誤率最小(誤差平方和最小)。

BP 神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)，其主要的特點(diǎn)是：信號(hào)是前向傳播的，而誤差是反向傳播的。具體來說，對(duì)于如下的只含一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)模型：

BP 神經(jīng)網(wǎng)絡(luò)的過程主要分為兩個(gè)階段，第一階段是信號(hào)的前向傳播，從輸入層經(jīng)過隱含層，最后到達(dá)輸出層;第二階段是誤差的反向傳播，從輸出層到隱含層，最后到輸入層，依次調(diào)節(jié)隱含層到輸出層的權(quán)重和偏置，輸入層到隱含層的權(quán)重和偏置。

1.17 支持向量機(jī)(SVM)

支持向量機(jī)回歸(SVR)用非線性映射將數(shù)據(jù)映射到高維數(shù)據(jù)特征空間中，使得在高維數(shù)據(jù)特征空間中自變量與因變量具有很好的線性回歸特征，在該特征空間進(jìn)行擬合后再返回到原始空間。

支持向量機(jī)分類(SVM)是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面。

1.18 樸素貝葉斯

在給定一個(gè)事件發(fā)生的前提下，計(jì)算另外一個(gè)事件發(fā)生的概率——我們將會(huì)使用貝葉斯定理。假設(shè)先驗(yàn)知識(shí)為d，為了計(jì)算我們的假設(shè)h為真的概率，我們將要使用如下貝葉斯定理：

該算法假定所有的變量都是相互獨(dú)立的。

1.2 集成學(xué)習(xí)

集成學(xué)習(xí)是一種將不同學(xué)習(xí)模型(比如分類器)的結(jié)果組合起來，通過投票或平均來進(jìn)一步提高準(zhǔn)確率。一般，對(duì)于分類問題用投票;對(duì)于回歸問題用平均。這樣的做法源于“眾人拾材火焰高”的想法。