為什么必須做功能覆蓋率？and?How?？
時(shí)間：2021-11-03 14:54:24
手機(jī)看文章
掃描二維碼
隨時(shí)隨地手機(jī)看文章
[導(dǎo)讀]什么是功能覆蓋率？驗(yàn)證中的覆蓋率分功能覆蓋率和代碼覆蓋率兩種，斷言覆蓋率可歸類(lèi)為功能覆蓋率。顧名思義，功能覆蓋率用于衡量設(shè)計(jì)中有多少功能被覆蓋到了，被驗(yàn)證了，而代碼覆蓋率則是衡量代碼實(shí)現(xiàn)中有多少語(yǔ)句被執(zhí)行到了。前者是基于設(shè)計(jì)的源頭，而后者是基于設(shè)計(jì)的最終實(shí)現(xiàn)，源頭是本，實(shí)現(xiàn)是末。...
什么是功能覆蓋率？驗(yàn)證中的覆蓋率分功能覆蓋率和代碼覆蓋率兩種，斷言覆蓋率可歸類(lèi)為功能覆蓋率。
顧名思義，功能覆蓋率用于衡量設(shè)計(jì)中有多少功能被覆蓋到了，被驗(yàn)證了，而代碼覆蓋率則是衡量代碼實(shí)現(xiàn)中有多少語(yǔ)句被執(zhí)行到了。前者是基于設(shè)計(jì)的源頭，而后者是基于設(shè)計(jì)的最終實(shí)現(xiàn)，源頭是本，實(shí)現(xiàn)是末。抓住了根本，目標(biāo)指日可待；舍本逐末，事倍功半。
為什么是功能覆蓋率？現(xiàn)在的主流的驗(yàn)證語(yǔ)言是systemverilog，其特點(diǎn)之一就是約束下的隨機(jī)。相比較定向測(cè)試，它的驗(yàn)證效率更高，定向測(cè)試需要對(duì)每個(gè)功能點(diǎn)，每個(gè)測(cè)試維度去構(gòu)造不同的用例測(cè)試，只能是想多少測(cè)多少，激勵(lì)空間是已知的。而隨機(jī)化的驗(yàn)證，其激勵(lì)空間要大的多，遠(yuǎn)遠(yuǎn)大于定向測(cè)試的激勵(lì)空間。定向測(cè)試好處是每個(gè)用例測(cè)試激勵(lì)明確，只要測(cè)試通過(guò)了，用例的目標(biāo)也就達(dá)成了，而隨機(jī)化的驗(yàn)證問(wèn)題是測(cè)試激勵(lì)不明確，雖然它的激勵(lì)空間更大，但是怎樣知道用例執(zhí)行完成后，覆蓋到了哪些激勵(lì)空間，沒(méi)有覆蓋到哪些激勵(lì)空間呢？所以需要一個(gè)衡量標(biāo)準(zhǔn)，這就是功能覆蓋率。
怎樣做功能覆蓋率？
需求！需求！需求！重要的事情說(shuō)三遍，經(jīng)過(guò)提取、整理和評(píng)審一致通過(guò)的驗(yàn)證需求，是做功能覆蓋率的依據(jù)，要保證每個(gè)需求的充分驗(yàn)證，有哪些點(diǎn)必須驗(yàn)證到，這個(gè)是必須具體化、量化的，想不清楚這個(gè)問(wèn)題就是沒(méi)有真正理解需求，驗(yàn)證質(zhì)量又如何保證呢。
Systemverilog語(yǔ)言對(duì)于功能覆蓋率有很好的支持，其中覆蓋點(diǎn)和交叉覆蓋的概念非常重要。覆蓋點(diǎn)對(duì)應(yīng)的是上面提到的量化后的需求，這只是點(diǎn)，多個(gè)點(diǎn)就是一條線，是一個(gè)維度的覆蓋；一個(gè)設(shè)計(jì)諸多功能并不是完全孤立的，所以單單驗(yàn)證一個(gè)點(diǎn)、一條線遠(yuǎn)遠(yuǎn)的不夠的，交叉覆蓋率就是來(lái)把這些點(diǎn)、線連接起來(lái)，織成了一張網(wǎng)。通過(guò)這張網(wǎng)把所有需求囊括其中。
基于功能覆蓋率驅(qū)動(dòng)的驗(yàn)證：有被動(dòng)驅(qū)動(dòng)和主動(dòng)驅(qū)動(dòng)兩種。
所謂被動(dòng)驅(qū)動(dòng)，有點(diǎn)“馬后炮”的嫌疑，在用例執(zhí)行完成后，通過(guò)查看覆蓋率報(bào)告來(lái)對(duì)未覆蓋到的點(diǎn)補(bǔ)充定向用例覆蓋；而主動(dòng)驅(qū)動(dòng)，是在用例執(zhí)行過(guò)程中，以功能覆蓋率100%或預(yù)期的百分比作為退出條件，否則會(huì)一直進(jìn)行隨機(jī)測(cè)試，“不達(dá)目的誓不罷休”。
所謂行百里者半九十，做隨機(jī)化驗(yàn)證也存在著越臨近終點(diǎn)，需要付出的更多，因?yàn)樵降阶詈箅S機(jī)重復(fù)的概率越大，隨機(jī)成千上萬(wàn)次可能才能有一個(gè)新覆蓋點(diǎn)，命中率越來(lái)越低。針對(duì)這個(gè)問(wèn)題，如果采用主動(dòng)驅(qū)動(dòng)方法，可以提前篩選掉重復(fù)的隨機(jī)，只采用對(duì)覆蓋率有貢獻(xiàn)的隨機(jī)值，將命中率提高到100%。
但被動(dòng)驅(qū)動(dòng)方法也有其優(yōu)勢(shì)，覆蓋組是對(duì)所有用例的隨機(jī)進(jìn)行采樣，而主動(dòng)驅(qū)動(dòng)是針對(duì)單一用例來(lái)實(shí)現(xiàn)的。通過(guò)諸多項(xiàng)目經(jīng)驗(yàn)來(lái)看，首推主動(dòng)驅(qū)動(dòng)方法，效率更高。
結(jié)論
理解清楚驗(yàn)證需求，具體量化驗(yàn)證需求，用功能覆蓋率編織的一張大網(wǎng)，把所有的覆蓋點(diǎn)一網(wǎng)打盡，采用主動(dòng)、被動(dòng)驅(qū)動(dòng)方法做到攻守兼?zhèn)?，讓?yàn)證工作更加高質(zhì)、高效。
顧名思義，功能覆蓋率用于衡量設(shè)計(jì)中有多少功能被覆蓋到了，被驗(yàn)證了，而代碼覆蓋率則是衡量代碼實(shí)現(xiàn)中有多少語(yǔ)句被執(zhí)行到了。前者是基于設(shè)計(jì)的源頭，而后者是基于設(shè)計(jì)的最終實(shí)現(xiàn)，源頭是本，實(shí)現(xiàn)是末。抓住了根本，目標(biāo)指日可待；舍本逐末，事倍功半。
為什么是功能覆蓋率？現(xiàn)在的主流的驗(yàn)證語(yǔ)言是systemverilog，其特點(diǎn)之一就是約束下的隨機(jī)。相比較定向測(cè)試，它的驗(yàn)證效率更高，定向測(cè)試需要對(duì)每個(gè)功能點(diǎn)，每個(gè)測(cè)試維度去構(gòu)造不同的用例測(cè)試，只能是想多少測(cè)多少，激勵(lì)空間是已知的。而隨機(jī)化的驗(yàn)證，其激勵(lì)空間要大的多，遠(yuǎn)遠(yuǎn)大于定向測(cè)試的激勵(lì)空間。定向測(cè)試好處是每個(gè)用例測(cè)試激勵(lì)明確，只要測(cè)試通過(guò)了，用例的目標(biāo)也就達(dá)成了，而隨機(jī)化的驗(yàn)證問(wèn)題是測(cè)試激勵(lì)不明確，雖然它的激勵(lì)空間更大，但是怎樣知道用例執(zhí)行完成后，覆蓋到了哪些激勵(lì)空間，沒(méi)有覆蓋到哪些激勵(lì)空間呢？所以需要一個(gè)衡量標(biāo)準(zhǔn)，這就是功能覆蓋率。
怎樣做功能覆蓋率？
需求！需求！需求！重要的事情說(shuō)三遍，經(jīng)過(guò)提取、整理和評(píng)審一致通過(guò)的驗(yàn)證需求，是做功能覆蓋率的依據(jù)，要保證每個(gè)需求的充分驗(yàn)證，有哪些點(diǎn)必須驗(yàn)證到，這個(gè)是必須具體化、量化的，想不清楚這個(gè)問(wèn)題就是沒(méi)有真正理解需求，驗(yàn)證質(zhì)量又如何保證呢。
Systemverilog語(yǔ)言對(duì)于功能覆蓋率有很好的支持，其中覆蓋點(diǎn)和交叉覆蓋的概念非常重要。覆蓋點(diǎn)對(duì)應(yīng)的是上面提到的量化后的需求，這只是點(diǎn)，多個(gè)點(diǎn)就是一條線，是一個(gè)維度的覆蓋；一個(gè)設(shè)計(jì)諸多功能并不是完全孤立的，所以單單驗(yàn)證一個(gè)點(diǎn)、一條線遠(yuǎn)遠(yuǎn)的不夠的，交叉覆蓋率就是來(lái)把這些點(diǎn)、線連接起來(lái)，織成了一張網(wǎng)。通過(guò)這張網(wǎng)把所有需求囊括其中。
基于功能覆蓋率驅(qū)動(dòng)的驗(yàn)證：有被動(dòng)驅(qū)動(dòng)和主動(dòng)驅(qū)動(dòng)兩種。
所謂被動(dòng)驅(qū)動(dòng)，有點(diǎn)“馬后炮”的嫌疑，在用例執(zhí)行完成后，通過(guò)查看覆蓋率報(bào)告來(lái)對(duì)未覆蓋到的點(diǎn)補(bǔ)充定向用例覆蓋；而主動(dòng)驅(qū)動(dòng)，是在用例執(zhí)行過(guò)程中，以功能覆蓋率100%或預(yù)期的百分比作為退出條件，否則會(huì)一直進(jìn)行隨機(jī)測(cè)試，“不達(dá)目的誓不罷休”。
所謂行百里者半九十，做隨機(jī)化驗(yàn)證也存在著越臨近終點(diǎn)，需要付出的更多，因?yàn)樵降阶詈箅S機(jī)重復(fù)的概率越大，隨機(jī)成千上萬(wàn)次可能才能有一個(gè)新覆蓋點(diǎn)，命中率越來(lái)越低。針對(duì)這個(gè)問(wèn)題，如果采用主動(dòng)驅(qū)動(dòng)方法，可以提前篩選掉重復(fù)的隨機(jī)，只采用對(duì)覆蓋率有貢獻(xiàn)的隨機(jī)值，將命中率提高到100%。
但被動(dòng)驅(qū)動(dòng)方法也有其優(yōu)勢(shì)，覆蓋組是對(duì)所有用例的隨機(jī)進(jìn)行采樣，而主動(dòng)驅(qū)動(dòng)是針對(duì)單一用例來(lái)實(shí)現(xiàn)的。通過(guò)諸多項(xiàng)目經(jīng)驗(yàn)來(lái)看，首推主動(dòng)驅(qū)動(dòng)方法，效率更高。
結(jié)論
理解清楚驗(yàn)證需求，具體量化驗(yàn)證需求，用功能覆蓋率編織的一張大網(wǎng)，把所有的覆蓋點(diǎn)一網(wǎng)打盡，采用主動(dòng)、被動(dòng)驅(qū)動(dòng)方法做到攻守兼?zhèn)?，讓?yàn)證工作更加高質(zhì)、高效。
下載文檔
