徹底的軟件測(cè)試是可行的嗎？
[導(dǎo)讀]有些軟件的功能非常簡(jiǎn)單，比如簡(jiǎn)單的數(shù)學(xué)運(yùn)算，或者統(tǒng)計(jì)用戶輸入字符的數(shù)量；有些軟件的功能非常復(fù)雜，比如操作系統(tǒng)，或者汽車的自動(dòng)駕駛算法等等。對(duì)于復(fù)雜的軟件，因?yàn)樗鼈儤O高的復(fù)雜度，我們很容易理解它們?yōu)槭裁春茈y“完美”，所以，強(qiáng)如微軟，也會(huì)發(fā)生比爾·蓋茨演示W(wǎng)indows98時(shí)藍(lán)屏的尷...
有些軟件的功能非常簡(jiǎn)單，比如簡(jiǎn)單的數(shù)學(xué)運(yùn)算，或者統(tǒng)計(jì)用戶輸入字符的數(shù)量；有些軟件的功能非常復(fù)雜，比如操作系統(tǒng)，或者汽車的自動(dòng)駕駛算法等等。
對(duì)于復(fù)雜的軟件，因?yàn)樗鼈儤O高的復(fù)雜度，我們很容易理解它們?yōu)槭裁春茈y“完美”，所以，強(qiáng)如微軟，也會(huì)發(fā)生比爾·蓋茨演示W(wǎng)indows 98時(shí)藍(lán)屏的尷尬；強(qiáng)如特斯拉，也會(huì)發(fā)生自動(dòng)駕駛狀態(tài)的汽車徑直撞向大貨車的悲劇。
那么，對(duì)于特別簡(jiǎn)單的軟件，我們是不是可以進(jìn)行"徹底"的測(cè)試，保證它們是完美的呢？
這是不可能的！即使擁有無限的預(yù)算，我們也無法做到這一點(diǎn)。我們來分析一個(gè)簡(jiǎn)單的程序：它接受用戶輸入的字符串，統(tǒng)計(jì)其中的字符數(shù)量。比如，對(duì)于輸入字符串"Python", 統(tǒng)計(jì)結(jié)果為6, 對(duì)于"test", 統(tǒng)計(jì)結(jié)果為4，等等。
要確保這個(gè)程序是"完美"的，我們就需要驗(yàn)證所有可能的輸入。用戶可能輸入一個(gè)簡(jiǎn)單的字符，也可能輸入整部《三國演義》，或者更多，我們無法預(yù)知用戶的輸入，用戶輸入的字符的數(shù)量在理論上可以是任意一個(gè)自然數(shù)，而自然數(shù)的數(shù)量是無窮大的，我們無法把所有的情況都覆蓋到。
如果把問題簡(jiǎn)化，限定用戶最多只能輸入10個(gè)字符，超過10個(gè)字符的情況就告知用戶無法處理，這種情況下，我們能否進(jìn)行"徹底"的測(cè)試？
這也是不可能的！
在用戶輸入超過10個(gè)字符的情況下，程序真的會(huì)告知用戶無法處理嗎？為了確認(rèn)這一點(diǎn)，我們需要把所有超過10個(gè)字符的輸入都覆蓋到，確保程序會(huì)告知無法處理，而不是意外地返回一個(gè)錯(cuò)誤的統(tǒng)計(jì)值。大于10的自然數(shù)仍然是無窮多的，我們還是無法把所有的情況都覆蓋到。
如果我們把問題再度簡(jiǎn)化，只測(cè)試字符數(shù)量在10以內(nèi)的"有效"輸入呢？
世界上有許許多多的語言和文字，unicode編碼可以涵蓋世界上所有語言的字符，它包含的字符的數(shù)量級(jí)大概是一百萬。粗略地估算下來，用戶輸入字符數(shù)量為1的情況，我們有100萬個(gè)測(cè)試要驗(yàn)證；用戶輸入字符數(shù)量為10的情況，我們有100萬的10次方個(gè)測(cè)試要驗(yàn)證,只要有一個(gè)測(cè)試沒有被覆蓋到，我們就不能打包票說在那種情況下程序可以正常工作，也就不敢打包票說程序是沒有bug的。
就像發(fā)財(cái)“捷徑”買彩票一樣，每一組號(hào)碼要買都是要錢的，買下的號(hào)碼很可能都打了水票，但是你總覺得你沒買的號(hào)碼里可能有”驚喜”。
在現(xiàn)實(shí)世界中，絕大部分的軟件程序比這個(gè)字符統(tǒng)計(jì)的程序要復(fù)雜得多，它們一定或多或少有bug沒有被發(fā)現(xiàn)，或者有bug被發(fā)現(xiàn)了卻沒有被修復(fù)，它們肯定稱不上完美，卻仍然達(dá)到了較高的軟件質(zhì)量，這當(dāng)然不是因?yàn)樗鼈儼褱y(cè)試做得非常徹底，而是因?yàn)榉艞壸非蟛磺袑?shí)際的"完美"，在預(yù)算范圍內(nèi)采用了合適的測(cè)試策略，得到較高的投資回報(bào)率。
其中的一個(gè)策略，是關(guān)注核心功能。
我們?cè)谫I新車的時(shí)候，會(huì)對(duì)車進(jìn)行非常細(xì)心的檢查，剎車燈不亮，雨刮器有異響，或者輪轂有輕微刮擦，都可能導(dǎo)致我們拒絕收車。
在買二手車的時(shí)候，情況就不一樣了，因?yàn)槲覀儠?huì)有充足的心理準(zhǔn)備來接受不完美。面對(duì)一輛標(biāo)價(jià)5萬的二手轎車，我們?cè)隍?yàn)車的時(shí)候一定會(huì)重點(diǎn)驗(yàn)證發(fā)動(dòng)機(jī)、變速箱、車架、轉(zhuǎn)向機(jī)；至于空調(diào)是不是能制冷，我們可能會(huì)關(guān)注，但是不會(huì)過多影響我們的決定；至于車門上的車漆是否有色差，我們根本就不會(huì)花時(shí)間去看！為什么買二手車的時(shí)候，我們變得不那么挑剔了？
是因?yàn)?窮"！其實(shí)，我們還是挑剔的，只是，因?yàn)轭A(yù)算有限，我們深知無法買到完美的車，所以我們會(huì)做妥協(xié)。軟件測(cè)試的思路也是這樣的。我們無法保證軟件產(chǎn)品的"完美"，在預(yù)算和資源有限的情況下，我們需要專注于軟件的核心功能，盡量保證核心功能得到良好的測(cè)試。
以字符統(tǒng)計(jì)的程序?yàn)槔绻闹饕脩羰侵袊脩?，我們可以重點(diǎn)測(cè)試中文和英文字符，而不需要花精力去測(cè)試程序?qū)τ趤喢滥醽喺Z字符的表現(xiàn)，在非核心功能的測(cè)試成本比較高的情況下更應(yīng)該如此，否則，我們花費(fèi)了寶貴的人力和時(shí)間，只是收獲了用戶可能并不太在乎的完美度，就像是架起高射炮只是為了打蚊子，成本很高，收益很小，不值得。
合理的軟件測(cè)試思路是把錢花在刀刃上，重點(diǎn)關(guān)注核心功能的測(cè)試，預(yù)算有限時(shí)應(yīng)該如此，預(yù)算充足時(shí)同樣應(yīng)該如此。
本文內(nèi)容節(jié)選改編自碼農(nóng)徐西寧寫的《軟件自動(dòng)化測(cè)試實(shí)戰(zhàn)解析_基于Python3編程語言》一書，更多關(guān)于軟件自動(dòng)化測(cè)試的內(nèi)容，請(qǐng)戳這里下單：
友情提示：出版社特別提供了額外的粉絲限時(shí)福利（2021年8月有效），有更多優(yōu)惠哦：
* 本書的范例代碼提供免費(fèi)下載, 請(qǐng)關(guān)注公眾號(hào)，發(fā)送消息“代碼”，即可得到下載地址 *
對(duì)于復(fù)雜的軟件，因?yàn)樗鼈儤O高的復(fù)雜度，我們很容易理解它們?yōu)槭裁春茈y“完美”，所以，強(qiáng)如微軟，也會(huì)發(fā)生比爾·蓋茨演示W(wǎng)indows 98時(shí)藍(lán)屏的尷尬；強(qiáng)如特斯拉，也會(huì)發(fā)生自動(dòng)駕駛狀態(tài)的汽車徑直撞向大貨車的悲劇。
那么，對(duì)于特別簡(jiǎn)單的軟件，我們是不是可以進(jìn)行"徹底"的測(cè)試，保證它們是完美的呢？
這是不可能的！即使擁有無限的預(yù)算，我們也無法做到這一點(diǎn)。我們來分析一個(gè)簡(jiǎn)單的程序：它接受用戶輸入的字符串，統(tǒng)計(jì)其中的字符數(shù)量。比如，對(duì)于輸入字符串"Python", 統(tǒng)計(jì)結(jié)果為6, 對(duì)于"test", 統(tǒng)計(jì)結(jié)果為4，等等。
要確保這個(gè)程序是"完美"的，我們就需要驗(yàn)證所有可能的輸入。用戶可能輸入一個(gè)簡(jiǎn)單的字符，也可能輸入整部《三國演義》，或者更多，我們無法預(yù)知用戶的輸入，用戶輸入的字符的數(shù)量在理論上可以是任意一個(gè)自然數(shù)，而自然數(shù)的數(shù)量是無窮大的，我們無法把所有的情況都覆蓋到。
如果把問題簡(jiǎn)化，限定用戶最多只能輸入10個(gè)字符，超過10個(gè)字符的情況就告知用戶無法處理，這種情況下，我們能否進(jìn)行"徹底"的測(cè)試？
這也是不可能的！
在用戶輸入超過10個(gè)字符的情況下，程序真的會(huì)告知用戶無法處理嗎？為了確認(rèn)這一點(diǎn)，我們需要把所有超過10個(gè)字符的輸入都覆蓋到，確保程序會(huì)告知無法處理，而不是意外地返回一個(gè)錯(cuò)誤的統(tǒng)計(jì)值。大于10的自然數(shù)仍然是無窮多的，我們還是無法把所有的情況都覆蓋到。
如果我們把問題再度簡(jiǎn)化，只測(cè)試字符數(shù)量在10以內(nèi)的"有效"輸入呢？
世界上有許許多多的語言和文字，unicode編碼可以涵蓋世界上所有語言的字符，它包含的字符的數(shù)量級(jí)大概是一百萬。粗略地估算下來，用戶輸入字符數(shù)量為1的情況，我們有100萬個(gè)測(cè)試要驗(yàn)證；用戶輸入字符數(shù)量為10的情況，我們有100萬的10次方個(gè)測(cè)試要驗(yàn)證,只要有一個(gè)測(cè)試沒有被覆蓋到，我們就不能打包票說在那種情況下程序可以正常工作，也就不敢打包票說程序是沒有bug的。
就像發(fā)財(cái)“捷徑”買彩票一樣，每一組號(hào)碼要買都是要錢的，買下的號(hào)碼很可能都打了水票，但是你總覺得你沒買的號(hào)碼里可能有”驚喜”。
在現(xiàn)實(shí)世界中，絕大部分的軟件程序比這個(gè)字符統(tǒng)計(jì)的程序要復(fù)雜得多，它們一定或多或少有bug沒有被發(fā)現(xiàn)，或者有bug被發(fā)現(xiàn)了卻沒有被修復(fù)，它們肯定稱不上完美，卻仍然達(dá)到了較高的軟件質(zhì)量，這當(dāng)然不是因?yàn)樗鼈儼褱y(cè)試做得非常徹底，而是因?yàn)榉艞壸非蟛磺袑?shí)際的"完美"，在預(yù)算范圍內(nèi)采用了合適的測(cè)試策略，得到較高的投資回報(bào)率。
其中的一個(gè)策略，是關(guān)注核心功能。
我們?cè)谫I新車的時(shí)候，會(huì)對(duì)車進(jìn)行非常細(xì)心的檢查，剎車燈不亮，雨刮器有異響，或者輪轂有輕微刮擦，都可能導(dǎo)致我們拒絕收車。
在買二手車的時(shí)候，情況就不一樣了，因?yàn)槲覀儠?huì)有充足的心理準(zhǔn)備來接受不完美。面對(duì)一輛標(biāo)價(jià)5萬的二手轎車，我們?cè)隍?yàn)車的時(shí)候一定會(huì)重點(diǎn)驗(yàn)證發(fā)動(dòng)機(jī)、變速箱、車架、轉(zhuǎn)向機(jī)；至于空調(diào)是不是能制冷，我們可能會(huì)關(guān)注，但是不會(huì)過多影響我們的決定；至于車門上的車漆是否有色差，我們根本就不會(huì)花時(shí)間去看！為什么買二手車的時(shí)候，我們變得不那么挑剔了？
是因?yàn)?窮"！其實(shí)，我們還是挑剔的，只是，因?yàn)轭A(yù)算有限，我們深知無法買到完美的車，所以我們會(huì)做妥協(xié)。軟件測(cè)試的思路也是這樣的。我們無法保證軟件產(chǎn)品的"完美"，在預(yù)算和資源有限的情況下，我們需要專注于軟件的核心功能，盡量保證核心功能得到良好的測(cè)試。
以字符統(tǒng)計(jì)的程序?yàn)槔绻闹饕脩羰侵袊脩?，我們可以重點(diǎn)測(cè)試中文和英文字符，而不需要花精力去測(cè)試程序?qū)τ趤喢滥醽喺Z字符的表現(xiàn)，在非核心功能的測(cè)試成本比較高的情況下更應(yīng)該如此，否則，我們花費(fèi)了寶貴的人力和時(shí)間，只是收獲了用戶可能并不太在乎的完美度，就像是架起高射炮只是為了打蚊子，成本很高，收益很小，不值得。
合理的軟件測(cè)試思路是把錢花在刀刃上，重點(diǎn)關(guān)注核心功能的測(cè)試，預(yù)算有限時(shí)應(yīng)該如此，預(yù)算充足時(shí)同樣應(yīng)該如此。
本文內(nèi)容節(jié)選改編自碼農(nóng)徐西寧寫的《軟件自動(dòng)化測(cè)試實(shí)戰(zhàn)解析_基于Python3編程語言》一書，更多關(guān)于軟件自動(dòng)化測(cè)試的內(nèi)容，請(qǐng)戳這里下單：
友情提示：出版社特別提供了額外的粉絲限時(shí)福利（2021年8月有效），有更多優(yōu)惠哦：
* 本書的范例代碼提供免費(fèi)下載, 請(qǐng)關(guān)注公眾號(hào)，發(fā)送消息“代碼”，即可得到下載地址 *
下載文檔
