軟件項(xiàng)目隨著數(shù)據(jù)量的不斷增加,有什么優(yōu)化方案么?
隨著軟件項(xiàng)目中的數(shù)據(jù)量不斷增加,有哪些方法可以讓我們的系統(tǒng)依然運(yùn)行的非常的流暢,響應(yīng)時(shí)間很短呢?讓我們看一下:
單體架構(gòu)
下面這個(gè)架構(gòu),大家一定很不陌生,大部分小項(xiàng)目都是這樣的架構(gòu):所有的代碼都放在一個(gè)代碼包中,部署在一臺(tái)服務(wù)器上,數(shù)據(jù)庫(kù)也只有一個(gè)。
單體架構(gòu)簡(jiǎn)單,最容易實(shí)現(xiàn);但當(dāng)這臺(tái)服務(wù)器出現(xiàn)故障的時(shí)候,則無法對(duì)外提供服務(wù),可用性差,難以擴(kuò)展。
本地緩存
當(dāng)數(shù)據(jù)開始增加,SQL 執(zhí)行地越來越慢;我們可以將頻繁讀取但是變化不多的數(shù)據(jù)保存到緩存中,這樣可以極大地減少數(shù)據(jù)庫(kù)的壓力,提高應(yīng)用的響應(yīng)速度;
常用的緩存淘汰策略:先進(jìn)先出、最少使用、最近最少使用等等;
常用的本地緩存框架:如果使用 Spring Boot 的話,可以直接使用 @Cacheable 注解使用本地緩存(默認(rèn)使用 ConcurrentHashMap 實(shí)現(xiàn)本地緩存)、EhCache、Caffeine。
分布式緩存
當(dāng)然本地緩存也有很多的弊端,比如單個(gè)服務(wù)器資源有限、緩存數(shù)據(jù)無法共享、生命周期小于等于應(yīng)用的生命周期等等;所以我們可以引入分布式緩存,比如 Memcached 、 Redis。
讀寫分離
因?yàn)椴⒉皇撬械臄?shù)據(jù)都適合放在緩存中,所以隨著數(shù)據(jù)的進(jìn)一步增加,需要提高數(shù)據(jù)庫(kù)本身的性能和高可用,最簡(jiǎn)單的方法:數(shù)據(jù)庫(kù)的讀寫分離。
分庫(kù)分表
當(dāng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)一步增加,單臺(tái)數(shù)據(jù)庫(kù)無法支撐,可以考慮分庫(kù)分表;每一條數(shù)據(jù)根據(jù)路由策略,存儲(chǔ)在不同的數(shù)據(jù)庫(kù)中;
分庫(kù)分表雖然突破了單臺(tái)數(shù)據(jù)庫(kù)的資源限制,理論上可以支撐無限增長(zhǎng)的數(shù)據(jù),但是也會(huì)帶來新的難題:
現(xiàn)有的數(shù)據(jù)分片不夠的話,就需要做數(shù)據(jù)庫(kù)的擴(kuò)充,要么需要做數(shù)據(jù)遷移,要么會(huì)讓數(shù)據(jù)路由算法變得更加復(fù)雜;
全量的數(shù)據(jù)查詢和統(tǒng)計(jì)成了一個(gè)很大的難題;
分庫(kù)分表 + ES
針對(duì)分庫(kù)分表后全量查詢的難題,通常我們可以引入 ES 做全量的數(shù)據(jù)檢索。
上面就是針對(duì)“數(shù)據(jù)量不斷增加”的一些解決方法,當(dāng)然我們也需要結(jié)合項(xiàng)目實(shí)際情況進(jìn)行架構(gòu)設(shè)計(jì),這是一個(gè)迭代演化的過程,避免過度設(shè)計(jì)。
特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容,還沒關(guān)注的小伙伴,可以長(zhǎng)按關(guān)注一下:
長(zhǎng)按訂閱更多精彩▼
如有收獲,點(diǎn)個(gè)在看,誠(chéng)摯感謝
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問題,請(qǐng)聯(lián)系我們,謝謝!