讀寫(xiě)分離原來(lái)這么簡(jiǎn)單,一個(gè)小注解就夠了
目錄
-
前言
-
環(huán)境部署
-
開(kāi)始項(xiàng)目
-
目錄結(jié)構(gòu)
-
建表
-
主從數(shù)據(jù)源配置
-
設(shè)置路由
-
數(shù)據(jù)源的注解
-
aop切換數(shù)據(jù)源
-
最后
前言
相信有經(jīng)驗(yàn)的同學(xué)都清楚,當(dāng)db的讀寫(xiě)量過(guò)高時(shí),我們會(huì)備份一份或多份的從庫(kù)用于做數(shù)據(jù)的讀取,然后主庫(kù)就主要承擔(dān)寫(xiě)入的功能(也有讀取需要,但壓力不大),當(dāng)db分好主從庫(kù)后,我們還需要在項(xiàng)目實(shí)現(xiàn)自動(dòng)連接主從庫(kù),達(dá)到讀寫(xiě)分離的效果。實(shí)現(xiàn)讀寫(xiě)分離并不困難,只要在數(shù)據(jù)庫(kù)連接池手動(dòng)控制好對(duì)應(yīng)的db服務(wù)地址即可,但那樣就會(huì)侵入業(yè)務(wù)代碼,而且一個(gè)項(xiàng)目操作數(shù)據(jù)庫(kù)的地方可能很多,如果都手動(dòng)控制的話無(wú)疑會(huì)是很大的工作量,對(duì)此,我們有必要改造出一套方便的工具。
以Java語(yǔ)言來(lái)說(shuō),如今大部分的項(xiàng)目都是基于Spring Boot框架來(lái)搭建項(xiàng)目架構(gòu)的,結(jié)合Spring本身自帶的AOP工具,我們可以很容易就構(gòu)建能實(shí)現(xiàn)讀寫(xiě)分離效果的注解類(lèi),用注解的話可以達(dá)到對(duì)業(yè)務(wù)代碼無(wú)入侵的效果,而且使用上也比較方便。
下面就簡(jiǎn)單帶大家寫(xiě)個(gè)demo。
環(huán)境部署
數(shù)據(jù)庫(kù):MySql
庫(kù)數(shù)量:2個(gè),一主一從
關(guān)于mysql的主從環(huán)境部署網(wǎng)上有很多文章可以參考,這里不做介紹了。
開(kāi)始項(xiàng)目
首先,毫無(wú)疑問(wèn),先開(kāi)始搭建一個(gè)SpringBoot工程,然后在pom文件中引入如下依賴:
com.alibabadruid-spring-boot-starter1.1.10org.mybatis.spring.bootmybatis-spring-boot-starter1.3.2tk.mybatismapper-spring-boot-starter2.1.5mysqlmysql-connector-java8.0.16 org.springframework.bootspring-boot-starter-jdbcprovidedorg.springframework.bootspring-boot-starter-aopprovided org.springframework.bootspring-boot-starter-weborg.projectlomboklomboktruecom.alibabafastjson1.2.4org.springframework.bootspring-boot-starter-testtestorg.springframework.bootspring-boot-starter-data-jpa
目錄結(jié)構(gòu)
引入基本的依賴后,整理一下目錄結(jié)構(gòu),完成后的項(xiàng)目骨架大致如下:
建表
創(chuàng)建一張表user,在主庫(kù)執(zhí)行sql語(yǔ)句同時(shí)在從庫(kù)生成對(duì)應(yīng)的表數(shù)據(jù)
DROP TABLE IF EXISTS `user`; CREATE TABLE `user` ( `user_id` bigint(20) NOT NULL COMMENT '用戶id', `user_name` varchar(255) DEFAULT '' COMMENT '用戶名稱', `user_phone` varchar(50) DEFAULT '' COMMENT '用戶手機(jī)', `address` varchar(255) DEFAULT '' COMMENT '住址', `weight` int(3) NOT NULL DEFAULT '1' COMMENT '權(quán)重,大者優(yōu)先', `created_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時(shí)間', `updated_at` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新時(shí)間', PRIMARY KEY (`user_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO `user` VALUES ('1196978513958141952', '測(cè)試1', '18826334748', '廣州市海珠區(qū)', '1', '2019-11-20 10:28:51', '2019-11-22 14:28:26'); INSERT INTO `user` VALUES ('1196978513958141953', '測(cè)試2', '18826274230', '廣州市天河區(qū)', '2', '2019-11-20 10:29:37', '2019-11-22 14:28:14'); INSERT INTO `user` VALUES ('1196978513958141954', '測(cè)試3', '18826273900', '廣州市天河區(qū)', '1', '2019-11-20 10:30:19', '2019-11-22 14:28:30');
主從數(shù)據(jù)源配置
application.yml,主要信息是主從庫(kù)的數(shù)據(jù)源配置
server: port: 8001 spring: jackson: date-format: yyyy-MM-dd HH:mm:ss time-zone: GMT+8 datasource: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.cj.jdbc.Driver master: url: jdbc:mysql://127.0.0.1:3307/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true username: root password: slave: url: jdbc:mysql://127.0.0.1:3308/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true username: root password:
因?yàn)橛幸恢饕粡膬蓚€(gè)數(shù)據(jù)源,我們用枚舉類(lèi)來(lái)代替,方便我們使用時(shí)能對(duì)應(yīng)
@Getter public enum DynamicDataSourceEnum { MASTER("master"), SLAVE("slave"); private String dataSourceName; DynamicDataSourceEnum(String dataSourceName) { this.dataSourceName = dataSourceName; } }
數(shù)據(jù)源配置信息類(lèi) DataSourceConfig,這里配置了兩個(gè)數(shù)據(jù)源,masterDb和slaveDb
@Configuration @MapperScan(basePackages = "com.xjt.proxy.mapper", sqlSessionTemplateRef = "sqlTemplate") public class DataSourceConfig { // 主庫(kù) @Bean @ConfigurationProperties(prefix = "spring.datasource.master") public DataSource masterDb() { return DruidDataSourceBuilder.create().build(); } /** * 從庫(kù) */ @Bean @ConditionalOnProperty(prefix = "spring.datasource", name = "slave", matchIfMissing = true) @ConfigurationProperties(prefix = "spring.datasource.slave") public DataSource slaveDb() { return DruidDataSourceBuilder.create().build(); } /** * 主從動(dòng)態(tài)配置 */ @Bean public DynamicDataSource dynamicDb(@Qualifier("masterDb") DataSource masterDataSource, @Autowired(required = false) @Qualifier("slaveDb") DataSource slaveDataSource) { DynamicDataSource dynamicDataSource = new DynamicDataSource(); Map
設(shè)置路由
設(shè)置路由的目的為了方便查找對(duì)應(yīng)的數(shù)據(jù)源,我們可以用ThreadLocal保存數(shù)據(jù)源的信息到每個(gè)線程中,方便我們需要時(shí)獲取
public class DataSourceContextHolder { private static final ThreadLocalDYNAMIC_DATASOURCE_CONTEXT = new ThreadLocal<>(); public static void set(String datasourceType) { DYNAMIC_DATASOURCE_CONTEXT.set(datasourceType); } public static String get() { return DYNAMIC_DATASOURCE_CONTEXT.get(); } public static void clear() { DYNAMIC_DATASOURCE_CONTEXT.remove(); } }
獲取路由
public class DynamicDataSource extends AbstractRoutingDataSource { @Override protected Object determineCurrentLookupKey() { return DataSourceContextHolder.get(); } }
AbstractRoutingDataSource的作用是基于查找key路由到對(duì)應(yīng)的數(shù)據(jù)源,它內(nèi)部維護(hù)了一組目標(biāo)數(shù)據(jù)源,并且做了路由key與目標(biāo)數(shù)據(jù)源之間的映射,提供基于key查找數(shù)據(jù)源的方法。
數(shù)據(jù)源的注解
為了可以方便切換數(shù)據(jù)源,我們可以寫(xiě)一個(gè)注解,注解中包含數(shù)據(jù)源對(duì)應(yīng)的枚舉值,默認(rèn)是主庫(kù),
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
@Documented
public @interface DataSourceSelector {
DynamicDataSourceEnum value() default DynamicDataSourceEnum.MASTER;
boolean clear() default true;
}
aop切換數(shù)據(jù)源
到這里,aop終于可以現(xiàn)身出場(chǎng)了,這里我們定義一個(gè)aop類(lèi),對(duì)有注解的方法做切換數(shù)據(jù)源的操作,具體代碼如下:
@Slf4j @Aspect @Order(value = 1) @Component public class DataSourceContextAop { @Around("@annotation(com.xjt.proxy.dynamicdatasource.DataSourceSelector)") public Object setDynamicDataSource(ProceedingJoinPoint pjp) throws Throwable { boolean clear = true; try { Method method = this.getMethod(pjp); DataSourceSelector dataSourceImport = method.getAnnotation(DataSourceSelector.class); clear = dataSourceImport.clear(); DataSourceContextHolder.set(dataSourceImport.value().getDataSourceName()); log.info("========數(shù)據(jù)源切換至:{}", dataSourceImport.value().getDataSourceName()); return pjp.proceed(); } finally { if (clear) { DataSourceContextHolder.clear(); } } } private Method getMethod(JoinPoint pjp) { MethodSignature signature = (MethodSignature)pjp.getSignature(); return signature.getMethod(); } }
到這一步,我們的準(zhǔn)備配置工作就完成了,下面開(kāi)始測(cè)試效果。
先寫(xiě)好Service文件,包含讀取和更新兩個(gè)方法,
@Service public class UserService { @Autowired private UserMapper userMapper; @DataSourceSelector(value = DynamicDataSourceEnum.MASTER) public int update(Long userId) { User user = new User(); user.setUserId(userId); user.setUserName("老薛"); return userMapper.updateByPrimaryKeySelective(user); } @DataSourceSelector(value = DynamicDataSourceEnum.SLAVE) public User find(Long userId) { User user = new User(); user.setUserId(userId); return userMapper.selectByPrimaryKey(user); } }
根據(jù)方法上的注解可以看出,讀的方法走從庫(kù),更新的方法走主庫(kù),更新的對(duì)象是userId為1196978513958141952的數(shù)據(jù),
然后我們寫(xiě)個(gè)測(cè)試類(lèi)測(cè)試下是否能達(dá)到效果,
@RunWith(SpringRunner.class)
@SpringBootTest
class UserServiceTest {
@Autowired
UserService userService;
@Test
void find() {
User user = userService.find(1196978513958141952L);
System.out.println("id:" + user.getUserId());
System.out.println("name:" + user.getUserName());
System.out.println("phone:" + user.getUserPhone());
}
@Test
void update() {
Long userId = 1196978513958141952L;
userService.update(userId);
User user = userService.find(userId);
System.out.println(user.getUserName());
}
}
測(cè)試結(jié)果:
1、讀取方法
2、更新方法
執(zhí)行之后,比對(duì)數(shù)據(jù)庫(kù)就可以發(fā)現(xiàn)主從庫(kù)都修改了數(shù)據(jù),說(shuō)明我們的讀寫(xiě)分離是成功的。當(dāng)然,更新方法可以指向從庫(kù),這樣一來(lái)就只會(huì)修改到從庫(kù)的數(shù)據(jù),而不會(huì)涉及到主庫(kù)。
最后
哈哈,開(kāi)個(gè)玩笑。
上面測(cè)試的例子雖然比較簡(jiǎn)單,但也符合常規(guī)的讀寫(xiě)分離配置。值得說(shuō)明的是,讀寫(xiě)分離的作用是為了緩解寫(xiě)庫(kù),也就是主庫(kù)的壓力,但一定要基于數(shù)據(jù)一致性的原則,就是保證主從庫(kù)之間的數(shù)據(jù)一定要一致。如果一個(gè)方法涉及到寫(xiě)的邏輯,那么該方法里所有的數(shù)據(jù)庫(kù)操作都要走主庫(kù)。
假設(shè)寫(xiě)的操作執(zhí)行完后數(shù)據(jù)有可能還沒(méi)同步到從庫(kù),然后讀的操作也開(kāi)始執(zhí)行了,如果這個(gè)讀取的程序走的依然是從庫(kù)的話,那么就會(huì)出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象了,這是我們不允許的。
發(fā)一下項(xiàng)目的github地址,有興趣的同學(xué)可以看下,記得給個(gè)star哦
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問(wèn)題,請(qǐng)聯(lián)系我們,謝謝!