基于 MySQL 的热数据与冷数据分离设计与实现
作为一家提供商业气象数据服务的创业公司,我们一直都有一项「欠交的作业」没有完成,那就是合理的数据规划和数据治理规范。对于早期的初创公司而言,可能很难从一开始就能构想到需要对数据存储进行合理的规划并制定长期规范,大多都是简单使用单实例的数据库,直到随着业务增长数据量累积到一个不得不严肃考虑这个问题的地步。
数据库发展简介
数据量的增长其实一直是随着互联网的发展呈现爆发式增长的,因为各种各样的数据都在不断的被原样或者是经过少量的更改和增补后拷贝到互联网的各个角落。为了适应互联网数据的海量增长,在后端和架构意义上而言,数据库的发展也大致经历了「单库单表 -> 主从读写分离 -> 分表分库 -> NoSQL -> NewSQL」这样的过程。