百度万亿量级数据库Tera架构应用、设计与实践全攻略(2)
2017-05-27 编辑：
Tera 设计的性能优化
郑然表示，Tera 设计的性能优化，是百度在做设计过程中总结出来的，实用性较强。
第一个经验是需要考虑对分布式文件系统友好。Tera 的数据持久化在分布式文件系统上，必须考虑对其友好的使用。根据 LevelDb 的特点，数据首先要持久化在 WAL 上，确保异常情况下不丢数据，所以写 WAL 的延迟和吞吐直接决定了用户写请求的延迟和吞吐。然而分布式文件系统需要写多个数据副本，在某些副本异常情况下，如果依赖分布式文件系统层面去自动恢复的话，可能大幅增加延迟。Tera 针对写 WAL 异常情况，采用关闭旧文件创建新文件的方法，规避分布式文件系统的短板。同时 WAL 持久化成功才能保证用户数据不丢，所以 WAL 写完之后必须 sync 强制数据落盘，而 sst 文件不强制要求每次写请求落盘，从而减少对分布式文件系统的压力。
第二个经验是关于 SSD 的运用。SATA 的随机读能力很差，虽然 LevelDb 做了很多优化，但是仍然无法突破硬件瓶颈，SSD 的价格现在是越来越便宜，但成本依然比 SATA 高。Tera 的数据全部持久化在 SATA 上，仅把 SSD 作为 Cache 使用，这是平衡性能和成本的一种途径。
第三个经验是异步逻辑设计。Tera 里面所有可能阻塞的逻辑都是异步的，异步逻辑可以很好提高性能，另外客户端缓存 Tablet 位置信息，因为 tablet 位置信息通常情况下变化的也不频繁，同时扩展了 LevelDb 的 BloomFilter 机制，可以提升 20% 左右的读性能。
戳 阅读原文，了解更多~
相关阅读：
相关推荐：