吱吱吱 (piperck) XD

摘要： 安装 去官网下载安装包，然后编译安装。 https://thrift.apache.org/download ./configure && make 当然如果我们使用了 MacOS 我们将可以方便的直接使用 Homebrew 进行安装 brew install thrift 编写一个 thrift 阅读全文

摘要： 今天花了一天把 《ClickHouse 原理解析与应用实践》过了一遍，除了感叹诸多结构都为了节省每一个 byte 做到极致，也感受到要理解某些设计又一点压力。 看完之后我感觉差不多理解了，抽几个重点略微总结一下，日后忘了可回来看看。 数据的查询过程 数据的查询过程，我通过书上的这张图来说，要理解 . 阅读全文

摘要： 上一篇讲了导航函数的使用，这一部分我将记录一下使用 window function 的例子以供我自己后续查阅搜索。毕竟之前做 TP 任务比较多，对于 AP 各种复杂的 SQL 灵活的使用还有一些不习惯。。。话说最近数据分析和处理任务相对多起来了才发现 SQL 真的如此强大。一个支持 SQL API 阅读全文

摘要： 来自于 SQL2011 对窗口函数的增强，新添加了叫导航函数的类别，进一步丰富了窗口的计算能力。 这将一次记录几个比较常用的导航函数他们包含， FIRST_VALUE LAST_VALUE NTH_VALUE LEAD LAG 下面我将依次用例子记录使用方法。 FIRST_VALUE/LAST_VA 阅读全文

摘要： Nested Loop Join 这一章节主要讲解 join 的算法，我想记录一些重点的地方。有趣的是 关于 Nested Loop join 对驱动表为什么小表会更好这个问题，搜遍简中的 blog 都是一些错误的描述而且排名还贼高。而且大家都是互相拷贝。。互相抄内容，错来错去都差不多。 我们基于上 阅读全文

摘要： B 树是一个家族，感觉 B+Tree 对于喜欢使用 MySQL 的我来说是最常听说的数据库索引结构之一了。但是我从来没有从头到尾自己实现过一个 B+Tree，像类似的数据结构，感觉不真正自己写一次就很难领悟其中的细节。 B+ Tree 的定义 当我们在组织这个树型结构的时候，我们是以节点的形式组织的 阅读全文

摘要： 这一章大概是一个 hash tables 的科普。因为刚上课不久 andy 就说我们自己不会去实现一个这玩意儿。现在有非常优秀的方案，你应该去使用那个最好的方案，那个方案把其他方案都给碾碎了。我们当然就应该使用它。 xxhash 是之前搞 zstd 的 facebook 哥们搞的。这俩玩意儿一个是最 阅读全文

摘要： 这一章节的重点在 buffer pool manager buffer pool manager 这一章学完我感觉我才理解了，其实我在数据库里拿到所有的数据似乎都过了一次内存。而内存有自己的算法和策略可以尽量帮我缓存我会多次访问的数据。 访问数据的流程大概类似于 execution engine 执 阅读全文

摘要： Storage 1 主要介绍了 slotted-page 组织数据的情况。但是这种方式会有一些问题比如 1. 页分裂 （比如在一个页上面操作，后续对其进行操作可能会有删除的操作后续可能需要使用 compaction 来合并对应页以释放空间） 2. 无用的 io 消耗。比如说如果我们使用 MySQL 阅读全文

摘要： 最先的一部分还是介绍存储介质速度层级 总的来说就是 cpu > memory > disk 但是究竟快多少呢？ 我觉得这里只需要记住一个常用的关键论点，内存约比 ssd 快 150 倍 比普通的 HDD 快 20000 倍。单从这里就可以比较清晰的知道，在内存里汇总计算大量数据对数据库效率的重要性。 阅读全文