• 发文
  • 评论
  • 微博
  • 空间
  • 微信

openGauss-向量化执行引擎-VecUnique算子

yzsDBA 2023-11-02 13:36 发文

openGauss-向量化执行引擎系列-VecUnique算子

openGauss实现了向量化执行引擎,达到算子级别的并行。也就是说在执行器火山模型基础上,一次处理一批数据,而不是一次一个元组。这样可以充分利用SIMD指令进行优化,达到指令级别并行。前期我们介绍了PgSQL Unique算子的实现机制,本文接着介绍openGauss是如何实现Unique算子向量化的。

简单来说,openGauss的VecUnique算子更多的是为了实现执行器整体性的向量化,减少算子之间因为向量化和非向量化算子之间的兼容而进行的VecToRow和RowToVec算子进行的行与向量之间的转换而完成的。实际上VecUnique算子进行唯一值挑选的时候,仍旧是一个一个值比较的,只不过从子节点拿上来一批值VectorBatch,然后从VectorBatch里面一个值一个值的比较。当然,这样做的优点:减少子节点算子函数调用次数。

1、VecUniqueState

完成VecUnique算子的主要成员变量:

1)uniqueDone:标记VecUnique算子是否执行完

2)container[]数组:数组大小为2个batch大小即2+1024,存储GUCell结构,即唯一值及其NULL标签

3)cap:即Encap结构,封装VectorBatch、cols和colIdx,减少传递参数个数

4)idx:container[]数组中存储的唯一值个数,即GUCell个数

5)cellSize:GUCell大小

6)keySimple:distinct列是否是8字节以内,若8字节以内,则为true表示可以直接进行值比较;若大于8字节则需要通过函数进行比较了

7)buildFunc:用于从VectorBatch中挑出唯一值,存储到container[]数组

8)buildScanFunc:从container[]数组中取出1024条,组成一个VectorBatch输出

2、buildFunc

这里关注buildScanFunc和buildFunc两个函数。

为什么*idx >=1024才进行处理呢?这都已经有1025条,已超过VectorBatch最大大小了。

这针对的是跨batch的场景:

batch1中最后一个是10,batch2中第一个是10,假设batch1中的都是不同值,则需要将batch2的第一个值10也存入container[1025]数组后才进入构建scanBatch的逻辑,这样仅输出1024行,将container[1025]以到container[0],然后才将container[1025]置为NULL。这样才能在下一轮有值可比较。否则由于batch2的10是第一个值,没比较的值,就将其也当作唯一值输出了。

BuildFunc

1)针对子节点取的VectorBatch batch,对每一行进行处理

2)第一轮batch第一行取出,作为唯一值存储到container[i],i=0;

3)后续的值和container[i]进行比较,若相等,则继续batch下一条进行比较,否则作为唯一值存入container[++i]

4)当container[]存入了1025条时,切换currentBuf和bckBuf,以便ExecVecUnique下个迭代可以重置bckBuf回收内存

buildScanFunc

这个函数就比较简单了,从container[]数组取出1024条,构建到scanBatch中,然后进行输出即可。

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    yzsDBA

    专注于开源数据库原理与使用...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码