HSQL转化为MR过程-白红宇

HSQL转化为MR过程

阅读量：5218 次

发布时间：2019-06-14

本文共 5099 字，大约阅读时间需要 16 分钟。

背景：熟悉MR执行的步骤后，可以往3个点继续分析：

1. code：MR的执行code，根据执行的步骤产出流程图。

2.引擎：了解TEZ/SPARK sql执行的步骤，产出如MR一样的流程图，清楚MR，TEZ，SPARK SQL的区分

3.sql编译过程：熟悉hsql提交到执行计划，到MR执行的过程，输出文档。

目前从第三点入手，主要还是跟工作息息相关。

美团文章：https://tech.meituan.com/2014/02/12/hive-sql-to-mapreduce.html

看懂每个细节，那么hive-sql编译这块就查不到了。

一、HSQL提交后的基本转化步骤：

　　1. hue提交HiveSQL

　　2. Parser，根据Antlr定义的规则，完成语法解析，将SQL抽象为AST Tree语法树。

　　3. Semantic Analyzer，抽象除查询的基本组成单元QueryBlock

　　4. Logical plan，遍历QueryBlock，转化为执行操作树OperatporTree

　　5. Logical plan optimizer，优化器对OperatorTree进行变换操作，合并不必要的ReduceSinkOperator，减少shuffle数据量

　　6. Physical plan，遍历OperatorTree，转换为MR任务

　　7. Logical plan optimizer，物理层优化器对MR任务进行变换操作，生成最终的执行计划

二、每个步骤作用或者目的(简单版本)

　　1. Antlr是个开源语言识别工具，可以完成词法分析、语法分析、中间代码生成，最终还可以转换为antlr的抽象语法树。【其实就是使用下开源工具来做sql解析，自己做麻烦的很】

　　2. AST 仍然复杂，不够结构化，转化为queryblock将sql进一步抽象和结构化。QB是一条SQL最基本的组成单元，包括三个部分：输入源，计算过程，输出。【1解析的结果太复杂，使用QB简化，不然3步骤处理起来麻烦】

　　3. 将QB转化为operator tree。map和reduce阶段均是由operatortree组成的。逻辑操作符，就是在Map阶段或者Reduce阶段完成单一特定的操作。【2结果转化MR认识的结构和形状】

　　4. 就对3结果进行优化：合并操作符，达到减少MapReduce Job，减少shuffle数据量的目的【重点再详解】

5. 就是把operator tree变化为MR任务。【重点再详解】

　　6. 就是对5输出MR任务进行优化。【重点再详解】

三、每个步骤重点详解：

　　1. antlr:

　　　　a. 词法规则和语法规则：词法规则HiveLexer.g和语法规则的4个文件SelectClauseParser.g，FromClauseParser.g，IdentifiersParser.g，HiveParser.g

　　　　b. 注意一下内层子查询也会生成一个TOK_DESTINATION节点。请看上面SelectStatement的语法规则，这个节点是在语法改写中特意增加了的一个节点。原因是Hive中所有查询的数据均会保存在 HDFS临时的文件中，无论是中间的子查询还是查询最终的结果，Insert语句最终会将数据写入表所在的HDFS目录下。

　　2. queryblock:

　　　　a. AST Tree生成QueryBlock的过程是一个递归的过程，先序遍历AST Tree，遇到不同的Token节点，保存到相应的属性中，主要包含以下几个过程：

　　　　　　1. TOK_QUERY => 创建QB对象，循环递归子节点

　　　　　　2. TOK_FROM => 将表名语法部分保存到QB对象的aliasToTabs等属性中

　　　　　　3. TOK_INSERT => 循环递归子节点

　　　　　　4. TOK_DESTINATION => 将输出目标的语法部分保存在QBParseInfo对象的nameToDest属性中

　　　　　　5. TOK_SELECT => 分别将查询表达式的语法部分保存在destToSelExpr、destToAggregationExprs、destToDistinctFuncExprs三个属性中

　　　　　　6. TOK_WHERE => 将Where部分的语法保存在QBParseInfo对象的destToWhereExpr属性中

　　　　b. QB中重要的属性：

　　　　　　1. aliasToSubq（表示QB类的aliasToSubq属性）保存子查询的QB对象，aliasToSubq key值是子查询的别名

　　　　　　2. nameToDest，key的形式是inclause-i，value是对应的ASTNode节点，即TOK_DESTINATION节点

　　　　　　3. JoinExpr保存TOK_JOIN节点

　　　　　　4. QBExpr这个对象是为了表示Union操作

　　　　　　5. qbm保存每个输入表的元信息，比如表在HDFS上的路径，保存表数据的文件格式等

　　3. Operator:

　　　　a. 基本操作符:TableScanOperator，SelectOperator，FilterOperator，JoinOperator，GroupByOperator，ReduceSinkOperator

　　　　　　1. TableScanOperator从MapReduce框架的Map接口原始输入表的数据，控制扫描表的数据行数，标记是从原表中取数据

　　　　　　2. JoinOperator完成Join操作

　　　　　　3. FilterOperator完成过滤操作

　　　　　　4. ReduceSinkOperator将Map端的字段组合序列化为Reduce Key/value, Partition Key，只可能出现在Map阶段，同时也标志着Hive生成的MapReduce程序中Map阶段的结束

　　　　　　5. Operator在Map Reduce阶段之间的数据传递都是一个流式的过程。每一个Operator对一行数据完成操作后之后将数据传递给childOperator计算【？？？？】

　　　　b. operator主要的属性和方法：

　　　　　　1. RowSchema表示Operator的输出字段

　　　　　　2. InputObjInspector outputObjInspector解析输入和输出字段

　　　　　　3. processOp接收父Operator传递的数据，forward将处理好的数据传递给子Operator处理

　　　　　　4. Hive每一行数据经过一个Operator处理之后，会对字段重新编号，colExprMap记录每个表达式经过当前Operator处理前后的名称对应关系，在下一个阶段逻辑优化阶段用来回溯字段名

　　　　　　5. 由于Hive的MapReduce程序是一个动态的程序，即不确定一个MapReduce Job会进行什么运算，可能是Join，也可能是GroupBy，所以Operator将所有运行时需要的参数保存在OperatorDesc 中，OperatorDesc在提交任务前序列化到HDFS上，在MapReduce任务执行前从HDFS读取并反序列化

　　　　c. QB转化为Operator tree步骤：

　　　　　　1. aliasToSubq => 有子查询，递归调用

　　　　　　2. aliasToTabs => TableScanOperator

　　　　　　3. joinExpr => QBJoinTree => ReduceSinkOperator + JoinOperator

　　　　　　4. destToWhereExpr => FilterOperator

　　　　　　5. destToGroupby => ReduceSinkOperator + GroupByOperator

　　　　　　6. destToOrderby => ReduceSinkOperator + ExtractOperator

　　　　　　备注：1. 由于Join/GroupBy/OrderBy均需要在Reduce阶段完成，所以在生成相应操作的Operator之前都会先生成一个ReduceSinkOperator，将字段组合并序列化为Reduce Key/value, Partition Key

　　　　　　　　　2. 美团那片文章有具体的例子和详细的解释，可以阅读下非常变化理解转化过程

　　4. 逻辑层优化器

　　　　a. SimpleFetchOptimizer:优化没有GroupBy表达式的聚合查询【减少shuffle数据量】

　　　　b. MapJoinProcessor:MapJoin，需要SQL中提供hint，0.11版本已不用【减少shuffle数据量】