SQL语句执行流程

第一步:客户端把语句发给服务器端执行
       当我们在客户端执行SQL语句时,客户端会把这条 SQL 语句发送给服务器端,让服务器端的进程来处理这语句。也就是说,Oracle 客户端是不会做任何的操作,他的主要任务就是把客户端产生的一些 SQL 语句发送给服务器端。虽然在客户端也有一个数据库进程但这个进程的作用跟服务器上的进程作用不同。服务器上的数据库进程才会对SQL 语句进行相关的处理。客户端的进程跟服务器的进程是一一对应的,在客户端连接上服务器后,在客户端与服务器端都会形成一个进程,客户端上的我们叫做客户端进程;而服务器上的我们叫做服务器进程。


第二步:语句解析
      当客户端把 SQL 语句传送到服务器后,服务器进程会对该语句进行解析。同理,这个解析的工作,也是在服务器端所进行的。虽然这只是一个解析的动作,但是,其会做很多动作。
     1. 查询高速缓存(library cache)。

服务器进程在接到客户端传送过来的 SQL 语句时,不会直接去数据库查询。而是会先在数据库的高速缓存中去查找,是否存在相同语句的执行计划。如果在数据高速缓存中,则服务器进程就会直接执行这个 SQL 语句,省去后续的工作。所以,采用高速数据缓存的话,可以提高 SQL 语句的查询效率。一方面是从内存中读取数据要比从硬盘中的数据文件中读取数据效率要高,另一方面,也是因为这个语句解析的原因。不过这里要注意一点,这个数据缓存跟有些客户端软件的数据缓存是两码事。有些客户端软件为了提高查询效率,会在应用软件的客户端设置数据缓存。由于这些数据缓存的存在,可以提高客户端应用软件的查询效率。但是,若其他人在服务器进行了相关的修改,由于应用软件数据缓存的存在,导致修改的数据不能及时反映到客户端上。从这也可以看出,应用软件的数据缓存跟数据库服务器的高速数据缓存不是一码事。
   2. 语句合法性检查(data dict cache)。

当在高速缓存中找不到对应的 SQL 语句时,则服务器进程就会开始检查这条语句的合法性。这里主要是对 SQL 语句的语法进行检查,看看其是否合乎语法规则。如果服务器进程认为这条 SQL 语句不符合语法规则的时候,就会把这个错误信息,反馈给客户端。在这个语法检查的过程中,不会对 SQL 语句中所包含的表名、列名等等进行 SQL 他只是语法上的检查。
   3. 语言含义检查(data dict cache)。

若 SQL 语句符合语法上的定义的话,则服务器进程接下去会对语句中的字段、表等内容进行检查。看看这些字段、表是否在数据库中。如果表名与列名不准确的话,则数据库会就会反馈错误信息给客户端。所以,有时候我们写 select 语句的时候,若语法与表名或者列名同时写错的话,则系统是先提示说语法错误,等到语法完全正确后,再提示说列名或表名错误。
   4. 获得对象解析锁(control structer)。

当语法、语义都正确后,系统就会对我们需要查询的对象加锁。这主要是为了保障数据的一致性,防止我们在查询的过程中,其他用户对这个对象的结构发生改变。
  5. 数据访问权限的核对(data dict cache)。

当语法、语义通过检查之后,客户端还不一定能够取得数据。服务器进程还会检查,你所连接的用户是否有这个数据访问的权限。若你连接上服务器的用户不具有数据访问权限的话,则客户端就不能够取得这些数据。有时候我们查询数据的时候,辛辛苦苦地把SQL 语句写好、编译通过,但是,最后系统返回个 “没有权限访问数据”的错误信息。这在前端应用软件开发调试的过程中,可能会碰到。所以,要注意这个问题,数据库服务器进程先检查语法与语义,然后才会检查访问权限。
  6. 确定最佳执行计划

当语句与语法都没有问题,权限也匹配的话,服务器进程还是不会直接对数据库文件进行查询。服务器进程会根据一定的规则,对这条语句进行优化。不过要注意,这个优化是有限的。一般在应用软件开发的过程中,需要对数据库的 sql 语言进行优化,这个优化的作用要大大地大于服务器进程的自我优化。所以,一般在应用软件开发的时候,数据库的优化是少不了的。当服务器进程的优化器确定这条查询语句的最佳执行计划后,就会将这条 SQL 语句与执行计划保存到数据高速缓存(library cache)。如此的话,等以后还有这个查询时,就会省略以上的语法、语义与权限检查的步骤,而直接执行 SQL 语句,提高 SQL 语句处理效率。


  第三步:语句执行
       语句解析只是对 SQL 语句的语法进行解析,以确保服务器能够知道这条语句到底表达的是什么意思。等到语句解析完成之后,数据库服务器进程才会真正的执行这条 SQL 语句。这个语句执行也分两种情况。一是若被选择行所在的数据块已经被读取到数据缓冲区的话,则服务器进程会直接把这个数据传递给客户端,而不是从数据库文件中去查询数据。若数据不在缓冲区中,则服务器进程将从数据库文件中查询相关数据,并把这些数据放入到数据缓冲区中(buffer cache)。


  第四步:提取数据
     当语句执行完成之后,查询到的数据还是在服务器进程中,还没有被传送到客户端的用户进程。所以在服务器端的进程中,有一个专门负责数据提取的一段代码。他的作用就是把查询到的数据结果返回给用户端进程,从而完成整个查询动作。

### 回答1: Spark SQLSQL语句执行流程源码主要包括以下几个步骤: 1. 解析SQL语句:Spark SQL首先会将SQL语句解析成逻辑计划(Logical Plan),即一个由一系列逻辑操作符组成的树形结构,表示SQL语句执行计划。 2. 优化逻辑计划:Spark SQL会对逻辑计划进行一系列的优化,包括重写查询、推测执行、列裁剪、谓词下推等等,以提高查询性能。 3. 转换为物理计划:经过优化后的逻辑计划会被转换成物理计划(Physical Plan),即一系列RDD操作的执行计划。 4. 执行物理计划:Spark SQL会将物理计划转换成一系列的Spark任务,并提交到集群上执行。 5. 返回结果:执行完毕后,Spark SQL会将结果返回给用户。 以上就是Spark SQLSQL语句执行流程源码的主要步骤。 ### 回答2: 对于Spark SQL中的SQL语句执行流程源码,主要可以分为以下几个步骤: 1. 解析SQL语句 Spark SQL会先对输入的SQL语句进行解析,将它转换为逻辑计划。这个解析的过程是基于SQL的语法和关键字来完成的。解析器将SQL语句拆分成语法单元,处理语法单元规则,然后构建逻辑树。 2. 优化器优化物理执行计划 在解析器生成逻辑计划之后,优化器接着优化逻辑计划,将其转化为物理执行计划,以提高查询效率。Spark SQL的优化器主要实现了两种类型的优化:rule-based和cost-based。 3. 生成RDD并执行计算 根据优化后的物理执行计划,Spark SQL会生成相应的RDD,并将任务分配给不同的Executor运行时执行。其中最基本的RDD是ShuffledRowRDD,它是用来处理group-by 和aggregate操作的。 4. 计算结果 在生成RDD并分配给Executor节点之后,Spark SQL会对分散的数据进行计算并将结果返回给客户端或者存储在外部系统中。 总体来说,Spark SQLSQL语句执行流程源码中还包括一些其他的细节,比如如何处理Join操作,如何在多个Executor上执行查询,如何优化I/O以及如何将计算结果进行持久化等问题。通过了解这些细节,我们能够更好地使用Spark SQL来完成各种数据处理任务。 ### 回答3: Spark SQL是Apache Spark中的一个模块,它提供了基于结构化数据的一种编程接口和查询语言。它以DataFrame的形式进行数据处理,支持SQL查询以及基于Java、Python和Scala等编程语言的API操作。在运行SQL查询时,Spark SQL内部会将其转换为一组具体的物理操作,然后使用Spark的分布式计算框架来执行这些操作。 在Spark SQL中,SQL语句执行流程大致可以分为以下几个步骤:解析(parse)、类型检查(analyze)、优化(optimize)和执行(execute)。具体流程如下所示: 1.解析(parse):Spark SQL使用ANTLR工具来解析SQL查询语句。ANTLR是一种支持多种语言的解析器生成器,可以将输入语言的上下文无关文法转换为解析树。在解析过程中,Spark SQL会将查询语句转换为一个抽象语法树(AST),同时进行语法和语义分析。 2.类型检查(analyze):在语法和语义分析阶段,Spark SQL会对AST节点进行类型检查,并将其转换为逻辑计划(Logical Plan)。逻辑计划是一个基于DataFrame的数据结构,它描述了查询语句的逻辑执行计划,但没有具体的物理实现。 3.优化(optimize):Spark SQL会对逻辑计划进行优化,以生成一个更高效的物理计划(Physical Plan)。优化的过程主要包括三个阶段:逻辑优化(logical optimization)、物理优化(physical optimization)和代码生成(code generation)。逻辑优化主要针对SQL查询语句进行优化,例如重写查询语句、重组关系操作和消除无效计算等;物理优化则主要考虑如何将逻辑计划转换为具体的物理计划,例如选择合适的物理算子和物理存储格式等;最后,代码生成阶段将物理计划转换为具体的代码,以在执行阶段生成原生代码。 4.执行(execute): 在执行阶段,Spark SQL会将物理计划转换为RDD操作,然后使用Spark的分布式计算框架来执行这些操作。在执行过程中,Spark会将数据分布在不同的机器上并行计算,确保高效的数据处理。 总结来说,Spark SQL使用了一系列的流程来将SQL查询语句转换为执行计划,最终通过Spark的分布式计算框架来完成计算任务。这些流程包括解析、类型检查、优化和执行等,每个流程都有具体的实现方式和目的。通过这些流程,Spark SQL能够实现高效的数据处理,支持复杂的数据查询和分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值