【Text2SQL 论文】SQLova：首次将 PLM 应用到 NL2SQL 中

论文：A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization

⭐⭐⭐⭐

KR2ML Workshop at NeurIPS 2019, arXiv:1902.01069

Code: SQLova | GitHub

参考文章：将预训练语言模型引入WikiSQL任务 | CSDN

一、论文速度

这篇论文对 SQLNet 进行改进，首次尝试引入 PLM 来获得 context embedding。在实现思路上与 SQLNet 类似，也是先预先构建一个 SQL sketch，然后再填充 slots。

本文提出的模型 SQLova 分为两个 layers：encoding layer 和 NL2SQL layer：

• encoding layer：使用 BERT 来获得 table-aware 和 context-aware 的 question word representation
• NL2SQL layer：使用上一层获得的 encoded representation 来生成 SQL query

在 NL2SQL layer 中，思路与 SQLNet 类似，使用了多个 model 来填充 SQL sketch 中的不同 slots 从而生成 SQL。

二、SQLova

分别介绍 SQLova 的两个 layers。<