低资源开源文本到SQL模型的知识蒸馏

背景与问题

随着非技术用户需要通过自然语言查询访问关系数据库进行数据分析和智能服务，Text-to-SQL技术应运而生。然而，在实际应用中，由于资源有限且高质量标注的数据稀缺，特别是在特定领域的数据库中更为突出。此外，隐含的业务逻辑、不透明的模式定义以及未明文编码在模式中的缩写等问题进一步加剧了这一挑战。

核心内容

为了解决这些问题，研究提出了一种基于知识的Text-to-SQL框架。该框架的核心在于构建一个包含多种信息的任务特定知识库：包括模式语义、常用缩写、隐含的业务逻辑以及查询模式。通过将这些信息注入训练和推理过程中，可以生成多样化且上下文相关的合成训练数据，并在推断时有针对性地检索知识。这种创新方法不仅提高了模型任务特异性及语义一致性，还增强了其泛化能力和鲁棒性。

意义与影响

实验结果表明，在涵盖通用和特定领域数据集的七个基准测试中，该框架显著提升了开源和专有大型语言模型在Text-to-SQL任务中的性能。特别是在低资源专用领域的设置下，改进尤为明显。这不仅增强了模型的一般性和适应性，还为非技术用户提供了更可靠的数据库访问解决方案。