基于区域划分与降维的高维学习型索引

在数据量与数据复杂度不断增加的时代,?大数据处理与分析成为当前的热门研究内容,?高维空间数据的使用越来越频繁,?数据检索和访问速度成了衡量数据处理系统性能的重要指标.?因此,?如何设计实现一种高效的高维索引结构,?提高查询访问速率、降低内存占用,?变得至关重要.?近年,?Kraska等人提出了学习型索引的方法.?实验证明该方法在真实数据集上表现良好.?之后机器学习与深度学习在数据库系统中的运用越来越广泛.?众多研究者尝试在高维数据上构建学习型索引,?来提升高维数据的查询速度.?但是目前的高维学习型索引采用的方法并不能将数据分布的信息有效利用起来,?而且过于复杂的深度学习模型使得索引初始化开销过大.?结合空间区域划分与降维两种技术,?提出一种新颖的高维学习型索引.?它能更有效地利用数据分布信息提高索引的查询效率,?并利用多段线性模型在保证查找精确度的前提下尽可能减少索引初始化的开销.?分别在随机生成的数据集和开源街区地图数据集上进行实验验证.?结果表明,?与现有的高维索引相比,?其在索引构建、查询效率、以及内存占用方面都有显著提高.