介绍 团队最近发布了自动 的一项新功能,我们对此感到非常兴奋:查询优先级。此功能旨在解决 的主要限制,即它允许您优先考虑某些查询而不是其他查询。这是实现数据 所需的关键性能增强。 在查询优先级完全发布之前,我们首先在博客上介绍了 Redshift 的新自动 WLM 功能,结果发现好坏参半:它在减少基于磁盘的查询的百分比方面非常有效(也许太有效了!),但具有增加磁盘查询百分比的副作用。由于大查询消耗了集群的大部分内存,因此集群上的整体排队情况。
自动 WLM:基础知识
对于我们的用例,这种权衡不起作用——额外的排队给我们的数据管道带来了不可接受的延迟。自撰写该博文以来,我们最终将所有集群恢复为经过精心调优的手动 WLM。 我们已经从非常高的层次介绍了使用查询优先级设置自动 WLM的基础知识,在这篇文章中,我们将首先 沙特阿拉伯电报号码数据 介绍我们通过此新功能看到的性能。提醒一下,自动 会在查询运行时动态地将集群资源分配给查询。这与手动 形成鲜明对比,在手动 中,您需要为运行查询的每个队列手动选择内存和并发值。
具有查询优先级的自动 WLM
让自动 为您选择这些值的好处并不是让它变得更容易(优化配置手动 非常简单),以及更多关于使其动态化的信息理论上每个查询应该获得适量的集群资源,不多也不少。这应该可以更优化地使用集群,从而提高查询吞吐量并减少内存浪费。 但实际上,自动 (无 查询优先级)无法知道 欧洲电子邮件 额外的队列时间会对您的数据 乃至您的业务产生影响。因此,即使集群对资源的使用在某些方面更加高效,自动 WLM 对数据 的最终结果也可能是负面的。