数仓如何进行表级控制analyze?

摘要: 介绍如何设置采样大小和表级控制analyze。

本文分享自华为云社区《GaussDB(DWS) 如何表级控制analyze》,作者:leapdb。

一、控制采样大小

【设置全局采样大小】

通过参数default_statistics_target设置全局默认采样大小。

a.default_statistics_target>0,表示按固定值方式采样。取值范围:(0, 10000]
analyze采样大小 = default_statistics_target * 300;

b.default_statistics_target<0,表示按百分比方式采样。取值范围:[-100, 0)
analyze采样大小 = (-1) * default_statistics_target * 表的估算大小。

【设置表级采样大小】

pg_attribute->attstattarget 用于设置每列采样大小,所有列的最大值作为表采样大小。

attstattarget取值范围从-101到10000:
[-101~-1) 表示使用百分比计算采样大小。采样大小 = 表估算条数 * (-1) * (attstattarget + 1) / 100
-1 表示未设置,使用全局参数default_statistics_target计算采样大小。采样大小 = default_statistics_target * 300
0 表示该列不进行采样。
[1,10000] 表示使用固定值计算采样大小。采样大小 = attstattarget * 300
ALTER TABLE table_name ALTER column_name SET STATISTICS 200; --把采样大小调整为60000
ALTER TABLE table_name ALTER column_name SET STATISTICS PERCENT 2; --把采样大小调整为2%

一般表级采样大小高于全局采样大小。历史原因,813及以下版本default_statistics_target设置负数时,全局采样大小优先级高。

二、控制analyze开关

【全局开关参数】

autovacuum --后台autovacuum线程开关参数
autovacuum_mode --后台autovacuum任务参数(vacuum:仅作vacuum;analyze:仅作analyze;mix:默认参数,vacuum和analyze都做)
autoanalyze --动态采样控制参数
autoanalyze_mode --动态采样类型控制参数,820及以上支持,813及以下都是normal类型

【表级开关参数】

关闭“动态采样”,“轮询采样”和手动analyze等所有形式的统计信息收集。(适用于所有版本)

postgres=# select 'ALTER TABLE t1 ALTER '||attname||' SET STATISTICS 0;' from pg_attribute where attnum > 0 and attrelid='t1'::regclass;
 ?column?                     
-------------------------------------------------
 ALTER TABLE t1 ALTER fooid SET STATISTICS 0;
 ALTER TABLE t1 ALTER foosubid SET STATISTICS 0;
 ALTER TABLE t1 ALTER fooname SET STATISTICS 0;
(3 rows)
执行以上拼接出来的SQL,修改所有列的采样大小为0即可。再次analyze时则报没有列可做analyze,即实现了analyze关闭。
postgres=# analyze t1;
INFO:  No columns in "public.t1" can be used to collect statistics.
ANALYZE

820及以上版本,支持表级控制“统计信息自动收集模式”。也可以锁定统计信息。

alter table lineitem set (analyze_mode='backend'); --只做轮询采样analyze
alter table lineitem set (analyze_mode='runtime'); --只做动态采样analyze
alter table lineitem set (analyze_mode='frozen'); --禁止做所有形式的analyze
alter table lineitem set (analyze_mode='all'); --恢复表analyze模式的默认行为
select pg_options_to_table(reloptions) from pg_class where relname='lineitem'; --查看修改效果
设置成backend即关闭了动态采样,只做轮询采样
设置成frozen即关闭了所有形式analyze,但无统计信息时还是会触发一次动态采样,确保至少有基本统计信息可用。

 

点击关注,第一时间了解华为云新鲜技术~

原文链接:https://www.cnblogs.com/huaweiyun/p/17264380.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:数仓如何进行表级控制analyze? - Python技术站

(0)
上一篇 2023年4月18日
下一篇 2023年4月18日

相关文章

  • Mysql中基本语句优化的十个原则小结

    MySQL是当前最流行的开源关系数据库管理系统之一,为了使数据库的性能更好,我们需要对MySQL中的基本语句进行优化。下面便是讲解MySQL中基本语句优化的十个原则小结。 原则1:使用WHERE子句限制数据行的数量 在数据库操作时,尽可能使用WHERE语句来筛选数据,以减小查询所返回的行数。这样可以更快地查询到需要的数据,提高查询的效率。 示例:查询用户表中…

    MySQL 2023年5月19日
    00
  • 详解MySQL LEFT/RIGHT JOIN:外连接

    MySQL的LEFT JOIN和RIGHT JOIN都是外连接(Outer Join)的一种形式,意味着即使没有匹配的行,也会返回从另一张表(左连接的情况是左表,右连接的情况是右表)中的所有行。 LEFT JOIN 左连接(LEFT JOIN)返回左表中的所有行,以及右表中的匹配行。如果右表中没有与左表中的行匹配的行,则返回NULL值。 语法: SELECT…

    MySQL 2023年3月9日
    00
  • mysql 发生系统错误1067的解决方法

    当MySQL安装完毕后,启动MySQL服务时可能会出现系统错误1067的情况。该错误通常是由于Windows操作系统环境中的路径或文件操作错误导致的。下面是解决方法的完整攻略: 确认错误信息 首先,需要确认系统错误1067的具体原因。打开命令行工具,输入命令: net start mysql 在命令行提示中,可以看到MySQL启动失败的具体信息。根据信息,可…

    MySQL 2023年5月18日
    00
  • MySQL下载安装、配置与使用教程详细版(win7x64)

    MySQL下载安装、配置与使用教程详细版(win7x64) MySQL是一种开源免费的关系型数据库管理系统,广泛应用于Web开发领域。本文将带领读者下载安装MySQL,并对其进行配置和使用教程。 第一步:下载MySQL 1.首先打开MySQL官网,选择下载对应版本。 2.根据自己的需求下载需要的版本,本教程以MySQL 5.7版本为例。 第二步:安装MySQ…

    MySQL 2023年5月18日
    00
  • MYSQL大表改字段慢问题如何解决

    本文小编为大家详细介绍“MYSQL大表改字段慢问题如何解决”,内容详细,步骤清晰,细节处理妥当,希望这篇“MYSQL大表改字段慢问题如何解决”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。 MYSQL的ALTER TABLE操作的性能对大表来说是个大问题。MYSQL执行大部分修改表结构操作的方法是用新的表结构创建一个空表,从旧表中查…

    MySQL 2023年4月10日
    00
  • MySQL使用innobackupex备份连接服务器失败的解决方法

    MySQL是一款常用的开源关系型数据库,innobackupex是MySQL的一个非常好用的备份工具。但是,在使用innobackupex备份时,常常遇到连接MySQL服务器失败的问题,该怎么解决呢?下面,将详细讲解该问题的解决方法。 问题现象 使用innobackupex备份MySQL时,常常会遇到以下错误: Error: Unsupported serv…

    MySQL 2023年5月18日
    00
  • node.js缺少mysql模块运行报错的解决方法

    当我们使用Node.js编写web应用时,绝大多数时候都会涉及到数据库的操作,而MySQL数据库是最常用的数据库之一。因此,在使用Node.js连接MySQL数据库时,我们经常会使用Node.js的mysql模块。 但是,有时候我们会出现node.js缺少mysql模块运行报错的情况。下面将提供两种常见的解决方法。 方法一:使用npm安装mysql模块 如果…

    MySQL 2023年5月18日
    00
  • 微信昵称带符号导致插入MySQL数据库时出错的解决方案

    下面是详细讲解“微信昵称带符号导致插入MySQL数据库时出错的解决方案”的完整攻略。 问题描述 当用户在微信中设置昵称时,有可能会使用到一些特殊符号,例如“#”、“@”等。如果这些特殊符号在插入MySQL数据库时没有被转义,就有可能导致SQL语句出错,影响数据的插入或查询。下面我们来看一下具体的情况。 假设我们有一个用户表,其中包含了用户的昵称信息。我们使用…

    MySQL 2023年5月18日
    00
合作推广
合作推广
分享本页
返回顶部