数仓如何进行表级控制analyze?

摘要: 介绍如何设置采样大小和表级控制analyze。

本文分享自华为云社区《GaussDB(DWS) 如何表级控制analyze》,作者:leapdb。

一、控制采样大小

【设置全局采样大小】

通过参数default_statistics_target设置全局默认采样大小。

a.default_statistics_target>0,表示按固定值方式采样。取值范围:(0, 10000]
analyze采样大小 = default_statistics_target * 300;

b.default_statistics_target<0,表示按百分比方式采样。取值范围:[-100, 0)
analyze采样大小 = (-1) * default_statistics_target * 表的估算大小。

【设置表级采样大小】

pg_attribute->attstattarget 用于设置每列采样大小,所有列的最大值作为表采样大小。

attstattarget取值范围从-101到10000:
[-101~-1) 表示使用百分比计算采样大小。采样大小 = 表估算条数 * (-1) * (attstattarget + 1) / 100
-1 表示未设置,使用全局参数default_statistics_target计算采样大小。采样大小 = default_statistics_target * 300
0 表示该列不进行采样。
[1,10000] 表示使用固定值计算采样大小。采样大小 = attstattarget * 300
ALTER TABLE table_name ALTER column_name SET STATISTICS 200; --把采样大小调整为60000
ALTER TABLE table_name ALTER column_name SET STATISTICS PERCENT 2; --把采样大小调整为2%

一般表级采样大小高于全局采样大小。历史原因,813及以下版本default_statistics_target设置负数时,全局采样大小优先级高。

二、控制analyze开关

【全局开关参数】

autovacuum --后台autovacuum线程开关参数
autovacuum_mode --后台autovacuum任务参数(vacuum:仅作vacuum;analyze:仅作analyze;mix:默认参数,vacuum和analyze都做)
autoanalyze --动态采样控制参数
autoanalyze_mode --动态采样类型控制参数,820及以上支持,813及以下都是normal类型

【表级开关参数】

关闭“动态采样”,“轮询采样”和手动analyze等所有形式的统计信息收集。(适用于所有版本)

postgres=# select 'ALTER TABLE t1 ALTER '||attname||' SET STATISTICS 0;' from pg_attribute where attnum > 0 and attrelid='t1'::regclass;
 ?column?                     
-------------------------------------------------
 ALTER TABLE t1 ALTER fooid SET STATISTICS 0;
 ALTER TABLE t1 ALTER foosubid SET STATISTICS 0;
 ALTER TABLE t1 ALTER fooname SET STATISTICS 0;
(3 rows)
执行以上拼接出来的SQL,修改所有列的采样大小为0即可。再次analyze时则报没有列可做analyze,即实现了analyze关闭。
postgres=# analyze t1;
INFO:  No columns in "public.t1" can be used to collect statistics.
ANALYZE

820及以上版本,支持表级控制“统计信息自动收集模式”。也可以锁定统计信息。

alter table lineitem set (analyze_mode='backend'); --只做轮询采样analyze
alter table lineitem set (analyze_mode='runtime'); --只做动态采样analyze
alter table lineitem set (analyze_mode='frozen'); --禁止做所有形式的analyze
alter table lineitem set (analyze_mode='all'); --恢复表analyze模式的默认行为
select pg_options_to_table(reloptions) from pg_class where relname='lineitem'; --查看修改效果
设置成backend即关闭了动态采样,只做轮询采样
设置成frozen即关闭了所有形式analyze,但无统计信息时还是会触发一次动态采样,确保至少有基本统计信息可用。

 

点击关注,第一时间了解华为云新鲜技术~

原文链接:https://www.cnblogs.com/huaweiyun/p/17264380.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:数仓如何进行表级控制analyze? - Python技术站

(0)
上一篇 2023年4月18日
下一篇 2023年4月18日

相关文章

  • 4月22日,云数据库技术沙龙【杭州站】来了

    4月22日下午14:00,云数据库技术和NineData主办的「MySQL x ClickHouse」技术沙龙,将在杭州市海智中心3号楼1102报告厅举办。 本次沙龙以“技术进化,让数据更智能”为主题,汇聚字节跳动、阿里云、玖章算术、华为云、腾讯云等众多数据库厂商的技术大咖, 围绕MySQL x ClickHouse的实践经验,与广大技术爱好者交流分享。 M…

    MySQL 2023年4月17日
    00
  • MySql闪退和服务无法启动的解决方法

    下面我会给出详细的”MySql闪退和服务无法启动的解决方法”攻略,具体如下: 问题背景 当我们在使用MySql数据库时,有时会出现闪退或服务无法启动的情况,可能原因包括在安装过程中出现问题、MySql配置不当等等。 解决方法 为了解决这个问题,我们可以采用以下方法: 1. 安装和重新安装MySql 有些情况下,闪退和服务无法启动的原因是因为MySql本身存在…

    MySQL 2023年5月18日
    00
  • mysql Event Scheduler: Failed to open table mysql.event

    MySQL Event Scheduler是MySQL提供的一个可以周期性地执行SQL语句或调用存储过程的功能。当使用Event Scheduler时,有可能会遇到“Failed to open table mysql.event”的错误,本文将详细讲解如何解决这个错误。 问题原因 MySQL Event Scheduler需要在mysql.event表中记…

    MySQL 2023年5月18日
    00
  • 读SQL进阶教程笔记13_SQL中的分组和层级

    1. 数据分组 1.1. SQL的语句中具有分组功能的是GROUP BY和PARTITION BY 1.1.1. 两者都有数学的理论基础 1.1.2. 都可以根据指定的列为表分组 1.1.3. 区别仅仅在于,GROUP BY在分组之后会把每个分组聚合成一行数据 1.1.4. GROUP BY的作用是将一个个元素划分成若干个子集 1.2. 示例 1.2.1. …

    MySQL 2023年4月22日
    00
  • Ubuntu下启动、停止、重启MySQL,查看错误日志命令大全

    针对Ubuntu下启动、停止、重启MySQL,查看错误日志命令,我为您提供以下攻略。 启动MySQL服务 要启动MySQL服务,可以通过以下命令: sudo service mysql start 示例说明:假设您的MySQL服务在Ubuntu系统中已经安装并且配置好了,这条命令可以启动MySQL服务。您可以在终端中输入以上命令来启动MySQL服务。 停止M…

    MySQL 2023年5月18日
    00
  • Mysql8断电崩溃解决

    Mysql8断电崩溃解决 如果Mysql8在运行时遇到非正常中断,比如断电或崩溃,可能会导致Mysql数据损坏或无法启动。下面是解决这个问题的完整攻略。 步骤一:检查Mysql8状态 在尝试修复Mysql8之前,必须先检查Mysql8的状态。运行以下命令: sudo systemctl status mysql.service 如果Mysql8正在运行,则状…

    MySQL 2023年5月18日
    00
  • SQL优化的N种方法(小结)

    题目: SQL优化的N种方法(小结) SQL优化是DBA和开发人员经常要面对的任务之一。随着业务发展,数据量不断增加,SQL语句的性能问题越来越显著。如何优化SQL语句以达到更好的性能,成为一个需要掌握的核心技能。 下面,我针对SQL优化的N种方法进行详细的讲解。 1.优化查询语句的表结构 通过优化表的结构,可以大大提高SQL查询的效率。表结构优化可以从以下…

    MySQL 2023年5月19日
    00
  • HIVE配置mysql metastore

    HIVE配置mysql metastore    hive中除了保存真正的数据以外还要额外保存用来描述库、表、数据的数据,称为hive的元数据。这些元数据又存放在何处呢?    如果不修改配置hive默认使用内置的derby数据库存储元数据。    derby是apache开发的基于java的文件型数据库。    可以检查之前执行命令的目录,会发现其中产生了…

    MySQL 2023年4月13日
    00
合作推广
合作推广
分享本页
返回顶部