数仓如何进行表级控制analyze?

yizhihongxing

摘要: 介绍如何设置采样大小和表级控制analyze。

本文分享自华为云社区《GaussDB(DWS) 如何表级控制analyze》,作者:leapdb。

一、控制采样大小

【设置全局采样大小】

通过参数default_statistics_target设置全局默认采样大小。

a.default_statistics_target>0,表示按固定值方式采样。取值范围:(0, 10000]
analyze采样大小 = default_statistics_target * 300;

b.default_statistics_target<0,表示按百分比方式采样。取值范围:[-100, 0)
analyze采样大小 = (-1) * default_statistics_target * 表的估算大小。

【设置表级采样大小】

pg_attribute->attstattarget 用于设置每列采样大小,所有列的最大值作为表采样大小。

attstattarget取值范围从-101到10000:
[-101~-1) 表示使用百分比计算采样大小。采样大小 = 表估算条数 * (-1) * (attstattarget + 1) / 100
-1 表示未设置,使用全局参数default_statistics_target计算采样大小。采样大小 = default_statistics_target * 300
0 表示该列不进行采样。
[1,10000] 表示使用固定值计算采样大小。采样大小 = attstattarget * 300
ALTER TABLE table_name ALTER column_name SET STATISTICS 200; --把采样大小调整为60000
ALTER TABLE table_name ALTER column_name SET STATISTICS PERCENT 2; --把采样大小调整为2%

一般表级采样大小高于全局采样大小。历史原因,813及以下版本default_statistics_target设置负数时,全局采样大小优先级高。

二、控制analyze开关

【全局开关参数】

autovacuum --后台autovacuum线程开关参数
autovacuum_mode --后台autovacuum任务参数(vacuum:仅作vacuum;analyze:仅作analyze;mix:默认参数,vacuum和analyze都做)
autoanalyze --动态采样控制参数
autoanalyze_mode --动态采样类型控制参数,820及以上支持,813及以下都是normal类型

【表级开关参数】

关闭“动态采样”,“轮询采样”和手动analyze等所有形式的统计信息收集。(适用于所有版本)

postgres=# select 'ALTER TABLE t1 ALTER '||attname||' SET STATISTICS 0;' from pg_attribute where attnum > 0 and attrelid='t1'::regclass;
 ?column?                     
-------------------------------------------------
 ALTER TABLE t1 ALTER fooid SET STATISTICS 0;
 ALTER TABLE t1 ALTER foosubid SET STATISTICS 0;
 ALTER TABLE t1 ALTER fooname SET STATISTICS 0;
(3 rows)
执行以上拼接出来的SQL,修改所有列的采样大小为0即可。再次analyze时则报没有列可做analyze,即实现了analyze关闭。
postgres=# analyze t1;
INFO:  No columns in "public.t1" can be used to collect statistics.
ANALYZE

820及以上版本,支持表级控制“统计信息自动收集模式”。也可以锁定统计信息。

alter table lineitem set (analyze_mode='backend'); --只做轮询采样analyze
alter table lineitem set (analyze_mode='runtime'); --只做动态采样analyze
alter table lineitem set (analyze_mode='frozen'); --禁止做所有形式的analyze
alter table lineitem set (analyze_mode='all'); --恢复表analyze模式的默认行为
select pg_options_to_table(reloptions) from pg_class where relname='lineitem'; --查看修改效果
设置成backend即关闭了动态采样,只做轮询采样
设置成frozen即关闭了所有形式analyze,但无统计信息时还是会触发一次动态采样,确保至少有基本统计信息可用。

 

点击关注,第一时间了解华为云新鲜技术~

原文链接:https://www.cnblogs.com/huaweiyun/p/17264380.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:数仓如何进行表级控制analyze? - Python技术站

(0)
上一篇 2023年4月18日
下一篇 2023年4月18日

相关文章

  • 人工智能打造充满创造力的新世界,华为云开发者日无锡站成功举办

    摘要:近日,华为云开发者日HDC.Cloud Day无锡站成功举行,开发者不仅聆听了华为云技术专家在生成式AI、元宇宙、AIoT、工业互联网等领域的前沿技术分享,还在KooLabs工作坊、展台等环节,亲身体验华为云产品的技术魅力。 3月21日,华为云开发者日HDC.Cloud Day无锡站成功举行,开发者不仅聆听了华为云技术专家在生成式AI、元宇宙、AIoT…

    云计算 2023年4月17日
    00
  • 关于数智融合,看看这20位专家都聊了什么

    摘要:由创原会与福佑卡车联合举办的2023年首场畅聊云原生活动在福佑卡车北京总部举办。 本文分享自华为云社区《畅聊云原生·第八期 | 关于数智融合,看看这20位专家都聊了什么》,作者:创原会。 畅聊云原生[第八期]探讨的话题选择了大家热议的“数智融合“,活动荣幸地邀请到福佑卡车技术合伙人陈冠岭、软通运力CTO刘会福、畅销书《人工智能产品经理》作者张竞宇、华为…

    云计算 2023年4月17日
    00
  • MySQL 错误处理例子[译]

    下面是关于“MySQL 错误处理例子[译]”的完整攻略: 1. 前言 在开发MySQL应用时,处理错误是一个非常重要的方面。如果我们不好好处理错误,可能会影响到系统的运行稳定性和数据的安全性。本文将介绍如何在MySQL中处理错误,以及两个示例。 2. MySQL中的错误类型 MySQL中有三种错误类型: 语法错误 运行时错误 警告信息 其中,语法错误指的是M…

    MySQL 2023年5月18日
    00
  • MySQL 一则慢日志监控误报的问题分析与解决

    MySQL 一则慢日志监控误报的问题分析与解决 背景 MySQL 的慢查询日志可以提供 SQL 查询的性能指标,帮助我们找到系统中存在的性能问题。但是,在使用慢日志监控工具时,可能会遇到一些误报问题,比如有些 SQL 语句的执行时间超过了阈值,但是实际上它们并没有成为系统的瓶颈。本文将对这类问题进行分析,并提供解决方案。 问题分析 慢查询日志的误报一般是由于…

    MySQL 2023年5月18日
    00
  • 深度解析MySQL启动时报“The server quit without updating PID file”错误的原因

    深度解析MySQL启动时报“The server quit without updating PID file”错误的原因 1. 问题描述 在启动MySQL服务器时,可能会遇到如下错误信息: ERROR! The server quit without updating PID file (/usr/local/mysql/data/myhost.pid).…

    MySQL 2023年5月18日
    00
  • mysql in索引慢查询优化实现步骤解析

    mysql in索引慢查询优化实现步骤解析 在mysql中,对于使用in操作符的SQL查询,在数据量庞大时,可能会出现较慢的查询速度,需要进行优化。本文将介绍mysql in索引慢查询的优化实现步骤。 优化步骤 优化查询语句 通过检查查询语句,确保in操作符左侧的字段添加了合适的索引。 分解in操作 将in操作符分解成多个由OR连接的查询,这样可以使每个子查…

    MySQL 2023年5月19日
    00
  • 几种常见的Python数据结构

    摘要:本文主要为大家讲解在Python开发中常见的几种数据结构。 本文分享自华为云社区《Python的常见数据结构》,作者: timerring 。 数据结构和序列 元组 元组是一个固定长度,不可改变的Python序列对象。创建元组的最简单方式,是用逗号分隔一列值: In [1]: tup = 4, 5, 6 当用复杂的表达式定义元组,最好将值放到圆括号内,…

    python 2023年5月8日
    00
  • MySQL数据类型DECIMAL用法

    MySQL DECIMAL数据类型用于在数据库中存储精确的数值。我们经常将DECIMAL数据类型用于保留准确精确度的列,例如会计系统中的货币数据。 要定义数据类型为DECIMAL的列,请使用以下语法: 1 column_name  DECIMAL(P,D); 在上面的语法中: P是表示有效数字数的精度。 P范围为1〜65。 D是表示小数点后的位数。 D的范围…

    MySQL 2023年4月13日
    00
合作推广
合作推广
分享本页
返回顶部