PG Vacuum 空间管理工具与pg_freespacemap使用

1.什么是Vacuum:

PG pageinspect使用与块空间清理学习-CSDN博客

之前说过PG块更新的特点:先删除后插入,但老元组并不会真正删除,只是把老元组标记为删除状态,这就导致了PG中会有大量的垃圾数据,update所造成的资源消耗非常高。

Vacum用来整理垃圾的数据,释放垃圾数据。

2.Vacuum的作用:

1.移除死元组:

空间管理的作用,释放垃圾数据(也就是被标记为删除状态的行),并对每个页面的活元组进行碎片整理。

2.冷冻老的Txid:

任何数据库都有一个号码来记录事务的先后顺序,Oracle中叫SCN号(无穷大的整数),PG中叫做Txid(循环使用,最大42亿,到了42亿后,把前42亿冻结,这个冻结操作由Vacuum进行)。

3.其它

更新数据块,更新已处理表的FSM(空闲空间地图)和VM(可见性地图)。

删除不需要的clog文件。

3.Vacuum处理流程:

3.可见性地图

VM,一个表中有成百上千个数据块,为了提高Vacuum的效率,于是有了VM文件(可见性视图)

作用:可见性地图用来记录含有被删除行的数据块id,以提供给vacuum参考,自认为类似于oracle的BMB(位图块)

简单说就是vm后缀文件记录了1247表中哪个数据块有垃圾需要处理。

4.Autovacuum Daemon

自动清理守护进程

默认每分钟执行一次,由autovacuum_naprime参数定义。

默认调用三个worker进程进行工作,由autovacuum_max_workers参数定义。

5.Full Vacuum

常规的vacuum操作,如果遇到一个行占用一个块,也会造成资源浪费。

full vacuum处理流程如下:

 有点像Oracle的Shrinking操作,删除空闲行,然后调低高水位线,最后释放空闲块。

Shringking: Oracle 如何提高空间使用率?-CSDN博客

6.什么时候需要Full Vacuum?

1.创建一个表,随机插入十万条数据,查看当前数据块的使用情况。

当前共935个块,每个块空闲0.39。

2.当表被不断删除或更新:

删除后可用空间还是0.39,说明删除后空间并没有释放。

3.vacuum清理垃圾数据之后:

可以看到块内的可用空间虽然变多了可以用85%,但是块并没有被释放仍然是935个数据块。

说明当前块内的行很少,但是数据块很多,行很松散,如下图:

4.使用full vacuum查看效果

可以看到full vacuum把行变得紧凑,都放到了一个数据块中,导致数据块内可用空间为0。其余的块则被释放了。

学过oracle的话就可以发现,诶?这不是shrinking? 其实大体是一样的,shrinking把行变的紧凑,之把高水位线调低,高于高水位线的数据块则释放。

无非是PG中叫做Full Vacuum,Oracle中叫做shrinking。

Oracle Shrinking实验:Oracle 如何提高空间使用率?-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/631529.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

train_gpt2_fp32.cu - main

llm.c/test_gpt2_fp32.cu at master karpathy/llm.c (github.com) 源码 // ---------------------------------------------------------------------------- // main training loop int main(int argc, char *argv[]) {// read in the (optional) command line argumentsco…

API数据对接:本地缓存与日志记录的重要性

关键词:数据治理项目、API接口、数据中心、第三方系统、数据异常、本地缓存、日志记录、数据整合、多源异构数据、数据处理效率 阅读建议: 对于数据治理、API接口和系统集成领域的专业人士,本文深入剖析了本地缓存和日志记录在确保系统稳定性…

ArcGI基本技巧-科研常用OLS, GWR, GTWR模型实现

ArcGI基本技巧-科研常用OLS, GWR, GTWR模型实现 OLS,GWR,GTWR回归模型均可以揭示解释变量对被解释变量的影响且可以进行预测。Ordinary Least Squares (OLS)是最小二乘法,Geographically Weighted Regression (GWR)是地理加权回归,Geographically and T…

pytorch-8 单层神经网络及激活函数

一、单层回归网络:线性回归 1. tensor手动实现单层回归神经网络的正向传播 # tensor手动实现单层回归神经网络的正向传播 import torch from torch.nn import functional as FX = torch.tensor([[1,0,0],[1,1,0],[1,0,1],[1,1,1]], dtype = torch.float32) # 特征张量 w =…

青少年CTF练习平台Crypto题解

四重加密 下载附件后,得到一个rar文件,发现被加密,无法解压 使用Bandizip打开 注释中有段编码OFZW4Y3UMY CyberChef base64解码得到第一层压缩包密码 qsnctf 打开后有一个文本文档 内容如下 NCR,HTML解码 得到一串密…

基于Vue和uni-app的增强型单选ccRadioView组件开发

标题:基于Vue和uni-app的增强单选组件ccRadioView的设计与实现 摘要:本文将详细介绍如何使用Vue和uni-app构建一个简单、好用且通用的单选框组件ccRadioView。该组件提供了单选列表的功能,并支持反向传值,方便开发者快速实现单选…

Qwen学习笔记3:Qwen模型调用外部API实现模型增强(openai的形式)

前言 本文记录了使用本地部署的Qwen模型,调用外部API实现模型的功能增强,非常的易用,大家用于开发自己的应用,只需要作简单的修改就可以进行使用了。 本文的代码来源视频教程: Qwen大模型变强了,通过API…

JavaSE——集合框架一(3/7)-List系列集合:特点、方法、遍历方式、ArrayList集合的底层原理

目录 List集合 特点、特有方法 实例演示 List集合支持的遍历方式 ArrayList集合的底层原理 List集合 我们要了解List集合三点: 有什么特点?是否有特有功能?适合什么业务场景? 特点、特有方法 List系列集合特点&#xff1a…

互联网上的IP地址定位的应用及意义

在当今高度互联的数字时代,IP地址定位技术发挥着重要作用,帮助企业、机构和个人在多种应用场景中提高效率、保障安全和优化服务。IP数据云将深入探讨IP地址定位技术的具体应用及其实际意义。 什么是IP地址定位? IP地址定位IP数据云 - 免费IP…

vue+elementui地址选择器-三级联选择器+详细地址实现国内地址选择

在页面的显示情况 前端拼接实现存储 具体实现步骤 1.安装中国全省市区的数据 在命令提示符窗口使用管理员身份进入对应vue项目的文件夹,在窗口安装 npm install element-china-area-data -S2.在script内引入安装的数据 import {regionData,codeToText } from…

android绘制多个黑竖线条

本文实例为大家分享了android绘制多个黑竖线条展示的具体代码,供大家参考,具体内容如下 1.写一个LinearLayout的布局,将宽度写成5dp将高度写成match_parent. 2.在写一个类继承LinearLayout,用LayoutInflater实现子布局的在这个L…

tomcat--应用部署

tomcat根目录结构 Tomcat中默认网站根目录是/usr/local/apache-tomcat-8.5.100/webapps/在Tomcat的webapps目录中,有个非常特殊的目录ROOT,它就是网站默认根目录。将eshop解压后的文件放到这个/usr/local/apache-tomcat-8.5.100/webapps/ROOT中。bbs解压…

报错:(idea端口被占用)Web server failed to start. Port 9090 was already in use.

cmd里面输入: netstat -ano|findstr "9090" 可以看到pid是9644 然后再打开任务管理器

大模型MoE技术深度解读,引领AI走向新高度

大模型系列之解读MoE Mixtral 8x7B的亮相,引领我们深入探索MoE大模型架构的奥秘。MoE究竟是什么?一起揭开它的神秘面纱。 1. MoE溯源 MoE,源自1991年的研究论文《Adaptive Mixture of Local Experts》,与集成学习方法相契合&…

YOLO中yaml文件解读

YOLO中yaml文件解读 当我们使用yolo系列去做视觉方面的研究时,都会进行模型的训练,在yolo基础上进行模块的替换之后需要设置对应的yaml文件,但是yaml文件中的参数分别代表什么,应该如何调试是至关重要的。 参数解读 如下所示是…

贷款借钱平台 贷款源码 小额贷款系统 卡卡贷源码 小额贷款源码 贷款平台

贷款平台源码/卡卡贷源码/小贷源码/完美版 , 数据库替换application/database.php 源码下载:https://download.csdn.net/download/m0_66047725/89268533 更多资源下载:关注我。

Java项目:基于ssm框架实现的家政服务网站管理系统分前后台(B/S架构+源码+数据库+毕业论文+答辩PPT)

一、项目简介 本项目是一套基于ssm框架实现的家政服务网站管理系统 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse或者idea 确保可以运行! 二、技术实现 jdk版本:1.…

Elasticsearch的并发控制策略

文章目录 利用external对版本号进行外部控制利用if_seq_no和if_primary_term作为唯一标识来避免版本冲突 ES中的文档是不可变更的。如果你更新一个文档,会将就文档标记为删除,同时增加一个全新的文档。同时文是的version字段加1内部版本控制 If_seq_no If_primary_term 使用外…

大模型对数据库运维的赋能:智能运维的新时代

引言随着人工智能技术的飞速发展,大模型作为AI领域的前沿技术,已经开始在数据库运维(DBA)领域展现出其独特的价值。大模型的引入,不仅提升了数据库运维的效率,还极大地改善了运维的质量和智能化水平。本文将深入分析大模型在数据库…

【SQL】SQL常见面试题总结(3)

目录 1、聚合函数1.1、SQL 类别高难度试卷得分的截断平均值(较难)1.2、统计作答次数1.3、得分不小于平均分的最低分 2、分组查询2.1、平均活跃天数和月活人数2.2、月总刷题数和日均刷题数2.3、未完成试卷数大于 1 的有效用户(较难&#xff09…