文档教程知识库【免费下载链接】til:memo: Today I Learned项目地址https://gitcode.com/gh_mirrors/ti/til点击查看免费下载导读当 Rails 应用中的 PostgreSQL 表增长到百万甚至上亿行时Event.count这类 ActiveRecord 计数 API 会触发全表扫描耗时随数据量线性增长。本文基于 TIL 仓库中的rails/get-a-quick-approximate-count-of-a-large-table.md笔记系统讲解如何借用 PostgreSQL 内部统计信息pg_class.reltuples在毫秒级拿到足够精确的近似行数并给出在 Rails 控制台 / 应用代码中的完整落地写法、精确计数的代价对比以及更安全的替代 API。读完你将掌握一套既能应急、又能用于监控大盘与数据报表的大表行数快速估算方案。问题背景为什么Event.count在大表上很慢Rails 开发中获取表内记录条数最自然的写法是 ActiveRecord 的计数 APIEvent.count对普通规模的表来说这没有问题。但当events表积累到数百万乃至上亿行时count(*)需要 PostgreSQL 实际扫描表或利用可见性映射进行近似扫描来统计所有元组耗时与数据量成正比。仓库中的姊妹笔记 postgres/get-a-quick-approximate-count-of-a-table.md 给出了一个约 4 亿行的真实例子可以直观感受差距 select count(*) from events; count ----------- 427462316 (1 row) Time: 55113.794 ms整整55 秒才能拿到精确值——如果只是想知道这张表大概有多大来判断是否需要归档、扩容或清理等待一个分钟级查询显然不可接受。核心方案读取 pg_class 中的 reltuples 统计值PostgreSQL 在系统目录表pg_class中维护着每张表的元数据其中reltuples字段记录了该表当前估算的存活元组tuple数量。这个数字不是实时扫描得出的而是由ANALYZE、VACUUM以及后台autovacuum进程周期性更新因此它是统计口径下的近似值——但通常与实际行数非常接近。仓库笔记给出的 SQL 查询如下select reltuples::numeric as count from pg_class where relnameevents;要点说明reltuples的类型是real浮点数对大表返回的值可能带有小数或科学计数法的痕迹用::numeric强制转换为数值类型再配合下游的to_i即可得到整洁的整数relname是表名若数据库中同名表分布在多个 schema如默认public与其他自定义 schemarelname可能命中多条记录可进一步用relnamespace或关联pg_namespace限定例如追加and relnamespace public::regnamespace由于统计信息由ANALYZE/autovacuum维护表中近期发生的大量插入或删除可能尚未反映到reltuples中这是近似的根本原因也决定了该方案适合对精度不敏感的估算场景。同一个 4 亿行表的近似查询耗时从 55 秒骤降到亚毫秒级示例中为0.413 ms结果427462000与实际值427462316相差仅数百行 select reltuples::numeric as count from pg_class where relnameevents; count ----------- 427462000 (1 row) Time: 0.413 ms在 Rails 中落地connection.execute 取数Rails 提供了通用逃生舱口——ActiveRecord::Base.connection.execute它可以直接把一段原始 SQL 交给数据库执行。笔记中的完整写法如下ActiveRecord::Base.connection.execute(~SQL) select reltuples::numeric as count from pg_class where relnameevents; SQL注意两点使用~SQLheredocsquiggly heredoc缩进会被剥离SQL 字符串干净整洁返回的是PG::Result对象——它是 PostgreSQL 适配器对结果集的封装直接打印只能看到类似#PG::Result:0x00 ...的地址并不直观。关于#execute的行为仓库中的 rails/generating-and-executing-sql.md 有更完整的演示先用conn ActiveRecord::Base.connection拿到连接执行后得到的PG::Result可以通过.to_a转成由哈希组成的数组例如[{generate_series1}, ...]每个元素即一行记录。这正是把读不出来的PG::Result变成可用数据的关键桥梁。直接得到整数链式调用 to_a.first[count].to_iPG::Result本身不够好用笔记给出的进阶写法是在execute后面链式接上取数方法一步到位拿到 Ruby 整数ActiveRecord::Base.connection.execute(~SQL).to_a.first[count].to_i select reltuples::numeric as count from pg_class where relnameevents; SQL这条链的执行流程拆解如下execute(...)返回PG::Result包含查询结果集.to_a把结果集转为数组每个元素是一个以列名为 key 的哈希如[{count 427462000}].first取出第一行哈希单行结果只有这一行[count]按列名取到字符串形式的数值.to_i转换为 Ruby 整数完成类型收敛。这样reltuples::numeric的 SQL 层类型转换与 Ruby 层的to_i双重保险最终得到一个干净的Integer可以直接用于日志、监控上报或页面展示。更稳妥的替代 APIselect_value / select_all#execute是一个通用执行器笔记及仓库中的相关实践都指出它在只读查询场景下存在一些缺点。如果你的需求只是拿到这一个数值可以考虑以下更贴合语义的 API。用 select_value 一步取单值仓库笔记 rails/query-a-single-value-from-the-database.md 与 rails/select-value-for-sql-counts.md 明确推荐当只需要单个值时用select_value比execute干净得多——它会直接返回首行首列的值ActiveRecord::Base.connection.select_value(~SQL).to_i select reltuples::numeric as count from pg_class where relnameevents; SQLselect_value的行为约定如果查询返回多行多列它只取第一行第一列的值。对于按表名取 reltuples这种单值查询语义天然匹配且省掉了to_a.first[count]这串样板代码。为什么只读查询更推荐 select_all仓库笔记 rails/prefer-select-all-over-execute-for-read-queries.md 指出了#execute的两个隐患语义上execute假定查询可能有副作用因此每次执行都会清除查询缓存只读查询完全没必要付出这个代价部分数据库连接器对execute返回的结果做手动内存管理存在内存泄漏隐患。因此若未来需要把近似计数扩展成一次查多张表例如对pg_class做where relname in (...)并返回多行建议改用select_allActiveRecord::Base.connection.select_all(~SQL) select relname, reltuples::numeric as count from pg_class where relname in (events, users); SQL返回的结果集同样支持map/each遍历与execute的结果处理方式一致但明确表达这只是读操作、无副作用也不会误伤查询缓存。适用边界与注意事项把该方案投入生产前务必清楚以下几点前提与限制维度说明精度reltuples来自ANALYZE/autovacuum维护的统计信息不是实时值近期大量写入/删除后误差可能增大触发更新手动执行ANALYZE events;可立即刷新统计换取更高的估算精度代价是一次扫描成本多 schema仅按relname匹配可能跨 schema 命中多行应结合relnamespace/pg_namespace限定适用范围适合运维大盘、容量预估、数据规模监控等对精度不敏感的场景需要精确值如分页总数、对账时必须用count(*)表名区分若存在视图或同名对象pg_class中也会出现对应条目注意甄别表与视图一句话总结这套方案的取舍用统计口径的近似换取亚毫秒级响应——当 55 秒的精确计数可以被 0.4 毫秒的估算替代且结果只差几百行时绝大多数监控与规模判断场景都值得这样做。具体到 Rails 应用里connection.execute(...).to_a.first[count].to_i是最忠实的原笔记写法而select_value则是语义更佳、更贴合只读单值查询的现代替代。赞分享文档教程知识库【免费下载链接】til:memo: Today I Learned项目地址https://gitcode.com/gh_mirrors/ti/til点击查看免费下载相关推荐PostgreSQL 快速获取表行数近似值用 pg_class.reltuples 替代慢速 count(*)PostgreSQL 快速获取表行数近似值用 pg_class.reltuples 替代慢速 count 导读 当 PostgreSQL 中的表达到数亿行规模文档教程知识库Apache Druid DataSketches HLL Sketch 模块基于 HLL 的近似基数去重计数实战指南Apache Druid DataSketches HLL Sketch 模块基于 HLL 的近似基数去重计数实战指南 Apache Druid 的 drui数据库OLAP大数据后端快速获取中国行政边界数据从需求到实战的完整指南快速获取中国行政边界数据从需求到实战的完整指南 还在为GIS项目找不到合适的行政边界数据而烦恼吗每次都要花费大量时间搜索、验证数据质量最后发现要么格式不兼数据集GIS上一篇gh_mirrors/exam/examples项目实战智能工业检测系统开发下一篇TypeGraphQL装饰器性能分析识别慢装饰器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考