简介这份PDF文档围绕「美丽中国从健康呼吸开始」这一主题聚焦雾霾与PM2.5污染带来的健康风险适合关注环境健康、生态文明建设及公共政策议题的读者阅读参考。内容从2012年以来中东部地区持续雾霾切入结合西直门北监测点PM2.5指数高达993、74个重点监测城市近半数严重污染等数据对比世界卫生组织推荐的合格标准剖析PM2.5携带有毒有害物质进入肺部乃至血液、引发呼吸系统与心血管疾病、增加肺癌死亡率等危害并援引北京儿童医院门诊量激增、呼吸道感染占比近六成的实例加以佐证。资源包为单一PDF文件共1个文件压缩包约64KB轻量易存便于随时查阅与转发。目前已有42人浏览学习适合作为环保科普、健康宣教或政策学习场景下的参考资料帮助读者系统理解空气污染治理的紧迫性与生态文明建设的现实意义。1. 从一份 PDF 说起环境健康数据怎么变成能跑的分析流水线「美丽中国从健康呼吸开始.pdf」这个标题乍看像一份环保宣传材料但做过环境数据分析的人会立刻意识到它背后大概率是一套围绕空气质量与人群健康关联的统计报告或数据汇编。这类 PDF 通常包含 PM2.5、PM10、臭氧等污染物浓度的时间序列以及呼吸系统疾病就诊率、死亡率等健康指标的分区统计。问题在于PDF 是给人看的不是给机器读的。你想拿它做趋势分析、空间聚类、滞后效应建模第一步就得把它变成结构化数据。这篇笔记要讲的就是怎么把这类环境健康 PDF 拆成可复现的数据流水线从表格提取、字段清洗、时空对齐到最小可跑的关联分析。适合手里有类似报告、想快速验证「污染浓度和健康指标到底有没有统计关联」的从业者。不涉及任何敏感区域或政策评论只谈数据工程和统计方法本身。2. 环境健康 PDF 的数据结构拆解与提取选型2.1 先判断 PDF 是「真表格」还是「排版表格」拿到一份环境健康报告 PDF第一件事不是写代码而是用肉眼翻三页。你需要判断它的表格是文本层可选的还是扫描图片。常见做法是用pdftotext或 Python 的pdfplumber试抽一页如果输出里能看到规整的数字和表头说明是文本型 PDF如果全是乱码或空白那就是扫描件得走 OCR。文本型 PDF 的提取成本极低扫描件则要引入 OCR 引擎误差和耗时都会上一个台阶。我一般会先用下面这段代码做快速探测import pdfplumber def probe_pdf(path, page_num0): with pdfplumber.open(path) as pdf: page pdf.pages[page_num] text page.extract_text() or tables page.extract_tables() print(f文本长度: {len(text)}) print(f检测到表格数: {len(tables)}) if tables: print(第一张表前两行:) for row in tables[0][:2]: print(row) probe_pdf(美丽中国,从健康呼吸开始.pdf, page_num2)这段代码的逻辑是先看文本层有没有内容再看extract_tables()能不能识别出表格结构。参数page_num选中间页因为封面和目录页通常没有数据表。如果文本长度小于 50 且表格数为 0基本可以判定是扫描件需要换 OCR 方案。注意pdfplumber对合并单元格和跨页表格的处理并不完美遇到复杂排版时抽出来的行可能错位这时候不要硬调直接换camelot或tabula做对比。2.2 污染物字段与健康字段的命名对齐环境健康报告里污染物字段的写法五花八门PM2.5 可能写成「PM2.5」「PM₂.₅」「细颗粒物」健康指标可能写成「呼吸系统疾病就诊人次」「RD 就诊率」。如果你不先做字段对齐后面合并数据时会对不上。我一般会建一个映射字典把各种变体归一到标准字段名。这一步不需要多高深的技术但极其影响后续可维护性。常见做法是import re FIELD_MAP { rPM\s*2\.5|PM₂\.₅|细颗粒物: pm25, rPM\s*10|可吸入颗粒物: pm10, rO3|臭氧: o3, rNO2|二氧化氮: no2, r呼吸系统.*就诊|RD.*就诊: resp_visit, r呼吸系统.*死亡|RD.*死亡: resp_death, } def normalize_column(col_name): for pattern, std_name in FIELD_MAP.items(): if re.search(pattern, col_name, re.IGNORECASE): return std_name return col_name.strip().lower().replace( , _)逻辑说明用正则匹配中文和符号变体统一映射到英文短名。参数上re.IGNORECASE让英文大小写不敏感中文部分靠re.search做子串匹配。注意如果同一份 PDF 里「PM2.5」和「PM₂.₅」出现在不同表映射后要检查是否有重复列避免合并时产生笛卡尔积。这一步的血泪经验是宁可多写几条正则也不要在后续分析里手动改列名否则每次更新数据都要重来一遍。2.3 时空粒度对齐日度、月度与区县编码环境数据通常是日度或小时度健康数据可能是月度或年度空间粒度可能是城市、区县或监测站点。你要做的关联分析必须先确定一个共同的最小粒度。常见做法是把污染物数据按「区县-日」聚合健康数据按「区县-月」聚合然后统一到「区县-月」做滞后分析。区县编码不要用中文名直接合并因为同名区县在不同城市可能重复。我一般会构造一个「城市编码区县编码」的复合键。下面是一个聚合示例import pandas as pd def align_spatiotemporal(pollution_df, health_df): # 污染物区县-日 - 区县-月均值 pollution_df[month] pd.to_datetime(pollution_df[date]).dt.to_period(M) poll_month pollution_df.groupby([city_code, district_code, month]).agg( pm25_mean(pm25, mean), pm10_mean(pm10, mean), o3_mean(o3, mean) ).reset_index() # 健康数据假设已是区县-月 health_df[month] pd.to_datetime(health_df[month]).dt.to_period(M) merged pd.merge( poll_month, health_df, on[city_code, district_code, month], howinner ) return merged逻辑说明to_period(M)把日期转成月度周期groupby后取均值。howinner保证只保留两边都有的区县-月避免缺失值干扰。参数上如果你要做滞后效应可以把poll_month的month往后移 1 到 3 个月再合并。注意区县编码在 PDF 里可能是「110101」这种六位码也可能是「东城区」这种文字提取时要统一转成字符串并补零否则合并时类型不一致会报错。3. 从 PDF 表格到可分析数据集的完整流水线3.1 用 pdfplumber 批量抽表并落盘为 CSV单页探测通过后下一步是批量抽取所有数据页。我一般会写一个循环把每页的表格抽出来拼成一个 DataFrame然后落盘成 CSV。这里的关键是处理表头有些 PDF 每页都有表头有些只在第一页有。常见做法是先抽第一页的表头后续页如果第一行和表头相似就跳过。代码示例如下import pdfplumber import pandas as pd def extract_all_tables(pdf_path, start_page3, end_pageNone): all_rows [] header None with pdfplumber.open(pdf_path) as pdf: pages pdf.pages[start_page:end_page] for i, page in enumerate(pages): tables page.extract_tables() for table in tables: if not table: continue if header is None: header table[0] rows table[1:] else: # 判断首行是否与表头相似若是则跳过 if table[0] header: rows table[1:] else: rows table all_rows.extend(rows) df pd.DataFrame(all_rows, columnsheader) df.to_csv(extracted_raw.csv, indexFalse, encodingutf-8-sig) return df逻辑说明start_page跳过封面和目录end_page控制抽取范围。encodingutf-8-sig保证中文在 Excel 里不乱码。参数上如果 PDF 表格跨页extract_tables()可能把一张表拆成两个导致列数不一致这时候要在循环里加一个列数校验列数对不上就打印页码人工检查。注意抽出来的单元格可能包含换行符和空格落盘前最好做一次strip()清洗。3.2 缺失值与异常值的处理边界环境健康数据里缺失值和异常值几乎是必然的。污染物监测站点可能因为设备维护缺数健康数据可能因为报告口径变化出现跳变。我一般会先做缺失率统计再决定填充策略。如果某区县某月 PM2.5 缺失率超过 30%直接删除该记录低于 30% 可以用前后月均值填充。异常值方面PM2.5 超过 1000 微克每立方米的基本可以判定为仪器故障或单位错误。下面是一个处理示例def clean_data(df): # 缺失率统计 missing_rate df.isnull().mean() print(缺失率:\n, missing_rate[missing_rate 0]) # 删除缺失率过高的列 df df.loc[:, missing_rate 0.5] # 数值列异常值处理 for col in [pm25_mean, pm10_mean, o3_mean]: if col in df.columns: df[col] pd.to_numeric(df[col], errorscoerce) df.loc[df[col] 1000, col] None df[col] df[col].fillna(df[col].median()) return df逻辑说明errorscoerce把无法转数值的单元格变成 NaNfillna(median())用中位数填充比均值更抗异常值。参数上1000 这个阈值是针对 PM2.5 的PM10 可以放宽到 2000臭氧通常不会超过 500。注意填充前要按区县分组做否则用全局中位数会抹平区域差异。这一步的踩坑点是有些 PDF 把「-」或「—」当作缺失标记pd.to_numeric会直接报错需要先替换成空字符串。3.3 用最小线性模型验证污染-健康关联数据清洗完先别急着上复杂模型。我一般会跑一个最小线性回归看污染物浓度和健康指标之间有没有统计显著的关系。这一步的目的是验证数据质量而不是发论文。如果连线性关系都跑不出来要么是数据对齐错了要么是粒度太粗。代码示例如下import statsmodels.api as sm def minimal_association(df, exposurepm25_mean, outcomeresp_visit): sub df[[exposure, outcome]].dropna() X sm.add_constant(sub[exposure]) y sub[outcome] model sm.OLS(y, X).fit() print(model.summary()) return model # 调用 df_clean clean_data(pd.read_csv(extracted_raw.csv)) minimal_association(df_clean)逻辑说明sm.add_constant加截距项OLS做普通最小二乘。输出里重点看coef的符号和P|t|是否小于 0.05。参数上如果你怀疑非线性可以把exposure分箱后做方差分析。注意这个模型没有控制混杂因素只能作为数据质量的 sanity check。如果系数为负且显著先检查是不是把「空气质量越好数值越低」和「健康指标越好数值越低」搞反了方向。4. 避坑与排查环境健康数据流水线的五个翻车现场4.1 表格跨页导致列错位现象抽出来的 CSV 里某些行的 PM2.5 列出现了健康指标的值。原因PDF 表格跨页时pdfplumber把下一页的表头当成了数据行或者把两页的列合并错了。解决在抽取循环里加列数校验如果当前表的列数和第一页表头不一致打印页码并跳过人工确认后再单独处理。更稳妥的做法是用camelot的flavorlattice模式它对跨页表格的识别更准。4.2 中文编码与全角符号导致合并失败现象pd.merge时明明看着一样的区县名却匹配不上结果为空。原因PDF 里的中文可能是全角空格、全角括号或者「东城区」和「东城区 」差一个尾随空格。解决合并前统一做str.strip()、str.replace( , )并把全角符号转半角。我一般会写一个normalize_text函数对所有文本列跑一遍。4.3 单位不统一导致数值量级错误现象回归系数大得离谱或者异常值检测把所有数据都标红了。原因有的表 PM2.5 单位是微克每立方米有的是毫克每立方米差 1000 倍。解决在字段映射阶段就记录单位统一转成微克每立方米。如果 PDF 里单位写在表头或脚注抽表时要额外抓取脚注文本不要只看表格本身。4.4 时间粒度对齐时区偏移现象月度聚合后某些区县的数据总是少一个月。原因to_period(M)对时区敏感如果原始时间戳带时区跨月边界可能被划到上一个月。解决聚合前先dt.tz_localize(None)去掉时区或者统一转成 UTC 再转本地时间。这个坑在日度数据里不明显一到月度聚合就暴露。4.5 健康指标口径变化未标记现象某年某区县的呼吸系统就诊人次突然翻倍回归残差图出现明显断层。原因报告口径变了比如从「门诊人次」改成「门诊急诊人次」但 PDF 里没有显式说明。解决在数据里加一列source_note把 PDF 脚注里的口径说明抽出来存进去。分析时按口径分段建模或者加一个哑变量控制口径变化。这个坑没有技术手段能完全自动发现只能靠人工翻脚注。5. 进阶技巧用滞后模型和空间分组提升关联分析可信度5.1 构造滞后暴露窗口污染物对健康的影响通常不是当期的而是有 1 到 7 天的滞后。我一般会构造多个滞后列然后看哪个滞后期的系数最显著。代码上可以用shift实现def add_lag_features(df, exposure_cols, max_lag7): df df.sort_values([city_code, district_code, month]) for col in exposure_cols: for lag in range(1, max_lag 1): df[f{col}_lag{lag}] df.groupby( [city_code, district_code] )[col].shift(lag) return df逻辑说明按区县分组后shift(lag)保证滞后不跨区县。参数max_lag7适合日度数据月度数据一般取 1 到 3。注意滞后会产生缺失值建模时要dropna()或者用更复杂的插补。这一步的后悔药是如果一开始没保留原始日度数据后面想改滞后窗口就得重新抽 PDF。5.2 按城市做分层回归全国一把梭的回归容易被大城市主导按城市分层能看到更细的异质性。我一般会写一个循环对每个城市单独跑模型然后把系数和置信区间汇总成表。下面是一个简化的分层汇总def stratified_regression(df, exposure, outcome, group_colcity_code): results [] for city, sub in df.groupby(group_col): sub sub[[exposure, outcome]].dropna() if len(sub) 30: continue X sm.add_constant(sub[exposure]) model sm.OLS(sub[outcome], X).fit() results.append({ city: city, coef: model.params[exposure], pvalue: model.pvalues[exposure], n: len(sub) }) return pd.DataFrame(results).sort_values(coef, ascendingFalse)逻辑说明len(sub) 30过滤掉样本太少的城市避免过拟合。输出按系数排序能快速看出哪些城市的关联更强。参数上group_col可以换成区县编码做更细的分层但样本量会急剧下降。注意分层回归的多重比较问题需要校正可以用 Benjamini-Hochberg 方法对 p 值做 FDR 校正。5.3 用交叉验证检查模型稳定性最后一步我习惯用 K 折交叉验证看模型在不同数据子集上的表现。如果 R² 波动很大说明数据里有强影响点或者区域异质性太强。常见做法是用sklearn的cross_val_score把statsmodels的模型包一层。这个技巧不复杂但能帮你判断结果是不是「玄学显著」。我自己的习惯是任何关联分析只要 p 值在 0.05 边缘就必须跑一次交叉验证否则不敢下结论。希望帮到你。本文还有配套的精品资源点击获取