基于儿童胸部 X 光片区分 NORMAL(正常) 与 PNEUMONIA(肺炎),2025 年暑期科研项目。用统一的 PyTorch 流程比较从零训练的 CNN 与 4 个 ImageNet 预训练模型(ResNet50 / DenseNet121 / EfficientNet-B0 / ViT-B/16):按患者划分验证集,每个模型训练 3 个随机种子,并做消融实验、概率校准、模型集成和 Grad-CAM 捷径检查。
结果(3 个种子的均值 ± 标准差,官方测试集 624 张): 5 模型集成 ROC-AUC 98.7 ± 0.1;单模型准确率 88–92%(ResNet50 最高,92.0 ± 1.3%),敏感度约 99%(几乎不漏诊),特异度 69–80%。
同时也发现了几个限制:验证集与测试集之间存在分布偏移;部分模型会利用心电电极、导管和方位标记等"捷径";各模型之间的差异大多在随机种子的波动范围内。详见主要发现。
每个模型在训练结束后只在测试集上评估一次;checkpoint 和决策阈值(Youden 指数)都在验证集上选取。数值均为百分比(AUC × 100)。
每个种子会重新按患者划分验证集,测试集固定不变。
| Model | Seeds | AUC | Accuracy | Sensitivity | Specificity | F1 | Threshold | Train (min) |
|---|---|---|---|---|---|---|---|---|
| CNN (from scratch) | 3 | 97.9 ± 0.4 | 88.2 ± 3.2 | 99.6 ± 0.1 | 69.2 ± 8.8 | 91.4 ± 2.1 | 0.31 ± 0.14 | 2 |
| ResNet50 | 3 | 98.0 ± 0.5 | 92.0 ± 1.3 | 99.2 ± 0.5 | 79.9 ± 3.9 | 93.9 ± 0.9 | 0.75 ± 0.22 | 1 |
| DenseNet121 | 3 | 98.4 ± 0.4 | 89.3 ± 2.3 | 99.7 ± 0.3 | 71.8 ± 6.2 | 92.1 ± 1.5 | 0.75 ± 0.16 | 2 |
| EfficientNet-B0 | 3 | 98.4 ± 0.4 | 91.7 ± 1.5 | 99.1 ± 0.3 | 79.3 ± 4.4 | 93.7 ± 1.1 | 0.60 ± 0.16 | 2 |
| ViT-B/16 | 3 | 98.5 ± 0.1 | 91.0 ± 0.6 | 99.7 ± 0.0 | 76.4 ± 1.7 | 93.2 ± 0.5 | 0.69 ± 0.09 | 1 |
| Ensemble (5 models) | 3 | 98.7 ± 0.1 | 91.9 ± 2.0 | 99.2 ± 0.4 | 79.6 ± 5.8 | 93.9 ± 1.4 | 0.77 ± 0.09 | 8 |
训练时间是在 Colab A100(混合精度)上测得的,23 次训练合计 36 分钟。
括号内为按患者重采样 1000 次的 bootstrap 95% 置信区间。
| Model | Params (M) | AUC | Accuracy | Sensitivity | Specificity | F1 | Acc @0.5 | Threshold | CAM border share |
|---|---|---|---|---|---|---|---|---|---|
| CNN (from scratch) | 1.2 | 98.0 (96.9–98.9) | 91.2 (88.6–93.6) | 99.5 (98.6–100.0) | 77.4 (71.4–83.0) | 93.4 (91.1–95.3) | 91.3 | 0.47 | 0.26 |
| ResNet50 | 23.5 | 97.5 (95.8–98.7) | 90.7 (88.0–93.0) | 99.7 (99.2–100.0) | 75.6 (69.6–81.0) | 93.1 (90.7–94.9) | 90.7 | 0.50 | 0.36 |
| DenseNet121 | 7.0 | 98.4 (97.3–99.2) | 89.6 (86.8–91.9) | 100.0 (100.0–100.0) | 72.2 (66.0–77.4) | 92.3 (89.9–94.1) | 88.9 | 0.59 | 0.29 |
| EfficientNet-B0 | 4.0 | 98.8 (97.9–99.4) | 92.5 (90.0–94.6) | 99.2 (98.3–100.0) | 81.2 (75.6–86.2) | 94.3 (92.2–96.0) | 91.2 | 0.77 | 0.45 |
| ViT-B/16 | 85.8 | 98.4 (97.4–99.2) | 90.9 (88.2–93.2) | 99.7 (99.2–100.0) | 76.1 (70.0–81.7) | 93.2 (90.9–95.1) | 89.9 | 0.62 | 0.33 |
| Ensemble (5 models) | 121.4 | 98.8 (97.8–99.5) | 92.8 (90.5–94.8) | 99.5 (98.6–100.0) | 81.6 (76.2–86.5) | 94.5 (92.6–96.1) | 87.8 | 0.81 | – |
- Acc @0.5:阈值固定为 0.5 时的准确率。
- CAM border share:Grad-CAM 热力图落在图像外围 12.5% 边框内的比例,均匀分布时为 0.44。这个平均值会掩盖问题,见发现 4。
在从零训练的 CNN 上每次只改动一项,其余与参考配置相同(种子 42)。另外加了一个只训练分类头的 ResNet50 线性探针,对应 v1 的"冻结特征"做法。
| Variant | Description | AUC | Accuracy | Sensitivity | Specificity | Acc @0.5 | Δ AUC | Δ Accuracy |
|---|---|---|---|---|---|---|---|---|
| full (reference) | v2 CNN: shuffle, augment, class weight, BatchNorm, 224px, 30 epochs | 98.0 | 91.2 | 99.5 | 77.4 | 91.3 | – | – |
| no_shuffle | 训练数据按类别排序、不打乱(v1 的 bug) | 61.0 | 57.5 | 57.2 | 58.1 | 62.5 | -37.0 | -33.7 |
| no_batchnorm | 去掉 BatchNorm | 93.0 | 80.1 | 99.0 | 48.7 | 83.7 | -5.1 | -11.1 |
| no_augment | 不做数据增强 | 93.7 | 85.1 | 98.5 | 62.8 | 81.9 | -4.3 | -6.1 |
| epochs_5 | 只训练 5 轮 | 95.1 | 84.6 | 99.5 | 59.8 | 88.8 | -2.9 | -6.6 |
| no_class_weight | 不做类别加权 | 97.6 | 91.3 | 99.7 | 77.4 | 83.5 | -0.5 | +0.2 |
| low_res_112 | 输入分辨率 112×112 | 98.4 | 91.0 | 99.2 | 77.4 | 90.4 | +0.4 | -0.2 |
| resnet50_linear_probe | ResNet50 冻结 ImageNet 特征,只训练分类头 | 93.2 | 83.8 | 92.8 | 68.8 | 79.5 | -4.8 | -7.4 |
| v1_like | v1 配方:v1 网络、100px、无增强/加权/打乱、5 轮、batch 10 | 22.5 | 37.5 | 0.0 | 100.0 | 62.5 | -75.5 | -53.7 |
| 方法 | v1(Keras / sklearn) | v2(单次运行) | v3(3 种子均值 ± 标准差) |
|---|---|---|---|
| CNN(从零训练) | 78.0% | 89.1% | 88.2 ± 3.2% |
| ResNet50 | 80.8%(冻结特征 + 逻辑回归) | 93.3% | 92.0 ± 1.3% |
| ViT | 75.3%(只用了 ViT 预处理器 + 像素逻辑回归) | 91.0% | 91.0 ± 0.6% |
| DenseNet121 | – | 88.3% | 89.3 ± 2.3% |
| EfficientNet-B0 | – | 91.5% | 91.7 ± 1.5% |
| 5 模型集成 | – | – | 91.9 ± 2.0%(AUC 98.7 ± 0.1) |
-
模型之间的差异大多在随机种子的波动范围内。 单模型 AUC 为 97.9–98.5,标准差 0.1–0.5;准确率的种子间标准差最高 3.2 个百分点,特异度最高 8.8 个百分点。集成的 AUC 最高也最稳定(98.7 ± 0.1),但准确率(91.9 ± 2.0%)并不比单个 ResNet50 高,因为准确率主要受阈值限制,而不是排序能力。v2 中 ResNet50 单次运行的 93.3% 处在它波动范围的高端:3 个种子平均是 92.0%,种子 42 只有 90.7%。只报告单次运行会高估结果。
-
消融实验:哪些改动真正起作用。 消融只跑了一个种子,而 CNN 的种子间标准差为 AUC 0.4、准确率 3.2,所以 AUC 差距小于约 1 个点、准确率差距小于约 3–6 个点的结果不能区分。
- 打乱训练数据是决定性的。 按类别排序喂数据时,CNN 退化成近似常数的输出(所有图片的预测概率都在 0.70–0.80 之间),测试 AUC 只有 61.0。
- BatchNorm(−5.1 AUC)、数据增强(−4.3)和足够的训练轮数(−2.9) 都有明显贡献。
- 分辨率(112 vs 224)没有可检测的影响。类别加权在调过阈值后也没有影响;它只在固定 0.5 阈值时起作用(准确率 91.3% vs 83.5%)。
- 微调远好于冻结特征。 ResNet50 线性探针的 AUC 为 93.2,微调为 98.0 ± 0.5。v1 用冻结 ResNet 特征加逻辑回归,这一做法本身就限制了上限。
- v1 配方没能复现 v1 的 78%。 复现版同样退化成常数输出(概率都在 0.66–0.68 之间),所以 AUC 22.5 只是噪声,不代表"预测反了"。原版 v1 用的是 Keras 的 Adam 固定学习率、二分类 softmax、[0, 1] 输入并取最后一轮的模型;复现版用的是 OneCycle 学习率、AdamW、ImageNet 标准化并按验证 loss 选模型。在按类别排序训练这种不稳定的设置下,这些细节决定了模型会不会崩溃。两次运行都支持"不打乱数据有害",但具体损失多少取决于实现细节。
-
问题出在分布偏移,而不是模型"过度自信"(修正 v2 的说法)。 所有模型在验证集上的校准误差(ECE)只有 0.01–0.02,也就是说,大量接近 0 或 1 的预测在同分布数据上是准确的。到了测试集,ECE 升到 0.08–0.13。在验证集上拟合的温度缩放几乎没有改变;Platt 缩放甚至让测试集 ECE 变差,因为它学到的偏移量 b > 0 会把概率推向"肺炎",而测试集里的正常片本来就得分偏高。阈值在种子间的大幅波动(例如 ResNet50 为 0.75 ± 0.22)是同一问题的另一种表现。要可靠地校准概率和阈值,需要来自目标分布的数据。
-
部分模型存在捷径学习(撤回 v2 的"没有发现捷径学习")。 v2 只看了全部测试图片热力图边框占比的平均值,而正常片的热力图通常集中在心脏和纵隔,把平均值拉低、掩盖了问题。逐类查看种子 42 的热力图后发现:
- ResNet50 对最有把握的肺炎预测,主要关注图像边缘的心电电极、导管、导线和角落;
- EfficientNet-B0 对肺炎预测(包括误报)主要看左上角和 "R" 方位标记,边框占比 0.45,高于均匀分布的 0.44;
- ViT-B/16 的热力图分布在双侧肺野,DenseNet121 和 CNN 基本集中在胸腔内。
一个合理的解释是:肺炎患儿更可能是住院患者,身上带着监护设备,这些设备就成了与标签相关的混杂因素。同一模型在不同训练中的表现也不一样(EfficientNet 在 v2 那次训练中边框占比为 0.33),所以每个训练好的模型都需要单独检查。
| ResNet50:关注电极与边缘 | EfficientNet-B0:关注角落与 "R" 标记 | ViT-B/16:关注肺野 |
|---|---|---|
![]() |
![]() |
![]() |
每张图的四行依次为真阳性、真阴性、假阳性、假阴性中置信度最高的病例。DenseNet121 和 CNN 的热力图见 figures/。
使用 Kaggle 公开数据集 Chest X-Ray Images (Pneumonia)(Kermany et al., Cell 2018)。数据不在仓库中,下载后把 train/、test/(以及可选的 val/)放在项目根目录。
scripts/prepare_data.py 的处理:
- 按患者划分验证集。 文件名中带有患者编号(
person123_bacteria_456.jpeg、IM-0115-0001.jpeg),训练集 3875 张肺炎片只来自约 1600 名患者,最多一人 30 张。用StratifiedGroupKFold从训练集中按患者分出约 15% 作为验证集,保证同一患者不会同时出现在训练集和验证集,同时保持类别比例。官方val/只有 16 张,并入训练池。 - 统一读图。 训练集中有 283 张 JPEG 是 RGB 三通道(v1 的 ViT notebook 正是因此静默丢掉了这些图),这里全部转为灰度后再缩放为 256×256,缓存为
data/images.npy。正常片与肺炎片的原始尺寸存在系统性差异(宽度中位数 1640 px vs 1168 px),统一缩放为正方形可以消除宽高比这一潜在捷径。 - 数据检查(
data/data_report.json):训练集与验证集之间没有患者重叠;数据中有 32 张完全重复的图片,都在同一划分内部,没有跨划分重复。
默认划分(种子 42,本地环境):
| 划分 | 正常 | 肺炎 | 患者数 |
|---|---|---|---|
| train | 1149 | 3321 | 2440 |
| val | 192 | 554 | 406 |
| test | 234 | 390 | 427 |
v3 的每个种子都会重新抽取训练/验证划分(训练加验证共 5216 张)。同一个种子在不同 scikit-learn 版本下可能得到不同的划分(例如 Colab 上种子 42 是 4494 / 722),所以每次运行实际使用的验证集图片都记录在各自的 val_predictions.csv 中。
- 输入:灰度图复制为 3 通道,224×224,ImageNet 均值方差标准化。
- 数据增强(仅训练):随机裁剪缩放(面积 70–100%)、±10° 旋转、±5% 平移、亮度/对比度扰动。不使用水平翻转,因为心脏位于左侧,翻转会产生解剖上不合理的图像。
- 类别不平衡:
BCEWithLogitsLoss的pos_weight = 正常数 / 肺炎数。 - 两阶段微调:先冻结主干网络(参数、BatchNorm 统计量和 dropout 全部固定),训练 2 轮新分类头(lr 1e-3);再全部解冻,用 AdamW + OneCycle 学习率微调。梯度裁剪 1.0,CUDA 上使用混合精度。
- 模型选择:按验证集上的 loss(由原始 logits 计算)选择 checkpoint 并早停。验证集 AUC 在 0.998 附近饱和,不适合用来挑选模型。测试集只在最后评估一次。
- 评估:准确率、敏感度、特异度、精确率、F1、ROC-AUC、混淆矩阵;按患者 bootstrap 1000 次估计置信区间;3 个种子(42 / 43 / 44)报告均值 ± 标准差。
- 校准与集成:在验证集 logits 上拟合温度缩放和 Platt 缩放,在测试集上计算 ECE(15 个分箱)、Brier 分数和 NLL。集成对 5 个模型 Platt 校准后的概率取平均,阈值同样在验证集上选取。
- 消融:在 CNN 上每次只改一项(种子 42)。
Colab(推荐):打开上方的 Colab 徽章,在"代码执行程序 → 更改运行时类型"中选择 GPU,然后"全部运行"。结果会保存到 Google Drive,断线后重新运行会从断点继续。在 A100 上实测训练共 36 分钟(另需几分钟准备数据),T4 预计需要 3–4 小时。
本地:
python -m venv .venv && source .venv/bin/activate
pip install -e ".[dev]"python scripts/prepare_data.py --raw . --out datapython scripts/experiments.pyexperiments.py 依次运行主实验、消融实验、Grad-CAM、集成、校准和汇总报告,已完成的训练会自动跳过。加上 --plan smoke 可以在几分钟内跑通全流程,用来检查环境。单独训练一个模型:
python -m pneumonia.train --model resnet50 --seed 42 --out runs/main/resnet50/seed42程序会自动选择 CUDA、Apple MPS 或 CPU。运行单元测试:
pytestsrc/pneumonia/
data.py 文件名解析、按患者划分、图像缓存、Dataset 与数据增强
models.py 模型注册表(含消融用的无 BatchNorm CNN 和 v1 复现网络)
train.py 两阶段训练、按验证 loss 早停、验证集选阈值、测试集评估
metrics.py 评估指标、Youden 阈值、按患者 bootstrap 置信区间
gradcam.py Grad-CAM(含 ViT token 重排)与边框占比统计
calibrate.py 温度缩放 / Platt 缩放、ECE、可靠性曲线
ensemble.py 校准后的多模型集成
scripts/ prepare_data.py、experiments.py(全部实验,可续跑)、report.py
colab/ run_all_experiments.ipynb(Colab 一键运行)
runs/main/<model>/seed<k>/ 每次运行的指标、训练曲线、验证/测试集预测、校准结果(权重未提交)
runs/ablation/<name>/ 消融实验
runs/ensemble/seed<k>/ 集成结果
results/ 汇总表(main / first_seed / ablation / calibration / all_runs)
figures/ ROC 曲线、混淆矩阵、消融、可靠性曲线、Grad-CAM
tests/ 单元测试(CI 自动运行 ruff 和 pytest)
历史版本保存在 git 标签中:v1 是最初的三个 Colab notebook(TensorFlow / sklearn),v2 是 PyTorch 重写后的单种子版本。
- 只有一个测试集,且与训练集存在分布偏移。 需要在外部数据(如 RSNA Pneumonia、CheXpert)上验证,并用目标分布的数据重新校准概率和阈值。
- 捷径学习只做了定性检查。 只看了种子 42、每类置信度最高的 4 个病例。后续可以按预测类别分别统计热力图位置,标注医疗设备后做分组评估,并尝试先做肺野分割再裁剪或遮挡,从源头去掉设备和标记。
- 消融实验只跑了一个种子,小于种子间波动的差异无法判断。
- CNN 在 3 个种子中有 2 个选中了最后一轮(30/30),可能还没训练充分。
- 患者编号可能有歧义。 同一个
personN编号会同时出现在 bacteria 和 virus 两类文件名中,训练集和测试集之间有 170 个编号重复(不同亚型,没有完全相同的图片)。验证集划分时把同编号视为同一患者,是保守做法;官方测试集按原样使用。 - 可以尝试的方向:医学影像预训练权重(如 TorchXRayVision 的 CheXpert / MIMIC 模型)、细菌性/病毒性肺炎三分类。
代码采用 MIT License。数据集版权归原作者所有,按其 CC BY 4.0 许可使用,本仓库不分发数据。
Kermany, D. S., et al. Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning. Cell 172(5), 1122–1131 (2018).






