任务操作
操作说明创建、改变或恢复什么。这六行区分了新实例采样、保持身份的转换、局部编辑、缺失内容恢复、测量反演和序列生成。即使同一模型族支持多种操作,它们的条件和可接受误差也各不相同。
ML–CV–医学影像对应关系
01 · 新样本合成
合成采样一个实例,而不是恢复某个特定的已观测个体。文生图模型创建与描述相容的场景;医学体数据生成器则在给定条件下创建一种可能的解剖结构。输入可以仅是噪声,也可以是噪声与元数据的组合,输出则可以是像素、体素、几何或纹理。潜空间扩散是代表性的视觉实现[7]。在医学中,MAISI 以身体区域和间距为条件进行体数据生成,并提供掩膜引导或肿瘤填充路径[9]。纹理是另一种对象坐标:Text2Tex 在已给定的网格上生成表面外观,因此它并未展示联合几何恢复[8]。基本问题是条件控制哪些属性、哪些变化仍可自由发生,而不只是渲染结果看起来是否逼真。
当合成产生的变化能够支持真实下游需求时,合成才有用。训练增强需要在留出的真实病例上获得改进,而不只是对生成标签的性能;队列构建需要有代表性的覆盖,而不只是样本数量。MAISI 包含外部 autoPET 图像分布评估,但这并非独立诊断终点或隐私审计[9]。MAISI-v2 结合了校正流、区域特定损失以及改变的数据/训练条件,因此不能将所有差异都归因于某一个目标函数[27]。条件解剖结构与罕见先天性拓扑也已有实现[28, 29]。负责任的比较应在匹配资源的条件下衡量条件准确性、尾部覆盖、记忆化风险和真实任务效用。如果重采样或统计形状模型已能提供所需变化,更大的学习式生成器就必须证明其额外假设和成本合理。
图3将 20 篇代表性合成文献置于统一的 2018–2026* 年时间窗口中;箭头对应参考文献表中的条目[30, 31, 32, 33, 34, 35, 36, 37, 38, 7, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48]。统一的选择与日期约定见第1节。
代表论文时间线20 篇论文
02 · 跨域转换
转换改变域,同时尝试保留相关对象。将标签图变为照片改变的是外观;将 MRI 变为合成 CT 改变的是成像表示;虚拟染色将未染色测量映射为类似染色的对比度。配对转换从对齐样例中学习,而非配对转换在额外约束下从各域的边缘分布样本中学习[10, 11]。这一区别至关重要:循环一致性可以支持可逆映射,却不能唯一确定在医学上正确的逐受试者映射。虚拟染色展示了真实的医学转换任务,其中配准和组织制备会影响参照配对[13]。因此,应将输出描述为特定采集与训练方案下的条件估计,而不是对目标模态可能揭示的每一种生物量进行了一次新测量。
保留约定决定评估方式。对于合成 CT,密度和几何误差通过剂量计算与定位产生影响;对于染色,它们通过结构和诊断观察产生影响。AortaDiff 已将对比度转换与分割及临床可解释测量相耦合,因此任务感知的联合转换并非尚未涉足的想法[49]。其预印本评估还存在 ROI、对齐和派生参照方面的局限,这些都应明确保留。SynthRAD2025 报告区分图像、几何和剂量标准,并展示为何排名依赖终点[50]。当罕见结构会改变治疗计划时,非配对逼真性或平均相似度并不足够。应将转换与当前临床工作流程比较,包括非生成式替代方案;失败时应触发明确的后备方案,而不是隐藏在漂亮的平均分中。
图4将 20 篇代表性转换文献置于统一的 2018–2026* 年时间窗口中;箭头对应参考文献表中的条目[51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70]。统一的选择与日期约定见第1节。
代表论文时间线20 篇论文
03 · 定向编辑
编辑要求在现有实例的基础上进行受控改变。诸如改变对象颜色的指令并不是无条件采样;原始图像提供了身份及非目标属性。InstructPix2Pix 从生成的指令—编辑三元组中学习,并报告了非预期改变、隔离目标和视角方面的困难[14]。在医学中,数字同胞已经能够创建局部解剖变化,并评估形态与拓扑[15]。这里的有用输出往往是一组用于敏感性分析的受控替代方案,而不是在临床上被断言为患者未来状态的结果。必须规定可编辑区域、必要不变量、允许的拓扑变化,以及编辑幅度的含义。视觉上很小的改变,对下游测量仍可能很大,尤其是在病灶、瓣膜或血管边界附近。
反事实图像不会自动成为具有因果意义的治疗反事实。如果明确规定仿真器与干预,经过编辑的解剖结构可以支持计算实验,但仅凭视觉合理性无法辨识患者对治疗的响应。分布层面的编辑也不能证明所有非目标生理特征都得到保留。恰当的检验应比较编辑前后的独立测量,对边界情况进行压力测试,并量化所请求区域之外的附带改变。当所需变化较简单时,经典参数化变形或重采样可能是强对照。学习式编辑器的贡献应是新近得到支持和验证的一类变化,或更好的误差—成本权衡,而不是给已有解剖操作换个标签。这一区分既保持受控敏感性研究的价值,又避免夸大生物学因果关系。
图5将 20 篇代表性编辑文献置于统一的 2018–2026* 年时间窗口中;箭头对应参考文献表中的条目[71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 14, 81, 82, 83, 84, 85, 86, 87, 88, 48]。统一的选择与日期约定见第1节。
代表论文时间线20 篇论文
04 · 修复与补全
修复在补偿退化的同时保留已观测场景。去噪、去模糊、着色和缺失区域填充的区别在于,答案中有多少内容是可辨识的。Palette 在这类任务中的多个任务上采用共享的图像条件扩散表述[16];如果没有共享的任务训练和评估,仅有多个条件本身并不能证明多任务学习。DDRM 通过算子结构,在多个线性逆问题中复用图像先验[17]。医学示例包括显微图像修复和 MAISI 肿瘤填充[18, 9]。填充区域可能是合理的仿真对象,而非真实隐藏解剖结构的证据。任务描述必须说明目标是回顾性恢复、前瞻性诊断、合成增强还是实验性扰动,因为外观相同的输出可能具有截然不同的可接受失败模式。
在未观测区域,强先验可能成为负担。可见像素上的残差较小,不能说明缺失结构是否正确;多个合理样本也不会自动量化经过校准的不确定性。已有工作已将先验引起的幻觉与普通重建误差区分开,并开发了以分布为参照的幻觉指标[89, 18]。后者依赖明确的参照和近似假设,而不是普适的真值判定器。因此,评估应区分受测量支持的细节、存在歧义的补全,以及错误却令人信服的结构。对于临床用途,问题是这些歧义是否改变诊断或定量终点,以及系统能否拒绝填充。确定性修复仍是不可或缺的对照:这种基于操作的分类体系包含此类对照,但不声称每个去噪器都是随机生成模型。
图6将 20 篇代表性修复/填充文献置于统一的 2018–2026* 年时间窗口中;箭头对应参考文献表中的条目[90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 16, 100, 101, 102, 103, 104, 105, 106, 107, 108]。统一的选择与日期约定见第1节。
代表论文时间线20 篇论文
05 · 测量约束重建
重建使用指定的前向模型和一次特定测量。CT 投影数据与 MRI k 空间通过公式2约束潜在对象;它们并非仅仅是生成外观相似图像的提示。生成式压缩感知明确考虑表示误差,而 DPS 使用去噪估计近似含噪似然[5, 19]。医学中的基于分数的重建展示了在不同采样算子下复用无条件先验[20]。在所核查的研究中,CT 投影与单线圈 MRI 测量由图像数据模拟得到。这些实验考察了算子变化,但并不构成前瞻性的扫描仪或诊断验证。准确的报告应区分真实源图像、模拟测量、真实采集检验、外部患者和临床阅片者,而不是将它们一概归为“真实医学数据”。
忠实性所需的不只是精确的数据拟合。噪声与模型失配可能使严格拟合并不理想,而较小的数据残差不能证明算子约束不足的成分正确[89]。即使观测更多,生成器值域偏差也可能持续存在[5],后验样本的多样性还可能混合模型、数值和观测效应。更有力的实验会固定原始数据划分,比较具有竞争力的非生成式方法与生成式基线,并在现实的计算预算下测量预先规定的病灶、定量或阅片者终点。已有研究使用扩散后验样本探索主动采集[109];新颖性必须超越仅仅选择下一个视角。只有在计入失败病例和重新采集时间等总负担后仍具有优势,并能够支持经过校准的决策、拒绝或额外测量时,不确定性才有实际价值。
图7将 20 篇代表性测量反演文献置于统一的 2018–2026* 年时间窗口中;箭头对应参考文献表中的条目[110, 111, 112, 113, 114, 115, 20, 17, 116, 19, 117, 118, 119, 120, 121, 122, 123, 124, 125, 126]。统一的选择与日期约定见第1节。
代表论文时间线20 篇论文
06 · 时序生成
时间引入了多个不同问题。无条件视频生成一个序列;插值填补缺失时刻;预测以过去为条件;动作条件生成还接收对采集或环境的干预。Video Diffusion 和 Genie 分别代表联合视觉序列与交互动力学[21, 22];4D-fy 则加入动态三维表示,并使用互补的图像和视频监督[23]。医学案例包括 CHeart 的心动周期内解剖结构、Cardiac Mesh Flow 的动态网格,以及探头运动下的超声视图[24, 25, 26]。心动周期不是纵向疾病进展,自回归的“因果”架构也不是治疗效果模型。同样,平滑的渲染网格不会自动成为经测量的位移场。每种时序用途都必须规定条件历史、预测时域、动作语义和独立参照。
时序有效性需要能够揭穿表面指标的阴性对照。Cardiac Mesh Flow 的消融表明,静态心脏也能获得很强的周期一致性,因此端点一致不足以验证运动[25]。CHeart 的稠密时序解剖结构依赖经过处理的分割标签,而非独立局部运动真值[24]。SonoWorld 已将超声生成建立在具有度量尺度的姿态之上,EchoWorld 则研究用于探头引导的预测表示[26, 127];所核查的两项评估均未建立独立的真实机器人临床策略迁移试验。接触力、变形、生理状态和扫描仪设置都可能使仅基于姿态的观测模型失效。检验应包括静态输出、条件打乱、非重放动作,以及局部运动或控制终点。重要的进展不是更长或更平滑的视频,而是能够证明时间、动作与下游量之间存在正确关系。
图8将 20 篇代表性时序生成文献置于统一的 2018–2026* 年时间窗口中;箭头对应参考文献表中的条目[128, 129, 130, 131, 21, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 146]。统一的选择与日期约定见第1节。