重测信度问题

问答讨论
1

Alex，最近投了一篇动态指标的fMRI论文，审稿人提到不同窗宽间的稳定性问题：“While the authors validated window sizes (50 vs. 80 TRs) for dReHo/dfALFF, they should provide additional details on how these window choices affect the stability of results (e.g., test-retest reliability)”。关于 test-retest reliability应该如何做？我看到dpabi有ICC分析的功能，但是介绍不多。另外应该如何汇报结果？还请赐教。

另外，论坛有没有赞助渠道，平时受益良多但是提供帮助却有限，想尽微薄之力，助平台越来越好。

2
  1. 我理解可能审稿人有两种意思，一种是说选择不同的参数（比如50TRs和80TRs）对结果的稳定性是否有影响。这个结果可能是统计分析的结果（比如对照组和病人组的差异在50TRs和80TRs时是否一致），也可能是指标本身的数值（比如50和80时，ReHo数值是否一致）。另一种是说不同参数对重测信度的影响。重测信度需要使用有重测的数据，比如同一批被试扫描了两次，然后可以估算出不同参数下的指标的重测信度。
  2. 从你提供的文字描述来说，似乎更接近第二种意思，就是审稿人想知道不同参数下的指标的重测信度。但是如果你的工作本身不是一个方法学的工作，那么感觉单独找数据做重测信度有点偏离主题了。也许可以找找文献，看看是否已经有文献报告过这些信息了（即窗宽对于重测信度的影响）。如果你还不了解重测信度的概念，也许可以简单浏览一下我最近发的一个小文章，里面有关于重测信度的概念、公开数据和计算方法。
  3. 有一个捐助页面，感谢你的反馈，知道这个论坛有点用处是很重要的信息。如果你要进行捐赠，感谢你的支持，但要根据个人实际情况进行最小捐助，不要捐多了。
3

感谢你的回复，很有帮助，祝工作生活顺利！！

4

Alex，我又想了一下，或许审稿人想要的是50与80TR结果间的一致性？只是他表述重测信度产生了误导。我想按照一致性做一下。我看目前评估一致性的方法可以用dice系数。我理解是将50TR与80TR组间比较后的T-map放在一起做，是否是这样的嘞？另外如何计算dice系数我还没有找到方法和工具，Alex有什么方法吗？

5

我也觉得评估50TR和80TR结果的一致性是更合理的。如何评估一致性，也许至少可以考虑三种方案：

  1. 分别得到50TR和80TR条件下的显著组间差异脑区图，组间差异脑区图是binary的mask，表示哪些脑区在组间比较中是显著的。然后计算两个binary mask的dice，反映两种条件下得到的显著结果有多一致。dice的概念是很简单的，你可以先查一下。软件实现的话，我不清楚你熟悉哪些软件，我们可以再讨论。
  2. 除了显著组间差异脑区图，也可以考虑组间比较的T值图，T值图表示每个体素的统计结果（不论是否显著），也可以当作是效应量。如果考虑T值图，那么这是一个连续的图，评估两个连续图的一致性，可以使用皮尔逊相关系数，或者计算每个体素的T值在两种条件下的差异（但是这种不太好解读，因为差异不是一个标准化的度量）。
  3. 上面两种方案是评估统计分析结果的一致性，也可以考虑原始指标的一致性，就是评估两种条件下比如ReHo图的一致性，因为ReHo图也是连续图谱，所以也可以考虑相关系数或者差异图。此外，也可以计算组内相关系数（ICC，test-retest reliability最常用的统计量），因为这个时候每个被试都有两张图，可以把50TR和80TR当作重测。
  4. 我自己感觉1或者2是最简单而且和研究结论最相关的。
6

感谢Alex的回复，我大概明白该如何做了