谷歌利用AR技术实时检测癌症

谷歌在美国癌症研究协会(AACR)年会上发表演讲,介绍论文《An Augmented Reality MicroScope for Real­time Automated Detection of Cancer》(under review)。演讲介绍了一种增强现实显微镜(ARM)原型平台,有望帮助加速和促进世界各地病理医生对深度学习工具的采用。该平台包含改良光学显微镜,可以实时地将图像分析和机器学习算法结果直接呈现。重要的是,ARM 平台可以利用低价、易获取的组件进行改造,以适应世界各地医院、诊所的现有光学显微镜,且无需分析组织的整张幻灯片数字图像。

谷歌利用AR技术实时检测癌症

深度学习在医疗领域的应用(包括眼科、皮肤科、放射科和病理科(pathology))显示了极大的前景,提高全世界高质量医疗的准确率和可用性。谷歌发布的研究结果(Detecting Cancer Metastases on Gigapixel Pathology Images),展示卷积神经网络能够检测乳腺癌在淋巴结中的转移,准确率堪比训练有素的病理医生。但是,由于使用复式光学显微镜得到直接组织可视化仍然是病理医生诊断疾病的主要手段,因此深度学习在病理科的传播和采用的关键阻碍是对微观组织数字表征的依赖。

现代计算组件和深度学习模型(如建立在 TensorFlow 之上的模型)使得该平台可以运行多种预训练模型。在传统的模拟显微镜(analog microscope)中,用户通过目镜观察样本。机器学习算法可以实时地将它的输出投影回光学路径上。这种数字投影在视觉上是叠加在样本的原始(模拟)图像上的,以帮助观察者定位或量化感兴趣的特征。重要的是,其计算和视觉反馈的更新是很快的,目前的实现以大约每秒 10 帧的速率运行,因此随着用户通过移动幻灯片和/或改变放大倍数来扫描组织,模型输出可以无缝地进行更新。

原则上,ARM 可以提供多种视觉反馈,包括文本、箭头、等高线、热图或动画,并且可以运行多种不同的机器学习算法来解决不同的问题,如目标检测、量化或分类。

作为 ARM 的潜在效用的展示,谷歌将其用于运行两种不同的癌症检测算法:一个在淋巴结样本上检测乳腺癌转移,另一个在前列腺切除术样本上检测前列腺癌。这些模型可以在 4-40 倍的放大率上运行,给定模型的输出结果通过绿线描绘的检测到的肿瘤区域进行展示。这些轮廓可以帮助病理医生集中注意力到感兴趣的区域上,而不需要遮挡潜在的肿瘤细胞外观。

相关文章