使用增强现实技术进行前列腺癌诊断的徒手实时针头指导
![The HoloLens AR system components and workflow. (a) A CIRS 048A multimodality pelvis phantom with patient reference frame attached on the MRI/CT table. Insertion: close up view of front and back of the patient reference frame. (b) A DICOM volume was sent to the AR planning software for segmentation of anatomic features, interventional planning, and transformation between the reference frame and MRI/CT coordinates. (c) The anatomic features and interventional planning (e.g., needle path) uploaded and displayed on the HoloLens relative to the patient reference frame. Once the needle reference frame was tracked by HoloLens, the digital needle (identified by green arrow) was overlaid on the actual needle. Credit: Journal of Medical Imaging (2023). DOI: 10.1117/1.JMI.10.2.025001 使用增强现实技术进行前列腺癌诊断的徒手实时针头指导](https://scx1.b-cdn.net/csz/news/800a/2023/free-hand-real-time-ne.jpg)
根据美国疾病控制和预防中心的数据,前列腺癌是男性癌症死亡的第二大原因。诊断和治疗前列腺癌的标准方法之一是经会阴(TP)活检。这包括在会阴壁插入一根针来收集组织样本。
目前的TP活检方法一般包括术前MRI扫描和经直肠超声。然后将这些图像融合在一起,并在监视器上显示给泌尿科医生,然后由医生插入针.针插入可以徒手进行,也可以通过基于网格的方法进行。然而,由于这种方法涉及在2D中可视化3D区域,因此针的可视化和引导可能具有挑战性。
为了解决这个问题,由美国国立卫生研究院的李明博士领导的研究小组提出了一种基于一种神经网络的方法增强现实(AR)系统称为HoloLens。在他们最近发表的论文中医学影像杂志,研究人员报告了他们的AR HoloLens系统的准确性和有效性,该系统可用于投射MRI和成像超声图像直接在病人身上,帮助引导针头到达目标。
李教授表示:“目前的方法有一定的局限性。机器人辅助指导成本高昂,还会增加手术时间,而其他方法则需要将针头穿过前列腺外侧的特定路径。这些问题都是通过HoloLens AR系统解决的,该系统为医生提供了使用自由方法的能力。”
HoloLens AR系统使用体积3D扫描,如核磁共振扫描,为泌尿科医生创建患者视图。使用患者的参考数据,MRI扫描可以正确地叠加到患者身上。然后,这张叠加的图像被输入泌尿科医生佩戴的HoloLens护目镜,医生不仅可以看到患者,还可以看到患者的核磁共振成像,并将其正确对齐。通过移动头部,他们可以从不同角度观看图像。HoloLens还可用于实时显示预先规划的患者针路、前列腺的目标组织以及针的位置。
研究人员使用3d打印的模型测试了AR系统的图像覆盖精度和针瞄准精度。采用徒手引导和计划路径引导两种方法引导针进入凝胶假体。在此之后,研究人员记录了针的放置错误。此外,他们还使用该系统将软组织标记物传递到人类骨盆假体的肿瘤上。
他们发现,与徒手制导和计划路径制导相关的放置错误是相似的。此外,所有软组织标记物均植入肿瘤内或肿瘤附近。
“HoloLens有潜力提供比目前基于网格的TP方法更大的灵活性,并且可以准确地做到这一点,”李说。“通过提供3D沉浸式体验,HoloLens AR系统使徒手病变定位成为可能。随着针头手术从直肠转移到会阴,AR系统可以通过解决前列腺干预手术相关的问题,为医生和患者提供巨大的临床价值。”她总结道。
更多信息:李明等,经会阴徒手前列腺手术HoloLens增强现实系统,医学影像杂志(2023)。jmi.10.2.025001 DOI: 10.1117/1.