混合现实技术下的医疗场景，维卓致远用3D场景精准定位病灶
人工智能与医学影像的碰撞
人工智能技术具体应用在医学影像的诊断上，主要分为两部分：一是图像识别，应用于感知环节，其主要目的是将影像这类非机构化数据进行分析，获取一些有意义的信息;二是深度学习，应用于学习和分析环节，是AI应用的最核心环节，通过大量的影像数据和诊断数据，不断对神经元网络进行深度学习训练，促使其掌握“诊断”的能力。
医学影像数据实际上是报告+影像。单单分析影像本身还不够，更重要的是对影像本身所对应的诊断报告也要加以分析。而中国的影像诊断报告呈现出因医生而异的显著特点，由于影像诊断受医生的个人习惯、执业医院、教育背景等因素影响，导致了不同地区不同医院的影像报告标准不一致的情况。
AI+影像存在的问题
1、数据获取
数据是深度学习算法所需的核心资源，仅掌握算法而缺乏数据无法获得较好的训练效果。现阶段，我国的医疗影像仍处于从传统胶片向电子数据过渡的阶段，大量影像资料尚未数字化，且医院之间的数据共享和互通程度较低，获取大规模的数据对业内公司是一个考验。
2、数据标注
在获取数据的基础上，深度学习结合先验知识对模型进行训练，训练集需要事先标注。由于大多数标注依赖人工识别，因此数据标注将耗费大量人力和时间，在医疗影像领域获取具有高可靠性的标注数据也成为挑战之一。
3、“AI+医疗”跨学科人才积累
在较为专业的诊疗领域，应用及平台开发者不仅要研究人工智能算法，更要对医疗影像识别建立深入了解，人工智能+医疗的复合背景人才具备最核心的竞争力。
MR在医学影像中的应用
随着科技的发展，AR与VR已经融入到大众的生活当中，从2009年高通、可口可乐等知名企业对AR(Augmented Reality，增强现实技术)和VR(Virtual Reality，虚拟现实技术)深入研究开始，新颖的表达方式以及身临其境的体验方式，使AR和VR吸引了一众粉丝，而后兴起的MR(Mixed Reality，混合现实技术)等新型数字技术也展现出了极大的潜在价值。与AR和VR不同的是，MR是将虚拟世界与现实世界融合的同时进行实时交互和信息的及时获取，增强了用户体验的真实感，具有真实性、实时互动性以及构想性等特点。混合现实不仅有潜力创造出新的市场，还将颠覆当前的一些市场，医疗保健正是其中的一个领域。
维卓致远借助微软的HoloLens混合现实眼镜，利用全息影像的方式解决了传统医疗胶片平面化、不能共享的问题，也解决了产品耗费大量时间进行深度学习的问题，最重要的是维卓致远汇集了兼具医学与算法的研发人员，保证了产品的专业性和精确度。
混合现实医学现状
·混合现实医学产品(第一阶段)：智能处理医学影像数据并通过混合现实技术全息呈现，可视化临床、教学过程。
·MR数字医学平台(第二阶段)：云端智能存储、处理、分享全息数据，混合现实连接异地医疗场景。
·可视化智能医学生态(第三阶段)：高度可视智能化医学数据分析与临床手术操作过程，通过“人+机器”的智能赋能医生。
现阶段混合现实医学产品和MR数字医学平台已经实现，可视化智能医学生态还处在研发阶段，高度可视化的医学数据分析需要大量的医学影像学数据，但是鉴于医院的影像数据属于非公开资源，所以目前还没有更好办法实现补偿算法的训练。
混合数字医学平台的应用
星影混合现实显示系统
星影混合现实显示系统是一款基于混合现实技术的影像数据全息体素渲染阅片工具，在医生需要快速识别影像做诊断的时候，应用星影进行辅助。星影不需要人工操作和学习，医生只需要把CT、核磁影像数据导入影像数据，通过系统智能分析并体绘制渲染至混合现实眼镜，无需人工重建3D模型，就可以在眼镜里出现实时的全息模型，包括模型重建也可以在系统里面完成。医生需要搭配混合现实眼镜，通过二维结合三维的体素渲染方式来观看影像数据，或者可以体验在立体影像数据上模拟手术路径、置入植入体等临床环节，有利于手术方案策划与制定，以便于做出更科学更高效的诊断。
图1 星影混合现实显示系统操作步骤
星图混合现实显示系统
星图混合现实显示系统是一款混合现实医学影像阅片工具，在导入医学影像数据后，经系统智能处理，医生可以通过混合现实眼镜从任意角度全息浏览病例立体模型，提高医生对病灶中各组织空间位置关系的认知能力。星图的特点是支持多人观看，目前最多支持七台眼镜同时观看。但它不同于星影的平面绘制，在星图中，病例的各个单独模型都能独立拆分，换成任意想要的颜色，每个单独的模型都能进行显示隐藏的操作或是调节透明度。比如隐藏掉皮肤，只看血管和肿瘤的位置关系，也可以做一些标注，支持从任何角度去观看模型，适合深度的观察和讨论病例。星图为医生提供了更具参考价值的影像信息，把手术部位立体模型置于手术视野中，通过调整位置、透明度、大小等参数，获取更多与病灶相关的信息。
图2 星图混合现实显示系统
星航混合现实导航系统
星航是一款用于术中实时导航和教学培训方面的系统，可以跟踪手术器械的实时位置信息，比如探针的深度和角度的位置信息，将空间信息在混合现实中进行呈现。是一套非常精准的导航工具，能够帮助医生高效精准的完成手术。它用在医学教学上，可以帮助学生做临床医学操作上的培训。
图3 星航混合现实导航系统
星云混合现实数字医学平台
星云是一套在线混合现实协同系统，在线注册账号并在HoloLens和网页上登陆后，可以上传立体模型，并且还可以对立体模型进行编辑、处理、存储、分享，在戴上HoloLens之后,也可以浏览自己的或者被分享的立体病例，同时也可用于远程医疗。
