更新时间:2018-07-06点击:822
想必VR、AR大家都有所耳闻,MR(混合现实)听起来很高大上。实际上是VR和AR的一种结合。
利用MR技术,用户可以看到真实世界(AR的特点),同时也会看到虚拟的物体(VR的特点)。MR将虚拟物体置于真实世界中,并让用户可以与这些虚拟物体进行互动。最典型的MR应用场景,就是微软在HoloLense发布会上展示的用户可以在自家的客厅里大战入侵的外星生物的游戏。
MR=VR + AR=真实世界 + 虚拟世界+ 数字化信息
今年5月25日,在北京微软大厦举办的医学混合现实云启动大会上,呈现在眼前的,是一位男性骶骨肿瘤患者患病部位的三维模型。除了可以进行立体360度旋转、缩放外,绿色的肿瘤可被清晰地看到,其周围的动脉血管、骶骨等细节也能清晰地呈现。另外,还可根据需要选择想看的部位,去掉不想看的部位,以更好地了解病灶或模拟切除后缺损的立体构象。
首例MR骶骨巨大肿瘤切除术
全球首例MR先心病手术
3 月 27 日,全球首例在MR(混合现实技术)辅助下实施的复杂先心病手术在广东省人民医院成功完成,一名两个月大,体重约3公斤的肺动脉闭锁患儿获救,目前孩子恢复顺利。
一名 2 个月大的肺动脉闭锁患儿小丁(化名),躺在广东省人民医院心外科的手术台上,准备接受手术。
和往常不一样的是,手术前医生并没有坐在电脑前复习患者的 CT 影像资料,而是戴上了一副虚拟现实(MR)眼镜,这时,医生们眼前出现了与患儿解剖结构完全相同的虚拟三维心脏,只见医生双手在空中轻轻一捏,虚拟心脏放到了患者胸腔内,同实际心脏重合,借助影像的指引,精准找到病灶,手术仅仅花费了 4 个多小时就顺利结束 ……
MR技术通过读取病人的CT、核磁共振、X光片等数据,生成3D全息影像模型,戴上MR眼镜后即可看到。患者及家属同时佩戴MR眼镜,医生就可将3D影像拖到大家面前进行讲解,一目了然。还可将立体虚拟的病灶移动至手术视野,调整参数,与真实病灶相结合,为术中提供参考信息。
医生戴着MR(混合现实)眼镜做手术,将病人患病部位的3D全息影像模型在眼前缩放、旋转、改变透明度,还可把其与现实的病灶叠加重合,这一看似在科幻片中才会出现的场景,目前已成为现实。
在医学领域,被大众所熟知的核磁共振、X光技术等,最后生成的是二维胶片,医生需要看片,这也是最传统的医学呈现技术。但是,这一呈现方法不能直观显示,需要医生凭借经验在脑海中重构。
还有一些诸如3D打印、平面三维重建的医学呈现方法。3D打印虽可直观、立体显示,但成本较高,一旦成型无法修改编辑;平面三维呈现技术可立体显示,修改也方便,但其仍然依靠二维平面显示器,并非真正意义上的三维。
MR技术则通过读取病人的CT、核磁共振、X光片等数据,生成3D全息影像模型,戴上MR眼镜后即可看到。另外,还可将3D影像拖到现实空间,进行任意的缩放、旋转、改变透明度等操作,也方便修改、编辑、渲染,实现信息的精确传递与共享。
对于医患关系而言,这一技术有助于改变医患间存在的信息不对称问题。以往,医生向患者及家属介绍病情时,一些晦涩难懂的医学名词及片子,往往让他们难以理解。而通过这种技术,患者及家属同时佩戴MR眼镜,医生就可将3D影像拖到大家面前进行讲解,一目了然。
此外,还可将立体虚拟的病灶移动至手术视野,调整参数,与真实病灶相结合,为术中提供参考信息。
例如,可将骨折患者的骨折部位影像,叠加重合到真实的病灶上。正常情况下,医生无法看见病人的骨骼,但叠加图像后,相当于变得透明起来。若需要用螺钉固定骨折部位,医生就可随时了解钉子的方向、角度和进钉情况,如同拥有透视的“上帝之眼”。
MR技术也为远程医疗带来新的可能性。与视频、语音等方式的远程会诊手术不同,MR技术能够打破时空界限,将远程专家“带”进本地手术室。
混合现实技术在远程医学教育中也能发挥作用。远程医学教育目前仍存在不足之处,如解剖结构信息呈现不完善、教学过程中交互性差、学习者兴趣和体验感弱等,MR技术则能对这些问题进行相应的弥补。
通过实体教具与混合现实模型的叠加,可高效进行临床技能培训,提高学习效率,加速年轻医生成长,缩短医学生培养周期。
据不完全统计,目前国内150多家三甲医院、200多个专家都已体验过MR设备,有的已进入采购程序。
国 外
1. 西雅图初创公司Firsthand Technology
成立于1995年的西雅图初创公司Firsthand Technology致力于成为“医疗保健领域中的VR治疗领导者”,他们关注的重点是疼痛管理。这家公司帮助建立了VR疼痛控制领域,并且开发了首款VR镇痛应用《SnowWorld》。这款应用程序主要是为烧伤病人的恢复设计,患者将能探索一个雪人世界,暂时忘却一点烧伤疼痛。
2. 美国公司Virtual Reality Medical Center
自2001年以来便一直进行研究,已经推出了经过临床认证的产品,包括《Airport and Flight VR》、《Fear of Heights VR》和《Virtual Reality Pain Distraction》等等。
3.美国伊利诺伊州初创公司ImmersiveTouch
ImmersiveTouch自2005年便出现在公众视野之中,并已经获得了一笔未透露金额的融资。目前已经开发了一套专门的软件,允许外科医生在虚拟世界中复刻外科手术。
4.瑞士公司VirtaMed
创办于2007年,为医疗培训开发和生产极为逼真的外科手术模拟。
5. 以色列公司Surgical Theater
Surgical Theater创立于2010年,2015年10月,又获得HTC Vive 963万美元投资.Surgical Theater为神经外科手术术前计划与演练开发了专门的VR应用平台Surgery Rehearsal Platform。
6. 美国初创公司Regroup Therapy
成立于2011年,已经完成840万美元融资。Regroup Therapy正在开发一个专门的平台,让心理健康专家与患者在各种不同的情形下进行虚拟会面。这家的初创公司希望可以解决美国医疗保健资源短缺的问题。
7. 瑞士初创公司MindMaze
成立于2012年的瑞士初创公司MindMaze已经完成了1.085亿美元的融资,他们开发的VR程序可让患者以为瘫痪部位仍然在运转。这款程序在欧洲医院已经取得了巨大成功。
8.美国初创公司Applied VR
成立于2015年,已经完整了一笔未透露金额的融资,他们正致力于为患者提供逃离恐惧和痛苦体验的方法。
9.美国马萨诸塞州的初创公司Vicarious Surgical
成立于2015年,至今的融资额为320万美元。他们主要是为微创外科手术开发虚拟现实软件,但尚未透露他们具体的项目。
10.法国初创公司Revinax
成立于2015年,收购了另一家初创公司Surgevry。目前正在与部分著名大品牌进行合作,包括Stryker和Boston Scientific。
11.美国波士顿公司Osso VR
成立于2016年,刚刚完成了200万美元的种子轮融资,正在开发“集成先进手部追踪的VR外科模拟平台”。
02
国 内
1. 医微讯
医微讯前身为水晶石医疗事业部,2009年开始从事数字医疗媒体业务,2013年正式成立,依托之前建立的人体的九大模型数据库,开始在VR医学培训教育上施展拳脚。
2.北京触幻科技有限公司
北京触幻科技有限公司是一家致力于VR精准可视化技术,在医疗、教学、科研等领域研究、生产、培训相关服务的高新技术企业。目前公司研发的CHVR-I型医疗影像VR显示系统。
3. 上海领溯数字科技有限公司
领溯数字成立于2016年5月,是一家从事数字科技研发和应用的高科技公司,致力于为医疗行业提供数字化综合解决方案。
2016年8月与上海第六人民医院等医疗机构联合立项“虚拟现实影像辅助医疗系统”2016年12月与上海市第二军医大学、复旦大学附属中山医院、上海儿童医学中心国际医疗部等多家医疗机构开发虚拟现实医疗项目。
对比国内外,欧美国家VR医疗发展领先于国内。这是由于西方国家在医疗领域对虚拟现实技术有硬需求,很早就开始探索VR/AR/MR+医疗。
VR+医疗看似美好,能给医疗带来便利,但是虚拟现实技术与医疗领域结合的程中会遇到像硬件平台不成熟、算法不够准确、交互不够精确等难题。同时,由于部分患者和医生对VR认识不够充分,VR医疗产品在应用推广阶段常遭遇碰壁。VR医疗领域前景广阔,需要市场、技术、资本与医学共同努力。
E
N
D
数据、信息:net
图片:net
编辑排版:
正慕、杨雪莹