加入收藏 | 后台管理 | 学校主页

罗笑南团队海量医疗信息的智能检索系统和分析不断进取达到国际前沿

作者: 时间:2019-08-18 点击数:

1. 基于多线索的生物医学视频可视化导航系统

随着医学教育视频资源数量的急剧增长,传统的基于文本关键词的视频检索技术已难以满足用户从海量资源中检索所感兴趣的内容的需求。因此,本项目提出了一种通过镜头分割、语音识别和光学字符识别等多种技术对视频内容进行提取的算法,并将提取到的内容通过系统的可视化组件直观全面地呈现给终端用户的生物医学视频可视化导航系统。该系统首先提取视频的关键帧,并对关键帧进行图像融合,然后结合语音识别与光字符识别来获取视频中的文字信息,最后呈现给用户融合后的图像与关键的文字信息,使得用户可以在不浏览视频的前提下更加准确快速地定位到感兴趣的视频和内容节点,大大提高用户浏览视频和查找内容的效率。相关研究成果发表在国际期刊Journal of the American Medical Informatics Association和国际会议ACM Multimedia

系统框架

生物医学视频检索结果可视化用户视图

2. 基于相似绘画风格的手绘2D、3D模型检索方法

手绘草图是人们交流和表达过程中使用的一种简单直接的方式。近年来,基于手绘草图的交互方法被广泛应用在二维和三维模型的检索系统中。现有的方法主要是将手绘草图与三维模型的投影视图进行匹配,然而由于用户草图与投影视图差异性较大,已有的模型检索系统很难达到令人满意的效果。我们提出了一种基本相似绘画风格的模型检索方法,首先利用三视图手绘数据库学习相似模型的手绘风格,在模型匹配阶段,我们将用户手绘草图与历史用户的手绘草图进行相似性比较。由于当前用户与历史用户的绘画风格可能存在很大差异,我们提出了有效的方法来解决用户绘画风格的个性化偏差。实验结果表明,与同类方法相比,我们的方法显著地提高了模型检索的性能,在用户搜索体验方面也优于同类方法。由于普通用户在绘图方面表现不专业,因此可能在绘画中引入自己特有的风格而不是根据模型的几何视角来渲染模型。我们提出了一种新的基于用户手绘三视图的风格敏感的三维模型检索系统。该方法对用户个性化的手绘风格进行建模并构造联合张量分解来提高模型检索的性能。该研究成果发表在期刊Computer Graphics Forum, Journal of Intelligent & Fuzzy Systems、国际会议SIGGRAPHAsia 2016、期刊Journal of Intelligent & Fuzzy Systems

算法框架及检索结果

3. 基于显著边缘特征的图像检索方法

医疗信息中包含了丰富的图片信息,而显著边缘特征是抽象表达形状的一种重要方式。本项目提出了一种新的显著边缘元素的提取与匹配算法,从形状与空间拓扑两个方面来进行匹配,并利用兴趣区域与相关反馈技术来自动的推导不同显著边缘元素的所占的权重,给出了一种优化的权值分配方案。研究成果发表于Journal of the American Society forInformation Science and Technology

算法框架及显著边缘特征分析

4. 基于双模型属性预测的零样本图像分类方法

本项目针对图像的零样本学习分类问题,结合利用了机器学习中成熟的集成学习(Ensemble Learning)策略,在属性预测的结果上对DAP IAP 模型进行集成,以提高属性预测的准确率。该模型的低层采用了极少的训练数据训练了上百个支持向量机,用于构造DAP 模型与IAP 模型;在属性预测层尝试了4 种不同的集成策略以适应不同的复杂度要求。研究成果发表于国际会议ACM MM 2014

算法框架

[1] Baoquan Zhao, Xiaonan Luo, Shujin Lin, Songhua Xu, Lian Duan. A new visual navigation system for exploring biomedical Open Educational Resource (OER) videos. Journal of the American Medical Informatics Association, 2015, 23(e1): e34-e41.

[2] Baoquan Zhao, Shujin Lin, Xiaonan Luo, Songhua Xu, Ruomei Wang. A Novel System for Visual Navigation of Educational Videos Using Multimodal Cues. Proceedings of the 25th ACM international Conference on Multimedia, 2017:1680-1688.

[3] Fei Wang, Shujin Lin, Hefeng Wu, Ruomei Wang, Xiaonan Luo: Data-driven method for sketch-based 3D shape retrieval based on user similar draw-style recommendation. SIGGRAPH Asia Posters 2016: 34

[4] Fei Wang, Shujin Lin, Xiaonan Luo, Hefeng Wu, Ruomei Wang, Fan Zhou: A Data-Driven Approach for Sketch-Based 3D Shape Retrieval via Similar Drawing-Style Recommendation. Comput. Graph. Forum 36(7): 157-166 (2017)

[5] Yuhua Li, Songhua Xu, Xiaonan Luo, Shujin Lin. A new algorithm for product image search based on salient edge characterization. Journal of the Association for Information Science and Technology, 2014, 65(12): 2534-2551.

[6] Hanhui Li, Donghui Li, Xiaonan Luo. BAP: Bimodal Attribute Prediction for Zero-Shot Image Categorization. ACM MM , 2014:1013-1016.

2014-2019 © 广西图像图形与智能处理重点实验室
通讯地址:广西壮族自治区桂林市七星区金鸡路1号
邮编:541004