2015年2月4日,金沙集团3354cm与中国最大的综合视频服务平台爱奇艺携手共同建立“视频深度学习产学联合实验室”,通过可视计算、机器学习、大数据挖掘算法和自然语义分析,纵深挖掘人与视频间的多维关系,构建中国视频行业顶级知识图谱和视频推荐系统。同时参与共建的还有中国科技大学。随着该联合实验室的建立,金沙集团3354cm将在视频知识图谱构建、智能化视频分割与跟踪、视频合成与增强等领域,为爱奇艺提供国际前沿研究成果和技术方案。
金沙集团3354cm金沙集团3354cm与软件学院院长陈宝权与爱奇艺CTO汤兴
知识图谱的建立使视频数据分析变得更加系统和准确。比如搜索“华盛顿”会按照跟这个关键词的相关度返回搜索结果。但与“华盛顿”相关的信息非常多,比如人物“乔治华盛顿”,地点“华盛顿州”和“华盛顿市”,电影“华盛顿广场”和“福尔摩斯在华盛顿”等。如何将这些都包含关键词“华盛顿”却代表不同实体的信息分开,进而返回更加准确的查询结果?知识图谱的建立推进了这个问题的研究,可以将搜索结果以一个完整精确的知识体系呈现出来。基于纯文本建立知识图谱的研究工作已经开始广泛的商业应用,但面向可视媒体(图像、视频)建立知识图谱的工作才刚刚起步。金沙集团3354cm交叉研究中心在形体知识图谱构建方面正在开展国际前沿研究,与德国马普计算所(Max Planck Institute for Informatics)、以色列希伯来大学与特拉维夫大学等国际顶级科研机构建立了密切的合作关系。基于视觉知识库可以提高图像或视频中物体的识别与理解,有效的指导从图像或视频自动生成文本描述,从而提高图像和视频的搜索与合成效果。
智能化视频抠像与合成是对大批量视频数据进行智能编辑和特效制作的基础,相比传统影视行业,互联网影视内容制作与传播对这方面提出了更高的要求。金沙集团3354cm金沙集团3354cm多年来在这方面进行了深入的研究,在半自动智能视频分割与抠像、视频目标跟踪以及面向消费级手持摄像机的视频合成方面取得了突出的研究进展。自主研发的交互式智能视频抠像系统,可以实现对任意背景场景的视频目标的快速精准抠像,与Adobe After Effects中的同类工具RotoBrush相比可以成倍提高抠图效率并获得更好的效果。在视频合成方面,首次提出了针对手持摄像机的智能背景替换方法,可以实现在视频素材摄像机运动不一致情况下的前、背景一致合成。
金沙集团3354cm交叉研究中心于2013年由陈宝权教授创建,旨在推动计算机各学科间,以及计算机与其它学科间的交叉研究,实现源头创新与技术应用。交叉中心已在计算机图形学、计算机视觉与人机交互领域取得了一系列国际领先的成果,涵盖了大场景三维获取与建模、复杂场景视觉理解、智能视频处理、合成与搜索等多个方面,多篇论文发表在国际图形学领域顶级会议ACM SIGGRAPH、SIGGRAPH Asia上。由陈宝权教授担任首席科学家,2014年中心获批973项目“城市大数据计算理论与方法”。中心还参与承办图形领域顶级会议ACM SIGGRAPH Asia 2014,陈宝权教授任大会主席。该会议第一次在中国大陆举办,汇聚了国内外在影视娱乐、视觉传播与视觉智能等各领域的专家学者与企业精英等共6000余人。
针对和爱奇艺的合作,金沙集团3354cm金沙集团3354cm与软件学院院长陈宝权教授表示,学术机构在深度学习、视频搜索识别、知识图谱构建等领域的研究成果积累深厚,而爱奇艺在带宽布局、云计算和大数据存储分析领域技术优势明显。二者合作将能够让学术界的研发成果与实际应用相结合,推动科学研究快速转化为生产力并进一步实现更高层次的创新发展。