HVR高性能视频检索系统
视频是表达概念、思想和情感的最佳途径。随着智能手机的普及和5G网络的应用,人人成为视频内容的生产者、传播者和消费者。互联网传播的视频是否包含危害公共安全的内容、侵犯知识产权等不良信息。为了达到这个目标,我们把视频审核分解为两个任务:
- 发现不良视频,存入不良视频库;
- 查询视频是否属于不良视频库。
第1步主要靠人工实现;第2步是视频拷贝检测(也叫同源视频检索),可以用人工智能技术实现。
高性能视频检索(HVR,High-performance Video Retrieval)系统集成了专用SOC硬件芯片实现视频解码,采用最新AI技术实现了图像特征提取功能,运用基于图论的大规模高维度数据搜索算法实现了亿级图像毫秒级搜索的功能,该系统可引领高性能视频和图片检索的最新方向。
互联网传播的绝大部分内容都是视频数据。这些视频都是什么内容?是否包含危害公共安全的内容或者不良信息?能否设计一个系统,对实时传输中的视频流与事先收集的样本库进行实时比对,把完全一致的和近似的视频内容挑选出来?实现这个目的的技术即为视频检索。视频检索是一项基础技术,是机器视觉的一个分支。很多应用依赖于视频检索,如视频拷贝检测、视频内容分类、舆情监测和公共安全等。
高性能检索的难度
视频传播和存储的形式是经过编码压缩的数据,即码流。当前普遍使用的压缩编解码标准有H.264和 H.265,具有很好的压缩效果和较快的解码速率。视频码流只要经过一次解码再编码,就会有很大变化,这是因为编码过程有信号失真。如果对视频进行剪辑、编辑、渲染、加字幕、改变分辨率等处理,处理后的视频,即使内容基本相同,其码流也会有很大区别。因此无法根据码流判断视频内容。
对视频的任何改变就会引起再编码,比如改变分辨率、加字幕、加LOGO等。视频可以分解为图像帧。视频检索的问题转化为图像帧比对。
一个高清视频(1080P)用H.264编码后的码流约为6 Mbps,解码后的数据量为720 Mbps。一台高配置的服务器,用解码软件可以同时解码8路1080P视频。提取图像帧特征的常用算法是SIFT和SURF。提取的速度一般为2~4路视频的实时计算。特征检索的性能与样本库的容量有关。传统的K-D树进行大规模高维数据的比对,速度非常慢,可能达不到2路视频的实时比对。如果要对超过8路高清视频进行大规模样本库的检索,视频解码、特征提取和特征检索都有很大挑战。
恒扬数据研发的高性能视频检索(HVR,High-performance Video Retrieval)系统根据性能不同有两种规格(HVR-384和HVR-192)。HVR采用恒扬数据开发的专用硬件,具有业界领先水平。本产品集成了专用SOC硬件芯片实现视频解码,采用最新卷积神经网络CNN技术实现了图像特征计算,运用基于图论的大规模高维度数据搜索算法实现了亿级图像毫秒级搜索的功能,是一个软件和专用硬件结合的高性能解决方案,引领高性能视频和图片检索的最新技术方向。
• 专用硬件芯片解码
• AI芯片的CNN特征提取
• 大规模样本库检索
• 扩展支持图片检索、音频检索
系统优势
• 单机可支持384路1080P视频的解码和特征提取
• 大规模20万条视频样本库
• 支持集群部署
典型应用
• 以视频搜视频
给定一个短视频(即查询视频),在预先收集的视频库中确定查询视频的位置,返回匹配度最高的5个短视频位置。
• 以帧搜视频
给定一个视频帧图像,在预先收集的视频库中确定查询帧的位置,返回匹配度最高的5个位置。
• 智能抽帧
在近似的连续帧中,找出相似度较低的关键帧,尤其是换场的视频帧。
• 发现重复视频
在大量视频库中,发现内容相同的视频文件,实现对视频库的管理。