基于Hadoop的分布式视频处理

作者：卞涛; 罗泽; 马永征视频处理hadoop分布式htcondorhdfs

摘要：中国科学院计算机网络信息中心与青海湖保护区管理局合作,共同建设了青海湖野外网络视频监控。如何高效地处理每天产出的超过100GB的视频数据成为了一个难题。现在的视频处理系统采用计算和存储相分离的架构,这需要配置较高的专门服务器进行支撑,本文基于廉价扩展性能较好的Hadoop平台对视频处理做出了分布式的实现,并对单个视频文件做出了分布式转码的实现。同时,本文将基于Hadoop的分布式视频处理的实现和基于HTCondor的分布式视频的批处理实现进行了对比,实验证明,在不损失视频处理效率的条件下,基于Hadoop的分布式视频处理的实现拥有分布式文件系统支撑、完善的任务监控等优势。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社