HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0

浅析腾讯TDW对Hive的应用和优化

作者:赵伟腾讯优化postgresql分布式数据仓库应用数据平台海量数据存储分析服务

摘要:腾讯分布式数据仓库(Tencent distributed Data Warehouse,以下简称TDW)是腾讯工程技术事业群数据平台部基于Hadoop、Hive、PostgreSQL研发的大数据处理平台,并在它们的基础上做了大量优化。目前TDW是腾汛内部规模最大的分布式系统,集中了腾讯内部各个产品的数据,为腾汛的子个产品提供海量数据存储和分析服务,包括数据挖掘、产品报表、经营分析等服务。TDW平台现在的机器总量达到5.000台以上,最大集群约2,000个节点,覆盖嘴讯90%以上的业务产品。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

程序员

《程序员》(CN:11-5038/G2)是一本有较高学术价值的月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。

杂志详情