星环科技：国内首个Spark框架大数据平台软件

　　在刘慈欣笔下的《三体》是一部硬科幻小说，里面有这么一家公司叫星环，建立在木星的星环之上，这家公司聚集了人类最优秀的一批科学家，建造出了太阳系第一艘超光速飞船——星环号。在今年举办的2013 Hadoop 高峰论坛上，笔者见到了真实世界中的星环公司。

　　星环信息科技(上海)有限公司是一家高科技 大数据 创业公司。由前 Intel 亚太研发有限公司 数据中心 软件研发经理孙元浩创办， 致力 于大数据基础软件的研发，包括Apache Hadoop2.0，并超过Hadoop，提供高于开源Hadoop版本10x—100x倍性能提升的大数据分析平台，可处理GB到PB级别的数据。就在本次论坛上，星环科技发布了国内首个基于Spark和Hadoop2.0的大数据平台软件——Transwarp Data Hub(以下简称Transwarp DH)。

　　星环信息科技发布会现场

　　Spark计算框架比Hadoop就是快

　　Transwarp DH是基于Apache Spark计算框架的大数据平台软件，相较于开源的Hadoop2.0来说在大数据分析的性能上要快10—100倍，同时Transwarp DH可高速处理GB到PB级的数据，应用范围覆盖了各种规模和不同数据量的 企业 。除此之外Transwarp DH包含Hadoop2.0、Spark和Shark，具有高 模块 化和松耦合的四层架构，针对不同的应用领域通过组件之间的灵活组合与高效协作来提供定制化的支持。

　　Transwarp DH的核心数据处理模块是基于内存的高效计算引擎Spark驱动，相比广泛使用的MapReduce框架，消除了频繁的I/O 磁盘 访问。此外，Spark引擎还采用了轻量级的调度框架和多线程计算模型，相比Mapreduce中的进程模型具有极低的调度和启动开销，除带来更快的执行速度以外，更使得系统的平均修复时间被极大的缩短。在数据 存储 层Transwarp DH为Hbase 数据库 构建了二级索引和高维索引，从而满足在线存储和在线业务分析系统(OLAP)的低延时需求。此外，Transwarp DH还扩展了Shark，实现了基于内存的高效分布式列式数据存储和索引来加速各种结构化数据的访问。综合在执行引擎及数据存储层上的优化，使得Transwarp DH比开源Hadoop 2.0的执行速度快10到100倍，当数据全部装载到内存后，能在10秒内分析30亿条记录(500GB数据)。

　　星环科技联合创始人兼 CTO 孙元浩

　　 大数据时代 该有的数据分析能力

　　大数据的真正价值在于分析，将大数据放在数据分析师手中，交互式地探索数据，获得 洞察 并发现模式和趋势，以便展开进一步的分析及决策已经变得越来越重要。孙元浩指出：“目前在NoSQL数据库上实现SQL已经是一种趋势，Transwarp DH支持了完整的HiveQL语句集，并对HiveQL进行了扩展，对执行速度进行了优化。”通过优化的高速执行引擎Spark来支持交互式的SQL查询，使得实时和交互分析变成可能。

　　Transwarp DH包含了经过高度优化的专有图形算法(组成专有的DeepGraph算法库)，可高速分析关联关系网络等图数据。Transwarp DH同时集成了R统计引擎，集群的节点都能在本地运行R统计分析功能来处理HDFS或者Hbase中的数据，从而使得Transwarp DH成为在大数据的数据挖掘和可视化应用领域的利器。此外，Transwarp DH还集成了机器学习算法库Mahout，包含了聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。

　　有了数据分析能力的同时，与现有系统的整合是Transwarp DH所看重的另一个问题，Transwarp DH与现有成熟系统整合涉及了数据获取、数据分析以及 数据可视化 。传统的 关系型数据库 的数据可以直接作为数据源接入到集群中参与计算分析，目前已经支持的软件有 Oracle 、DB2和MuSQL。数据分析层与R语言的整合带来了R的数千种统计算法;数据可视化不仅可将最终分析结果展示给用户，还可以帮助数据分析师来进行数据探索来发现和解决新问题。

　　合作伙伴支持计划

　　在市场方面，星环科技推出了合作伙伴支持计划，期望与各行业的ISV、 系统集成 商、Hadoop服务商进行深入、双赢、长期的合作. 孙元浩表示：“希望产品能为合作伙伴带来新的大数据商机，新的客户，和丰厚长期的回报。这次推出的本土合作伙伴计划，提出了8条具体的对合作伙伴的支持 方案 。”

　　1、通过系统的学习和实践，培养Hadoop技术高手，为你所在的公司开展更多自己的服务业务。

　　2、售前工程师的培养，让你可以应对大数据的项目

　　3、实施和安装部署人员培养

　　4、为合作伙伴的重要项目提供售前方案支持

　　5、为合作伙伴提供POC和性能调优支持

　　6、定期以沙龙等形式更新国际最新的Hadoop，Spark等技术动向

　　7、定期分享国内最新的成功案例及方案

　　8、潜在项目的分享