1、HadoopHadoop 采用 Map Reduce 分布式计算框架,根据 GFS开发了 HDFS 分布式文件系统,根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo,Facebook,Amazon 以及国内的百度,阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。
2、Spark
Spark 是在 Hadoop 的基础上进行了一些架构上的改良。Spark 与Hadoop 最大的不同点在于,Hadoop 使用硬盘来存储数据,而Spark 使用内存来存储数据,因此 Spark 可以提供超过 Ha?doop 100 倍的运算速度。由于内存断电后会丢失数据,Spark不能用于处理需要长期保存的数据。
3、 Storm
Storm 是 Twitter 主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性,可以实时的处理大e799bee5baa6e58685e5aeb931333361323563数据流。不同于Hadoop和Spark,Storm不进行数据的收集和存储工作,它直接通过网络实时的接受数据并且实时的处理数据,然后直接通过网络实时的传回结果。
4、Samza
处理实时数据,非常像Twitter的流处理系统Storm。不同的是Sam?za 基于 Hadoop,而且使用了 Linked In 自家的 Kafka 分布式消息系统。
更多计算机考试问题,欢迎咨询广西优就业小优老师:【19195826075】别忘了我们还有优就业求职交流群,来群里找我们吧!关注公众号,领取计算机备考资料、足不出户了解互联网新鲜事儿~
>>本文地址:http://guangxi.ujiuye.com/cjwt/326.html
声明:本站稿件版权均属中公教育优就业所有,未经许可不得擅自转载。
1 您的年龄
2 您的学历
3 您更想做哪个方向的工作?
上一篇 Http怎么处理长连接?
下一篇 学完UI可以去P婚纱照不
Java
Ui
大前端
软件测试
Python
PMP
软考