400-650-7353
您所在的位置:首页 > 常见问题 > 什么是大数据的主流框架?

什么是大数据的主流框架?

  • 来源:广西优就业网
  • 2021-01-30 23:26:40
  • 阅读()
  • 分享
  • 手机端入口

1、HadoopHadoop 采用 Map Reduce 分布式计算框架,根据 GFS开发了 HDFS 分布式文件系统,根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo,Facebook,Amazon 以及国内的百度,阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。

2、Spark

Spark 是在 Hadoop 的基础上进行了一些架构上的改良。Spark 与Hadoop 最大的不同点在于,Hadoop 使用硬盘来存储数据,而Spark 使用内存来存储数据,因此 Spark 可以提供超过 Ha?doop 100 倍的运算速度。由于内存断电后会丢失数据,Spark不能用于处理需要长期保存的数据。

3、 Storm

Storm 是 Twitter 主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性,可以实时的处理大e799bee5baa6e58685e5aeb931333361323563数据流。不同于Hadoop和Spark,Storm不进行数据的收集和存储工作,它直接通过网络实时的接受数据并且实时的处理数据,然后直接通过网络实时的传回结果。

4、Samza

处理实时数据,非常像Twitter的流处理系统Storm。不同的是Sam?za 基于 Hadoop,而且使用了 Linked In 自家的 Kafka 分布式消息系统。

 


 

更多计算机考试问题,欢迎咨询广西优就业小优老师:【19195826075】别忘了我们还有优就业求职交流群,来群里找我们吧!关注公众号,领取计算机备考资料、足不出户了解互联网新鲜事儿~


文章“什么是大数据的主流框架?”已帮助

>>本文地址:http://guangxi.ujiuye.com/cjwt/326.html

THE END  

声明:本站稿件版权均属中公教育优就业所有,未经许可不得擅自转载。

1 您的年龄

2 您的学历

3 您更想做哪个方向的工作?

获取测试结果
  • 大前端大前端
  • 大数据大数据
  • 互联网营销互联网营销
  • JavaJava
  • Linux云计算Linux
  • Python+人工智能Python
  • 嵌入式物联网嵌入式
  • 全域电商运营全域电商运营
  • 软件测试软件测试
  • 室内设计室内设计
  • 平面设计平面设计
  • 电商设计电商设计
  • 网页设计网页设计
  • 全链路UI/UE设计UI设计
  • VR/AR游戏开发VR/AR
  • 网络安全网络安全
  • 新媒体与短视频运营新媒体
  • 直播带货直播带货
  • 智能机器人软件开发智能机器人
 

快速通道fast track

近期开班时间TIME

 
TOP

 

实训类

  •  

    Java

  •  

    Ui

  •  

    大前端

  •  

    软件测试

  •  

    Python

 

 

考证类

  •  

    PMP

  •  

    软考