集团站切换校区

验证码已发送,请查收短信

图标

业界新闻

当前位置:首页 > >业界新闻 > >

大数据常用组件有哪些

发布时间: 2023-01-13 15:52:09

在对大数据系统有了初步了解后,要知道大数据系统的架构其实是不一样的,要根据企业各自的需求来选择合适的组件来构建自己的系统,那么常见的组件有哪些呢?它们各自的作用是什么?下面介绍了大数据系统中常用的组件。

大数据常用组件有哪些

1、Hadoop

Hadoop是大数据系统的基础组件,许多其他分布式存储和数据处理组件都建立在它的基础上,它是Apache旗下的一个开源软件平台,还包括HDFS(分布式文件系统)、YARN(运行调度系统)和MapReduce(分布式编程运算框架)。

2、HDFS

HDFS是一个用于存储文件的分布式文件系统,由许多服务器组成,它们连接在一起,为各种分布式计算系统(MapReduce、Spark、tez)提供功能和数据存储。

3、YARN(Yet Another Resource Negotiator),

一个负责作业调度和集群资源管理的资源协调者。

4、MapReduce

这是一个分布式计算编程组件,它将一个算法抽象成两部分,少量的代码可以实现大量数据的并行离线计算。

5、HIVE

这是一个基于大数据技术(文件系统+计算框架)的SQL数据仓库工具,它将结构化的数据文件映射到数据库表中,实现了简单的SQL查询,并可以将SQL语句直接转换为MapReduce任务来执行。

6、Hbase

一个基于Hadoop的分布式海量数据库,一个建立在HDFS上的分布式列数据库。HBASE是Google Bigtable的一个开源实现,但有许多不同之处。

大数据常用组件有哪些

上一篇: 华为认证hcia有必要吗

下一篇: 大数据的数据处理方法有哪些

在线咨询 ×

您好,请问有什么可以帮您?我们将竭诚提供最优质服务!