专题：hadoop
共8篇相关文章
Hive数据存储格式有哪些特点和应用场景？
0 序言 续接[数据存储] 浅谈大数据领域的数据存储格式：ORCAvroParquetArrow- 博客园千千寰宇，展开回顾一下 Hive 的数据存储格式。 1 概述： Hive Hive支持多种存储格式，选择合适的存储...
如何将Hive大数据系统应用于分析？
1.概述 在构建大数据分析系统的过程中，我们面对着海量、多源的数据挑战，如何有效地解决这些零散数据的分析问题一直是大数据领域研究的核心关注点。大数据分析处理平台作为应对这一挑战的利器，致力于整合当前主流的各种大数据处理分析框架和工具，以实现...
如何将Hive源码解析为？
1.概述 Apache Hive是一款建立在Hadoop之上的数据仓库工具，它提供了类似于SQL的查询语言，使得用户能够通过简单的SQL语句来处理和分析大规模的数据。本文将深入分析Apache Hive的源代码，探讨其关键组件和工作原理，以...
Hadoop和Spark大数据挖掘与实战，如何高效应用于实战场景？
1.概述 本节将系统讲解大数据分析的完整流程，包括数据采集、预处理、存储管理、分析挖掘与结果可视化等核心环节。与此同时，我们还将对主流数据分析工具进行横向对比，帮助读者根据实际需求选用最合适的工具，提升数据价值挖掘的效率与深度。 2.内容...
如何将CentOS7系统配置为Hadoop2.10的完全分布式环境？
本篇介绍在centos7中大家hadoop2.10完全分布式，首先准备4台机器：1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn（namenode） 19...
如何将CentOS7系统上搭建的Hadoop2.10实现高可用性（HA）配置？
本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jn(journalnode)；3台zk(zookeeper) IP hostname 进程 1...
如何将hadoop-2.10.0安装与配置hive-2.3.6？
公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：https:hive.a...
如何配置Spark3.0.1在YARN集群模式下的详细日志？
对于spark前来围观的小伙伴应该都有所了解，也是现在比较流行的计算框架，基本上是有点规模的公司标配，所以如果有时间也可以补一下短板。 简单来说Spark作为准实时大数据计算引擎，Spark的运行需要依赖资源调度和任务管理，Spark自带了...