前言 2016年，Hadoop迎来了自己十周岁生日。过去的十年，hadoop雄霸武林盟主之位，号令天下，引领大数据技术生态不断发展壮大，一时间百家争鸣，百花齐放。然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己…

elasticsearch-hadoop可以看作是一个connector,使得数据可以在hadoop和elasticsearch之间双向流动。从架构上看，elasticsearch-hadoop集成了两个分布式系统：ha…

使用java API操作HDFS，老师说只要掌握了FileSystem这个类就OK（的确，翻了源码，这个类里面的内容还真不少）。 下面写上JAVA操作的代码： “`java package HDFS; imp…

1、pid说明 pid就是进程号，hadoop组件启动之后会把各自进程的进程号信息写到文件中存储，hadoop执行停止shell的时候会到该文件中查找pid，然后kill掉。 2、默认存储路径 各进程的存储路径默认是存在…

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop其实只是一种数据处理的框架，具体去处理什么问题，不是平台本身决定的。hadoop的出现时源于现实中存储和需要分析的数据的激增，最终要解决什么…

HDFS 工作原理 HDFS 架构 HDFS 架构 如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。 NameNode：是M…

Hadoop Streaming Hadoop streaming是Hadoop的一个工具， 它帮助用户创建和运行一类特殊的map/reduce作业， 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当m…

组件 |Daemon |端口 |配置 |说明 –| HDFS |DataNode |50010 |dfs.datanode.address |datanode服务端口，用于数据传输 | |50075 |dfs…

正文之前 今天很气愤！！想要学点东西，但是老是被环境所限制。Hadoop这个见鬼的环境，我只是运行单机模式，结果就是都不成功。好不容易磕磕盼盼的终于把啥缺的东西都找出来了结果最后还是失败了。暂时我真的不想去看失败记录，因…

1 准备工作 1.1 节点准备 在开始安装系统之前，我们需要先准备5个节点，他们均通过CentOS 7 Minimal方式安装。网络及系统规划如下： 主机名称 IP地址 操作系统 身份 master 192.168.13…

hadoop 2.9 +vmware 完全分布式环境搭建 环境概要 Linux：Ubuntu 16.04 hadoop：Hadoop 2.9.0 jdk：1.8.0 vmware：14.0 pro 第一部分Linux环境…

image.png 老大之前在百度，由于shell 和awk 写的溜，所以他总是推荐 使用shell 和awk 来跑 hadoop streaming 【hs】，hs还真是一个好东西，不需要编译，想怎么执行就怎么整，还不…