HDFS常用文件操作命令汇总

前言

掌握常用的hdfs文件操作命令是考验对hadoop集群运维的基本功,可以说是必须掌握的基础技能,本篇将常用的hdfs文件操作命令做一些汇总,方便日后快速查询备用

下面以具体的命令操作演示下常用HDFS文件操作命令的效果

环境准备

  • 确认hadoop服务已经开启可以正常使用
  • 确保 9870端口的web界面可以访问,方便查看效果
  • hadoop3.X之后,不推荐 以 hadoop fs 这样的操作命令,而是以 hdfs dfs 开头的命令

1、创建文件夹

hdfs dfs -mkdir 文件夹目录名称 【也可以 hadoop fs -mkdir 文件夹目录名称,不推荐】

hdfs dfs -mkdir /sanguo

《HDFS常用文件操作命令汇总》

2、上传文件到指定目录【剪贴】

hdfs dfs -moveFromLocal 本地文件存储路径 hdfs文件目录

在指定的目录下创建一个txt文件,比如我这里创建一个 yingxiong.txt文件
《HDFS常用文件操作命令汇总》

hdfs dfs -moveFromLocal ./yingxiong.txt /sanguo

执行成功后,到web界面上可以查看下上传的文件
《HDFS常用文件操作命令汇总》
《HDFS常用文件操作命令汇总》

但是move的话,上传到hdfs之后,本地的文件就删除了,可以看到yingxiong.txt已经没了

2、上传文件到指定目录【复制】

与moveFromLocal 对应的文件上传命令,只是复制,就可以使用 copyFromLocal

hdfs dfs -copyFromLocal 本地文件存储路径 hdfs文件目录

hdfs dfs -copyFromLocal    ./zhugong.txt /sanguo

《HDFS常用文件操作命令汇总》

3、上传文件到指定目录【复制】

与moveFromLocal 对应的文件上传命令类似的还有一个 put 命令,用法类似

hdfs dfs -put ./zhugong.txt /sanguo

4、文件内容追加

追加一个文件到已经存在的文件末尾

hdfs dfs -appendToFile ./yingxiong1.txt /sanguo/yingxiong.txt

《HDFS常用文件操作命令汇总》
这时去web页面上观察yingxong.txt文件内容

5、从hdfs下载文件到本地

hdfs dfs -copyToLocal /sanguo/zhugong.txt ./

《HDFS常用文件操作命令汇总》
文件下载,也可以使用get命令,生产环境更习惯用get,使用更简单

hdfs dfs -get/sanguo/zhugong.txt ./

6、查看文件目录下的文件信息

这个和linux命令的查看目录文件类似

hdfs dfs -ls /sanguo

《HDFS常用文件操作命令汇总》

6、查看文件内容

hdfs dfs -cat /sanguo/zhugong.txt

《HDFS常用文件操作命令汇总》

7、将文件从hdfs 的一个路径拷贝到另一个路径

使用创建文件命令创建二个新的文件夹,如 /suguo /wuguo ,然后将 /sanguo/zhugong.txt分别拷贝到这两个目录下

hdfs dfs -cp /sanguo/zhugong.txt /suguo   

《HDFS常用文件操作命令汇总》
《HDFS常用文件操作命令汇总》

8、将文件从hdfs 的一个路径移动到另一个路径

hdfs dfs -mv /sanguo/yingxiong.txt /wuguo

《HDFS常用文件操作命令汇总》

9、显示一个文件的末尾1kb的数据

这个和linux下查看日志前N行内容有点类似

hdfs dfs -tail /wuguo/yingxiong.txt

《HDFS常用文件操作命令汇总》
10、删除文件夹内的文件

hdfs dfs -rm /wuguo/yingxiong.txt

《HDFS常用文件操作命令汇总》
11、递归删除文件目录以及里面的文件

hdfs dfs -rm -r /suguo

《HDFS常用文件操作命令汇总》

12、统计文件目录大小

使用这个命令可以计算hdfs某个文件目录的大小

hdfs dfs -du -h /sanguo

《HDFS常用文件操作命令汇总》
这个结果从web界面也能一目了然,3个副本,每个副本大小是21B,一共63B
《HDFS常用文件操作命令汇总》

13、设置文件的副本数量

默认情况下,如果在配置文件中不做配置的话,副本数默认为3个,有时候并不需要那么多的时候,可以手动设置这个参数值

hdfs dfs -setrep 2 /sanguo/zhugong.txt

《HDFS常用文件操作命令汇总》
《HDFS常用文件操作命令汇总》

14、修改文件所属权限

和 linux 中的 -chgrp、-chmod、-chown 类似,比如给某用户设置对文件的操作权限为 读写,或者只读

hdfs dfs -chmod 666  /sanguo/zhugong.txt

设置之前:
《HDFS常用文件操作命令汇总》
执行上面的命令:

《HDFS常用文件操作命令汇总》
再次观察web界面:
《HDFS常用文件操作命令汇总》

    原文作者:小码农叔叔
    原文地址: https://blog.csdn.net/zhangcongyi420/article/details/122152090
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞