大數據之hdfs，hdfs大數據概念 _數據

文章插圖

CDA數據分析師出品

HDFS 是一個分布式文件系統，就像任何其它文件系統，它允許用戶使用 shell 命令操作文件系統。接下來我們結合之前搭建好的分布式集群通過HDFS的shell命令行交互來進一步認識HDFS，并演示怎樣使用 HDFS shell 命令。值得注意的是，HDFS 命令大多與 Unix 命令有一對一的關系。
首先打開我們的master、slave1、slave2三臺虛擬機，然后在master的終端中輸入如下命令來啟動HDFS ，
start-dfs.sh
啟動過程如下圖所示，啟動完成后執行命令jps查看進程是否啟動

文章插圖
創建路徑mkdir
如果你的 HDFS home 目錄不存在，請先創建它并修改權限。
創建 HDFS home 目錄的命令如下：
hdfs dfs –mkdir /user
hdfs dfs –mkdir /user/hduser #這樣的用法只能一級一級創建目錄，父目錄不存在使用此命令會報錯
或者
hdfs dfs –mkdir –p /user/hduser #所創建的目錄如果父目錄不存在就創建該目錄
上面創建的/user/hduser 相當于 HDFS 中的用戶當前目錄，后面可以看到復制文件時無需指定絕對目錄。
查看目錄ls
運行下面的命令，列出 HDFS home 目錄的內容。
hdfs dfs –ls #列出用戶主目錄的內容
hdfs dfs –ls / #列出 hdfs 文件系統根目錄下的目錄和文件
hdfs dfs –ls –R /#列出hdfs文件系統所有目錄

文章插圖
讀取文檔cat
HDFS 文件系統有一個/作為根目錄。如下面的命令是讀取/user/hduser/fib.csv 文件并打印到屏幕上，就像 Unix 系統中的 cat 命令：
hdfs dfs –cat /user/hduser/fib.csv
更改文件屬性chmod chown
HDFS中針對文件和目錄的權限模式與傳統操作系統類似，一共提供三類權限模式：只讀權限（r）、寫入權限（w）、可執行權限（x）。讀取文件或列出目錄內容時需要只讀權限，寫入一個文件或是在一個目錄上新建及刪除文件、目錄需要寫入權限。不過可執行權限可以忽略，因為你不可能在hdfs上執行一個文件，這是與一般操作系統的文件系統是有區別的地方。修改 HDFS home目錄權限的命令如下：
hdfs dfs –chmod –R 755 /user/hduser
hdfs dfs –chown hduser /user/hduser

文章插圖
上傳文檔
運行下面的命令，在你的 HDFS home 目錄中創建一個新的 input 目錄：
hdfs dfs –mkdir input
【大數據之hdfs，hdfs大數據概念】運行如下的命令來列出在 HDFS 重新創建的目錄的內容：
hdfs dfs -ls input
運行如下的命令，將本地 readme.txt 文件拷貝到 input 目錄中：
hdfs dfs –copyFromLocal readme.txt input
或
hdfs dfs –put readme.txt input # hdfs file 的父目錄一定要存在，否則命令不會執行
運行如下的命令，將本地文件夾 wc-input 上傳到 HDFS 文件系統：
hdfs dfs –copyFromLocal wc-input .
或者
hdfs dfs –copyFromLocal wc-input input/wc-input
運行如下的命令，列出 input 目錄：
hdfs dfs –ls input
好啦小伙伴們今天HDFS的命令就介紹這些，下篇文章中我們繼續介紹一些從hdfs下載文件到本地、復制、移動等高級命令，敬請期待。

文章插圖
更多優質內容及精彩資訊，點擊【了解更多】進入！