⑴ hdfs怎麼查看目錄路徑
用ls命令, 如果返回一行說明是文件,如果多行則表示目錄
hadoop fs -ls $path | grep $path | wc -l
⑵ hadoop hdfs的默認目錄問題
frostfish425說的是對的!/user/hadoop是安裝目錄,就是說你hadoop相關的配置和代碼都是放在這個位置,這個你自己定就可以了,但是要注意你配置文件和環境變數中的相關配置都要相應的發生改變。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目錄,也就是數據存放目錄,在hdfs-site.xml中配置的,當然你也可以改變這個目錄!這個目錄掛載的磁碟要足夠大,不然數據存放不下,你初始化的時候報的這個Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted其實就是在/tmp/hadoop-hadoop/dfs這個目錄下創建了name目錄,意思就是告訴你,數據存放目錄已經創建成功了!
⑶ hadoop中HDFS配置項dfs.data.dir與dfs.replication有聯系嗎
dfs.data.dir指的是datanode上數據存放的目錄,配置多個可能是因為一個目錄下面掛的硬碟不夠用,所以多加了幾個目錄
repication是配置hdfs中數據存放的份數,也就是備份數,防止數據丟失的
⑷ HDFS用戶目錄對應Linux哪個目錄
可以fdisk -l 看到 但是它本身是自己的文件系統 就是hdfs 你從linux本地是看不到的 想看裡面的文件可以使用如下命令 hadoop fs -ls
⑸ 關於hdfs的物理存儲路徑問題
我沒用過Hive,但HDFS的存儲機制都是一樣的。
你所謂的物理位置指的是在操作系統中的磁碟路徑?
這個路徑是在Hadoop配置的時候寫在hdfs-site.xml文件的dfs.datanode.data.dir欄位里的,在每個datanode的這個文件夾里存著該節點上存儲的所有數據塊block,以blk_打頭。
dfs.namenode.data.dir指定的文件夾在namenode中則存在元數據。
所以即便你知道這個所謂的物理路徑也沒什麼用,數據都是以block形式存在的,大的數據還由好多個block組成,而且每個block還有副本。
⑹ hadoop的配置文件在什麼地方
hadoop-2.x在$HADOOP_HOME/etc/hadoop目錄下
hadoop-1.x在$HADOOP_HOME/conf目錄下
⑺ 所有節點的HDFS在哪個配置文件中設置的
HDFS 上每個數據節點最多能存儲多少數據取決於節點的硬碟大小。
對於單個節點來說,其存儲的容量為磁碟容量減去hdfs-site.xml配置文件中dfs.datanode..reserved參數值。
對於集群來說,取決於集群中所有DataNode節點的硬碟大小之和。但是需要注意考慮集群的備份數量,假設備份數量為3,集群總容量為3TB,則實際可以存儲1TB的文件。
⑻ hadoop2.6 資料庫驅動包 放在哪個文件夾
應該放到hadoop_home/lib目錄下就行吧,比如mysql-connector-java-5.1.24.jar或者ojdbc...jar(我用sqoop通過hadoop連接資料庫的時候是把資料庫驅動包放到這個位置的,不知道你在做哪方面,但是我感覺應該就是那把,試試唄)。
⑼ 與HDFS命令交互時如何指定文件和目錄確切位
在集群模式下,如果與集群的HDFS交互時,必須指定URI中的scheme、authority、path,三個配置均不能省略。我們可以查看主節點的etc/hadoop/core-site.xml配置文件,查看fs.defaultFS屬性
<property><name>fs.defaultFS</name><value>hdfs://hadoop-master-vm:9000</value></property>
同樣以Hadoop的cat命令為例來顯示example.txt文件內容:hadoop fs -cat hdfs://hadoop-master-vm:9000/user/hadoop/example.txt
⑽ 安裝hadoop的時候說要把配置文件放到etc/profile 文件里,可是找不到這個目錄
安裝hadoop為什麼會把文件放到etc/profile里,沒有這一步驟啊