⑴ hdfs怎么查看目录路径
用ls命令, 如果返回一行说明是文件,如果多行则表示目录
hadoop fs -ls $path | grep $path | wc -l
⑵ hadoop hdfs的默认目录问题
frostfish425说的是对的!/user/hadoop是安装目录,就是说你hadoop相关的配置和代码都是放在这个位置,这个你自己定就可以了,但是要注意你配置文件和环境变量中的相关配置都要相应的发生改变。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目录,也就是数据存放目录,在hdfs-site.xml中配置的,当然你也可以改变这个目录!这个目录挂载的磁盘要足够大,不然数据存放不下,你初始化的时候报的这个Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted其实就是在/tmp/hadoop-hadoop/dfs这个目录下创建了name目录,意思就是告诉你,数据存放目录已经创建成功了!
⑶ hadoop中HDFS配置项dfs.data.dir与dfs.replication有联系吗
dfs.data.dir指的是datanode上数据存放的目录,配置多个可能是因为一个目录下面挂的硬盘不够用,所以多加了几个目录
repication是配置hdfs中数据存放的份数,也就是备份数,防止数据丢失的
⑷ HDFS用户目录对应Linux哪个目录
可以fdisk -l 看到 但是它本身是自己的文件系统 就是hdfs 你从linux本地是看不到的 想看里面的文件可以使用如下命令 hadoop fs -ls
⑸ 关于hdfs的物理存储路径问题
我没用过Hive,但HDFS的存储机制都是一样的。
你所谓的物理位置指的是在操作系统中的磁盘路径?
这个路径是在Hadoop配置的时候写在hdfs-site.xml文件的dfs.datanode.data.dir字段里的,在每个datanode的这个文件夹里存着该节点上存储的所有数据块block,以blk_打头。
dfs.namenode.data.dir指定的文件夹在namenode中则存在元数据。
所以即便你知道这个所谓的物理路径也没什么用,数据都是以block形式存在的,大的数据还由好多个block组成,而且每个block还有副本。
⑹ hadoop的配置文件在什么地方
hadoop-2.x在$HADOOP_HOME/etc/hadoop目录下
hadoop-1.x在$HADOOP_HOME/conf目录下
⑺ 所有节点的HDFS在哪个配置文件中设置的
HDFS 上每个数据节点最多能存储多少数据取决于节点的硬盘大小。
对于单个节点来说,其存储的容量为磁盘容量减去hdfs-site.xml配置文件中dfs.datanode..reserved参数值。
对于集群来说,取决于集群中所有DataNode节点的硬盘大小之和。但是需要注意考虑集群的备份数量,假设备份数量为3,集群总容量为3TB,则实际可以存储1TB的文件。
⑻ hadoop2.6 数据库驱动包 放在哪个文件夹
应该放到hadoop_home/lib目录下就行吧,比如mysql-connector-java-5.1.24.jar或者ojdbc...jar(我用sqoop通过hadoop连接数据库的时候是把数据库驱动包放到这个位置的,不知道你在做哪方面,但是我感觉应该就是那把,试试呗)。
⑼ 与HDFS命令交互时如何指定文件和目录确切位
在集群模式下,如果与集群的HDFS交互时,必须指定URI中的scheme、authority、path,三个配置均不能省略。我们可以查看主节点的etc/hadoop/core-site.xml配置文件,查看fs.defaultFS属性
<property><name>fs.defaultFS</name><value>hdfs://hadoop-master-vm:9000</value></property>
同样以Hadoop的cat命令为例来显示example.txt文件内容:hadoop fs -cat hdfs://hadoop-master-vm:9000/user/hadoop/example.txt
⑽ 安装hadoop的时候说要把配置文件放到etc/profile 文件里,可是找不到这个目录
安装hadoop为什么会把文件放到etc/profile里,没有这一步骤啊