当前位置：首页 » 硬盘大全 » impala怎么看数据库缓存
扩展阅读
提分平台的账号密码是什么 2023-08-31 22:07:10
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

impala怎么看数据库缓存

发布时间: 2023-01-13 21:31:29

① impalamysql查询速度

您想问的是impala和mysql的查询速度哪个最好对吧。impala好。

impala在处理较大的数据集时有着mysql所不具备的高性能。如果在mysql中对5亿条记录做汇总，可能需要很高的配置，而且运行时间不见得比impala的时间短。mysql的速度略慢一点。

② impala 理论

impala介绍

Cloudera Imapala是一款开源的MPP架构的SQL查询引擎，它提供在hadoop环境上的低延迟、高并发的BI/数据分析，是一款开源、与Hadoop高度集成，灵活可扩展的查询分析引擎，目标是基于SQL提供高并发的即席查询。

与其他的查询引擎系统（如presto、spark sql、hive sql）不同，Impala基于 C++ 和Java编写，支持Hadoop生态下的多种组件集成（如HDFS、HBase、Metastore、YARN、Sentry等），支持多种文件格式的读写（如Parqeut、Avro、RCFile等）。

标准的mpp架构，massively-parallel query execution engine，支持在上百台机器的Hadoop集群上执行快速查询，对底层的存储系统解耦，不像数据库要求那么严格，不同的底层存储可以联合查询。

impala在大数据应用处于什么环节及作用

impala在大数据应用领域中处于数据分析环节，利用mpp架构实现高效数据查询，下游应用系统使用impala也比较多，尤其在应用集市查询数据仓库的时候使用的较多。

impala架构体系

impala由statestore、catalog、impala daemon(impalad)组成。

impala任务执行流程

impala支持的文件格式

Impala可以对Hadoop中大多数格式的文件进行查询，通过create table和insert的方式将一部分格式的数据加载到table中，但值得注意的是，有一些格式的数据它是无法写入的（write to），对于Impala无法写入的数据格式，通常是通过Hive建表，使用Hive进行数据的写入，然后使用Impala来对这些保存好的数据执行查询操作。

impala与hive对比

impala数据类型

海汼部落原创文章，原文链接：(http://hainiubl.com/topics/75548)

③ impala为什么比spark快

应该不会，Impala是相当专注于传统企业客户和OLAP和数据仓库工作负载。Shark支持传统OLAP。

比较：
一、总体上
Shark扩展了Apache Hive，大大加快在内存和磁盘上的查询。而Impala是企业级数据仓库系统, 可以很好地使用Hive/ HDFS，从架构层来说，类似于传统的并行数据库。这两个系统有着很多共同的目标，但也有很大差异。
二、与现有系统的兼容性
Shark直接建立在Apache/Hive代码库上，所以它自然支持几乎所有Hive特点。它支持现有的Hive SQL语言，Hive数据格式（SerDes），用户自定义函数（UDF），调用外部脚本查询。因为Impala使用自定义的C++运行，它不支持Hive UDF。这两个系统将会与许多BI工具整合，这一直是Impala的主要目标。Shark正在被用于一些BI工具，如Tableau，不过这并没有被探索更多。
三、内存中的数据处理
Shark允许用户显式地加载在内存中的数据，以加快查询处理，其内存使用有效率的，压缩的面向列的格式。Impala还没有提供在内存中的存储。
四、容错
Shark被设计为支持短期和长时间运行的查询。它可以从查询故障恢复(感谢底层Spark引擎)。Impala目前是更侧重于短查询，不容错（如果节点发生故障，查询必须重新启动，对短查询来说这无疑是可以接受的）。
五、性能
做全面的比较太早了点。Shark和Impala都报告比Hive快10-100倍，但这都依赖具体情况和系统负载。两个项目也都在未来6个月内会做重要优化。以我们的经验来看，Sharkr当前版本，如果是内存的数据一般比Hive快100倍，如果是磁盘上的数据一般快5-10倍，这取决于查询（带关联连接的查询，能比Hive快很多）。

④ impalaselect字段能查到select*查不到

您想问的是impalaselect字段能查到，select查不到怎么办对吧。点开浏览器，将英文输入即可查到。
浏览器里包含牛津，有道词典等软件的词汇，通过浏览器可以查到select是选择的意思，而impalaselect语句表示的是用于从数据库中的一个或多个表中提取数据。

⑤ hive，impala，kfk，hbase，mitaka的关系是怎样的

hbase在三者中更注重的是存储，它实现了类似mysql的double write机制，但是它是一种NoSQL的数据库，并且是可以支持列式存储的，算是比较大的一个内存Hash表。hbase也采用了类似mysql中的mvcc的思想通过时间戳来做版本控制。
hbase是在hdfs基础之上的，可以算是数据的一种组织方式，是一种基于hadoop的分布式数据库系统。从数据库的角度来说，与mysql处在同一个层次，都是基于文件系统之上的管理数据的一种方法。
hbase作为面向列的数据库，支持按列读取和行读取，并解决了关系型数据库的分表的一些需求，如:关系型数据库中有些表的列重复数据太多了，需要重新建表来存重复列的数据，减少表的大小。

hive和impala则更偏向于查询分析，impala需要依赖hive的元数据，它们都有自己的查询分析引擎，只是impala是纯查询分析引擎。
hive 本身并不执行任务的分析过程，而是推给了maprece,这点与impala大不同,hive本身提供了数据的格式化输出功能,但是hive转换的mr可能不是最高效的，调优方式有限，很多复杂的算法没有办法表达，毕竟sql的语义表达能力有限。
hive与impala在查询分析这部分,hive明显的支持程度要比impala高,提供了很多内部函数，并且支持UDAF,UDF的方式
从数据库特性角度来看，hive与hbase的对比,hive不能修改数据，只能追加的方式，hbase允许增加和删除数据,hive不支持索引，impala和hive都是没有存储引擎的，hbase算是有自己的存储引擎。
在使用层面上来看，hive在使用上更像数据库，它提供非常丰富的系统函数，各种数据的操作，hbase在这方面就不太像一般的关系型数据库，它还是一个key-val的NoSQL,这方面的操作支持很有限，impala在这方面也是比较弱。
在计算模型层面上来看，hive是通过MR来计算的，这是一个偏向挪动数据到mr的计算节点来计算的模型，而impala则更多的是移动计算需求到DN上来做，数据不用动，最后变成了本地的磁盘IO。

⑥ 什么是impala，如何安装使用Impala

Impala简介：Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。

Impala安装：

1.安装要求
（1）软件要求

  • Red Hat Enterprise Linux (RHEL)/CentOS 6.2 (64-bit)

  • CDH 4.1.0 or later

  • Hive

  • MySQL


    • 注意：Impala不支持在Debian/Ubuntu, SuSE, RHEL/CentOS 5.7系统中安装。

  • （2）硬件要求

    • 在Join查询过程中需要将数据集加载内存中进行计算，因此对安装Impalad的内存要求较高。

  • 2、安装准备


  • （1）操作系统版本查看

    • >more/etc/issue

    CentOSrelease 6.2 (Final)

    Kernel on an m

  • （2）机器准备

    • 10.28.169.112mr5

    10.28.169.113mr6

    10.28.169.114mr7

    10.28.169.115mr8

    各机器安装角色

    mr5：NameNode、ResourceManager、SecondaryNameNode、Hive、impala-state-store

    mr6、mr7、mr8：DataNode、NodeManager、impalad

  • （3）用户准备

    • 在各个机器上新建用户hadoop，并打通ssh

  • （4）软件准备

    • 到cloudera官网下载：

    Hadoop：

    hadoop-2.0.0-cdh4.1.2.tar.gz

    hive：

    hive-0.9.0-cdh4.1.2.tar.gz

    impala：

    impala-0.3-1.p0.366.el6.x86_64.rpm

    impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm

    impala-server-0.3-1.p0.366.el6.x86_64.rpm

    impala-shell-0.3-1.p0.366.el6.x86_64.rpm

4、hadoop-2.0.0-cdh4.1.2安装

（1）安装包准备

hadoop用户登录到mr5机器，将hadoop-2.0.0-cdh4.1.2.tar.gz上传到/home/hadoop/目录下并解压：

tar zxvf hadoop-2.0.0-cdh4.1.2.tar.gz

（2）配置环境变量

修改mr5机器hadoop用户主目录/home/hadoop/下的.bash_profile环境变量：

exportJAVA_HOME=/usr/jdk1.6.0_30

exportJAVA_BIN=${JAVA_HOME}/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportJAVA_OPTS="-Djava.library.path=/usr/local/lib-server -Xms1024m -Xmx2048m -XX:MaxPermSize=256m -Djava.awt.headless=true-Dsun.net.client.defaultReadTimeout=600

00-Djmagick.systemclassloader=no -Dnetworkaddress.cache.ttl=300-Dsun.net.inetaddr.ttl=300"

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=$HADOOP_HOME

exportHADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

（3）修改配置文件

在机器mr5上hadoop用户登录修改hadoop的配置文件(配置文件目录：hadoop-2.0.0-cdh4.1.2/etc/hadoop)

(1)、slaves :

添加以下节点

mr6

mr7

mr8

(2)、hadoop-env.sh :

增加以下环境变量

exportJAVA_HOME=/usr/jdk1.6.0_30

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=${HADOOP_HOME}

export HADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

(3)、core-site.xml :

fs.default.name

hdfs://mr5:9000

The name of the defaultfile system.Either the literal string "local" or a host:port forNDFS.

true

io.native.lib.available

true

hadoop.tmp.dir

/home/hadoop/tmp

A base for other temporarydirectories.

(4)、hdfs-site.xml :

dfs.namenode.name.dir

file:/home/hadoop/dfsdata/name

Determines where on thelocal filesystem the DFS name node should store the name table.If this is acomma-delimited list of directories,then name table is replicated in all of thedirectories,for rendancy.

true

dfs.datanode.data.dir

file:/home/hadoop/dfsdata/data

Determines where on thelocal filesystem an DFS data node should store its blocks.If this is acomma-delimited list of directories,then data will be stored in all nameddirectories,typically on different devices.Directories that do not exist areignored.

true

dfs.replication

3

dfs.permission

false

(5)、mapred-site.xml:

maprece.framework.name

yarn

maprece.job.tracker

hdfs://mr5:9001

true

maprece.task.io.sort.mb

512

maprece.task.io.sort.factor

100

maprece.rece.shuffle.parallelcopies

50

maprece.cluster.temp.dir

file:/home/hadoop/mapreddata/system

true

maprece.cluster.local.dir

file:/home/hadoop/mapreddata/local

true

(6)、yarn-env.sh :

增加以下环境变量

exportJAVA_HOME=/usr/jdk1.6.0_30

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=${HADOOP_HOME}

exportHADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

(7)、yarn-site.xml：

yarn.resourcemanager.address

mr5:8080

yarn.resourcemanager.scheler.address

mr5:8081

yarn.resourcemanager.resource-tracker.address

mr5:8082

yarn.nodemanager.aux-services

maprece.shuffle

yarn.nodemanager.aux-services.maprece.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.nodemanager.local-dirs

file:/home/hadoop/nmdata/local

thelocal directories used by the nodemanager

yarn.nodemanager.log-dirs

file:/home/hadoop/nmdata/log

thedirectories used by Nodemanagers as log directories

（4）拷贝到其他节点

(1)、在mr5上配置完第2步和第3步后，压缩hadoop-2.0.0-cdh4.1.2

rm hadoop-2.0.0-cdh4.1.2.tar.gz

tarzcvf hadoop-2.0.0-cdh4.1.2.tar.gzhadoop-2.0.0-cdh4.1.2

然后将hadoop-2.0.0-cdh4.1.2.tar.gz远程拷贝到mr6、mr7、mr8机器上

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr6:/home/hadoop/

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr7:/home/hadoop/

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr8:/home/hadoop/

(2)、将mr5机器上hadoop用户的配置环境的文件.bash_profile远程拷贝到mr6、mr7、mr8机器上

scp/home/hadoop/.bash_profile hadoop@mr6:/home/hadoop/

scp/home/hadoop/.bash_profile hadoop@mr7:/home/hadoop/

scp/home/hadoop/.bash_profile hadoop@mr8:/home/hadoop/

拷贝完成后，在mr5、mr6、mr7、mr8机器的/home/hadoop/目录下执行

source.bash_profile

使得环境变量生效

（5）启动hdfs和yarn

以上步骤都执行完成后，用hadoop用户登录到mr5机器依次执行：

hdfsnamenode -format

start-dfs.sh

start-yarn.sh

通过jps命令查看：

mr5成功启动了NameNode、ResourceManager、SecondaryNameNode进程；

mr6、mr7、mr8成功启动了DataNode、NodeManager进程。

（6）验证成功状态

通过以下方式查看节点的健康状态和作业的执行情况：

浏览器访问(本地需要配置hosts)

http://mr5:50070/dfshealth.jsp

http://mr5:8088/cluster

5、hive-0.9.0-cdh4.1.2安装

（1）安装包准备

使用hadoop用户上传hive-0.9.0-cdh4.1.2到mr5机器的/home/hadoop/目录下并解压：

tar zxvf hive-0.9.0-cdh4.1.2

（2）配置环境变量

在.bash_profile添加环境变量：

exportHIVE_HOME=/home/hadoop/hive-0.9.0-cdh4.1.2

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin

exportHIVE_CONF_DIR=$HIVE_HOME/conf

exportHIVE_LIB=$HIVE_HOME/lib

添加完后执行以下命令使得环境变量生效：

..bash_profile

（3）修改配置文件

修改hive配置文件(配置文件目录：hive-0.9.0-cdh4.1.2/conf/)

在hive-0.9.0-cdh4.1.2/conf/目录下新建hive-site.xml文件，并添加以下配置信息：

hive.metastore.local

true

javax.jdo.option.ConnectionURL

jdbc:mysql://10.28.169.61:3306/hive_impala?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hadoop

javax.jdo.option.ConnectionPassword

123456

hive.security.authorization.enabled

false

hive.security.authorization.createtable.owner.grants

ALL

hive.querylog.location

${user.home}/hive-logs/querylog

（4）验证成功状态

完成以上步骤之后，验证hive安装是否成功

在mr5命令行执行hive，并输入”show tables;”，出现以下提示，说明hive安装成功：

>hive

hive>show tables;

OK

Time taken:18.952 seconds

hive>

6、impala安装

说明：

(1)、以下1、2、3、4步是在root用户分别在mr5、mr6、mr7、mr8下执行

(2)、以下第5步是在hadoop用户下执行

（1）安装依赖包：

安装mysql-connector-java：

yum install mysql-connector-java

安装bigtop

rpm -ivh bigtop-utils-0.4+300-1.cdh4.0.1.p0.1.el6.noarch.rpm

安装libevent

rpm -ivhlibevent-1.4.13-4.el6.x86_64.rpm

如存在其他需要安装的依赖包，可以到以下链接：

http://mirror.bit.e.cn/centos/6.3/os/x86_64/Packages/进行下载。

（2）安装impala的rpm，分别执行

rpm -ivh impala-0.3-1.p0.366.el6.x86_64.rpm

rpm -ivh impala-server-0.3-1.p0.366.el6.x86_64.rpm

rpm -ivh impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm

rpm -ivh impala-shell-0.3-1.p0.366.el6.x86_64.rpm

（3）找到impala的安装目录

完成第1步和第2步后，通过以下命令：

find / -name impala

输出：

/usr/lib/debug/usr/lib/impala

/usr/lib/impala

/var/run/impala

/var/log/impala

/var/lib/alternatives/impala

/etc/default/impala

/etc/alternatives/impala

找到impala的安装目录：/usr/lib/impala

（4）配置Impala

在Impala安装目录/usr/lib/impala下创建conf，将hadoop中的conf文件夹下的core-site.xml、hdfs-site.xml、hive中的conf文件夹下的hive-site.xml复制到其中。

在core-site.xml文件中添加如下内容：

dfs.client.read.shortcircuit

true

dfs.client.read.shortcircuit.skip.checksum

false

在hadoop和impala的hdfs-site.xml文件中添加如下内容并重启hadoop和impala：

dfs.datanode.data.dir.perm

755

dfs.block.local-path-access.user

hadoop

dfs.datanode.hdfs-blocks-metadata.enabled

true

（5）启动服务

(1)、在mr5启动Impala state store，命令如下：

>GLOG_v=1 nohup statestored-state_store_port=24000 &

如果statestore正常启动，可以在/tmp/statestored.INFO查看。如果出现异常，可以查看/tmp/statestored.ERROR定位错误信息。

(2)、在mr6、mr7、mr8启动Impalad，命令如下：

mr6：

>GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr6 -ipaddress=10.28.169.113 &

mr7：

>GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr7 -ipaddress=10.28.169.114 &

mr8：

>GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr8 -ipaddress=10.28.169.115 &

如果impalad正常启动，可以在/tmp/impalad.INFO查看。如果出现异常，可以查看/tmp/ impalad.ERROR定位错误信息。

（6）使用shell

使用impala-shell启动Impala Shell，分别连接各Impalad主机(mr6、mr7、mr8)，刷新元数据，之后就可以执行shell命令。相关的命令如下(可以在任意节点执行)：

>impala-shell

[Not connected]> connect mr6:21000

[mr6:21000] >refresh

[mr6:21000]>connectmr7:21000

[mr7:21000]>refresh

[mr7:21000]>connectmr8:21000

[mr8:21000]>refresh

（7）验证成功状态

使用impala-shell启动Impala Shell，分别连接各Impalad主机，刷新元数据，之后就可以执行shell命令。相关的命令如下(可以在任意节点执行)：

>impala-shell

[Not connected]> connect mr6:21000

[mr6:21000]>refresh

[mr6:21000] >show databases

default

[mr6:21000] >

出现以上提示信息，说明安装成功。

⑦ spark、hive、impala、hdfs的常用命令

对spark、hive、impala、hdfs的常用命令作了如下总结，欢迎大家补充！ 1. Spark的使用： 以通过SecureCRT访问IP地址：10.10.234.198 为例进行说明： 先输入：ll //查询集群是否装有spark >su - mr >/home/mr/spark/bin/beeline -u "jdbc:hive2:/bigdata198:18000/" -n mr -p "" >.show databases; //显示其中数据库，例如 >use bigmax; //使用数据库bigmax >show tables; //查询目录中所有的表 >desc formatted TableName; //显示表的详细信息，包括分区、字段、地址等信息 >desc TableName; //显示表中的字段和分区信息 >select count(*) from TableName; //显示表中数据数量，可以用来判断表是否为空 >drop table TableName; //删除表的信息 >drop bigmax //删除数据库bigmax >describe database zxvmax //查询数据库zxvmax信息 创建一个表 第一步： >create external table if not exists lte_Amaze //创建一个叫lte_Amaze的表 ( //括号中每一行为表中的各个字段的名称和其所属的数据类型，并用空格隔开 DateTime String, MilliSec int, Network int, eNodeBID int, CID int, IMSI String, DataType int, AoA int, ServerRsrp int, ServerRsrq int, TA int, Cqi0 Tinyint, Cqi1 Tinyint //注意，最后一个字段结束后，没有逗号 ) partitioned by (p_date string, p_hour INT) //以p_date和p_hour作为分区 row format delimited fields terminated by ',' /*/*表中行结构是以逗号作为分隔符，与上边的表中字段以逗号结尾相一致*/ stored as textfile; //以文本格式进行保存 第二步：添加分区，指定分区的位置 >alter table lte_Amaze add partition (p_date='2015-01-27',p_hour=0) location'/lte/nds/mr/lte_nds_cdt_uedetail/p_date=2015-01-27/p_hour=0'; //添加lte_Amaze表中分区信息，进行赋值。 //并制定分区对应目录/lte/nds/mr下表lte_nds_cdt_uedetail中对应分区信息 第三步:察看添加的结果 >show partitions lte_Amaze； //显示表的分区信息 2. hdfs使用： #su - hdfs //切换到hdfs用户下 、 #hadoop fs –ls ///查看进程 # cd /hdfs/bin //进入hdfs安装bin目录 >hadoop fs -ls /umtsd/cdt/ //查询/umtsd/cdt/文件目录 >hadoop fs -mkdir /umtsd/test //在/umtsd目录下创建test目录 >hadoop fs -put /home/data/u1002.csv /impala/data/u5002 //将home/data/u1002.csv这个文件put到hdfs文件目录上。put到hdfs上的数据文件以逗号“,”分隔符文件（csv）,数据不论类型，直接是数据，没有双引号和单引号 >hadoop fs -rm /umtsd/test/test.txt //删除umtsd/test目录下的test.txt文件 >hadoop fs -cat /umtsd/test/test.txt //查看umtsd/test目录下的test.txt文件内容3hive操作使用： #su - mr //切换到mr用户下 #hive //进入hive查询操作界面 hive>show tables; //查询当前创建的所有表 hive>show databases; //查询当前创建的数据库 hive>describe table_name; {或者desc table_name}//查看表的字段的定义和分区信息，有明确区分（impala下该命令把分区信息以字段的形式显示出来，不怎么好区分） hive> show partitions table_name; //查看表对应数据现有的分区信息，impala下没有该命令 hive> quit;//退出hive操作界面 hive>desc formatted table_name; 查看表结构，分隔符等信息 hive> alter table ceshi change id id int; 修改表的列数据类型 //将id数据类型修改为int 注意是两个id hive> SHOW TABLES '.*s'; 按正条件（正则表达式）显示表， [mr@aico ~]$ exit; 退出mr用户操作界面，到[root@aico]界面impala操作使用： #su - mr //切换到mr用户下 #cd impala/bin //进入impala安装bin目录 #/impala/bin> impala-shell.sh -i 10.10.234.166/localhost //进入impala查询操作界面 [10.10.234.166:21000] >show databases; //查询当前创建的数据库 [10.10.234.166:21000] >use database_name; //选择使用数据库,默认情况下是使用default数据库 [10.10.234.166:21000] > show tables; //查询当前数据库下创建的所有表 [10.10.234.166:21000] >describe table_name; //查看表的字段的定义,包括分区信息，没有明确区分 [10.10.234.166:21000] > describe formatted table_name; //查看表对应格式化信息，包括分区，所属数据库，创建用户，创建时间等详细信息。 [10.10.234.166:21000] >refresh table_name; //刷新一下，保证元数据是最新的 [10.10.234.166:21000] > alter TABLE U107 ADD PARTITION(reportDate="2013-09-27",rncid=487)LOCATION '/umts/cdt/ MREMITABLE/20130927/rncid=487' //添加分区信息，具体的表和数据的对应关系 [10.10.234.166:21000] > alter TABLE U100 drop PARTITION(reportDate="2013-09-25",rncid=487); //删除现有的分区，数据与表的关联 [10.10.234.166:21000] >quit; //退出impala操作界面[mr@aicod bin]$ impala-shell; 得到welcome impala的信息，进入impala 查询操作界面 [aicod:21000] > 按两次tab键，查看可以用的命令 alter describe help profile shell values connect drop history quit show version create exit insert select unset with desc explain load set use

⑧ impala怎么判断从hive里刷新那部分元数据

Impala 获取hive 的 metadata
Impala 通常和Hive共用同一个metadata 数据库(通常是MySQL/PostgreSQL), 所以Impala 能够读取到Hive的元数据信息. 如果Impala需要访问Hive表, 需要将Hive metadata 刷新到impala中.
在Hive中Create/Drop表后, 或者HDFS rebalance,或者手工删除HDFS的文件后, 则需要在impala中执行下面两行命令:
INVALIDATE METADATA table_name;
describe table_name;
第一行命令 INVALIDATE METADATA 告诉impala 指定的 table 元数据已经过期, impala 将在下一次使用到该表时自动刷新元数据, 第二行命令即触发impala去更新元数据, 以免将来真正使用该表耗时太久.
如果Impala已经知道了Hive表的存在后, 又通过Hive增加或删除分区或alter table, 使用 refresh 命令即可更新元数据. refresh是对元数据进行增量更新, 和INVALIDATE METADATA相比, refresh命令使用成本低很多.
利用catalogd提供元数据服务。可以直接连DB也可以通过catalogd，一般是利用hive里的metastore获取数据。Impala高效的原因是其将原始数据缓存下来，catalogd启动会浏览缓存获取数据
因为impla默认catalogd会缓存，因此如果你重启的后，catalogd会将缓存数据存入到内存中，

阅读全文

与impala怎么看数据库缓存相关的内容

本站内容整理源于互联网，如有问题请联系解决。
Copyright design: www.gotrillian.com since 2022