當前位置：首頁 » 硬碟大全 » impala怎麼看資料庫緩存
擴展閱讀
提分平台的賬號密碼是什麼 2023-08-31 22:07:10
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

impala怎麼看資料庫緩存

發布時間: 2023-01-13 21:31:29

① impalamysql查詢速度

您想問的是impala和mysql的查詢速度哪個最好對吧。impala好。

impala在處理較大的數據集時有著mysql所不具備的高性能。如果在mysql中對5億條記錄做匯總，可能需要很高的配置，而且運行時間不見得比impala的時間短。mysql的速度略慢一點。

② impala 理論

impala介紹

Cloudera Imapala是一款開源的MPP架構的SQL查詢引擎，它提供在hadoop環境上的低延遲、高並發的BI/數據分析，是一款開源、與Hadoop高度集成，靈活可擴展的查詢分析引擎，目標是基於SQL提供高並發的即席查詢。

與其他的查詢引擎系統（如presto、spark sql、hive sql）不同，Impala基於 C++ 和Java編寫，支持Hadoop生態下的多種組件集成（如HDFS、HBase、Metastore、YARN、Sentry等），支持多種文件格式的讀寫（如Parqeut、Avro、RCFile等）。

標準的mpp架構，massively-parallel query execution engine，支持在上百台機器的Hadoop集群上執行快速查詢，對底層的存儲系統解耦，不像資料庫要求那麼嚴格，不同的底層存儲可以聯合查詢。

impala在大數據應用處於什麼環節及作用

impala在大數據應用領域中處於數據分析環節，利用mpp架構實現高效數據查詢，下游應用系統使用impala也比較多，尤其在應用集市查詢數據倉庫的時候使用的較多。

impala架構體系

impala由statestore、catalog、impala daemon(impalad)組成。

impala任務執行流程

impala支持的文件格式

Impala可以對Hadoop中大多數格式的文件進行查詢，通過create table和insert的方式將一部分格式的數據載入到table中，但值得注意的是，有一些格式的數據它是無法寫入的（write to），對於Impala無法寫入的數據格式，通常是通過Hive建表，使用Hive進行數據的寫入，然後使用Impala來對這些保存好的數據執行查詢操作。

impala與hive對比

impala數據類型

海汼部落原創文章，原文鏈接：(http://hainiubl.com/topics/75548)

③ impala為什麼比spark快

應該不會，Impala是相當專注於傳統企業客戶和OLAP和數據倉庫工作負載。Shark支持傳統OLAP。

比較：
一、總體上
Shark擴展了Apache Hive，大大加快在內存和磁碟上的查詢。而Impala是企業級數據倉庫系統, 可以很好地使用Hive/ HDFS，從架構層來說，類似於傳統的並行資料庫。這兩個系統有著很多共同的目標，但也有很大差異。
二、與現有系統的兼容性
Shark直接建立在Apache/Hive代碼庫上，所以它自然支持幾乎所有Hive特點。它支持現有的Hive SQL語言，Hive數據格式（SerDes），用戶自定義函數（UDF），調用外部腳本查詢。因為Impala使用自定義的C++運行，它不支持Hive UDF。這兩個系統將會與許多BI工具整合，這一直是Impala的主要目標。Shark正在被用於一些BI工具，如Tableau，不過這並沒有被探索更多。
三、內存中的數據處理
Shark允許用戶顯式地載入在內存中的數據，以加快查詢處理，其內存使用有效率的，壓縮的面向列的格式。Impala還沒有提供在內存中的存儲。
四、容錯
Shark被設計為支持短期和長時間運行的查詢。它可以從查詢故障恢復(感謝底層Spark引擎)。Impala目前是更側重於短查詢，不容錯（如果節點發生故障，查詢必須重新啟動，對短查詢來說這無疑是可以接受的）。
五、性能
做全面的比較太早了點。Shark和Impala都報告比Hive快10-100倍，但這都依賴具體情況和系統負載。兩個項目也都在未來6個月內會做重要優化。以我們的經驗來看，Sharkr當前版本，如果是內存的數據一般比Hive快100倍，如果是磁碟上的數據一般快5-10倍，這取決於查詢（帶關聯連接的查詢，能比Hive快很多）。

④ impalaselect欄位能查到select*查不到

您想問的是impalaselect欄位能查到，select查不到怎麼辦對吧。點開瀏覽器，將英文輸入即可查到。
瀏覽器里包含牛津，有道詞典等軟體的詞彙，通過瀏覽器可以查到select是選擇的意思，而impalaselect語句表示的是用於從資料庫中的一個或多個表中提取數據。

⑤ hive，impala，kfk，hbase，mitaka的關系是怎樣的

hbase在三者中更注重的是存儲，它實現了類似mysql的double write機制，但是它是一種NoSQL的資料庫，並且是可以支持列式存儲的，算是比較大的一個內存Hash表。hbase也採用了類似mysql中的mvcc的思想通過時間戳來做版本控制。
hbase是在hdfs基礎之上的，可以算是數據的一種組織方式，是一種基於hadoop的分布式資料庫系統。從資料庫的角度來說，與mysql處在同一個層次，都是基於文件系統之上的管理數據的一種方法。
hbase作為面向列的資料庫，支持按列讀取和行讀取，並解決了關系型資料庫的分表的一些需求，如:關系型資料庫中有些表的列重復數據太多了，需要重新建表來存重復列的數據，減少表的大小。

hive和impala則更偏向於查詢分析，impala需要依賴hive的元數據，它們都有自己的查詢分析引擎，只是impala是純查詢分析引擎。
hive 本身並不執行任務的分析過程，而是推給了maprece,這點與impala大不同,hive本身提供了數據的格式化輸出功能,但是hive轉換的mr可能不是最高效的，調優方式有限，很多復雜的演算法沒有辦法表達，畢竟sql的語義表達能力有限。
hive與impala在查詢分析這部分,hive明顯的支持程度要比impala高,提供了很多內部函數，並且支持UDAF,UDF的方式
從資料庫特性角度來看，hive與hbase的對比,hive不能修改數據，只能追加的方式，hbase允許增加和刪除數據,hive不支持索引，impala和hive都是沒有存儲引擎的，hbase算是有自己的存儲引擎。
在使用層面上來看，hive在使用上更像資料庫，它提供非常豐富的系統函數，各種數據的操作，hbase在這方面就不太像一般的關系型資料庫，它還是一個key-val的NoSQL,這方面的操作支持很有限，impala在這方面也是比較弱。
在計算模型層面上來看，hive是通過MR來計算的，這是一個偏向挪動數據到mr的計算節點來計算的模型，而impala則更多的是移動計算需求到DN上來做，數據不用動，最後變成了本地的磁碟IO。

⑥ 什麼是impala，如何安裝使用Impala

Impala簡介：Cloudera Impala對你存儲在Apache Hadoop在HDFS，HBase的數據提供直接查詢互動的SQL。除了像Hive使用相同的統一存儲平台，Impala也使用相同的元數據，SQL語法（Hive SQL），ODBC驅動程序和用戶界面（Hue Beeswax）。Impala還提供了一個熟悉的面向批量或實時查詢和統一平台。

Impala安裝：

1.安裝要求
（1）軟體要求

  • Red Hat Enterprise Linux (RHEL)/CentOS 6.2 (64-bit)

  • CDH 4.1.0 or later

  • Hive

  • MySQL


    • 注意：Impala不支持在Debian/Ubuntu, SuSE, RHEL/CentOS 5.7系統中安裝。

  • （2）硬體要求

    • 在Join查詢過程中需要將數據集載入內存中進行計算，因此對安裝Impalad的內存要求較高。

  • 2、安裝准備


  • （1）操作系統版本查看

    • >more/etc/issue

    CentOSrelease 6.2 (Final)

    Kernel on an m

  • （2）機器准備

    • 10.28.169.112mr5

    10.28.169.113mr6

    10.28.169.114mr7

    10.28.169.115mr8

    各機器安裝角色

    mr5：NameNode、ResourceManager、SecondaryNameNode、Hive、impala-state-store

    mr6、mr7、mr8：DataNode、NodeManager、impalad

  • （3）用戶准備

    • 在各個機器上新建用戶hadoop，並打通ssh

  • （4）軟體准備

    • 到cloudera官網下載：

    Hadoop：

    hadoop-2.0.0-cdh4.1.2.tar.gz

    hive：

    hive-0.9.0-cdh4.1.2.tar.gz

    impala：

    impala-0.3-1.p0.366.el6.x86_64.rpm

    impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm

    impala-server-0.3-1.p0.366.el6.x86_64.rpm

    impala-shell-0.3-1.p0.366.el6.x86_64.rpm

4、hadoop-2.0.0-cdh4.1.2安裝

（1）安裝包準備

hadoop用戶登錄到mr5機器，將hadoop-2.0.0-cdh4.1.2.tar.gz上傳到/home/hadoop/目錄下並解壓：

tar zxvf hadoop-2.0.0-cdh4.1.2.tar.gz

（2）配置環境變數

修改mr5機器hadoop用戶主目錄/home/hadoop/下的.bash_profile環境變數：

exportJAVA_HOME=/usr/jdk1.6.0_30

exportJAVA_BIN=${JAVA_HOME}/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportJAVA_OPTS="-Djava.library.path=/usr/local/lib-server -Xms1024m -Xmx2048m -XX:MaxPermSize=256m -Djava.awt.headless=true-Dsun.net.client.defaultReadTimeout=600

00-Djmagick.systemclassloader=no -Dnetworkaddress.cache.ttl=300-Dsun.net.inetaddr.ttl=300"

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=$HADOOP_HOME

exportHADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

（3）修改配置文件

在機器mr5上hadoop用戶登錄修改hadoop的配置文件(配置文件目錄：hadoop-2.0.0-cdh4.1.2/etc/hadoop)

(1)、slaves :

添加以下節點

mr6

mr7

mr8

(2)、hadoop-env.sh :

增加以下環境變數

exportJAVA_HOME=/usr/jdk1.6.0_30

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=${HADOOP_HOME}

export HADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

(3)、core-site.xml :

fs.default.name

hdfs://mr5:9000

The name of the defaultfile system.Either the literal string "local" or a host:port forNDFS.

true

io.native.lib.available

true

hadoop.tmp.dir

/home/hadoop/tmp

A base for other temporarydirectories.

(4)、hdfs-site.xml :

dfs.namenode.name.dir

file:/home/hadoop/dfsdata/name

Determines where on thelocal filesystem the DFS name node should store the name table.If this is acomma-delimited list of directories,then name table is replicated in all of thedirectories,for rendancy.

true

dfs.datanode.data.dir

file:/home/hadoop/dfsdata/data

Determines where on thelocal filesystem an DFS data node should store its blocks.If this is acomma-delimited list of directories,then data will be stored in all nameddirectories,typically on different devices.Directories that do not exist areignored.

true

dfs.replication

3

dfs.permission

false

(5)、mapred-site.xml:

maprece.framework.name

yarn

maprece.job.tracker

hdfs://mr5:9001

true

maprece.task.io.sort.mb

512

maprece.task.io.sort.factor

100

maprece.rece.shuffle.parallelcopies

50

maprece.cluster.temp.dir

file:/home/hadoop/mapreddata/system

true

maprece.cluster.local.dir

file:/home/hadoop/mapreddata/local

true

(6)、yarn-env.sh :

增加以下環境變數

exportJAVA_HOME=/usr/jdk1.6.0_30

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=${HADOOP_HOME}

exportHADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

(7)、yarn-site.xml：

yarn.resourcemanager.address

mr5:8080

yarn.resourcemanager.scheler.address

mr5:8081

yarn.resourcemanager.resource-tracker.address

mr5:8082

yarn.nodemanager.aux-services

maprece.shuffle

yarn.nodemanager.aux-services.maprece.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.nodemanager.local-dirs

file:/home/hadoop/nmdata/local

thelocal directories used by the nodemanager

yarn.nodemanager.log-dirs

file:/home/hadoop/nmdata/log

thedirectories used by Nodemanagers as log directories

（4）拷貝到其他節點

(1)、在mr5上配置完第2步和第3步後，壓縮hadoop-2.0.0-cdh4.1.2

rm hadoop-2.0.0-cdh4.1.2.tar.gz

tarzcvf hadoop-2.0.0-cdh4.1.2.tar.gzhadoop-2.0.0-cdh4.1.2

然後將hadoop-2.0.0-cdh4.1.2.tar.gz遠程拷貝到mr6、mr7、mr8機器上

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr6:/home/hadoop/

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr7:/home/hadoop/

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr8:/home/hadoop/

(2)、將mr5機器上hadoop用戶的配置環境的文件.bash_profile遠程拷貝到mr6、mr7、mr8機器上

scp/home/hadoop/.bash_profile hadoop@mr6:/home/hadoop/

scp/home/hadoop/.bash_profile hadoop@mr7:/home/hadoop/

scp/home/hadoop/.bash_profile hadoop@mr8:/home/hadoop/

拷貝完成後，在mr5、mr6、mr7、mr8機器的/home/hadoop/目錄下執行

source.bash_profile

使得環境變數生效

（5）啟動hdfs和yarn

以上步驟都執行完成後，用hadoop用戶登錄到mr5機器依次執行：

hdfsnamenode -format

start-dfs.sh

start-yarn.sh

通過jps命令查看：

mr5成功啟動了NameNode、ResourceManager、SecondaryNameNode進程；

mr6、mr7、mr8成功啟動了DataNode、NodeManager進程。

（6）驗證成功狀態

通過以下方式查看節點的健康狀態和作業的執行情況：

瀏覽器訪問(本地需要配置hosts)

http://mr5:50070/dfshealth.jsp

http://mr5:8088/cluster

5、hive-0.9.0-cdh4.1.2安裝

（1）安裝包準備

使用hadoop用戶上傳hive-0.9.0-cdh4.1.2到mr5機器的/home/hadoop/目錄下並解壓：

tar zxvf hive-0.9.0-cdh4.1.2

（2）配置環境變數

在.bash_profile添加環境變數：

exportHIVE_HOME=/home/hadoop/hive-0.9.0-cdh4.1.2

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin

exportHIVE_CONF_DIR=$HIVE_HOME/conf

exportHIVE_LIB=$HIVE_HOME/lib

添加完後執行以下命令使得環境變數生效：

..bash_profile

（3）修改配置文件

修改hive配置文件(配置文件目錄：hive-0.9.0-cdh4.1.2/conf/)

在hive-0.9.0-cdh4.1.2/conf/目錄下新建hive-site.xml文件，並添加以下配置信息：

hive.metastore.local

true

javax.jdo.option.ConnectionURL

jdbc:mysql://10.28.169.61:3306/hive_impala?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hadoop

javax.jdo.option.ConnectionPassword

123456

hive.security.authorization.enabled

false

hive.security.authorization.createtable.owner.grants

ALL

hive.querylog.location

${user.home}/hive-logs/querylog

（4）驗證成功狀態

完成以上步驟之後，驗證hive安裝是否成功

在mr5命令行執行hive，並輸入」show tables;」，出現以下提示，說明hive安裝成功：

>hive

hive>show tables;

OK

Time taken:18.952 seconds

hive>

6、impala安裝

說明：

(1)、以下1、2、3、4步是在root用戶分別在mr5、mr6、mr7、mr8下執行

(2)、以下第5步是在hadoop用戶下執行

（1）安裝依賴包：

安裝mysql-connector-java：

yum install mysql-connector-java

安裝bigtop

rpm -ivh bigtop-utils-0.4+300-1.cdh4.0.1.p0.1.el6.noarch.rpm

安裝libevent

rpm -ivhlibevent-1.4.13-4.el6.x86_64.rpm

如存在其他需要安裝的依賴包，可以到以下鏈接：

http://mirror.bit.e.cn/centos/6.3/os/x86_64/Packages/進行下載。

（2）安裝impala的rpm，分別執行

rpm -ivh impala-0.3-1.p0.366.el6.x86_64.rpm

rpm -ivh impala-server-0.3-1.p0.366.el6.x86_64.rpm

rpm -ivh impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm

rpm -ivh impala-shell-0.3-1.p0.366.el6.x86_64.rpm

（3）找到impala的安裝目錄

完成第1步和第2步後，通過以下命令：

find / -name impala

輸出：

/usr/lib/debug/usr/lib/impala

/usr/lib/impala

/var/run/impala

/var/log/impala

/var/lib/alternatives/impala

/etc/default/impala

/etc/alternatives/impala

找到impala的安裝目錄：/usr/lib/impala

（4）配置Impala

在Impala安裝目錄/usr/lib/impala下創建conf，將hadoop中的conf文件夾下的core-site.xml、hdfs-site.xml、hive中的conf文件夾下的hive-site.xml復制到其中。

在core-site.xml文件中添加如下內容：

dfs.client.read.shortcircuit

true

dfs.client.read.shortcircuit.skip.checksum

false

在hadoop和impala的hdfs-site.xml文件中添加如下內容並重啟hadoop和impala：

dfs.datanode.data.dir.perm

755

dfs.block.local-path-access.user

hadoop

dfs.datanode.hdfs-blocks-metadata.enabled

true

（5）啟動服務

(1)、在mr5啟動Impala state store，命令如下：

>GLOG_v=1 nohup statestored-state_store_port=24000 &

如果statestore正常啟動，可以在/tmp/statestored.INFO查看。如果出現異常，可以查看/tmp/statestored.ERROR定位錯誤信息。

(2)、在mr6、mr7、mr8啟動Impalad，命令如下：

mr6：

>GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr6 -ipaddress=10.28.169.113 &

mr7：

>GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr7 -ipaddress=10.28.169.114 &

mr8：

>GLOG_v=1 nohup impalad -state_store_host=mr5-nn=mr5 -nn_port=9000 -hostname=mr8 -ipaddress=10.28.169.115 &

如果impalad正常啟動，可以在/tmp/impalad.INFO查看。如果出現異常，可以查看/tmp/ impalad.ERROR定位錯誤信息。

（6）使用shell

使用impala-shell啟動Impala Shell，分別連接各Impalad主機(mr6、mr7、mr8)，刷新元數據，之後就可以執行shell命令。相關的命令如下(可以在任意節點執行)：

>impala-shell

[Not connected]> connect mr6:21000

[mr6:21000] >refresh

[mr6:21000]>connectmr7:21000

[mr7:21000]>refresh

[mr7:21000]>connectmr8:21000

[mr8:21000]>refresh

（7）驗證成功狀態

使用impala-shell啟動Impala Shell，分別連接各Impalad主機，刷新元數據，之後就可以執行shell命令。相關的命令如下(可以在任意節點執行)：

>impala-shell

[Not connected]> connect mr6:21000

[mr6:21000]>refresh

[mr6:21000] >show databases

default

[mr6:21000] >

出現以上提示信息，說明安裝成功。

⑦ spark、hive、impala、hdfs的常用命令

對spark、hive、impala、hdfs的常用命令作了如下總結，歡迎大家補充！ 1. Spark的使用： 以通過SecureCRT訪問IP地址：10.10.234.198 為例進行說明： 先輸入：ll //查詢集群是否裝有spark >su - mr >/home/mr/spark/bin/beeline -u "jdbc:hive2:/bigdata198:18000/" -n mr -p "" >.show databases; //顯示其中資料庫，例如 >use bigmax; //使用資料庫bigmax >show tables; //查詢目錄中所有的表 >desc formatted TableName; //顯示表的詳細信息，包括分區、欄位、地址等信息 >desc TableName; //顯示表中的欄位和分區信息 >select count(*) from TableName; //顯示表中數據數量，可以用來判斷表是否為空 >drop table TableName; //刪除表的信息 >drop bigmax //刪除資料庫bigmax >describe database zxvmax //查詢資料庫zxvmax信息 創建一個表 第一步： >create external table if not exists lte_Amaze //創建一個叫lte_Amaze的表 ( //括弧中每一行為表中的各個欄位的名稱和其所屬的數據類型，並用空格隔開 DateTime String, MilliSec int, Network int, eNodeBID int, CID int, IMSI String, DataType int, AoA int, ServerRsrp int, ServerRsrq int, TA int, Cqi0 Tinyint, Cqi1 Tinyint //注意，最後一個欄位結束後，沒有逗號 ) partitioned by (p_date string, p_hour INT) //以p_date和p_hour作為分區 row format delimited fields terminated by ',' /*/*表中行結構是以逗號作為分隔符，與上邊的表中欄位以逗號結尾相一致*/ stored as textfile; //以文本格式進行保存 第二步：添加分區，指定分區的位置 >alter table lte_Amaze add partition (p_date='2015-01-27',p_hour=0) location'/lte/nds/mr/lte_nds_cdt_uedetail/p_date=2015-01-27/p_hour=0'; //添加lte_Amaze表中分區信息，進行賦值。 //並制定分區對應目錄/lte/nds/mr下表lte_nds_cdt_uedetail中對應分區信息 第三步:察看添加的結果 >show partitions lte_Amaze； //顯示表的分區信息 2. hdfs使用： #su - hdfs //切換到hdfs用戶下 、 #hadoop fs –ls ///查看進程 # cd /hdfs/bin //進入hdfs安裝bin目錄 >hadoop fs -ls /umtsd/cdt/ //查詢/umtsd/cdt/文件目錄 >hadoop fs -mkdir /umtsd/test //在/umtsd目錄下創建test目錄 >hadoop fs -put /home/data/u1002.csv /impala/data/u5002 //將home/data/u1002.csv這個文件put到hdfs文件目錄上。put到hdfs上的數據文件以逗號「,」分隔符文件（csv）,數據不論類型，直接是數據，沒有雙引號和單引號 >hadoop fs -rm /umtsd/test/test.txt //刪除umtsd/test目錄下的test.txt文件 >hadoop fs -cat /umtsd/test/test.txt //查看umtsd/test目錄下的test.txt文件內容3hive操作使用： #su - mr //切換到mr用戶下 #hive //進入hive查詢操作界面 hive>show tables; //查詢當前創建的所有表 hive>show databases; //查詢當前創建的資料庫 hive>describe table_name; {或者desc table_name}//查看錶的欄位的定義和分區信息，有明確區分（impala下該命令把分區信息以欄位的形式顯示出來，不怎麼好區分） hive> show partitions table_name; //查看錶對應數據現有的分區信息，impala下沒有該命令 hive> quit;//退出hive操作界面 hive>desc formatted table_name; 查看錶結構，分隔符等信息 hive> alter table ceshi change id id int; 修改表的列數據類型 //將id數據類型修改為int 注意是兩個id hive> SHOW TABLES '.*s'; 按正條件（正則表達式）顯示表， [mr@aico ~]$ exit; 退出mr用戶操作界面，到[root@aico]界面impala操作使用： #su - mr //切換到mr用戶下 #cd impala/bin //進入impala安裝bin目錄 #/impala/bin> impala-shell.sh -i 10.10.234.166/localhost //進入impala查詢操作界面 [10.10.234.166:21000] >show databases; //查詢當前創建的資料庫 [10.10.234.166:21000] >use database_name; //選擇使用資料庫,默認情況下是使用default資料庫 [10.10.234.166:21000] > show tables; //查詢當前資料庫下創建的所有表 [10.10.234.166:21000] >describe table_name; //查看錶的欄位的定義,包括分區信息，沒有明確區分 [10.10.234.166:21000] > describe formatted table_name; //查看錶對應格式化信息，包括分區，所屬資料庫，創建用戶，創建時間等詳細信息。 [10.10.234.166:21000] >refresh table_name; //刷新一下，保證元數據是最新的 [10.10.234.166:21000] > alter TABLE U107 ADD PARTITION(reportDate="2013-09-27",rncid=487)LOCATION '/umts/cdt/ MREMITABLE/20130927/rncid=487' //添加分區信息，具體的表和數據的對應關系 [10.10.234.166:21000] > alter TABLE U100 drop PARTITION(reportDate="2013-09-25",rncid=487); //刪除現有的分區，數據與表的關聯 [10.10.234.166:21000] >quit; //退出impala操作界面[mr@aicod bin]$ impala-shell; 得到welcome impala的信息，進入impala 查詢操作界面 [aicod:21000] > 按兩次tab鍵，查看可以用的命令 alter describe help profile shell values connect drop history quit show version create exit insert select unset with desc explain load set use

⑧ impala怎麼判斷從hive里刷新那部分元數據

Impala 獲取hive 的 metadata
Impala 通常和Hive共用同一個metadata 資料庫(通常是MySQL/PostgreSQL), 所以Impala 能夠讀取到Hive的元數據信息. 如果Impala需要訪問Hive表, 需要將Hive metadata 刷新到impala中.
在Hive中Create/Drop表後, 或者HDFS rebalance,或者手工刪除HDFS的文件後, 則需要在impala中執行下面兩行命令:
INVALIDATE METADATA table_name;
describe table_name;
第一行命令 INVALIDATE METADATA 告訴impala 指定的 table 元數據已經過期, impala 將在下一次使用到該表時自動刷新元數據, 第二行命令即觸發impala去更新元數據, 以免將來真正使用該表耗時太久.
如果Impala已經知道了Hive表的存在後, 又通過Hive增加或刪除分區或alter table, 使用 refresh 命令即可更新元數據. refresh是對元數據進行增量更新, 和INVALIDATE METADATA相比, refresh命令使用成本低很多.
利用catalogd提供元數據服務。可以直接連DB也可以通過catalogd，一般是利用hive里的metastore獲取數據。Impala高效的原因是其將原始數據緩存下來，catalogd啟動會瀏覽緩存獲取數據
因為impla默認catalogd會緩存，因此如果你重啟的後，catalogd會將緩存數據存入到內存中，

閱讀全文

與impala怎麼看資料庫緩存相關的內容

本站內容整理源於互聯網，如有問題請聯系解決。
Copyright design: www.gotrillian.com since 2022