mysql
資料庫，更新欄位語句：
一、UPDATE：
UPDATE的功能是更新表中的數據。這的語法和INSERT的第二種用法相似。必須提供表名以及SET表達式，在後面可以加WHERE以限制更新的記錄范圍。
UPDATE
table_anem
SET
column_name1
=
value1,
column_name2
=
value2,
...
WHERE
...
。
如下面的語句將users表中id等於123的記錄的age改為24。
UPDATE
users
SET
age
=
24
WHERE
id
=
123。
同樣，可以使用UPDATE更新多個欄位的值
UPDATE
users
SET
age
=
24,
name
=
'Mike'
WHERE
id
=
123。
上面的UPDATE語句通過WHERE指定一個條件，否則，UPDATE將更新表中的所有記錄的值。
B. 如何對MySQL資料庫中的數據進行實時同步
具體操作：
1、在分析型資料庫上創建目標表，數據更新類型為實時寫入，欄位名稱和MySQL中的建議均相同；
2、在阿里雲數據傳輸的控制台上創建數據訂閱通道，並記錄這個通道的ID；
3、 配置dts-ads-writer/app.conf文件，配置方式如下：所有配置均保存在app.conf中，運行前請保證配置正確；修改配置後，請重啟writer，基本配置：
注意事項：
1、RDS
for
MySQL表和分析型資料庫中表的主鍵定義必須完全一致；如果不一致會出現數據不一致問題。如果需要調整RDS/分析型資料庫表的主鍵，建議先停止writer進程；
2、一個插件進程中分析型資料庫db只能是一個，由adsJdbcUrl指定；
3、一個插件進程只能對應一個數據訂閱通道；如果更新通道中的訂閱對象時，需要重啟進程。
C. 如何進行MySQL資料庫與HDFS的實時數據同步
通過Map/Rece進行批處理遞送到Apache
Hadoop仍然是中樞環節。,但隨著要從「超思維速度「分析方面獲取競爭優勢的壓力遞增，因此Hadoop(分布式文件系統)自身經歷重大的發展。科技
的發展允許實時查詢，如Apache Drill, Cloudera Impala和Stinger
Initiative正脫穎而出，新一代的資源管理Apache YARN 支持這些。
為了支持這種日漸強調實時性操作,我們正發布一個新MySQL Applier for Hadoop(用於Hadoop的MySQL Applier)組件。它能夠把MySQL中變化的事務復制到Hadoop / Hive / HDFS。Applier 組件補充現有基於批處理Apache Sqoop的連接性。
這個組件(MySQL Applier for Hadoop)的復制是通過連接MySQL主服務，一旦二進制日誌被提交，就讀取二進制日誌事務，並且把它們寫到HDFS.
這個組件使用libhdfs提供的API，一個C庫操作HDFS中的文件。這庫由Hadoop版本預編譯生成的。
它連接MySQL主服務讀二進制日誌，然後：
•提取發生在主服務上的行插入事件
•解碼事件,提取插入到行的每個欄位的數據,並使用滿意的處理程序得到被要求的格式數據。
•把它追加到HDFS 中一個文本文件。
資料庫被映射為單獨的目錄,它們的表映射為子目錄，保存在數據倉庫目錄。每個表的數據被寫到Hive/ HDFS中文本文件(稱為datafile1.txt)。數據可以用逗號格式分隔;或其他格式,那可用命令行參數來配置的。
從這個blog可以了解更多有關該組設計信息。
在這個blog已經詳細討論安裝，配置，實施信息。與Hive集成也有文檔。
D. 如何實現實時監控mysql資料庫主從同步的狀態
1、增加一個用戶同步使用的帳號：
GRANT FILE ON *.* TO 『backup』@'10.10.8.112' IDENTIFIED BY 『1234』;
GRANTREPLICATION SLAVE ON *.* TO 『backup』@'10.10.8.112' IDENTIFIED BY 『1234』;
賦予10.10.8.112也就是Slave機器有File許可權，只賦予Slave機器有File許可權還不行，還要給它REPLICATION SLAVE的權
限才可以。
2、增加一個資料庫作為同步資料庫：
create databbse test;
3、創建一個表結構：
create table mytest (username varchar(20),password varchar(20));
4、修改配置文件：
修改A的/etc/my.cnf文件，在my.cnf配置項中加入下面配置：
server-id = 1 #Server標識
log-bin
binlog-do-db=test #指定需要日誌的資料庫
5、重起資料庫服務：
service mysqld restart
查看server-id：
show variable like 『server_id』；
實例：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 1 |
+---------------+-------+
1 row in set (0.00 sec)
6、用show master status/G命令看日誌情況。
正常為：
mysql> show master status/G
E. 如何實時監控mysql資料庫思路
有兩種方法：
1) 先導出資料庫SQL腳本，再導入；
2) 直接拷貝資料庫目錄和文件。
在不同操作系統或MySQL版本情況下，直接拷貝文件的方法可能會有不兼容的情況發生。
所以一般推薦用SQL腳本形式導入。
F. 資料庫（mysql）關鍵知識
Mysql是目前互聯網使用最廣的關系資料庫，關系資料庫的本質是將問題分解為多個分類然後通過關系來查詢。 一個經典的問題是用戶借書，三張表，一個用戶，一個書，一個借書的關系表。當需要查詢某個用戶借書情況或者是書被那些人借了，就用關系查詢來實現。
關系資料庫範式
來自英文Normal form，簡稱NF。要想設計—個好的關系，必須使關系滿足一定的約束條件，滿足這些規范的資料庫是簡潔的、結構明晰的，同時，不會發生插入(insert)、刪除(delete)和更新(update)操作異常。總共有六種範式：第一範式（1NF）、第二範式（2NF）、 第三範式 （3NF）、巴斯-科德範式（BCNF）、 第四範式 (4NF）和 第五範式 （5NF，又稱完美範式）。
1NF是指資料庫表的每一列都是不可分割的原子數據項。2NF必須滿足1NF，要求資料庫表中的每行記錄必須可以被唯一地區分。3NF在2NF基礎上，任何非主 屬性 不依賴於其它非主屬性（在2NF基礎上消除傳遞依賴）。BCNF是在3NF基礎上，任何非主屬性不能對主鍵子集依賴（在3NF基礎上消除對主碼子集的依賴）， 滿足BCNF不再會有任何由於函數依賴導致的異常，但是我們還可能會遇到由於多值依賴導致的異常。4NF的定義很簡單：已經是BC範式，並且不包含多值依賴關系。5NF處理的是無損連接問題，這個範式基本沒有實際意義，因為無損連接很少出現，而且難以察覺。而域鍵範式試圖定義一個終極範式，該範式考慮所有的依賴和約束類型，但是實用價值也是最小的，只存在理論研究中。
Catalog和Schema
是資料庫對象命名空間中的層次，主要用來解決命名沖突的問題。從概念上說，一個資料庫系統包含多個Catalog，每個Catalog又包含多個Schema，而每個Schema又包含多個資料庫對象（表、視圖、欄位等）。但是Mysql的資料庫名就是Schema，不支持Catalog。
Mysql的資料庫引擎主要有兩種MyISAM和InnoDB，MyISAM支持全文檢索，InnoDB支持事務。
SQL中的通配符『%』代表任意字元出現任意次數。『_』代表任意字元出現一次。SQL與正則表達式結合查詢一般用在WHERE table_name REGEXP '^12.34'。子查詢是從里到外執行。
資料庫聯結（join）涉及到外鍵，外鍵是指一個表的列是另一個表的主鍵，那麼它就是外鍵。笛卡爾積聯結（不指定聯結條件時）生成的記錄條目是單純的第一個表的行乘以第二個表的列數。用得最多的是等值聯結也叫內部聯結。
高級聯結還有自連接，是指查詢中的兩張表是同一張表，它通常作為外部語句用來代替從相同表中檢索數據時使用的子查詢。自然聯結使每個列只返回一次。外部聯結是指聯結包含了那些在相關表中沒有關聯行的行。例如列出所有產品及其訂購數量，包括沒有人訂購的產品。LEFT OUTER JOIN指選擇左邊表的所有行。
組合查詢是指採用UNION等將兩個查詢結果取並集。
視圖是查看存儲在別處的數據的一種工具，它本身並不包含數據，因此表的數據修改了，視圖返回的數據也將隨之修改，因此如果使用了復雜或嵌套視圖會對性能有較大的影響。視圖的作用之一是隱藏復雜的SQL通常會涉及到聯結查詢。
存儲過程類似於批處理，包含了一條或多條SQL語句。語法：
CREATE PROCEDURE name（）
BEGIN
SQL
END
-------------------------
CALL name（）//來調用存儲過程
游標有DECLARE定義，游標與存儲過程是綁定的，存儲過程處理完成，游標就會消失。游標被打開後可以使用FETCH語句訪問每一行。
觸發器是在某個時間發生時自動執行某條SQL語句。語法：
CREATE TRIGGER name AFTER INSERT ON talbe_name FOR EACH ROW
事務處理可以維護資料庫的完整性，保證批量的操作要麼完全執行，要麼完全不執行。包括事務、回退、提交、保留點幾個關鍵術語。ROLLBACK只能在一個事務處理內使用。他不能回退CREATE和DROP操作。使用COMMIT保證事務提交。復雜的事務處理需要部分提交或回退，因此我們需要使用保留點SAVEPOINT。可以使用ROLLBACK TO savepoint_name。保留點越多越好。保留點在事務執行完成後自動釋放。
G. 如何對MySQL資料庫中的數據進行實時同步
前提條件
您需要在您RDS for MySQL所在的雲賬號下開通阿里雲數據傳輸服務。並 點擊此處
下載dts-ads-writer插件到您的一台伺服器上並解壓（需要該伺服器可以訪問互聯網，建議使用阿里雲ECS以最大限度保障可用性）。伺服器上需要有Java
6或以上的運行環境（JRE/JDK）。
操作步驟
1. 在分析型資料庫上創建目標表，數據更新類型為實時寫入，欄位名稱和MySQL中的建議均相同；
2. 在阿里雲數據傳輸的控制台上創建數據訂閱通道，並記錄這個通道的ID；
（見： https://help.aliyun.com/document_detail/dts/Getting-Started/data-subscription.html），
3. 配置dts-ads-writer/app.conf文件，配置方式如下：
所有配置均保存在app.conf中，運行前請保證配置正確；修改配置後，請重啟writer
基本配置：
{
"dtsAccessId": "", // 擁有數據訂閱通道的雲賬號的accessId, 必須配置
"dtsAccessKey": "", // 擁有數據訂閱通道的雲賬號的accessKey, 必須配置
"dtsTunnelId": "", // 數據訂閱通道的id, 必須配置; 注意是id，不是通道名稱
"adsUserName": "", // 訪問您的分析型資料庫的用戶名（accessId）, 必須配置
"adsPassword": "", // 訪問您的分析型資料庫的密碼(accessKey), 必須配置
"adsJdbcUrl": "", // 訪問分析型資料庫的jdbc連接串, 必須配置（格式jdbc:mysql://ip:port/dbname）
"tables": [
{
"source": {
"primaryKeys": [""] // 主鍵定義, 必須配置; 注意RDS和分析型資料庫中的主鍵定義必須一致
"db": "", // 源頭RDS的db名稱, 必須配置
"table": "", // 源頭RDS的table名稱, 必須配置
"skipColumns": ["col1"] // 可選，若在此配置了RDS表某列名，則該列不會同步
},
"target": {
"table": "" // 分析型資料庫表的table名稱, 必須配置
},
"columnMapping": {
"": "" // rds表和ads表的列對應關系：key為rds的列名, value為分析型資料庫的列名，選填，不填則按照列名一一對應
}
}
]
}
tables節點的配置示例，
表示rds_db庫下的rds_table表對應ads_table表，並且rds_table表的col1列對應ads_table表的col1_ads列，
rds_table表的col2列對應ads_table表的col2_ads列
"tables": [
{
"source": {
"primaryKeys": [
"col1",
"col2"
],
"db": "rds_db",
"table": "rds_table"
},
"target": {
"table": "ads_table"
},
"columnMapping": {
"col1": "col1_ads",
"col2": "col2_ads"
}
}
]
注意事項：
1）RDS for MySQL表和分析型資料庫中表的主鍵定義必須完全一致；如果不一致會出現數據不一致問題。如果需要調整RDS/分析型資料庫表的主鍵，建議先停止writer進程；
2）一個插件進程中分析型資料庫db只能是一個，由adsJdbcUrl指定；
3）一個插件進程只能對應一個數據訂閱通道；如果更新通道中的訂閱對象時，需要重啟進程
4）RDS for MySQL中DDL操作不做同步處理；
5）更新app.conf需要重啟插件進程才能生效；
6）如果工具出現bug或某種其它原因需要重新同步歷史數據，只能回溯最近24小時的數據（在阿里雲數據傳輸的控制台中修改消費位點）；
7）插件的最大同步性能與運行插件的伺服器的互聯網帶寬和磁碟IOPS成正比。
4. 運行dts-ads-writer/bin/startup.sh(sh bin/startup.sh)；
5. 配置監控程序監控進程存活和日誌中的常見錯誤碼。
logs目錄下的日誌中的異常信息均以ErrorCode=XXXX ErrorMessage=XXXX形式給出，可以進行監控
H. 請問MySQL作為實時資料庫可以嗎
mysql和oracle都一樣的，都可以，無非就是mysql功能弱一點而已
I. 如何對MySQL資料庫中的數據進行實時同步
如何對MySQL資料庫中的數據進行實時同步
實現兩個Mysql資料庫之間同步同步原理：
MySQL 為了實現replication 必須打開bin-log 項，也是打開二進制的MySQL 日誌記錄選項。MySQL 的bin log 二
進制日誌，可以記錄所有影響到資料庫表中存儲記錄內容的sql 操作，如insert / update / delete 操作，而不記錄
select 這樣的操作。因此，我們可以通過二進制日誌把某一時間段內丟失的數據可以恢復到資料庫中（如果二進制日
志中記錄的日誌項，包涵資料庫表中所有數據，那麼， 就可以恢復本地資料庫的全部數據了）。 而這個二進制日誌，
如果用作遠程資料庫恢復，那就是replication 了。這就是使用replication 而不用sync 的原因。這也是為什麼要設
置bin-log = 這個選項的原因。