Ⅰ python3.6 cx_oracle连接数据库报编码错UnicodeDecodeError
我说下我遇到的情况
数据库字符集是 ZHS16GBK
错误的情况是
UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xa7inposition12:illegalmultibytesequence
经过检查,在fetchall()获取记录时,查询到的记录里面有乱码(应该是不包含在数据库现有字符集下的字符)
临时的一个解决办法是
db=cx_Oracle.connect(dblink,encoding='UTF-8')
这样可以读取了,读取到的内容为
广州市ue738同泰路
其中 'ue738'应该是之前不可被读取的字符,希望对各位有帮助
Ⅱ python的编码问题,一个小例子让人很困惑
其实,字典中返改的uxxxx或者芹世此x..之类 就是utf-8编码,经过解码就嫌迅是汉字了
print 打印的字符是自动解码的。(根据第一行的 coding:utf-8)
print 打印的字典、列表之类的对象,一般没经过解码
如果你要输出解码的汉字,处理方法:
一,对每个scrapy抓取的数据都进行for循环decod
a={1:"你好",2:"谢谢",3:"对不起",4:"hi"}
forkina.keys():
printk,a[k].decode("utf-8")
二,使用json.mps
a={1:"你好",2:"谢谢",3:"对不起",4:"hi"}
importjson
printjson.mps(a,encoding='UTF-8',ensure_ascii=False)
Ⅲ python基础——编码、bytes与str转换及格式化
对于单个字符的编码,Python提供了ord()函数获取字符的整灶启尺数表示,chr()函数把编码转隐高换为对应的字符:
最常用的编码是UTF-8,如果没有特殊业务要求,请牢记仅使用UTF-8编码。
在爬虫中会经常遇见,需要用encode和decode来进行互相转码
str转bytes
注意,含有中文字符的str不能用acsii格式转码
bytes转str
** 程序中经常会遇到个别字符转码不成功而报错,因此在decode方法中需要这个参数errors='ignore'忽略错误的字节
注旁燃意格式化的数据格式
Ⅳ python3连接MSsql数据库 中文乱码怎么解决
以前用php连mssqy时也经常出现中文乱码(中文变问号)的问题,那时就明白是编码没设置好导航,现在的Python连mssql数据库也同样出现这问题,问题一样,解决的办法当然也会相似,现在我们来看看解决方法。
python一直对中文支持的不好,最近老遇到编码问题,而且几乎没有通用的方案来解决这个问题,但是对常见的方法都试过之后,发现还是可以解决的,下面总结了常用的支持中文的编码问题(这些方法中可能其中一个就能解决问题,也可能是多个组合)。
(1)、首先,要保证文件的开头要加上编码设置来说明文件的编码
代码如下
复制代码
#encoding=utf-8
(2)、然后,在连接数据的连接参数里加上字符集说明查询出的结果的编码,这个不加的后果可能是查询出的汉字字符都是问号
代码如下
复制代码
conn=pymssql.connect(server='.',user='',
password='',database='MyTest',charset='utf8')
(3)、设置python系统的默认编码(对于文件来说,这招几乎屡试不爽,呵呵~~)
代码如下
复制代码
import
sys
reload(sys)
sys.setdefaultencoding('utf8')
注意:上述编码是“utf8”,而不是“utf-8”,我也没弄明白,大部分情况下,这个无所谓的,但是这里我试了必须要是“utf8”
一个简单的完整的python连接mssqlserver的例子如下(得安装pymssql包):
代码如下
复制代码
#encoding:utf8
import
sys
reload(sys)
sys.setdefaultencoding('utf8')
import
pymssql
try:
conn=pymssql.connect(server='.',user='',
password='',database='MyTest',charset='utf8')
sql="select
*
from
UserInfo"
cur=conn.cursor()
cur.execute(sql)
data=cur.fetchall()
conn.close()
print
data
except
Exception,e:
print
e
运行结果如下:
代码如下
复制代码
[(u'20093501',
u'xb9xf9xbexb8',
u'u7537
',
35,
u'xb4xf3xcfxc0'),
(u'20093502',
u'xbbxc6xc8xd8',
u'u5973
',
34,
u'xc3xc0xc5xae'),
(u'20093503',
u'xc1xeexbaxfcxb3xe5',
u'u7537
',
25,
u'2Bxc7xe0xc4xea'),
(u'20093504',
u'xc8xcexd3xafxd3xaf',
u'u5973
',
24,
u'xc6xafxc1xc1')]
[Finished
in
0.2s]
虽然摆脱了问号和乱码的困扰,但这仍不是我们想要的结果,但这个确实是正确的,因为结果是utf8编码。这个现象确实诡异,请教了许多高手,得知,最好的结果就是逐个字段查询,才能显示中文,整个查询的话,会以utf8的格式显示出来。
上述代码中第14行data是整个查询的结果,如果指定某个具体的字段,如print
data[0][2](表示取查询结果的第一行第三列的字段的值),则会输出中文。
其实不仅仅是mssqlserver数据库,mysql(需下载MySQLdb包)、sqllite(python自带的文件数据库)、mongodb(需下载PyMongo包)等或者是普通文本文件也是类似的解决方案。