前言:
数据来源有高斯和ORACLE, 数据文件保存格式有UTF-8和GBK。
当我在做测试导入的时候发现SQLSERVER 2008数据库的WITH选项不支持CODEPAGE=‘65001’, 即UTF-8文件编码格式导入。 所以需要把UTF-8编码的文件统一转换成GBK, 代码如下。
示例一:
在转换生产数据的时候还算好用, 但有些字符还是无法很好的识别, 导致转换失败。 在网上又看到了一个专门用来编码转换的包:codecs, 用法大同小异
示例二:
通过 Unicode 编码来进行不同编码之间的相互转化
1、不同的编码之间不能互相识别,不能相互转化,会报错或出现乱码
2、国际通用标准:文字通过网络传输、或硬盘存储等不能使用 Unicode 编码方式,因为 Unicode 使用的是升级版 32 位的,太费流量和空间
3、在 Python3 版本中,唯独 string 在内存中的编码方式是 Unicode,所以字符串不能直接进行网络传输及进行文件的存储
4、bytes:也是一种数据类型,不是字节,与 string 类型就像是孪生兄弟
5、为啥要有 bytes ?—— bytes 内部编码不是 Unicode 方式,因此可以进行网络传输和文件的存储
6、不同编码之间相互转化都需要先变成unicode编码, encode编码, decode解码
示例:
在python3版本中, 字符串的编码方式就是Unicode, 所以中国==u"中国"
各系统的默认编码方式
WINDOWS: GBK
LINUX: UTF-8
IOS: UTF-8
示例:
如果encoding不对, 打开内容是乱码