从Export DMP文件看导出字符集

Oracle从10g开始,正式推出了新一代据逻辑备份还原工具Data Pump(据泵),以期替代“历史悠久”的Exp/Imp工具。经过近10年的发展,依然有不少用户,特别是开发人员,对这对工具有比较强的依赖性。很多开发环境中数据传输依然是使用Exp/Imp进行。

在使用Exp/Imp工具过程中,字符集、版本兼容一致是比较困扰用户的两个重点难点。字符集决定我们导出数据能否正确的导入到目标系统,是否从根本出现乱码故障。版本兼容问题涉及到原系统、目标系统数据库版本、导入客户端和导出客户端版本四个版本问题。Oracle官方MOS上曾经对这个问题用系列的矩阵来描述之前关系和兼容性,但是能记住的朋友实际寥寥。

笔者本篇主要介绍通过Export导出的Dmp文件检查字符集的方法,同时也看出一些字符集使用过程中常见的问题。

1、环境介绍

Endian是操作系统底层技术的一个重要方面。数据传输、设备通信都伴随着源与目标系统之间字符协议的认知。Endian问题所涉及的基础问题是:当通信发生的时候,信息单元(比特、字节、字和双字)以什么样的顺序进行传输。如果双方不统一或者不兼容,根本不可能实现数据的交换解码。

在Oracle领域中,比较常见Endian讨论是在可传输表空间技术上。可传输表空间是目前普遍认为比较快速的数据移植策略,基本上近似于文件直接传输。但是,可传输表空间不能实现跨Endian操作系统的传输操作。

我们在实际中,两种常见的Endian结构,即Big-Endian和Little-Endian。Big-Endian通常为Sparc, PowerPc, PARisc, RS/6000, SGI R4000 systems,经常接触的Unix系统一般为Big-Endian操作系统。Little-Endian系统读写顺序与Big-Endian相反,代表系统为Intel/AMD x86 and Alpha。

不同Endian环境下形成的DMP文件结构是有所不同的。Oracle在操作的时候,兼容两种Endian传输模式。这也就是我们为什么可以方便的在Unix和Linux之间交换传输数据的原因。

通过对DMP文件的直接读取,我们是可以分析看出DMP文件导出过程中使用的字符集配置的。下面通过一系列实验来进行测试:

2、Big-Endian下DMP分析实验

首先我们测试Big-Endian结构。我们选择Unix系统数据库环境。

[oracle@MISDB:~]$uname -a

AIX MISDB 1 6 00F7FCC94C00

我们首先不做任何环境变量设置,观察Export工作行为。

[oracle@MISDB:~]$exp \"/ as sysdba\" owner=scott file=scott_test.dmp

Export: Release 11.2.0.3.0 - Production on Wed Jul 1 18:25:15 2015

Copyright (c) 1982, 2011, Oracle and/or its affiliates.  All rights reserved.

Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

Export done in US7ASCII character set and UTF8 NCHAR character set

server uses AL32UTF8 character set (possible charset conversion)

About to export specified users ...

. exporting pre-schema procedural objects and actions

. exporting foreign function library names for user SCOTT 

. exporting PUBLIC type synonyms

. exporting private type synonyms

. exporting object type definitions for user SCOTT 

About to export SCOTT's objects ...

. exporting database links

. exporting sequence numbers

. exporting cluster definitions

. about to export SCOTT's tables via Conventional Path ...

. . exporting table                          BONUS          0 rows exported

EXP-00091: Exporting questionable statistics.

. . exporting table                          DEPT          4 rows exported

EXP-00091: Exporting questionable statistics.

EXP-00091: Exporting questionable statistics.

(篇幅原因,有省略……)

. exporting statistics

Export terminated successfully with warnings.

注意标红的两个部分:其一是EXP-00091错误提示信息,之前笔者文章中已经对这个错误有过说明,主要是没有设置NLS_LANG环境变量。另一个是标记的US7ASCII字符集参数。

Oracle Export工具的特点是这样,如果在执行前没有设置NLS_LANG环境变量,就直接取Oracle早期默认字符集US7ASCII作为导出的对象。从数据库中原有的字符集(例如AL32UTF8)都要转化为US7ASCII进行保存。

这样是潜藏着一些问题的:如果没有设置NLS_LANG环境变量,数据导出被整理为US7ASCII格式。一旦数据库中保存的是WE8DEC类型的数据,也会被强制转化为US7ASCII,所有没有对应US7ASCII的字符就会自动被破坏成乱码。

下面,我们从dmp文件中检查字符集。

[oracle@MISDB:~]$ls -l | grep dmp

-rw-r--r--    1 oracle  oinstall      20480 Jul 01 18:25 scott_test.dmp

[oracle@MISDB:~]$cat scott_test.dmp | od -x | head

0000000  0300 0145 5850 4f52 543a 5631 312e 3032

0000020  2e30 300a 4453 5953 0a52 5553 4552 530a

0000040  3430 3936 0a30 0a37 320a 300a 0001 0369

0000060  0367 0001 0000 0000 0000 0000 000e 0020

0000100  2020 2020 2020 2020 2020 2020 2020 2020

*

0000140  2020 2020 2020 2020 2057 6564 204a 756c

0000160  2031 2031 383a 3235 3a31 3520 3230 3135

0000200  7363 6f74 745f 7465 7374 2e64 6d70 0000

0000220  0000 0000 0000 0000 0000 0000 0000 0000

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/59ec1f7c2e3e2f73b7b7aaf0bfb13212.html