数据转换中关键技术及难点-数据库

　　本文介绍了数据转换冲突及处理，读取数据源的元数据，数据类型转换，数据转换过程中大对象的处理等方法，请读者慢慢体会。

　　1 数据转换冲突及处理

　　1.1 数据转换冲突

　　在数据转换过程中，要想实现严格的等价转换是比较困难的。必须要确定两种模型中所存在的各种语法和语义上的冲突，这些冲突可能包括：

　　1）命名冲突：源数据源的标识符可能是目的数据源中的保留字。

　　2）格式冲突：同一种数据类型可能有不同的表示方法和语义差异。

　　3）结构冲突：如果两种DBMS之间的数据定义模型不同，如为关系模型和层次模型，则需要重新定义实体属性和联系，以防止属性或联系信息的丢失。

　　4）类型冲突：不同数据库的同一种数据类型存在精度之间的差异。

　　5）其他冲突：不同数据库的大对象类型存在不同的约束，而且存在一些特殊类型。如SQL SERVER中一个表中有多于一个TEXT或IMAGE的字段时，出现错误。而ORACLE也不允许一个表中的BLOB和LONG类型多于一个。

　　1.2 冲突处理方法

　　对于以上数据转换中的冲突，可进行相应的冲突处理。

　　对于命名冲突，可以先检查数据源中的保留字，建立保留字集合，对于保留字中的命名冲突，根据需要重新命名。

　　对于格式冲突，可以根据ODBC SQL类型从数据源的驱动程序中取出相对应的数据源的数据类型后，对一些特定的类型进行特殊的处理。对于字符型数据中含有“'”字符的情况，在数据转换过程中需通过转义符作特殊处理，否则会把它误当作字符串分隔符。

　　对于不同数据库的同一数据类型的精度冲突，类型转换中将ODBC SQL类型和精度结合起来决定源数据类型和目标数据类型的映射关系。找出目的数据源中与源数据源类型的精度最匹配的数据类型作为缺省的映射关系。

　　转换过程中的数据类型匹配，日期型数据最好先转换成字符型，然后根据不同的目标数据源分别作不同的处理。如ORACLE中使用TO_DATE函数，而FOXPRO中使用CTOD函数将日期格式的字符串转换成日期。

　　对于SQL SERVER中的TEXT、IMAGE类型，在进行转换时需要做出选择，或者把TEXT镜像为VARCHAR2（4000），或者镜像为LONG 类型，但Long 类型一个表里只能有一个。对于ORACLE，TEXT类型可以映像为CLOB类型，而IMAGE可以镜像为BLOB。CLOB类型可以在一个ORACLE表里有多列。

　　2 读取数据源的元数据

　　2.1 数据源的元数据类型

　　数据源的元数据类型如表3所示：
表3数据源的元数据类型
元数据种类 元数据信息 用途
数据源连接信息 数据库名，驱动器，服务器，DSN名，数据源描述，用户名等 用于连接源数据源和目的数据源
表信息 表名，表属主，表模式，表类型 用于数据转换中创建表
列信息 列名，类型，宽度，精度，标度，是否为空 用于数据转换中表的创建以及列映射
类型信息 类型名，最大列宽度，最大最小标度，前后缀字符，是否接受空，关键字列表 用于数据转换中表的创建以及类型映射
键信息 主键名，主键列，外键名，外键列，外键关联列 用于数据转换中表模式的转换
其它对象信息 索引信息，存储过程信息，权限信息等 用于数据转换中数据库对象的转换

2.2 数据源的元数据读取方法
1）调用ODBC API函数
可以直接调用ODBC API函数读取数据源的元数据。即分别调用以下函数SQLTables，SQLColumns， SQLDescribeCol，SQLGetTypeInfo，SQLForeignKeys，SQLPrimaryKeys，SQLProcedureColumns，SQLProcedures， SQLStatistics，SQLTablePrivileges，SQLColumnPrivileges获得数据源中的表信息，列信息，类型信息，键信息以及其他对象信息等。其主要步骤是连接数据源，分配语句句柄，然后调用ODBC API来获取各种元数据信息。
然而直接调用ODBC API函数比较复杂，各种参数不易理解，且直接获取返回的数据较困难。VC++的MFC类库对ODBC的API进行封装，部分简化了ODBC调用（尤其是对数据库记录集的操作），但单纯利用MFC类获取异构型数据库的结构信息仍然比较困难，因此需要将MFC和直接调用ODBC API方法结合起来。利用ODBC接口函数重载了MFC中CRecordset类的部分成员函数，创建CTable，CColumns，CTypes，CPrimaryKeys等类。利用这些新创建的类，可以很方便的获取异构型数据库结构信息。
2） 通过ADO对象
通过ADO中CONNECTION对象的GetTableNames 方法可以得到数据源的表信息，而通过ADO中RECORDSET对象中的FieldDefs属性可以得到数据集的各种列信息和类型信息。在得到数据源的元数据前，必须先创建CONNECTION对象连接数据源，并通过数据集对象RECORDSET来打开相应的数据表，之后即可以取得相应的数据源的元数据。

3 数据类型转换
3.1 异构数据源数据类型概述
对不同数据库系统，每个DBMS都定义了一套自己的数据类型，但不论数据类型在各个系统中如何变化，其功能都满足用户的数据处理基本要求，如数值型，包括整型、实型、浮点型、双精度型等；字符型，包括定长、变长等；日期型，包括年、月、日和小时、分、秒等；长字符型，包括文本类型，还有钱币型等。随着数据库系统的不断发展和版本的不断升级，数据类型的种类也不断增多，如超文本和二进制处理多媒体和大文本的数据类型。这些带有共性的东西，给系统间的数据转换带来了可能和方便，但不同的数据库的数据类型也是有差异的。其自身定义和扩充之间的区别，也给系统间的数据转换带来了许多困难。例如，DBMS返回的日期和时间数据格式在各个DBMS中有很大的不同。有些系统以8字节整数格式返回日期和时间，另外一些以浮点数格式返回。并且有的DBMS含有LONG类型，其它DBMS无此类型。所以异种数据库数据类型转换的关键是找出其中的对应关系。

3.2 数据类型转换方法一（设计类型映射表）
为了实现相互数据转换，必须设计多个相应的双向数据转换程序并且解决不同的数据类型匹配问题。当增加一个数据库系统时，相应要解决该数据库系统与已存在的多个异构库的数据类型匹配问题，并增加多个对应转换程序。为了实现程序的扩展性，可以通过设计类型映射表来解决类型转换问题。
将不同数据库系统数据类型的对应关系和相应的数据转换处理程序分离开，使数据转换程序相对独立，而把类型转换关系在专门的表结构中存储。通过对不同数据库系统之间的数据类型进行详细而深入的分析，找出了不同数据库系统不同版本的各个不同类型之间缺省的类型对应关系及可能存在的对应关系，将这些数据预先存入类型映射表中。

3.3 数据类型转换方法二（利用ODBC SQL类型）
存储在数据源中的数据都有一个数据类型，称为数据源数据类型或SQL数据类型。SQL数据类型是按照SQL-92标准由每一个DBMS定义，可以是某个数据源特有的。驱动程序在ODBC SQL语法及驱动程序数据类型中也定义了一套数据类型称为ODBC SQL数据类型（以SQL前缀开头的数据类型）。每个驱动程序负责映射特定数据来源的SQL数据类型到ODBC SQL数据类型标识符。因此，不同的数据源在进行数据转换的过程中可以通过ODBC SQL数据类型标识符作为基准来得到数据类型的缺省映射关系。驱动程序通过函数SQLGetTypelnfo返回数据源的SQL数据类型和ODBC SQL数据类型的映射关系，在函数SQLCo1Attributes，SQLDescribeCol和 SQLDescribeParm中，驱动程序还用ODBC SQL数据类型来描述列和参数的数据类型。
此外，ODBC还提供一套以SQL_C前缀开头的ODBC C数据类型。ODBC C数据类型指出了在应用程序中用于存储数据的C缓冲区的数据类型。所有驱动程序必须支持所有的C数据类型，而且支持所有C类型到相应的SQL类型的转换，并且所有的驱动程序至少支持字符SQL类型，使得DBMS的数据类型都能映射到一种C语言的数据类型，这样在传递过程中不会改变数据。每一个SQL数据类型与一个ODBC C数据类型相适应。在从数据源返回数据之前，驱动程序将它转换到指定的C数据类型。在发送数据到数据来源之前，驱动程序将它从指定C数据类型转换到SQL数据类型。

4 数据转换过程中大对象的处理
4.1 大对象类型概述
大对象类型BLOB全称为Binary Large Objects，即二进制大对象。可以把BLOB区别为三种形式：声像数据、二进制数据和大文本数据。因此，最常见的应用就是存储图形、声音等对象，此外大二进制对象、OLE对象也可以通过BLOB类型存入数据库，如果文本对象过大，超出了文本类型的规定长度，则必须用BLOB字段进行存储。我们在经常使用的编程环境中并不能直接支持BLOB字段，因此需要调用相应的函数完成BLOB的使用。
不同的数据库系统对大对象类型的支持不同，常用数据库系统支持的大对象数据类型如表4所示：
表4数据库系统支持的大对象数据类型
数据库系统 大对象类型
SQL SERVER "sql_variant"，"ntext"，"image"，"varbinary"，"binary"，"text"
ORACLE "BLOB"，"LONG RAW"，"BFILE"，"RAW"，"CLOB"，"LONG"
SYBASE "LONG VARCHAR"
VFP "MEMO"
ACCESS "OLE OBJECT"，"MEMO"
KINGBASE "blob"，"text"，"bytea"，"varbinary"，"binary"，"text"

4.2 大对象的存取方法
1）利用MFC提供的CLongBinary类
VC存取大对象数据有众多方法，如OLE、ActiveX等，而VC的MFC提供的CLongBinary类可以方便地实现存取BLOB字段。使用CLongBinary类可以存取超过MAXINT数目的数据，最大为可以得到的内存容量。但数据完全保存在内存中，对超大量数据消耗太大。
2）利用ODBC的SQLGetData和SQLPutData函数
对于不能存储在单一缓冲区中的数据，在行中的其他数据已被获取之后，可以直接用SQLGetData分批从驱动程序检索这些数据。为了从一列检索长数据，应用程序首先调用SQLFetchScroll或SQLFetch移动一行，并且调用SQLGetData获取绑定列的数据。SQLPutData允许在应用程序语句执行时，把参数或字段送到驱动程序。该函数用来把字符或二进制数值送到字符、二进制或数据源指定类型的字段。它可以传递任何类型的数据，但对字符和二进制数据可传递部分数据、绑定缓冲区并让驱动器从缓冲区中检索数据。

3）使用ADO存取BLOB数据
可以使用ADO中的AppendChunk函数来存取BLOB数据。AppendChunk包含在Field对象中，原型如下：HRESULT AppendChunk （const_variant_t & Data ）；从函数原型中可以看到关键的问题是需把二进制数据赋值给VARIANT类型的变量。对应于保存数据时我们所使用的AppendChunk函数，读取数据应该使用GetChunk函数，GetChunk的原型如下：_variant_t GetChunk （long Length ）；给出数据的长度后GetChunk将返回包含数据的VARIANT类型变量，然后我们可以利用SafeArrayAccessData函数得到VARIANT变量中指向数据的char *类型的指针，以方便处理。

　　4.3 数据转换过程中大对象处理方法

　　在数据转换中，首先取出源数据源的元数据，判断源数据源和目的数据源中是否存在字段为大对象的类型。对于源数据源中的每个大对象字段的数据，选择相应的大对象读取方法，把此大对象数据取出后保留在一个临时文件中，然后在目的数据库插入数据，遇到大对象字段时，选择相应的大对象存取方法，再从临时文件中依次读出数据插入到指定字段中。