【文档说明】软件工程设计课件.ppt,共(102)页,280.204 KB,由小橙橙上传
转载请保留链接:https://www.ichengzhen.cn/view-45049.html
以下为本文档部分文字说明:
软件工程设计课件第11章数据迁移设计11.1省征管系统介绍11.2异构数据迁移途径的选择11.3数据迁移的总体规划11.4数据迁移的详细实现11.5数据迁移的实施要点某国税的征管系统有一个地级市使用总局综合征管软件1.05版,其它地级市使用某省国家税务局自行开发的征
管软件。由于原各地市征管系统使用的数据库均是SYBASE,总局综合征管软件使用的数据库是ORACLE,所以是异构数据迁移。迁移的数据包括纳税人档案资料、税款数据、税款余额、文书、发票资料、申报表、税票、稽查案件和违法违章信息等,即包括征管过程数据。11.1省征管系统介绍省征管软件系
统是某省国家税务局组织本系统人员自行开发的税收征收管理系统。省征管系统从2001年在某某省全省国税系统全面推广使用,并在2002年全面完成地级市数据集中,地级市数据集中后,主要的业务数据通过SYBASE复制服务复制到省局,形成省级
集中库,省级集中库用来查询等,地级市的服务器才是业务生产数据库。某某地区市国税系统在2004年作为国家税务总局综合征管软件1.05版的试点城市,上线运行了总局综合征管软件1.05版。我们所描述的数据转换和数据迁移范围均不包括某某和
某某地区国税系统,我们所描述的省征管系统是指除某某和某某地区市国税系统外的某某省其他地市应用的省征管软件系统。省征管系统主要有15个模块:税务登记、纳税人管理、申报征收、计会统日常业务、会计核算、入库单位会计核算、税票管理、发票管理、稽核管理、稽查管理、统计报表、综合查询、分析监
控、系统管理和计划任务管理。省征管软件系统的系统结构是客户机/服务器模式结构,后台数据库为SYBASE12.5,开发工具为POWERBUILDER9.0。1、总局综合征管软件介绍总局综合征管软件也叫中国税
收征管信息系统(ChinaTaxationAdministrationInformationSystem,英文简称CTAIS),是国家税务总局世界银行贷款项目,是由国家税务总局直接组织领导,神州数码(中国)有限公司负责开发实施的第一套全国统
一的税收征管主体软件。包括管理服务、征收监控、税务稽查、税收法制、税收执行等子系统,涵盖了国税部门目前所有的征管业务,并兼顾了对地税业务的可扩充性。系统集分析、管理、监控于一身,是一个以基层征管为核心、以广域网为背景的大型应用系统。随着应用的逐步深入,1.0版本系统需要升级和完善主要有两大方面
的驱动。其一,是业务推动。包括税收征管系统长期的积累需求需要升华、宏观形势及需求发展的驱动、信息系统整合目标的客观需要以及技术发展的驱动。其二,就是技术拉动。随着WEB技术的日益成熟和应用范围的日益广泛,B/S(浏览器/服务器模式)三层结构技术开始逐渐取代以往的C/S
(即客户机/服务器模式)两层结构软件。基于三(N)层体系结构上的,以运维监控平台为辅助的全新的税收核心征管信息系统也就成为了大势所趋。通过加大推广力度和技术支持力度,以及对系统数据质量情况进行调研等手段,总结了现行系统的问题与不足,并在此基础上,从解决问题、补充功能和改进效率的角度进行了版本
升级。新总局综合征管软件整个设计开发过程运用了面向对象设计等方法,其目标是以原总局综合征管软件系统为基础,以税务业务为核心,搭建“以资源整合为目的、面向税务行业应用的多层次、构件化、可复用的系统框架
SmartPlatform”,继而基于框架开发“适合税务集约化管理、多元化服务、柔性工作流等发展趋势的新一代税收征管信息系统”,即总局综合征管软件2.0版本总局综合征管软件2.0的推广运行,提高了税务机关的综合管理能
力和监控水平,主要体现在如下几个方面:一是强化了税收行政的执法监督。二是强化了对税源变化的有效监控。三是巩固并加快了税收征管信息化建设的步伐。四是提高了决策依据的准确性和可靠性。五是为税收征管专业化分工提供了有力的支持。2.系统差异性分析省征管软件系统和总局
综合征管软件系统都是不同设计人员设计的,使用的数据库不一样,系统体系结构不一样,且后台数据库中存放数据的表结构差异也非常大。只有把这两个系统的差异性分析出来,并把这两个系统的后台数据表结构的含义弄懂弄清楚才能实现数据迁移,进行差异性分析是第一步
工作。差异分析工作十分重要,它既关系到新系统的顺利运转,也是制定推广应用计划的重要依据。在差异分析工作的基础上,编写省级集中推广应用工作方案和工作计划。差异分析工作需要从前台操作、业务处理、技术实现等方面进行分析,整个分析工作包括搭建模拟运行环境、新系统培训、差异分
析、编写分析报告等几项内容。其中进行数据迁移最关注的是总局综合征管软件系统2.0版的技术实现,包括数据结构、代码体系、系统接口标准等。主要从以下几个方面分析:(1)数据结构的差异。(2)总局综合征管软件系统2.0版代码与省征管
软件的代码差异性,需要逐个代码表进行对比。(3)总局综合征管软件系统2.0版所提供的接口标准,与我们现在使用的接口标准进行比较,提出初步的解决方案。通过差异分析,提交"技术实现差异分析报告"及专题分析报告。差异分析前,需要对两个系统的数据结构等进行培训,由于数据迁移小组人员大部
分均是省征管软件系统的开发人员,所以对省征管软件系统很熟悉,只需要培训总局综合征管软件系统2.0版的数据结构和技术实现过程。通过培训和实施差异性分析,两个系统共有的可实现的业务虽然存在差异,仍可实现转换和迁移。培训内容包括:(1)管理服务包括税务登记、认定管理、发票管理、证
件管理、文书管理等。管理服务系统是整个系统运转的起始点,它依据纳税人提供的各种资料进行征收前有关基础信息的管理,为申报征收和稽查管理提供基础信息,并接收申报征收和稽查管理的信息以加强管理服务工作。(2)征收监控包括申报表、税票、税款余额、税款发生的流水帐等。征收监控系统是总局综
合征管软件系统的核心,包括申报征收、税收计划(含重点税源分析)、税收会计、税收统计和通用报表。它根据各环节提供的信息,针对纳税人的申报、征收信息进行各种核算、分析。(3)税务稽查包括稽查选案、稽查实施
、稽查审理等。税务稽查系统根据征管子系统所提供的信息对选案、实施、审理和执行全过程实行管理,从管理服务、申报征收取得纳税人的基础数据开始,通过分析比较,加工整理,确定稽查对象,实施检查,经过审理环节最终到达执行环节。(4)税收法制包括税务违法违章管理及行政处罚
等。(5)税务执行包括一般执行、税收保全、强制执行等。(6)代码体系国标的代码如注册类型等基本上一致,但其他代码表则有较大的差异。11.2异构数据迁移途径的选择11.2.1数据转换途径的选择省征管软件系统数据库结构和总局综合征管软件的结构有比较
大的差异,其转换是数据迁移中最重要的,工作量也是最大的。把我省征管软件系统的数据迁移到总局综合征管软件有两个途径:一是在SYBASE数据库环境先把我省征管软件系统的数据转换成总局综合征管软件的数据库结构,再把SYBASE版
本的总局综合征管软件软件迁移到ORACLE版本的总局综合征管软件。二是在SYBASE数据库环境先把我省征管软件系统的数据迁移到ORACLE数据库,保持我省征管软件系统的结构,再在ORACLE数据库环境
下转换成总局综合征管软件的数据库结构。由于数据迁移技术人员大部分是省征管软件的开发人员,对SYBASE较熟悉,使用最熟悉的数据库环境,最熟悉的sql语法,更有利于加快开发进度,提高工作效率,而且更有利于对程序的调试,对正确性更有把握。而且部
分技术人员是ORACLE初学者,假如在ORACLE环境下开发转换程序,则面临边学边开发,提高程序性能方面遇到困难,需要花更大力气去解决。基于上述原因,所以选择了在SYBASE环境下完成从我省省征管软件系统数据库结构转换到总局综合征管软件的结构,即选择了采用第一个途径。11.2.2数
据迁移方法的选择选定了SYBASE数据库环境下开发数据转换程序,完成从我省省征管软件系统数据库结构转换到总局综合征管软件的结构。数据转换完成后,则需要把SYBASE数据库的数据迁移ORACLE数据库把SYBASE数
据库环境下的数据迁移到ORACLE数据库环境,可以使用以下几种方法:一、使用POWERBUILDER的数据管道迁移。可以使用POWERBUILDER的数据管道进行迁移,源数据源指向省征管软件系统的SYBASE数据库,目
标数据源指向总局征管软件系统的ORACLE数据库,这需要每一个表都建立数据管道。优点:简单,易懂,使用灵活,支持TEXT文本的迁移。缺点:需要对每个表进行编程,建立管道,迁移运行速度较慢。二、使用ORACLE公司提供的透明网关编写SQL
语句完成迁移。通过从ORACLE到SYBASE的网关可以直接在ORACLE数据库访问SYBASE数据库。例如:直接执行insertintoDJ_NSRXXselect*fromDJ_NSRXX@SYBASE就可以完成DJ_NSRXX表数据的迁移。优点:运行速度快、使用方
便。缺点:不支持text文本的迁移。三、使用SYBASE的BCP实用工具导出数据成文本格式,然后使用ORACLE的SQLLOADER实用工具导入ORACLE数据库。用SYBASE的BCP工具把数据导出,
导出到文本文件,然后使用ORACLE的SQLLOADER实用工具把数据导入到ORACLE数据库。优点:运行速度较快。缺点:需要建ORACLE的control文件,较麻烦,表结构不一致、text超长时不能处理。四、利用微软DTS专门移植工具来进
行迁移。微软DTS工具可以将各种各样的数据源导入到各种各样的数据库。优点:微软DTS在数据转换方面简单易学,功能强大,不仅可以使用VBSCRIPT与JSCRIPT脚本进行数据合并、分解、转换、统计,还可以用包的方式存储在服务器上,通过代理服务多次/定时/调度地
执行。并且DTS承袭了微软的易学易用的优良传统,对使用者的要求很低,经过短时间培训,一般人员都可以使用DTS导入导出数据。五、利用ORACLE公司的ORACLEMigrationWorkbanch来进行迁移。优点:使用方便,可以很方便的把tabels、views、triger、proc
edure、shortnaps、users等完全转到ORACLE中去。缺点:对中文TEXT文本支持得不够好。由于微软的DTS没有使用过,没有使用经验,而通过比较采用第三种方法有总局综合征管软件开发商的技术支持,并且在其他省份的系统移植中成功采用过,效果不错,故选择了第三种方法迁移数据。
当采用第三种方法迁移不成功的数据再使用第一或第二种方法迁移。11.3数据迁移的总体规划整个数据迁移包括把SYBASE数据库环境下的省征管软件结构转换为总局综合征管软件的结构,并把数据从SYBASE环境平移到ORACLE数据库环境。具体步骤为:一、某某省国家税务局建立工作环境
(一)搭建数据库服务器。准备两台小型机,分别安装SYBASE12.5数据库和ORACLE9.2.0.6数据库。(二)建立应用数据库。1、在SYBASE数据库上建立可容纳待迁移的省征管软件2.0版数据库大小的空白数据库
。2、在SYBASE数据库上建立总局综合征管软件2.0版的空库,即数据表结构和ORACLE版本的总局综合征管软件2.0版一致,但内容只有数据库结构和一些定编的代码数据。3、在ORACLE数据库上建立总局综合征管软件2.0版的空库。如果已有部分单位已上线运行总局综合征管软件
2.0版,则该步不用建立,使用运行总局综合征管软件2.0版的生产库。该步建立的数据库即为转换后的ORACLE数据库。4、在SYBASE数据库的总局综合征管软件2.0版的空库建立新旧系统代码对应表。由于代码体系不
同,描述同一业务的代码不同,代码体系的差异是数据转换要处理最主要的问题之一。二、地级市进行迁移前的数据检查,检查数据库是否可以满足迁移要求。(一)统一省征管软件的版本。通过检查比对系统版本号,确认省
统一征管软件的数据库后台已经升级到省局所要求的最新版本。还没有升级到最新版本的必须升级才能继续(二)迁移前确认以下业务按要求完成。1、所有文书都必须终审完毕,不允许在流转中。由于对文书审批流转的处理不同,未终审的文书不能转换,否则转换后不能正
常流转。2、柜台发票退回库房,各级税务机关发票库房进行盘点。两个系统机关发票库房发放发票到柜台和从柜台上缴到库房的机制不同,必须在总局综合征管软件上线后重新下发。3、当月记账完毕。记帐完成,代表完成该月业务,下月新发生的业务使用新系统操作,这样便于核对数据,以及方便作正确
性验证。(三)备份省征管软件数据库,并传送到省局。备份时,使用dumpdatabaseSWGL20to'compress::/地市简称.dmp'把数据库压缩备份,这样减少网络传输时间,离省局距离近的地级市也可使用专车送到省局。
三、省局对上报的省征管软件数据库进行检查,确认数据库可以满足转换的要求。检查数据的正确性是一项很重要的工作,是数据迁移转换是必不可少的环节,是保证数据转换能正常运行的必然步骤。对于没有符合数据质量提升要求的,需要逐一调整到符合要求为止,并重新上报数据。四、把
上报的省征管软件数据库即待迁移的数据库装载到数据迁移SYBASE服务器。省局接到地市的数据文件后,通过loaddatabaseSWGL_地市from'compress::/地市简称.dmp'把数据加载到数据迁移SYBASE服务器。五、运行数
据转换程序,把数据转换到基于总局综合征管软件2.0版结构的SYBASE数据库中。转换程序运行过程中,会根据程序运行情况,记录每一步骤发生的时间、成功或错误信息。六、运行转换后的数据检查程序,检查转换的正确性。(
一)查看转换日志,评估转换过程中出现的错误可能造成的影响,对需要重新执行的程序重新执行。(二)运行数据检查程序,对总局征管软件结构的SYBASE数据库的业务数据和转换前的省征管软件数据进行比对,确定转换是否正确。七、数据迁移合并
。(一)停止已经上线总局综合征管软件2.0版的单位的业务。如果已有部分单位已上线运行总局综合征管软件2.0版,则需要停止系统运行。(二)备份总局综合征管软件2.0版数据库,以防出错时恢复数据。(三)禁止总局综合征管软件2.0版数据库的触发器和
外键,触发器会引起数据混乱错误,外键有可能会使数据导不进去,并影响数据导入的效率。(四)使用SYBASE的BCP工具把SYBASE数据库环境下的总局综合征管软件2.0结构的数据导出为文本文件。(五)使用ORACLE的SQLLOAD
ER工具把导出的文本数据导入到ORACLE版本的总局综合征管软件2.0数据库。八、迁移合并数据检查。分别统计迁移前的每个表的记录数和迁移后的每个表的记录,核对迁移的结果。九、恢复环境,进行业务试操作。(一)
恢复总局综合征管软件2.0数据库的触发器、外键,进行索引优化分析。(二)进行总局综合征管软件2.0的系统初始化设置。(三)备份总局综合征管软件2.0数据库。这是完成数据迁移的其中一个点。(四)业务部门进行实际业务测试,进一步检验数据迁移
是否成功。11.3.1数据迁移范围按照省局确定的"轻装上阵,干净上线"的原则,数据迁移的时间范围确定从2006年1月1日后发生的业务数据才转换到总局综合征管软件,即是2006年1月1日后纳税正常户、停业户以及税务登记证件未失效的非正常户发生的征管数据,以及上述纳税人在这一时点之前发生但在这
一时点之后具有延续性的征管数据。内容具体包括:一、管理服务(一)税务登记包括基本档案、税种登记、停业登记、注销登记、非正常认定登记、纳税人状态库。(二)文书(三)发票:包括纳税人票种核定、发票销售情况、纳税人未验旧发票、发票各
级库房结存情况、发票验旧情况、印有企业衔头发票情况、代开发票等。二、征收监控(一)申报:增值税、营业税、消费税、内资企业所得税、外商投资企业所得税、代征代扣等各种申报表。(二)征收(三)会计核算和报表三、税务稽查:包括稽查选案、
稽查实施、稽查审理等内容,和各相关决定性文书内容。四、税收法制:包括税务违法违章管理及行政处罚文书等。五、税务执行:包括一般执行、税收保全、强制执行文书等。11.3.2提升省征管软件的数据质量为了保证现有数据的正确性和一致性,确保数据能够高质量地迁移至总局综合征管软件系统2.0版,必
须对我省现有征管数据进行数据质量提升工作,把数据质量提高到符合软件设计逻辑和业务逻辑。结合当前我省各市数据的实际情况,数据质量提升工作的具体内容分类如下:一、处理当前系统与实际信息不相符的数据二、处理历史遗留的问题数据三、处理逻辑关系异常
的问题数据四、核实和补充新系统需要的指标11.3.3数据迁移的运行框架1SYBASE环境下的数据转换一、硬件环境,如表11-1。服务器名称型号CPU内存网卡存储SYBASE数据库服务器IBMP59
52个4G千兆EMCDMX2000RAID0+1ORACLE数据库服务器IBMP59516个64G千兆EMCDMX2000RAID0+1二、软件环境。IBMP595AIX5.3SYBASE12.5OR
ACLE9.2.0.6三、开发工具PowerBuilder9.0四、实现思路数据转换的框架可以归纳为:调度程序+SQL语句+监控程序(一)SQL语句:sql的文件命名规则为"序号+目标表名+说明+.sql“(二)调度程序①选取sql文件存放的目录;②读取目录下所有s
ql文件的文件名,并以文件名升序排序;③读取第一个sql文件的内容;④读取该sql文件的第一句sql语句;⑤记录时间;⑥执行sql语句;⑦记录sql语句完成时间和执行sql语句况;⑧读取该sql
文件的下一语句;转到⑤直至该sql文件执行完毕;⑨读取下一sql文件,转到④,直至所有sql文件执行完毕。三)监控程序监控程序利用调度程序所记录的日志展现出来,主要展现执行序号、sql文件名、sql语句、执行开始时间、执行结束时间、执行返回信息
,并统计执行每个sql语句和sql文件的执行时间。监控程序定时刷新屏幕,展现最新的日志,随时监控调度程序的执行情况,以便及时发现异常情况,作出及时处理。2SYBASE环境下的数据迁移到ORACLE数据库使用SYBA
SE的Bcp命令导出的数据是文本格式的文本文件。得到文本文件后,使用ORACLE的SQLLOADER工具,将Bcp产生的文本导入到ORACLE数据库中。11.3.4新旧系统代码的对应总局综合征管软件的编码内容确定后,开始进行新旧系统代码的对应。代码内容的对应,必须满足以下基本要求:
多个旧系统代码内容可对应一个新系统代码;但一个旧系统代码不能对应多个新系统代码。11.3.5新旧系统流水号的对应总局综合征管软件的业务表,如纳税人档案、征收信息等,业务表的主键都是数字型,为数据库节点号(4位,由
国家税务总局分配)+年号(2位,不含世纪)+顺序号(12位),共18位。顺序号的产生方式可以利用sybase表的identity字段生成,把数据写入含有identity字段的表中,identity字段会形成唯一的序号。11.3.6数据迁移的技术验证
为了数据迁移的正确,采取必要的技术手段是必须的。技术验证也是从两个方面考虑:数据转换和数据平移。一、数据转换对省征管软件数据和总局征管软件结构的SYBASE数据库的业务数据进行比对,确定转换是否正确。二、数据平移统计迁移前的每个表的记录数和迁移后的
每个表的记录,核对迁移的结果,确定数据平移过程中是否发生数据丢失。11.3.7数据迁移的业务验证业务验证主要是为了数据迁移到总局综合征管软件后,是否符合总局综合征管软件的业务逻辑,纳税人的当前资料和税款余额是否和实施数据迁移前一致,以及新
业务发生时,具有延续性的资料能否正常的延续。一、核对纳税人和税款清册。通过清册和总局综合征管软件相关的查询功能查询出来数据进行核对。二、记帐产表和省征管软件原已生成的报表进行核对。三、模拟运行。11.4数据迁移的详细实现11.4.1新旧系统流水号对应的实现一、对于
某项业务在省征管软件数据来源只有一个,则可以通过建立含有identity字段的表来产生新系统的流水号。二、对于某项业务在省征管软件中有多个数据来源,多个数据来源表中的主键既有字符型,也有数值型的,可通过建立既含有字符型,
也含有数值型的表来实现,大家一起往这个表写入数据,申请顺序号。11.4.2新旧系统代码对应的实现新旧系统代码表的对应,可通过建立含有新旧系统的代码的对应表,以省征管软件的代码为主键,一个表的主键的值只能是唯一的。这样就可以保证代码只能是一对一或多
对一的情况。11.4.3调度程序的设计调度程序的流程:①选取sql文件存放的目录;②读取目录下所有sql文件的文件名,并以文件名升序排序;③读取第一个sql文件的内容;④读取该sql文件的第一句sql语句;⑤记录时间;⑥执行sql语句;⑦
记录sql语句完成时间和执行sql语句情况;⑧读取该sql文件的下一语句;转到⑤,直至该sql文件执行完毕;⑨读取下一sql文件,转到④,直至所有sql文件执行完毕。假设将传入的文件读到一个字符串并返回的功能设计为:publicfunctionstringwf_read_file(str
ingas_file);把传入的字符串as_sql从ai_pos开始的位置取出有效的一句SQL(以;号隔开)的功能设计为:publicfunctionstringwf_get_sql(stringas_sql,reflongai_pos)。11.4.4监控程序的设计建一数据窗口,显示执
行出错的情况建一数据窗口,显示所有sql执行的情况建一窗口,把上述两数据窗口对象放置在窗口上,利用窗口的timer事件定时检索,就可以达到监控的目的。11.4.5数据导出的实现使用SYBASE的BCP工具导出数据,可通过SYBASE的sql语句产生BCP命令。se
lect"echo"+name+">>out.log"+char(10)+"bcpctais.dbo."+name+"out"+name+".dat-Usa–P-S-c-t"+'"'+"#####"+'"'+"-r"+'"'+"|\n"+'"
'+">>out.log"fromsysobjectswheretype='U'其中导出的文件是以“#####”为分隔符11.4.6数据导入ORACLE的实现1、编写ctl文件,可以编写小程序批量产生。
2、通过sql语句编写sqlloader命令。11.4.7一个税款迁移例子的设计为了程序可以多次运行,先把表中原有数据删除。插入数据时源数据表和流水号对应表、代码对应表进行表关联,取得其对应的值。11.5数据迁移的实施要点数据迁移是一个复杂而繁琐的过程,并不是一次
就可以成功的。数据迁移的程序须经过多次反复修改,修正错误,不断完善的。在这当中有可能碰到困难,需要积极面对。有时候碰到程序错误,有时候为使程序运行效率更高,仍在不停的思索,寻求解决方案。在数据迁移的实施过程中,有许多容易忽视但却
有效地提高质量和效率的地方。11.5.1数据迁移的质量保证计划为确保数据迁移的质量,需要制定质量保证计划。主要有三个方面:一、规范编写数据迁移程序,sql语句、表名、sql文件的命名、变量的命名等须按照制订的规范编写。二、在编写数据转换程序前,建立对照
文档,把省征管软件的哪一指标转换为总局综合征管软件的哪一指标,必须要有完整的文档,并交与领导和总局综合征管软件的开发商共同审核通过,才能据此指标对应关系开始编写数据转换程序。三、每一次的调试、完善,需要修改程序的,都必须加以注释,标明修改人,修改时间以及修改原因等,方便跟踪,以及查找错
误原因。11.5.2数据迁移的正确性验证数据迁移的正确性验证可以通过技术上进行验证,但更主要还是进行业务上的验证,只有业务上的验证通过了,才可以正式地实施数据迁移。11.5.3提高数据转换的性能省征管软件通过数据积累,个别表达到4000万条记录。要缩短数据转换的时间,必须提高数据转换
程序的效率。另外,提高sqlloader的效率,可以缩短数据导入ORACLE的时间一主机系统(一)主要设置异步I/O:使用smitty启用异步I/O。(二)存储设备:磁盘阵列设置为RAID0+1(RAID,为RedundantArraysofIndependentDisks的
简称,中文为廉价冗余磁盘阵列)。二数据库1、加大了数据缓存(datacache)和存储过程缓存(procedurecache)2、配置最大在线CPU数目3、加大ASE的对象描述的缓存数(numberofopenobjects)为8000。4、加大ASE的索引描述的缓存数(
numberofopenindexes)为3500。5、由于有超长SQL,加大数据库堆栈的大小(stacksize)。6、截断事务,清除日志,防止日志满而挂起执行进程。7、原地级市的征管软件数据库是复制有效的,是要把数据复制到省局,所以必须使用dbccsett
runc('ltm',ignore)设置忽略复制事务,防止日志满而挂起执行进程。三算法硬件环境和软件环境基本确定后,另一个提高数据转换效率的办法就是改进数据转换程序的算法。1、把数据库从一个数据库备份后,然后恢复到另一个数据库,
表统计信息可能无效,需要更新表统计信息。2、数据转换程序编写的初始阶段,是使用存储过程的。3、受第2点的启发,把大部分存储过程修改为一句句sql语句,使得每个事务大为缩小,一个sql语句就是一个事务,使得系统效率进一步提高。4、把sql语句中条件中含有in的语句改为含有EXISTS的语句
。5、检索数据,最快速的办法利用有效索引。6、有些大表的数据某部分数据需要经常用到,其他数据不会使用到,这样可以把大表数据按一定条件检索要转换的数据建成中间表,减少运算扫描大表的时间,需要使用时检索中间表就可
以了。6.4提高数据导入的性能为提高sqlloader导入数据的速度,采用了:1、把sqlloader命令拆分为3到6个任务,尽量做到每个任务需要导入的数据量相当,这样几个任务同时运行,加快数据导入速度。经过测试,导入速度可以提高3到6倍。2、导入数据前,先把原表的索
引、外键删除,以减少建立索引的时间,减少外键关系的检测,数据导入后再重建索引和外键。重建索引和外键时加上nolog选项,抑制日志的产生。3、加大ORACLE重做日志的大小,原只有100M,加大到500M,减少数据日志交换。谢谢