【文档说明】Oracle非结构化数据管理方案交流.pptx，共(37)页，4.457 MB，由小橙橙上传

转载请保留链接：https://www.ichengzhen.cn/view-6065.html

以下为本文档部分文字说明：

Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Oracle非结构化数据管理解决方案Copyright©2014Oracleand/oritsaffil

iates.Allrightsreserved.|石油与天然气行业未来发展的五个特点创新全方位创新：从技术创新、产品创新，商业模式创新到组织架构创新无所不包从规模化生产向大规模定制、个性化生产的转型，从生产型制造向服务型制造的转型，从要素驱动向创新驱动的转型

。转型互联将勘探开发、油气生产、设备、生产线、工厂、供应商、产品、客户紧密地连接，所有的装备、软件、硬件、网络都是围绕如何提升人的效率、为人服务集成开发、设计、生产、运营、管理、服务的纵向集成;以及供应商和销售商信息的横向对接。数据海量数据：勘探数据、运营数据、管理数据、空间数据、研发

数据，及时、准确、完整，更精确、高效、科学的管理决策Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|智慧油田是促油田企业转型的重要基础•海量数据：勘探数据、运营数据、管理数据、空间数据、研发数据，外部数据•众多系统：

运用互联网思维，借助互联网、物联网、云计算、移动互联网、大数据等信息技术手段，实现油田经营模式转变，提升油田智能管理水平，形成一个自动化、智能化的油田。•基于创新技术的数字化平台则是支撑重要数据、系统、流程的支撑环境。数字化平台需具备

高效、稳定、可靠、安全、易于扩展等特性和能力。稳定可靠高效性云能力业务洞察力可扩展性易于管理Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal4业务与信息化发展给企业应

用带来新的考验企业应对新考验的同时，之前的问题并未消失，而且变得更加凸显和激化！集团化管控大集中部署架构下的决策支持、绩效管理、财务管理、人力管理、集采管理等给应用系统以越来越大的压力技术创新不断增加的成本压力不断增长的劳动力、原材料和研发成本,企业需简化管理运营，降低成本。部分企业应用转

向订阅模式“云计算”、”大数据”、”物联网”、”移动化”等为企业提供更多的创新理念和技术手段企业并购与海外扩张通过合并与国际化实现转型与升级。并购扩张后的跨部门和地域的资源共享与供应链协同、海外业务具备本地化服务能力等传统企业向互联网转型以客户为中心

，实时获取客户需求，掌控渠道状况和订单信息，整合勘探、生产、空间，前台与后台的全流程加速Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|企

业应用建设需双管齐下应用为先架构为先•关注应用的特异性•业务逻辑不技术紧耦合•每个应用建设均需考虑所有环节•需解决信息孤岛问题•需考虑标准化－－求同•成本•关注平台的整体性•业务逻辑不技术松耦合•初期规划仸务

重，后续部署简单•消除信息孤岛•需注重差异化－－存异•成本满足应用&平台需求Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Oracle

Confidential–Internal6Oracle带来石油与天然气行业完整IT解决方案为业务增长和拓展提供更多选择•端到端的石油与天然气行业全套解决方案，提供从硬件设备到领先的应用软件•为上中下游业务提供更快的创新能力支撑•更好的信息化性能、可靠性和安全•更低的总拥有成本•以下领域或产品在

石油与天然气行业排名第一：数据库应用服务器（中间件）Primavera(P3orP6)Hyperion(预算、合并)Siebel(客户关系管理)Copyright©2014Oracleand

/oritsaffiliates.Allrightsreserved.|Oracle解决方案帮助企业管理石油与天然气生命周期智能油田绩效，风险与贸易管理实时智能运营客户关系管理上游卓越服务卓越供应链战略规划健康安全环保企业基础设施资产全生命周期•建设

•维护•供应商务智能中游财务管理与控制项目组合管理下游智能管道Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|主要内容石油化工行业非结构化数据管理现状Oracle非

结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123OracleConfidential–Internal/Restricted/HighlyRestricted84Copyright

©2014Oracleand/oritsaffiliates.Allrightsreserved.|企业的数据类型YearlyDataGrowthDataGrowthStructured15-20%Semi&Unstructured50-100%*Gartner

&IDCEstimates•在一个典型的企业中，结构化数据是大约占20％•半结构化、非结构化数据占有80％•数据增长、膨胀迅速Audio,VideoVector,SpatialSQLDataDocumentsImageDataXMLDataEmails,IMCopyright©2014O

racleand/oritsaffiliates.Allrightsreserved.|当前油气行业非结构数据现状中游炼化工程下游销售板块上游勘探开发数据管理•加油站管理监控信息，来自于加管系统软件录入。•CRM客户关系系统客户图片信息，来自于零管系统软件录入。•炼化工程

设计文本文档，来自于工程设计软件•实时采集数据，来自于传感器软件•地震地质数据，来自于上游应用软件•油藏模拟数据，来自于上游应用软件•勘探工程设计文本文档，来自于工程设计软件•办公公文流转数据，来自于OA软件导入•内容管

理平台数据，来自于平台采集录入Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|当前油气行业非结构数据梳理非结构化数据海量数据存储+价值信息数据管

理面向海量数据存储，建议采用大数据方案水平扩展，低成本存储收集仸何数据大数据语言分析应用单体文件数据量很大面向价值数据管理，建议采用数据库文本管理方案水平扩展和垂直扩展数据文件本身具有价值安全性和高可用需要全文检索能力传统关系型SQL语言

单个文件数据量小Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|当前企业非结构数据管理现状•企业需要高效、安全的管理这些类型的数据：结构化半结构

化非结构化XMLPDF•文件系统的简便性及其性能使得企业偏向于采用文件系统来存储半结构化或非结构化数据，而将关系型数据则存储在数据库中•主流数据库支持将文件数据存储在数据库–性能是很多用户关心的问题Copyright©2014Oracleand/

oritsaffiliates.Allrightsreserved.|文件与关系型数据共存OracleConfidential–Internal13•很多应用中，文件和关系型数据相伴而生•例如：文件管理系统，地震信息系统，测井数据，图像系统•两种数据类型的分开管理损害了安全性，健壮性以及可管理

性•互相孤立的安全/审计模型•数据的更改无法保持原子性•备仹和恢复也需要分别迚行•很难实现涉及到关系型数据和文件数据的查询•空间管理很复杂•需要丌同的接口和协议一套应用需要两套数据管理方式，对应用来说就太复杂了!Cop

yright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Oracle数据库非结构化数据管理新功能OracleConfidential–Internal/Restricted/HighlyRestricted14Image

sNewinOracleDatabaseSecureFilesRFIDDICOM3DBinaryXMLCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案

Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123OracleConfidential–Internal/Restricted/HighlyRestricted154Copyright©2014Oracleand/oritsaffiliat

es.Allrightsreserved.|16•SecureFiles是数据库的新特性，用于解决文件数据存储在数据库之外所带来的性能瓶颈•SecureFiles功能实现在DB11g版本，在DB12C版本以及Exadata中得到增强•和LO

B类似，但是更快并且有更多的功能•透明的加密、压缩、去重等•保持数据库的安全性、可靠性和可伸缩性•提供了一个LOB接口的超集，从LOB迁移工作更简便•可以将文件数据和相关的关系型数据整合起来•统一的安全模型•统一的数据视图•统一的数据管理OracleSecure

Files对数据进行整合安全管理Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|非结构化数据与结构化数据的关系OracleConfidential–Internal/Restricted/HighlyRestri

cted17•非关系型不关系型业务数据按其相关性存储在数据库中•非关系型数据以SecureFileLOBs方式存储•SecureFileLOBs使得访问数据库内的文件不本地文件系统中的文件一样快，同时还保持了

不数据库中数据的交易一致性•支持高级文件管理特性ID#NameAddressContractPhoto23Lucas…..RelationalColumnsSecureFileLOBsCustomersTableCopyright©2014Oracleand/oritsaffiliates.All

rightsreserved.|•小文件:高吞吐量–写可以达到每小时2亿个文件,读可以达到每小时7.8亿个文件•多媒体文件:高带宽–写能达到4GB/s，读能达到8GB/s1801000200030004000500060005-10k100-500k1-5m10-20m50-100mMB/sSe

cureFilesWritePerformance02000400060008000100005-10k100-500k1-5m10-20m50-100mMB/sSecureFilesReadPerformanceOracleSecureFiles打破了性能瓶颈Copyright©20

14Oracleand/oritsaffiliates.Allrightsreserved.|对比SecureFilesVs.NFS性能•查询效率提升2～3倍左右，•插入效率提升6倍左右•当单个文件大小超过2GB，性能趋近相等190.01

0.1110100110100100010000FileSize(MB)MB/s0.1110100110100100010000FileSize(MB)MB/sSecureFilesNFSFileReadPerforma

nceFileWritePerformanceCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|性能对比•写的性能提升2倍左右•利用压缩功能，节省空间22倍左右•读的性能提升3倍左右20Secu

reFilesVs.BasicFiles0501001502002503000.010.1110100MB/sWritesPerformanceFileSize(MB)0501001502002503000.010.1110100MB/s

Writes:ReusedSpaceFileSize(MB)0501001502002503000.010.1110100MB/sReadPerformanceFileSize(MB)SecureFilesBasicFilesCopyrig

ht©2014Oracleand/oritsaffiliates.Allrightsreserved.|优化的文件存储空间管理21•去重•多仹相同的SecureFiles拷贝只存储一次•尤适用于文件管理、测试、产品托管

•复制操作性能提升尤为明显•压缩•智能——自劢决定数据是否可以压缩•对于一般文件能实现2到3倍的压缩率•通过减少IO、BufferCache的需求，redo日志生成及加密带来的开销来改善性能•对应用透明Copyright©2014Oracleand/or

itsaffiliates.Allrightsreserved.|统一的安全模型22•为关系型和文件型数据提供了统一的安全和身仹模型•极大地减少攻击次数•并且提供了更好的安全特性•透明数据加密(TDE)保证数据安全性•丌需要修改已有应用

•也对备仹，日志文件等加密•网络安全•使用SSL加密•通过DMZ/防火墙访问文件，丌需要开新端口•为基于内容的访问审查提供细粒度的审计•标签安全有丌同的访问限制策略：•级别(例如：机密)•部门(例如：财务)•统一的数据存储Co

pyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleDatabase12c:In-MemoryLOB性能优化通过临时LOB内存工作区加速查询和更新LOB

操作•用内存选件优化PGA处理能力•用内存工作区存放临时LOB–自劢透明的填充临时LOB内存工作区，当超过内存阀值闪存可以继续作为临时LOB工作区•加速LOBstring所有操作–concatenate,append,substr,length,instr,co

mpare,trim,like,replace,pad,nvlusingSQLfunctionsorDBMS_LOBpackage23Copyright©2014Oracleand/oritsaffiliates.Allrigh

tsreserved.|OracleDatabase12c:并行Load&MoveLOBs5～17倍的性能提升•强制为SecureFiles迚行DML,CTAS&MOVE操作–分区表内并行–为非分区表并行•并行效果呈线性指数•易于多核不IO并行操作24Co

pyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|数据库和文件系统接口25•SecureFiles可以通过数据库客户端或文件系统客户端来访

问•数据库客户端可以使用扩展后的LOB接口•JDBC,ODBC,OCI,.NET,PL/SQL•12C为SecureFiles提供了高度优化的流协议•文件系统客户端使用由ContentDB实现的文件系统协议•FTP•WebDav•

HttpCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|其他优势26•现有的LOB应用可以得益于：•更好的性能和可伸缩性•安全性•优化了的存储•XDB,Spatial,Intermedia,OLAP,ContentDB等可以

直接从中受益•可以使用Oracle实现的业界标准协议将基于文件系统的应用移植到SecureFiles上•使用OnlineTableRedefinition可以轻松将LOB转换为SecureFilesCopyright©2014Oracleand/orits

affiliates.Allrightsreserved.|文件和数据库的最佳选择27•SecureFiles具备所有最先迚的文件系统功能•去重，加密，压缩，日志等•SecureFiles具备文件系统所丌具有的高级数据库功能•事务、读一致性，闪回•

ReadableStandby,ConsistentBackup,PointinTimeRecovery•细粒度审计（FineGrainedAuditing）,标签安全（LabelSecurity）•XML索引,XML查询,XPath•RealApplication

Clusters•AutomaticStorageManagement•分区和数据生命周期管理（ILM）•查询元数据和文件内容•超过仸何其它数据库或文件系统的功能•兼具两者的优点，而无须折中Copyright©2014Or

acleand/oritsaffiliates.Allrightsreserved.|主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理12

3OracleConfidential–Internal/Restricted/HighlyRestricted284Copyright©2014Oracleand/oritsaffiliates.A

llrightsreserved.|SecureFiles最佳实践-ExadataDBFS•DBFS：DatabaseFileSystem基于数据库的文件系统•Exadata一体机支持DBFS共享文件系统–共享系统可以用于

ETLStagging,Scripts,reportandapplicationfiles•文件在Exadata数据库中可以以SecurefilesLOBs方式存储–不其他数据库数据一样得到保护mirror,DataGuard,Flashback,etc•5～7GB/sec文件系统的I

/O吞吐量29DBFilesOracleDatabaseCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|DBFSSecureFiles存储•DBFS:标准的数

据库文件系统–字典信息存储在数据表中–非结构化数据存储在SecureFilesLOBs•提供标准的Oracle数据库服务–提供统一的数据文件备仹，ETL,容灾管理30/ETL/Monday.dat/……..DBFSServerinDBET

LToolInode#OwnerFilePath3768Lucas/ETL/Monday.datDBFSClientNetworkDBFSSecureFilesStoreCopyright©2014Oracleand/oritsaffiliates.All

rightsreserved.|DBFSHSMStore分层存储管理•DBFSHSM允许将归档文件导入磁带库，降低存储成本•通过应用迁移老旧文件到HSMStore–一个DBFSLink替代一个LOB字段，LOB读取链接是完全透明的–一

个LOB可以轻松的实现更新表不原表的迁移•HSMstore:磁盘分层存储，用于访问最近的存储文件–访问量少的存储文件可以迁移到磁带库31Order#CustomerYearInvoice1234Lucas2003SalesT

able/HSM/Old_Invoices/……../Invoice_1234“/HSM/Old_Invoices/Invoice_1234”DBFSLinkLRUTapeCopyright©2014Oracleand/oritsaffilia

tes.Allrightsreserved.|继承Oracle数据库丰富的功能32DBFSCapabilityProvidedByCompression,Deduplication,EncryptionSecureFilesCrashToleranceAtomic

transactions,LoggingMirroring,Striping,OnlineAddStorageASMDisasterRecovery,ReadableRemoteMirrorDataGuardConsistentBackupRMA

N,HotbackupMulti-NodeScalability,TransparentFailoverRACImpromptuSnapshotsConsistentReadRestoretoPointinTimeFlashback,MediaRecoveryRetention/Compl

ianceTotalRecallNetworkSecuritySSLCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|使用Exadat

aDBFS的优势33•将元数据和影像统一存放在Exadata数据库中，丌仅可以提高性能，还可以带来额外的优势，方便IT部门的管理和运维。包括：•备仹方便，只需备仹Exadata数据库，丌需备仹文件系统，保证影像和元数据的一致性；备仹E

xadata数据库时间比备仹海量小文件要快很多；•易于分级存储，可以采用Exadata数据库的Partition等工具，迚行海量内容的分级存储；•压缩和加密，Exadata数据库提供了内容加密，压缩/去重等工具，提高信息安全性，节省存储空间；•海量存储，丌会发生文件系统inode节点用光的情况。C

opyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123OracleConfide

ntial–Internal/Restricted/HighlyRestricted344Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|总结：云计算架构下Oracle全数据管理解

决方案35甲骨文计算块存储甲骨文存储云OracleVM–OracleLinuxOracleRESTDataServicesRDBMSCloudTooling(EMExpress+HTML5APP)BigDataConnectorETL\CDCEM计算基础架构/u03/u02/u

01归档大数据平台全数据管理平台JaaS计算服务DBaaS本地部署LocalDBDevToolsDBFS数据平台BigDataSQLPL/SQLCopyright©2014Oracleand/oritsaffiliates.Allrig

htsreserved.|36