若干数据库前沿技术的理解和思考

《若干数据库前沿技术的理解和思考》由会员分享，可在线阅读，更多相关《若干数据库前沿技术的理解和思考（29页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据库研究进展*周傲英,*,若干数据库前沿技术的理解和思考,周傲英,复旦大学,提纲,当前数据库研究重点的变化,三个重要的数据库研究问题,对等计算环境下的数据管理,流数据管理和挖掘,XML,数据管理和,Web,服务,我们正在进行的工作,12/11/2024,2,数据库研究进展*周傲英,当前数据库研究的重点,静止的查询和变化的数据,连续查询（,continuous query,）,流数据管理和挖掘,受限制的节点处理能力和不受限制的系统动态性,传感器网络上的查询处理、传感器网络数据分析,对等计算环境下的数据管理,

2、数据模式的复杂化和元数据管理的标准化,XML,数据管理和交换,Web,服务,12/11/2024,3,数据库研究进展*周傲英,提纲,当前数据库研究重点的变化,三个重要的数据库研究问题,对等计算环境下的数据管理,流数据管理和挖掘,XML,数据管理和,Web,服务,我们正在进行的工作,12/11/2024,4,数据库研究进展*周傲英,P2P,数据管理,应用背景,从简单的文件共享向复杂的查询处理功能变化,信息检索：,pSearch,PlanetP,PeerIS,数据库查询：,PIER,PIAZZA,PeerDB,Hyperion,连续查询：,PeerCQ,Buddy-CQ,Aurora*/Medus

3、a,从消息传递向内容路由变化,基于,XML,的内容路由,应用场景：,金融、科学计算和数据管理、医疗、,其它松散耦合的虚拟组织,一些紧耦合，但在地理上分布的数据管理任务,12/11/2024,5,数据库研究进展*周傲英,P2P,数据管理,主要技术（,1,）,从数据访问和索引角度看,散列,分布式散列表（,Distributed Hash Table,DHT,）,Chord,CAN,Pastry,Tapestry,Viceroy,DHT,上的区域查询（,range query,）,基于,LSH,和,Chord,的技术、基于,CAN,的区域查询缓存、,DHT,上的关系运算算子的实现,PIER,（,Be

4、rkeley,）实现了四种不同的连接算法,树型索引,P-tree,可以被用来进行区域查询,12/11/2024,6,数据库研究进展*周傲英,P2P,数据管理,主要技术（,2,）,从数据库模式集成和查询语义看,基于视图的数据集成,PIAZZA,：模式映射、查询改写和优化,P2P,数据库查询的语义,局部关系模型（,LRM,）,映射表的逻辑语义和实现（,Hyperion,）,加宽可达快照（,dilated-reachable snapshot,）语义（,PIER,）,12/11/2024,7,数据库研究进展*周傲英,P2P,数据管理,主要技术（,3,）,从元数据管理看,基于标准协议的方式（,PIER

5、,）,多索引,/,目录服务器方式,全自治的方式（,PeerDB,PIAZZA,）,从分布式数据库和分布式查询处理角度看,查询传递（,query shipping,）、代码传递（,code shipping,）和代理传递（,agent shipping,）（,PeerDB,）,基于,DHT,的查询处理（,PIER,PeerCQ,）,突变查询处理（,mutant query processing,）,12/11/2024,8,数据库研究进展*周傲英,提纲,当前数据库研究重点的变化,三个重要的数据库研究问题,对等计算环境下的数据管理,流数据管理和挖掘,XML,数据管理和,Web,服务,我们正在进行的

6、工作,12/11/2024,9,数据库研究进展*周傲英,流数据管理和挖掘,应用背景,（相对）静态的查询、动态的数据,挑战,和数据量呈线性的时间复杂度,固定大小的内存,单遍扫描数据集,在任意时刻输出是准确、可靠的,模型在任意时间都可以输出,应用场景：,网络监控和交通工程,电信记录管理和分析,商业交易管理和分析,金融信息监控,制造业和供应链工程和工业过程控制,传感器信息监控,Web,日志分析,海量数据处理,12/11/2024,10,数据库研究进展*周傲英,流数据管理和挖掘,研究角度,理论分析,一般采用随机算法（,randomized algorithms,），研究重点是算法的界,联机算法设计,重

7、点是算法在实际数据集上的效率,模型的变化,滑动窗口模型,挖掘模型的变化,研究的重点是及时的模型改变,12/11/2024,11,数据库研究进展*周傲英,流数据管理和挖掘,主要技术（,1,）,连续查询处理,系统设计和开发,TriggerMan,OpenCQ,(Georgia Tech.),Niagara-CQ(Wisconsin Madison),CACQ,Aurora(MIT/Brown/Brandies),AdaptiveCQ,TelegraphCQ,(U.C.Berkeley),STREAM(Stanford),User/Application,Register Query,Stream

8、Query,Processor,Results,Scratch Space,(Memory and/or Disk),Data,Stream,Management,System,(DSMS),12/11/2024,12,数据库研究进展*周傲英,流数据管理和挖掘,主要技术（,2,）,连续查询算子的实现,各种流水线联接算法的实现,基本数据结构的研究,Sketch,方法（基于散列的技术）,指数直方图（,exponential histogram,EH,）方法,抽样方法,频繁项,/,频繁项集挖掘,Sticky sampling/,lossy,counting,带删除的频繁项集挖掘,Counting B

9、loom filter,方法,考虑,false positive,的方法,12/11/2024,13,数据库研究进展*周傲英,流数据管理和挖掘,主要技术（,3,）,流数据聚类,增量式的传统聚类算法,基于,K-means,的方法（,Fayyad et al./,Guha,et al.,）,考虑聚类变化的方法：金字塔技术（,Han et al.,）,流数据分类,传统的增量式的决策树分类,Heoffding,tree,和基于它的,VFDT,（,Gibbons et al.,）,可调整的,VFDT,：,CVFDT,（,Gibbons et al.,）,使用整合技术（,emsemble,）的技术（,Ha

10、n et al.,）,12/11/2024,14,数据库研究进展*周傲英,流数据管理和挖掘,主要技术（,4,）,其它相关技术,时序（,time series,）分析,时序模式（,sequential pattern,）挖掘,时序预测,最近邻查询（,Muthukrishnan,et al.,）,变化（,change,）分析（,Gehrke,et al.,）,跳变（,burst,）分析（,Shasha,et al.,Kleinberg,）,相关性分析（,Shasha,et al.,）,12/11/2024,15,数据库研究进展*周傲英,提纲,当前数据库研究重点的变化,三个重要的数据库研究问题,对等

11、计算环境下的数据管理,流数据管理和挖掘,XML,数据管理和,Web,服务,我们正在进行的工作,12/11/2024,16,数据库研究进展*周傲英,XML,数据管理和,Web,服务,应用背景,Web,服务本身是一类非常重要的应用,XML,还在如下领域中有着重要的应用,数据表示和数据交换,元数据管理,XML,内容路由,12/11/2024,17,数据库研究进展*周傲英,XML,数据管理和,Web,服务,主要技术,XML,数据管理,XML,数据存储,XML,数据索引,XML,数据变换,XML,数据压缩,XML,数据更新,XML,流数据处理,XML,数据的模式和查询的语义,Web,服务,Web,服务架

12、构的设计,分布式的、,P2P,的,UDDI,目录设计,分布式的和,P2P,的服务使用,Web,服务和对等计算技术、网格技术的结合,12/11/2024,18,数据库研究进展*周傲英,提纲,当前数据库研究重点的变化,三个重要的数据库研究问题：它们的结合,对等计算环境下的数据管理,流数据管理和挖掘,XML,数据管理和,Web,服务,我们正在进行的工作,12/11/2024,19,数据库研究进展*周傲英,当,流数据,碰到,对等计算,（,1,）,传感器网络,挑战,通讯能力和能源限制,计算能力的限制,海量（多）数据流,动态的传感器和网络环境,当前的,将来的,(MEMS),Mote,(Berkeley),

13、Cricket,(MIT),SmartLocus,(HP-Labs),Mantis,(UC Boulder),Smart Dust,(Berkeley),12/11/2024,20,数据库研究进展*周傲英,当,流数据,碰到,对等计算,（,2,）,传感器网络（续）,相关的研究项目,TinyOS/TinyDB,:U.C.Berkeley,Cougar:Cornell,Quasar:UCI,LECS:UCLA,相关技术,即兴（,ad hoc,）网络和无线网络中的数据路由,动力相关（,power-awareness,）的计算和优化,网络中的查询处理技术,聚集（,aggregation,）操作,查询语言

14、设计,查询优化,12/11/2024,21,数据库研究进展*周傲英,当,流数据,碰到,对等计算,（,3,）,内容路由,节点：根路由器（,root router,）、客户机（,client,）、路由器（,router,）,数据：,XML,包,XML,流,主要技术,基于网孔（,mesh,）的重叠网络（,overlay network,）构造,XML,包的视图选择（,U.Washington,）,XML,数据过滤,12/11/2024,22,数据库研究进展*周傲英,当,XML,遇到,流数据,XML,内容路由,XML,数据过滤,基于自动机的方法,XFilter,YFilter,基于索引的方法,基于,B

15、loom filter,的方法,XML,包的视图选择,脱机（,offline,）视图选择,联机（,online,）视图选择（,open problem,）,12/11/2024,23,数据库研究进展*周傲英,提纲,当前数据库研究重点的变化,三个重要的数据库研究问题,对等计算环境下的数据管理,流数据管理和挖掘,XML,数据管理和,Web,服务,我们正在进行的工作,12/11/2024,24,数据库研究进展*周傲英,我们的工作,（,1,）,P2P,数据管理,P2P,数据管理的基本问题,资源定位和路由：,small-world search,CCGrid2003,重叠网络的构建和协议：,C,2,GC

16、C2003,P2P,环境下的信息检索和查询,基于关键词的检索,WISE2002,SQL,查询处理：,PeerDB,ICDE2003,PeerView,元数据管理：,Coordinator Overlay Network(CON),缓存和复本的管理和维护：,CC-Buddy,WWW2004 Poster,DEXA2004,基于对等计算技术的虚拟研究平台的开发,12/11/2024,25,数据库研究进展*周傲英,我们的工作,（,2,）,流数据管理和挖掘,频繁项,/,项集挖掘,基于,count Bloom filter,的方法,CIKM2003,考虑,false positive,的方法,VLDB2004,密度估计,DASFAA2003,流数据的聚类和分类,流数据上的跳变（,burst,）分析,流数据分析工具集（,toolkit,）的开发,12/11/2024,26,数据库研究进展*周傲英,我们的工作,（,3,）,XML,数据管理和,Web,服务,XML,数据存储和查询,VXMLR,WWW Journal,XML DB Benchmark,ICDE2003,with HKUST/CUHK/N