当前位置:首页 » 数据仓库 » 数据库拉链切片
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

数据库拉链切片

发布时间: 2023-03-10 08:52:51

‘壹’ 数据库技术知识数据结构的算法

数据库技术知识数据结构的算法

对于将要参加计算机等级考试的考生来说,计算机等级考试的知识点辅导是非常重要的复习资料。以下是我收集的数据库技术知识数据结构的算法,希望大家认真阅读!

1、数据:数据的基本单位是数据元素。数据元素可由一个或多个数据项组成。数据项是数据的不可分割的最小单位

2、数据结构:数据的逻辑结构、数据的存储结构、数据的运算

3、主要的数据存储方式:顺序存储结构(逻辑和物理相邻,存储密度大)和链式存储结构

顺序存储结构:

顺序存储计算公式 Li=L0+(i-1)×K 顺序结构可以进行随机存取;插人、删除运算会引起相应节点的大量移动

链式存储结构:a、指针域可以有多个,可以指向空,比比顺序存储结构的存储密度小

b、逻辑上相邻的节点物理上不一定相邻。 c、插人、删除等不需要大量移动节点

4、顺序表:一般情况下,若长度为n的顺序表,在任何位置插入或删除的概率相等,元素移动的平均次数为n/2(插入)和(n-1)/2(删除)。

5、链表:线性链表(单链表和双向链表等等)和非线性链表

线性链表也称为单链表,其每个一节点中只包含一个指针域,双链表中,每个节点中设置有两个指针域。(注意结点的插入和删除操作)

6、栈:“后进先出”(LIFO)表。栈的应用:表达式求解、二叉树对称序周游、快速排序算法、递归过程的实现等

7、队列:“先进先出”线性表。应用:树的层次遍历

8、串:由零个或多个字符组成的有限序列。

9、多维数组的顺序存储:

10、稀疏矩阵的存储:下三角矩阵顺序存储

其他常见的存储方法还有三元组法和十字链表法

11、广义表:由零个或多个单元素或子表所组成的有限序列。广义表的元素可以是子表,而子表的元素还可以是子表

12、树型结构:非线性结构。常用的树型结构有树和二叉树。

二叉树与树的区别:二叉树不是树的特殊情况,树和二叉树之间最主要的区别是:二叉树的节点的子树要区分左子树和右子树,即使在节点只有一棵子树的情况下也要明确指出该子树是左子树还是右子树。

13、树(森林)与二叉树之间的转换(要会转换)

14、二叉树和树的周游(遍历)

二叉树的周游主要有以下3种方式:前序法(NLR)、对称序法(LNR)、后序法(LRN)

周游树和树林:深度优先和按广度优先两种方式进行。深度优先方式又可分为按先根次序和按后根次序周游

树与二叉树周游之间的对应关系:按先根次序周游树正好与按前序法周游树对应的二叉树等同,后根次序周游树正好与按对称序法周游对应的`二叉树等同

按广度优先方式就是层次次序周游

15、二叉树的存储和线索

二叉树的存储结构:二叉树的llink一rlink法存储表示

线索二叉树:在有n个节点的二叉树的且llink - rlink法存储表示中,必定有n+1个空指针域

16、哈夫曼树:一类带权路径长度最短的树。树的带权路径长度为树中所有叶子节点的带权路径长度之和WPL。

17、查找:

(1)顺序查找:平均查找长度为(n +1 )/2次,时间复杂度为O(n)

(2)二分法查找:线性表节点必须按关键码值排序,且线性表是以顺序存储方式存储的。查找成功比较次数log2n,查找失败比较次数log2n+1

(3)分块查找:先是块间查找,然后块内查找。

(4)散列表(哈希表Hash)的存储和查找:处理冲突的方法:开地址法(线性探测法)、拉链法等

负载因子(装填因子)=表实际存储的结点个数/表的最大能存储结点个数(即表长)

二叉排序树:每个结点左子树的所有关键码值都小于该结点关键码值,右子树所有结点关键码值都大于该结点关键码值。对称周游二叉排序树,得到一个有序序列,时间复杂度O(log2n)

B树和B+树:M阶树,每个结点至多有M-1个关键码,至少有M/2(取上界)-1个关键码。B树适合随机查找,不适合顺序查找。B+树适合顺序查找。

18、排序

直接插人排序、希尔排序、直接选择排序、堆排序、起泡排序、快速排序等排序算法要了解。

直接选择排序、希尔排序、快速排序和堆排序是不稳定排序,其他排序为稳定排序

;

‘贰’ 什么是拉链表

拉链表,记录每条信息的生命周期,一旦一条记录的生命周期结束,就重新开始一条新的记录,并把当前日期放入生效开始日期。

如果当前信息至今有效,在生效结束日期中填入一个极大值( 如 9999-99-99 )。

拉链表适合于:数据会发生变化,但是大部分是不变的。(即:缓慢变化维)

比如:用户信息会发生变化,但是每天变化的比例不高。如果数据量有一定的规模,按照每日全量的方式保存效率很低。

通过,生效开始日期<=某个日期 且 生效结束日期>=某个日期,能够得到某个时间点的数据全量切片

‘叁’ 我的Myqls数据库中有2个数据表,每个数据表都有超过3千万条记录,查询效率很低,有没有什麽好的办法优化

首先换数据库,Mysql处理这个数量级数据比较吃力。推荐你用DB2 或ORACLE

如果不能换,检查一下存储引擎用InnoDB,如果是,检查
innodb_flush_log_at_trx_commit 这个选项,是否是1
如果是1 用SET AUTOCOMMIT = 0 ,提高数据修改速度

PHP优化需要
MySQL Slow Log 分析工具分析日志:mysqlmpslow或mysqlsla比较不错。

Explain/ DESC 分析SQL 的执行情况和SHOW PROCESSLIST
使用SHOW PROCESSLIST 看是否有锁表情况,
设置 my.cnf 中的long-query-time 和log-slow-queries 记录服务器那些SQL执行速度比较慢

根据上述情况查看对对应的SQL语句进行优化

优化服务器性能,用RAID5(SAN),加内存本身的升级,提高硬盘I/O性能。

数据库总体性能优化:
数据表最好能拆成小表。
数据库切片,分到不用的服务器上,

数据库访问性能优化
修改my.cnf, 下面是影响比较大的:
innodb_flush_log_at_trx_commit 设置为0

如果比下面值大就不用调整了:
query_cache_size 设置为16M
sort_buffer_size 设置为16M
record_buffer 设置为16M
key_buffer_size 设置为8M
innodb_buffer_pool_size 设置为32M

下面是建议设置的
table_cache 设置为512
read_buffer_size 设置为16M
myisam_sort_buffer_size设置为16M
innodb_additional_mem_pool_size 设置为128M
innodb_log_file_size 设置为256M
innodb_log_buffer_size设置为8M

数据库表优化,
1 建立相应的INDEX
2 统一编码,MySQL的默认编码是Latin1,不支持中文,需要把数据库的默认编码修改为gbk或者utf8
show variables like 'character%' 查看

另外表的编码也要与数据库统一

‘肆’ OLTP和OLAP有何区别

1、适用人员不同:OLTP主要供基层人员使用,进行一线业务操作。OLAP则是探索并挖掘数据价值,作为企业高层进行决策的参考。

2、面向内容不同:OLTP面向应用,OLAP面向主题;

4、数据特点不同:OLTP的数据特点是当前的、最新的、细节的, 二维的、分立的;而OLTP则是历史的, 聚集的, 多维的,集成的, 统一的;

5、存取能力不同:OLTP可以读/写数十条记录,而OLAP则可以读上百万条记录;

6、工作事件的复杂度不同:OLTP执行的是简单的事务,而OLAP执行的是复杂任务;

7、可承载用户数量不同:OLTP的可承载用户数量为上千个,而OLAP则是上百万个;

8、DB大小不同:OLTP的DB 大小为100GB,而OLAP则可以达到100TB;

9、执行时间要求不同:OLTP具有实时性,OLAP对时间的要求不严格。

(4)数据库拉链切片扩展阅读:

OLTP与OLAP的实际应用

OLAP工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。

例如,一个企业在考虑产品的销售情况时,通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。

这些维的不同组合和所考察的度量指标构成的多维数组则是OLAP分析的基础,可形式化表示为(维1,维2,……,维n,度量指标),如(地区、时间、产品、销售额)。

多维分析是指对以多维形式组织起来的数据采取切片(Slice)、切块(Dice)、钻取(Drill-down和Roll-up)、旋转(Pivot)等各种分析动作,以求剖析数据,使用户能从多个角度、多侧面地观察数据库中的数据,从而深入理解包含在数据中的信息。

应用OLTP,就必须重新定义OLTP在企业信息化体系结构中的地位。OLTP不再只是一套能处理订单的老式应用程序。对典型的OLTP系统处理的大规模数据流更新进行同时分析,这种情况很罕见,因为一般认为这不是OLTP的目的。

数据仓库更新固有的延迟阻碍着对最新数据的近实时分析。组织如果要对于数据的变化迅速作出反应,IT部门就必须让OLTP产生比以往更大的作用。

参考资料来源:网络-OLTP

参考资料来源:网络-联机分析处理

‘伍’ 什么叫“上钻”、“下钻”、“切片”和“转轴”这是属于数据库哪一章的内容

上钻:从当前数据往上回归到上一层数据。例如:(某数据的分类下面分为品名)从品名列表收拢到分类列表。

下钻:从当前数据往下展开下一层数据。例如:(某数据的分类下面分为品名)从分类列表展开到品名列表。

上钻、下钻统称钻取。

切片:展现同一层面的数据。如上述的产品。

转轴:这些应该属于查询、展现范畴。

原材料

标准的马氏体不锈钢是:403、410、414、416、416(Se)、420、431、440A、440B和440C型,这些钢材的耐腐蚀性来自“铬”,其范围是从11.5至18%,铬含量愈高的钢材需碳含量愈高,以确保在热处理期间马氏体的形成,上述三种440型不锈钢很少被考虑做为需要焊接的应用,且440型成份的熔填金属不易取得。

以上内容参考:网络-转轴