当前位置:首页 » 数据仓库 » 大型数据库架构设计
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

大型数据库架构设计

发布时间: 2022-04-25 19:24:58

❶ 大数据量的系统的数据库结构如何设计

1、把你表中经常查询的和不常用的分开几个表,也就是横向切分
2、把不同类型的分成几个表,纵向切分
3、常用联接的建索引
4、服务器放几个硬盘,把数据、日志、索引分盘存放,这样可以提高IO吞吐率
5、用优化器,优化你的查询
6、考虑冗余,这样可以减少连接
7、可以考虑建立统计表,就是实时生成总计表,这样可以避免每次查询都统计一次
mrzxc 等说的好,考虑你的系统,注意负载平衡,查询优化,25 万并不大,可以建一个表,然后按mrzxc 的3 4 5 7 优化。 速度,影响它的因数太多了,且数据量越大越明显。
1、存储 将硬盘分成NTFS格式,NTFS比FAT32快,并看你的数据文件大小,1G以上你可以采用多数据库文件,这样可以将存取负载分散到多个物理硬盘或磁盘阵列上。
2、tempdb tempdb也应该被单独的物理硬盘或磁盘阵列上,建议放在RAID 0上,这样它的性能最高,不要对它设置最大值让它自动增长
3、日志文件 日志文件也应该和数据文件分开在不同的理硬盘或磁盘阵列上,这样也可以提高硬盘I/O性能。
4、分区视图 就是将你的数据水平分割在集群服务器上,它适合大规模OLTP,sql群集上,如果你数据库不是访问特别大不建议使用。
5、簇索引 你的表一定有个簇索引,在使用簇索引查询的时候,区块查询是最快的,如用between,应为他是物理连续的,你应该尽量减少对它的updaet,应为这可以使它物理不连续。
6、非簇索引 非簇索引与物理顺序无关,设计它时必须有高度的可选择性,可以提高查询速度,但对表update的时候这些非簇索引会影响速度,且占用空间大,如果你愿意用空间和修改时间换取速度可以考虑。
7、索引视图 如果在视图上建立索引,那视图的结果集就会被存储起来,对与特定的查询性能可以提高很多,但同样对update语句时它也会严重减低性能,一般用在数据相对稳定的数据仓库中。
8、维护索引 你在将索引建好后,定期维护是很重要的,用dbcc showcontig来观察页密度、扫描密度等等,及时用dbcc indexdefrag来整理表或视图的索引,在必要的时候用dbcc dbreindex来重建索引可以受到良好的效果。 不论你是用几个表1、2、3点都可以提高一定的性能,5、6、8点你是必须做的,至于4、7点看你的需求,我个人是不建议的。打了半个多小时想是在写论文,希望对你有帮助。

❷ 数据库如何设计

数据库设计的基本步骤

按照规范设计的方法,考虑数据库及其应用系统开发全过程,将数据库设计分为以下6个阶段

1.需求分析

2.概念结构设计

3.逻辑结构设计

4.物理结构设计

5.数据库实施

6.数据库的运行和维护


数据库设计通常分为6个阶段1分析用户的需求,包括数据、功能和性能需求;2概念结构设计:主要采用E-R模型进行设计,包括画E-R图;3逻辑结构设计:通过将转换成表,实现从E-R模型到关系模型的转换;4:主要是为所设计的数据库选择合适的和存取路径;5数据库的实施:包括编程、测试和试运行;6数据库运行与维护:系统的运行与数据库的日常维护。),主要讨论其中的第3个阶段,即逻辑设计。



在数据库设计过程中,需求分析和概念设计可以独立于任何数据库管理系统进行,逻辑设计和物理设计与选用的DAMS密切相关。

1.需求分析阶段(常用自顶向下)

进行数据库设计首先必须准确了解和分析用户需求(包括数据与处理)。需求分析是整个设计过程的基础,也是最困难,最耗时的一步。需求分析是否做得充分和准确,决定了在其上构建数据库大厦的速度与质量。需求分析做的不好,会导致整个数据库设计返工重做。

需求分析的任务,是通过详细调查现实世界要处理的对象,充分了解原系统工作概况,明确用户的各种需求,然后在此基础上确定新的系统功能,新系统还得充分考虑今后可能的扩充与改变,不仅仅能够按当前应用需求来设计。

调查的重点是,数据与处理。达到信息要求,处理要求,安全性和完整性要求。

分析方法常用SA(Structured Analysis) 结构化分析方法,SA方法从最上层的系统组织结构入手,采用自顶向下,逐层分解的方式分析系统。

数据流图表达了数据和处理过程的关系,在SA方法中,处理过程的处理逻辑常常借助判定表或判定树来描述。在处理功能逐步分解的同事,系统中的数据也逐级分解,形成若干层次的数据流图。系统中的数据则借助数据字典(data dictionary,DD)来描述。数据字典是系统中各类数据描述的集合,数据字典通常包括数据项,数据结构,数据流,数据存储,和处理过程5个阶段。

2.概念结构设计阶段(常用自底向上)

概念结构设计是整个数据库设计的关键,它通过对用户需求进行综合,归纳与抽象,形成了一个独立于具体DBMS的概念模型。

设计概念结构通常有四类方法:

  • 自顶向下。即首先定义全局概念结构的框架,再逐步细化。

  • 自底向上。即首先定义各局部应用的概念结构,然后再将他们集成起来,得到全局概念结构。

  • 逐步扩张。首先定义最重要的核心概念结构,然后向外扩张,以滚雪球的方式逐步生成其他的概念结构,直至总体概念结构。

  • 混合策略。即自顶向下和自底向上相结合。

  • 3.逻辑结构设计阶段(E-R图)

    逻辑结构设计是将概念结构转换为某个DBMS所支持的数据模型,并将进行优化。

    在这阶段,E-R图显得异常重要。大家要学会各个实体定义的属性来画出总体的E-R图。

    各分E-R图之间的冲突主要有三类:属性冲突,命名冲突,和结构冲突。

    E-R图向关系模型的转换,要解决的问题是如何将实体性和实体间的联系转换为关系模式,如何确定这些关系模式的属性和码。

    4.物理设计阶段

    物理设计是为逻辑数据结构模型选取一个最适合应用环境的物理结构(包括存储结构和存取方法)。

    首先要对运行的事务详细分析,获得选择物理数据库设计所需要的参数,其次,要充分了解所用的RDBMS的内部特征,特别是系统提供的存取方法和存储结构。

    常用的存取方法有三类:1.索引方法,目前主要是B+树索引方法。2.聚簇方法(Clustering)方法。3.是HASH方法。

    5.数据库实施阶段

    数据库实施阶段,设计人员运营DBMS提供的数据库语言(如sql)及其宿主语言,根据逻辑设计和物理设计的结果建立数据库,编制和调试应用程序,组织数据入库,并进行试运行。

    6.数据库运行和维护阶段

    数据库应用系统经过试运行后,即可投入正式运行,在数据库系统运行过程中必须不断地对其进行评价,调整,修改。

    数据库设计5步骤
    Five Steps to design the Database

    1.确定entities及relationships

    a)明确宏观行为。数据库是用来做什么的?比如,管理雇员的信息。

    b)确定entities。对于一系列的行为,确定所管理信息所涉及到的主题范围。这将变成table。比如,雇用员工,指定具体部门,确定技能等级。

    c)确定relationships。分析行为,确定tables之间有何种关系。比如,部门与雇员之间存在一种关系。给这种关系命名。

    d)细化行为。从宏观行为开始,现在仔细检查这些行为,看有哪些行为能转为微观行为。比如,管理雇员的信息可细化为:

    · 增加新员工

    · 修改存在员工信息

    · 删除调走的员工

    e)确定业务规则。分析业务规则,确定你要采取哪种。比如,可能有这样一种规则,一个部门有且只能有一个部门领导。这些规则将被设计到数据库的结构中。

    ====================================================================
    范例:
    ACME是一个小公司,在5个地方都设有办事处。当前,有75名员工。公司准备快速扩大规模,划分了9个部门,每个部门都有其领导。
    为有助于寻求新的员工,人事部门规划了68种技能,为将来人事管理作好准备。员工被招进时,每一种技能的专业等级都被确定。


    定义宏观行为
    一些ACME公司的宏观行为包括:
    ● 招聘员工
    ● 解雇员工
    ● 管理员工个人信息
    ● 管理公司所需的技能信息
    ● 管理哪位员工有哪些技能
    ● 管理部门信息
    ● 管理办事处信息
    确定entities及relationships
    我们可以确定要存放信息的主题领域(表)及其关系,并创建一个基于宏观行为及描述的图表。
    我们用方框来代表table,用菱形代表relationship。我们可以确定哪些relationship是一对多,一对一,及多对多。
    这是一个E-R草图,以后会细化。


    细化宏观行为
    以下微观行为基于上面宏观行为而形成:
    ● 增加或删除一个员工
    ● 增加或删除一个办事处
    ● 列出一个部门中的所有员工
    ● 增加一项技能
    ● 增加一个员工的一项技能
    ● 确定一个员工的技能
    ● 确定一个员工每项技能的等级
    ● 确定所有拥有相同等级的某项技能的员工
    ● 修改员工的技能等级

    这些微观行为可用来确定需要哪些table或relationship。

    确定业务规则
    业务规则常用于确定一对多,一对一,及多对多关系。
    相关的业务规则可能有:
    ● 现在有5个办事处;最多允许扩展到10个。
    ● 员工可以改变部门或办事处
    ● 每个部门有一个部门领导
    ● 每个办事处至多有3个电话号码
    ● 每个电话号码有一个或多个扩展
    ● 员工被招进时,每一种技能的专业等级都被确定。
    ● 每位员工拥有3到20个技能
    ● 某位员工可能被安排在一个办事处,也可能不安排办事处。

    2.确定所需数据

    要确定所需数据:

    a)确定支持数据

    b)列出所要跟踪的所有数据。描述table(主题)的数据回答这些问题:谁,什么,哪里,何时,以及为什么

    c)为每个table建立数据

    d)列出每个table目前看起来合适的可用数据

    e)为每个relationship设置数据

    f)如果有,为每个relationship列出适用的数据

    确定支持数据

    你所确定的支持数据将会成为table中的字段名。比如,下列数据将适用于表Employee,表Skill,表Expert In。

    Employee

  • Skill

  • Expert In

  • ID

  • ID

  • Level

  • Last Name

  • Name

  • Date acquired

  • First Name

  • Description

  • Department

  • Office

  • Address


  • 如果将这些数据画成图表,就像:


  • 需要注意:

  • ● 在确定支持数据时,请一定要参考你之前所确定的宏观行为,以清楚如何利用这些数据。

  • ● 比如,如果你知道你需要所有员工的按姓氏排序的列表,确保你将支持数据分解为名字与姓氏,这比简单地提供一个名字会更好。

  • ● 你所选择的名称最好保持一致性。这将更易于维护数据库,也更易于阅读所输出的报表。

  • ● 比如,如果你在某些地方用了一个缩写名称Emp_status,你就不应该在另外一个地方使用全名(Empolyee_ID)。相反,这些名称应当是Emp_status及Emp_id。

  • ● 数据是否与正确的table相对应无关紧要,你可以根据自己的喜好来定。在下节中,你会通过测试对此作出判断。
  • 3.标准化数据

    标准化是你用以消除数据冗余及确保数据与正确的table或relationship相关联的一系列测试。共有5个测试。本节中,我们将讨论经常使用的3个。
    关于标准化测试的更多信息,请参考有关数据库设计的书籍。

    标准化格式
    标准化格式是标准化数据的常用测试方式。你的数据通过第一遍测试后,就被认为是达到第一标准化格式;通过第二遍测试,达到第二标准化格式;通过第三遍测试,达到第三标准化格式。

    如何标准格式:
    1. 列出数据
    2. 为每个表确定至少一个键。每个表必须有一个主键。
    3. 确定relationships的键。relationships的键是连接两个表的键。
    4. 检查支持数据列表中的计算数据。计算数据通常不保存在数据库中。
    5. 将数据放在第一遍的标准化格式中:
    6. 从tables及relationships除去重复的数据。
    7. 以你所除去数据创建一个或更多的tables及relationships。
    8. 将数据放在第二遍的标准化格式中:
    9. 用多于一个以上的键确定tables及relationships。
    10. 除去只依赖于键一部分的数据。
    11. 以你所除去数据创建一个或更多的tables及relationships。
    12. 将数据放在第三遍的标准化格式中:
    13. 除去那些依赖于tables或relationships中其他数据,并且不是键的数据。
    14. 以你所除去数据创建一个或更多的tables及relationships。

    数据与键
    在你开始标准化(测试数据)前,简单地列出数据,并为每张表确定一个唯一的主键。这个键可以由一个字段或几个字段(连锁键)组成。

    主键是一张表中唯一区分各行的一组字段。Employee表的主键是Employee ID字段。Works In relationship中的主键包括Office Code及Employee ID字段。给数据库中每一relationship给出一个键,从其所连接的每一个table中抽取其键产生。

    RelationShip

  • Key

  • Office

  • *Office code

  • Office address

  • Phone number

  • Works in

  • *Office code

  • *Employee ID

  • Department

  • *Department ID

  • Department name

  • Heads

  • *Department ID

  • *Employee ID

  • Assoc with

  • *Department ID

  • *EmployeeID

  • Skill

  • *Skill ID

  • Skill name

  • Skill description

  • Expert In

  • *Skill ID

  • *Employee ID

  • Skill level

  • Date acquired

  • Employee

  • *Employee ID

  • Last Name

  • First Name

  • Social security number

  • Employee street

  • Employee city

  • Employee state

  • Employee phone

  • Date of birth


  • 将数据放在第一遍的标准化格式中
    ● 除去重复的组
    ● 要测试第一遍标准化格式,除去重复的组,并将它们放进他们各自的一张表中。
    ● 在下面的例子中,Phone Number可以重复。(一个工作人员可以有多于一个的电话号码。)将重复的组除去,创建一个名为Telephone的新表。在Telephone与Office创建一个名为Associated With的relationship。

    将数据放在第二遍的标准化格式中
    ● 除去那些不依赖于整个键的数据。
    ● 只看那些有一个以上键的tables及relationships。要测试第二遍标准化格式,除去那些不依赖于整个键的任何数据(组成键的所有字段)。
    ● 在此例中,原Employee表有一个由两个字段组成的键。一些数据不依赖于整个键;例如,department name只依赖于其中一个键(Department ID)。因此,Department ID,其他Employee数据并不依赖于它,应移至一个名为Department的新表中,并为Employee及Department建立一个名为Assigned To的relationship。


    将数据放在第三遍的标准化格式中
    ● 除去那些不直接依赖于键的数据。
    ● 要测试第三遍标准化格式,除去那些不是直接依赖于键,而是依赖于其他数据的数据。
    ● 在此例中,原Employee表有依赖于其键(Employee ID)的数据。然而,office location及office phone依赖于其他字段,即Office Code。它们不直接依赖于Employee ID键。将这组数据,包括Office Code,移至一个名为Office的新表中,并为Employee及Office建立一个名为Works In的relationship。

    4.考量关系

    当你完成标准化进程后,你的设计已经差不多完成了。你所需要做的,就是考量关系。

    考量带有数据的关系
    你的一些relationship可能集含有数据。这经常发生在多对多的关系中。

    遇到这种情况,将relationship转化为一个table。relationship的键依旧成为table中的键。

    考量没有数据的关系
    要实现没有数据的关系,你需要定义外部键。外部键是含有另外一个表中主键的一个或多个字段。外部键使你能同时连接多表数据。

    有一些基本原则能帮助你决定将这些键放在哪里:

    一对多在一对多关系中,“一”中的主键放在“多”中。此例中,外部键放在Employee表中。

    一对一在一对一关系中,外部键可以放进任一表中。如果必须要放在某一边,而不能放在另一边,应该放在必须的一边。此例中,外部键(Head ID)在Department表中,因为这是必需的。

    多对多在多对多关系中,用两个外部键来创建一个新表。已存的旧表通过这个新表来发生联系。

    5.检验设计

    在你完成设计之前,你需要确保它满足你的需要。检查你在一开始时所定义的行为,确认你可以获取行为所需要的所有数据:
    ● 你能找到一个路径来等到你所需要的所有信息吗?
    ● 设计是否满足了你的需要?
    ● 所有需要的数据都可用吗?
    如果你对以上的问题都回答是,你已经差不多完成设计了。

    最终设计
    最终设计看起来就像这样:

    设计数据库的表属性
    数据库设计需要确定有什么表,每张表有什么字段。此节讨论如何指定各字段的属性。

    对于每一字段,你必须决定字段名,数据类型及大小,是否允许NULL值,以及你是否希望数据库限制字段中所允许的值。

    选择字段名
    字段名可以是字母、数字或符号的任意组合。然而,如果字段名包括了字母、数字或下划线、或并不以字母打头,或者它是个关键字(详见关键字表),那么当使用字段名称时,必须用双引号括起来。

    为字段选择数据类型
    SQL Anywhere支持的数据类型包括:
    整数(int, integer, smallint)
    小数(decimal, numeric)
    浮点数(float, double)
    字符型(char, varchar, long varchar)
    二进制数据类型(binary, long binary)
    日期/时间类型(date, time, timestamp)
    用户自定义类型

    关于数据类型的内容,请参见“SQL Anywhere数据类型”一节。字段的数据类型影响字段的最大尺寸。例如,如果你指定SMALLINT,此字段可以容纳32,767的整数。INTEGER可以容纳2,147,483,647的整数。对CHAR来讲,字段的最大值必须指定。

    长二进制的数据类型可用来在数据库中保存例如图像(如位图)或者文字编辑文档。这些类型的信息通常被称为二进制大型对象,或者BLOBS。

    关于每一数据类型的完整描述,见“SQL Anywhere数据类型”。

❸ 数据库设计主要包括哪几部分,分别包括哪些内容

数据库设计主要包括需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施和数据库的运行和维护,具体内容如下:

1、需求分析

内容:调查和分析用户的业务活动和数据的使用情况,弄清所用数据的种类、范围、数量以及它们在业务活动中交流的情况,确定用户对数据库系统的使用要求和各种约束条件等,形成用户需求规约。

2、概念设计

内容:对用户要求描述的现实世界,通过对其中诸处的分类、聚集和概括,建立抽象的概念数据模型。这个概念模型应反映现实世界各部门的信息结构、信息流动情况、信息间的互相制约关系以及各部门对信息储存、查询和加工的要求等。

3、逻辑设计

内容:主要工作是将现实世界的概念数据模型设计成数据库的一种逻辑模式,即适应于某种特定数据库管理系统所支持的逻辑数据模式。与此同时,可能还需为各种数据处理应用领域产生相应的逻辑子模式。这一步设计的结果就是所谓“逻辑数据库”。

4、物理设计

内容:根据特定数据库管理系统所提供的多种存储结构和存取方法等依赖于具体计算机结构的各项物理设计措施,对具体的应用任务选定最合适的物理存储结构(包括文件类型、索引结构和数据的存放次序与位逻辑等)、存取方法和存取路径等。

5、验证设计

内容:收集数据并具体建立一个数据库,运行一些典型的应用任务来验证数据库设计的正确性和合理性。一般,一个大型数据库的设计过程往往需要经过多次循环反复。当设计的某步发现问题时,可能就需要返回到前面去进行修改。

6、运行与维护设计

内容:在数据库系统正式投入运行的过程中,必须不断地对其进行调整与修改。除了关系型数据库已有一套较完整的数据范式理论可用来部分地指导数据库设计之外,尚缺乏一套完善的数据库设计理论、方法和工具,以实现数据库设计的自动化或交互式的半自动化设计。

(3)大型数据库架构设计扩展阅读:

重要性

1、有利于资源节约

对计算机软件数据库设计加以重视不仅可减少软件后期的维修,达到节约人力与物力的目的,同时还有利于软件功能的高效发挥。

2、有利于软件运行速度的提高

高水平的数据库设计可满足不同计算机软件系统对于运行速度的需求,而且还可充分发挥并实现系统功能。计算机软件性能提高后,系统发出的运行指令在为用户提供信息时也将更加快速有效,软件运行速度自然得以提高。

3、有利于软件故障的减少

加强数据库设计可有效减少软件故障的发生几率,推动计算机软件功能的实现。

❹ 简述数据库设计过程

数据库设计过程分为以下六个阶段:

1、需求分析阶段

准确理解和分析用户需求(包括数据和处理),它是整个设计过程的基础,也是最困难、最耗时的一步。

2、概念结构设计阶段

是整个数据库设计的关键,通过对用户需求的集成、归纳和抽象,形成了一个独立于特定数据库管理系统的概念模型。

3、逻辑结构设计阶段

将概念结构转换为DBMS支持的数据模型,对其进行优化。

4、数据库物理设计阶段

为逻辑数据模型选择最适合应用程序环境的物理结构(包括存储结构和存取方法)。

5、数据库实现阶段

根据逻辑设计和物理设计的结果,使用数据库管理系统提供的数据语言、工具和主机语言,建立数据库,编写调试应用程序,组织数据仓库,并进行试运行。

6、数据库运行维护阶段

数据库应用系统经试运行后可投入正式运行,在数据库系统运行过程中,需要不断地对其进行评估、调整和修改。

注:在设计过程中,将数据库的设计与数据库中数据处理的设计紧密结合起来,在每个阶段同时对这两个方面的要求进行分析、抽象、设计和实现,相互借鉴和补充,从而完善这两个方面的设计。

(4)大型数据库架构设计扩展阅读:

数据库设计技术

1、清晰的用户需求:作为计算机软件开发的重要基础,数据库设计直接反映了用户的需求。数据库必须与用户紧密沟通,紧密结合用户需求。在定义了用户开发需求之后,设计人员还需要反映具体的业务关系和流程。

2、注意数据维护:设计面积过大、数据过于复杂是数据库设计中常见的问题,设计人员应注意数据维护。

3、增加命名规范化:命名数据库程序和文件非常重要,不仅要避免重复的名称,还要确保数据处于平衡状态。为了降低检索信息和资源的复杂度和难度,设计人员应了解数据库程序与文件之间的关系,并灵活使用大小写字母命名。

4、充分考虑数据库的优化和效率:考虑到数据库的优化和效率,设计人员需要对不同表的存储数据采用不同的设计方法。在设计中,还应该使用最少的表和最弱的关系来实现海量数据的存储。

5、不断调整数据之间的关系:不断调整和简化数据之间的关系,可以有效减少设计与数据之间的联系,进而为维护数据之间的平衡和提高数据读取效率提供保障。

6、合理使用索引:数据库索引通常分为聚集索引和非聚集索引,这样可以提高数据搜索的效率。

参考资料来源:网络-数据库设计

❺ 数据库结构设计包括哪些

数据组织是数据管理的基础
数据组织结构
设计是指按照一定的方式和规则对数据进行归并、存储、处理的过程。
数据库结构设计主要包括:
概念结构设计
逻辑结构设计
物理结构设计

❻ 数据库软件架构设计的要点

数据库软件架构设计,要关注哪些要点?
方法/步骤
在IT系统架构设计中,数据库的设计,占据着很重要的地位。那么主要面临哪些问题,需要考虑哪些因素呢?
面对数据量过大的问题,通常需要通过分片技术来解决,目前应用较多的是哈希分片。
因为通过范围简单分片,可能造成各库的压力不均;而统一路由,会增加访问前查询的压力。
通过主从复制的分组,既可以解决可用性的问题,还可以实现一定的性能提升。
数据库的软件架构设计,要关注可用性、性能、一致性和扩展性四个方面。
解决可用性的主要思路就是冗余——站点冗余、服务冗余、数据冗余……
冗余带来的可用性问题,就是数据一致性的问题,要保证数据一致性,可以考虑双写同步。
扩展性能一般有三种方式——增加索引、增加从库和增加缓存,要结合实际情况分析应用。
架构的设计是一个动态优化的过程,要综合考虑几个方面的因素,寻找合适的平衡点。

❼ .net, 数据库架构应该怎么设计呢

注意通用性,要返回必要的信息,比如DataSet或者datereader什么的。
最好还要返回出错时的错误信息。
其实不难。
放在一个命名空间里,然后调用的时候引用这个命名空间,new一下这个类,之后就可以使用了

❽ 写入mysql数据库的数据量很大,数据库架构该怎么去设计

1.设置读写分离

2.进行分库分表,用中间件路由,分摊流量

3.可以先写入mq,然后慢慢写入

4.可以使用tidb,tps很高