Ⅰ 用数据挖掘的方法如何帮助决策者进行决策
一般决策大致包括发现问题、确定目标、价值准则、拟定方案、分析评估、方案选优、试验验证、普遍实施这8个基本步骤。数据挖掘是一种决策支持过程，它通过高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。
利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。从而方便决策者作出正确的抉择。分类是通过分类模型将数据库中的数据项映射。回归分析方法反映的是事务数据库中属性值在时间上的特征，聚类分析主要应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。关联规则是描述数据库中数据项之间所存在的关系的规则……
如果您想了解更多关于数据挖掘等相关方面的知识，建议您前往CDA数据分析师官网进行咨询。CDA数据分析师的课程培养学员硬性的数据挖掘理论与Python数据挖掘算法技能的同时，还兼顾培养学员软性数据治理思维、商业策略优化思维、挖掘经营思维、算法思维、预测分析思维，全方位提升学员的数据洞察力。点击预约免费试听课。
Ⅱ XGBoost原理详解及系统优化
XGBoost，全称“Extreme Gradient Boosting”，和GBDT一样属于Boosting类型的模型，也是一种加法模型。
监督学习中模型表示从样本输入 到预测输出 的映射关系，参数是我们要学习的部分，比如线性回归模型 ， 是我们要学习的参数。
模型训练的过程就是寻找最优参数，使得模型能够很好的拟合样本和标签。为了评价模型拟合样本和标签的好快程度，我们需要一个评估指标，即模型的目标函数。
通常目标函数由两部分组成：损失部分和正则部分： ，其中L是损失函数，衡量模型的预测能力， 是正则项，控制模型的复杂度，防止模型过拟合。
XGBoost是基于CART决策树的加法模型，形式可以表示为：
其中K表示树的棵数，f是函数空间F中的函数，F代表所有可能的CART树。目标函数表示为
有了目标函数之后，XGBoost的训练过程就是寻找最优参数最小化目标函数。XGBoost的参数是什么呢？XGBoost和GBDT一样，是函数空间的加法模型，其参数为函数，每个函数表示一棵CART树，包含树的结构和树中叶子节点的分数。
XGBoost的加法模型表示为：
...
在每一步中，我们想要学习的函数或CART树必须能够使得目标函数最优：
使用展开到二阶的泰勒展开式
将目标函数展开到二阶项：
其中：
移除所有的常数项之后，在第t步的目标函数就变为：
这就是我们每学习一棵新决策树时的优化目标，该优化目标的值只依赖于 和 ，这也就是为什么XGBoost支持自定义损失函数的原因：只要损失函数是一阶和二阶可导的，我们就可以一阶导数和二阶导数优化目标函数。
目标函数中除了损失之外，还有一项：正则项，也就是说我们还需要定义决策树的复杂度。
首先，定义一棵决策树为：
其中 是表示叶子节点的分数的向量， 表示把每个样本映射到对应叶子节点的函数， 是叶子节点的数量。
基于以上的决策树定义，XGBoost中决策树复杂度定义为：
当然，决策树复杂度的定义可以有多种，但是这里使用的定义方式在实践中比较有效。很多关于树模型的算法包中经常忽略正则项，是因为传统树的学习重点关注提高节点纯度。XGBoost通过在目标函数中增加决策树复杂度，we can get a better idea of what we are learning and obtain models that perform well in the wild.
在定义了决策树复杂度之后，我们在第t步的目标函数可以进一步做如下变换：
其中 是分配到叶子节点j的样本集合。由于同属一个叶子节点的样本具有相同的分数，所以可以进行以上的变换。
如果定义：
那么上面的目标函数可以简化为：
上面的目标函数中 可以看做是关于 的二次方程，那么使得目标函数取得最优值时的 以及目标函数的最优值分别为：
对于一棵决策树， 定义了叶子节点的分数， 相当于树的纯度，并且包含了树复杂度的度量。
有了树的度量标准之后，理想情况下可以遍历所有可能的树结构，选择最优的结构。但是在实际中是行不通的，所以我们选择每次优化树的一层结构，即当我们需要把树的一个叶子节点分裂成两个的时候，分裂的Gain为：
Gain由四部分组成：1）分裂之后左边叶子节点的分数；2）分裂之后右边叶子节点的分数；3）分裂之前叶子节点的分数；4）一个叶子节点分裂为两个叶子节点时额外增加的正则。
从Gain的表达式可以看出，如果叶子节点分裂的分数差小于 ，就不要再进行分裂了。
Gain就是XGBoost在选择分裂点时的评估依据。在实际进行分裂时，为了比较高效的选择最优的分裂点，通常我们先把样本按照候选特征进行排序，然后进行遍历并计算每个可能分裂点的Gain。
除了使用正则项之外，XGBoost还使用另外两种技术进一步防止过拟合。第一个是shrinkage，由Friedman提出（就是那个提出GBDT算法的Friedman）。Shrinkage对新学习到的树节点的分数进行缩放，类似于梯度优化中的学习率，shrinkage对单棵树的预测结果进行缩放，降低了单棵树的预测结果在模型中的权重，并且给以后的树留出了学习空间。第二个是列采样，列采样通常被用在RandomForest中。列采样相比行采样（也就是对样本进行采样，XGBoost也支持行采样），防止过拟合的效果更好，同时，列采样也一定程度上加速了XGBoost的并行计算。
树训练中的一个比较重要的问题就是寻找最佳分裂点。最基本的精确贪婪算法通过遍历所有可能的分裂点，然后计算Gain，选择Gain最大的分裂点。为了提高遍历效率，需要首先对样本按照特征值进行排序。精确贪婪算法的流程见Algorithm1。
精确贪婪算法因为要遍历所有可能的分裂点，所以总是能够找到最佳的分裂点，但是当数据量足够大，超出内存容量的时候，这种方式就失效了。另外，在分布式计算的情况下，数据分布在不同的节点上，精确贪婪算法也不能进行有效的计算。在这两种情况下，就需要采用近似算法。近似算法首先根据特征值分布的百分位数产生一些候选分割点，然后根据候选分割点把连续的特征离散化，然后计算梯度统计gi和hi，根据梯度统计计算obj*和gain，进而寻找最佳候选分割点。详细的算法流程见Algorithm2.
根据候选分割点在什么时候产生，近似算法又分成两种形式。第一种是global variant，是在树构造之前首先产生所有的候选分割点，后面在树的每一层进行分裂的时候都使用这些候选分割点。另外一种是Local variant，是在每次节点分裂之后，根据分配到节点的样本重新产生候选分割点。Global variant只产生一次候选分割点，而local variant需要多次产生候选分割点，但是由于属于树中间层节点的样本较少，尤其是随着树的深度增加，local variant相比global variant产生的候选分割点数量更少，而且由于local variant产生候选分割点只依赖于当前节点的样本特征值，因此更适合于deeper tree。
为了对比global variant和local variant，我们在Higgs boson dataset（一个kaggle比赛的数据集）上对两种方式进行试验，试验结果见下图。
（说明：eps越小，说明产生的候选分割点越多，原因或原理见2.2.3）
试验结果：1）global eps=0.05和exact greedy对比说明，近似算法的global variant如果产生足够多数量的候选分裂点，基本达到和精确贪婪算法同样的模型效果；2）global eps=0.3和local eps=0.3对比说明，产生候选分裂点数量相同的情况下，local variant相比global variant能达到更好的模型效果（因为在树的非根节点，相同数量的候选分裂点的情况下，实际上local variant要比global variant划分的更加精细），或者反过来说也可以，要达到同样的模型效果，local variant相比global variant需要更少的候选分裂点。
近似算法中重要的一步就是产生合理的候选分裂点，通常是根据特征值的百分位数点产生候选分割点，这样可以把特征值平均的分成若干个区间。实际上，XGBoost中采取的方法是，计算 ，其中 表示第k个特征的第n个样本的值， 表示目标函数关于 的二阶导数，然后定义排序函数 ：
表示在 中特征值小于z的样本加权占比，权重为h。
为什么把二阶导数作为权重呢？原因来源于目标函数表达式：
对以上表达式变换一下：
这个表达式格式可以看做是以 为label，以 为权重的加权平方损失。
定义排序函数的目标是寻找候选分裂点 ，候选分裂点必须满足：
这里 是一个超参数（2.2.2中的eps就是指的这个超参数），直观上可以理解为，候选分裂点的数量大概为 .
在实际应用中，最常见的是类型是稀疏类型的特征，就是特征里面可能包含大量的缺失值。为了使XGBoost能够适用大量缺失值的场景，在树分裂的时候，给缺失值一个默认的分裂方向（全部分裂到左子节点或者全部分裂到右子节点），默认的分裂方向是通过在训练数据上学习得到的。学习默认分裂方向的算法见Algorithm3。算法只遍历没有缺失的样本，然后把有缺失值的样本当做一个整体，通过全部将其分到左子节点或右子节点，比较分到左边或右边的效果更好，就把全部缺失值样本分到哪边。
大多数已有的树学习算法要么仅针对密集数据进行了优化，要么需要特定的过程来处理有限的情况，例如分类编码。 XGBoost以统一的方式处理所有稀疏模式。 更重要的是，我们的方法利用了稀疏性，使计算复杂度与输入中非缺失项的数量呈线性关系。
XGBoost中最耗时的部分是对特征进行排序。为了提高排序的效率，我们采取事先把数据存储在被称为block的内存单元里，每个block中的数据是以列压缩（CSC）的格式存储，每列都按照该列的数值大小进行排序。这种输入数据只需要在训练之前计算一次，就可以重复用于之后每棵树的迭代训练。
在精确贪婪算法中，我们把整个数据集存储在同一个block中，并且存储在block中的数据已经是按照每列的特征值进行排序后的，所以只需要遍历一次block，并且根据每个样本点属于哪个叶子节点，就能同时为每个叶子节点寻找到最佳分裂点。下图表示了如何把数据集转换成列压缩（CSC)的格式，并且使用block高效的完成寻找最佳分裂点。
在近似算法寻找最佳分裂点中， 采取的block存储方式与精确贪婪算法中有所不同，近似算法中采取用多个block对数据进行存储，每个block对应于一部分样本数据，并且block可以分布在不同的机器上，或存储在磁盘上。因为每个block是根据特征值预先排序的（此处，我理解应该是整体数据集先排序之后，然后分散在不同的block中），近似算法中的分位数搜索就变成了线性搜索，尤其是在local proposal模式下，候选分割点需要在每个分支下搜索产生，线性搜索相比分位数搜索极大的提高了效率。
收集每列的梯度统计信息可以并行进行，从而为我们提供了一种候选分裂点查找的并行算法。另外重要的是，CSC列压缩存储格式和block存储结构支持列采样，所以可以很方便的选择block中的部分列。
block结构降低了选取候选分裂点的计算复杂度，但是由于block中的数据是按照CSC的列压缩格式存储的，并且每列是按照特征值排序的，除了特征值之外，还存储了指针从特征值指向样本索引，所以在选取候选分割点的时候，会不断的根据特征值对应的样本索引去取梯度统计值，也就是说CPU会不断地访问非连续的内存单元，增加CPU的负担。最简单的实现方法是，CPU读取一次内存单元中的梯度统计值，就进行一次累计计算，就回引起CPU在累计计算和访问非连续的内存单元之间的读写依赖关系。如果block中的梯度统计数据不能进入CPU缓存（比如block太大等原因），或者发生缓存丢失cache miss，就会降低候选分裂点选取的效率。
对于精确的贪婪算法，我们可以通过缓存感知的预提取算法来缓解问题。 具体来说，我们给每个线程分配一个内部缓冲区，将梯度统计信息提取到其中，然后以小批量的方式执行累加。 这种预提取将直接读/写依赖关系更改为更长的依赖关系，并在行数较大时帮助减少运行开销。在数据集较大时，精确贪婪算法的可感知缓存的运行速度是普通版本的两倍。
对于近似算法，我们通过选择合适的block大小来解决该问题。 我们将block大小定义为一个block中包含的最大样本数，因为这反映了梯度统计信息的缓存存储成本。 选择过小的block大小会较小每个线程的工作量，但是同时也会降低并行化效率。 另一方面，太大的block会导致高速缓存丢失cache miss，因此 block大小的选择应该要平衡这两个因素。 通过在不同数据集上的测试，block大小设置为 是个合适的选择。
为了充分利用机器的资源来实现可扩展的学习，除了处理器和内存之外，利用磁盘空间来处理不能放在主内存的数据也很重要。 为了实现核外计算，我们将数据分为多个block，并将每个block存储在磁盘上。 在计算过程中，重要的是要使用独立的线程将block预提取到主存储器缓冲区中，这样就可以在读取磁盘的同时进行计算。 但是，磁盘读取占用了大部分计算时间，所以要减少开销并增加磁盘IO的吞吐量。 我们主要使用两种技术来改进核外计算。
1）block压缩
将block按列进行压缩，然后在加载到内存时通过独立的线程解压缩，相当于用解压缩时间换取磁盘读取成本。我们使用通用压缩算法来压缩特征值。 对于行索引，我们把block中每个样本的索引值都减去开始索引，并使用16位整数存储每个样本的索引偏移量。 在我们测试的大多数数据集中，我们实现了大约26％至29％的压缩率。
2）block分片
将block中的数据分片到多个磁盘上，并且给每个磁盘分配独立的线程，将数据提前取入内存缓冲区中，然后，训练线程可以从每个缓冲区读取数据。 当有多个磁盘可用时，这有助于增加磁盘读取的吞吐量。
Ⅲ 如何将非结构化数据转化为结构化数据
随着机器学习的发展，过去传统的结构化数据分析方法已经不能满足我们的需求了。如何在神经网络中利用非结构化数据是很重要的一点。所以很多研究者致力于将非结构化数据处理成结构化数据的工具开发。将非结构化数据转化为结构化数据有以下几个方法：
1. 传统方法——树
虽然绝大多数数据是非结构化格式的，但是结构化数据普遍存在于各类商业应用软件和系统中，例如产品数据存储，交易日志，ERP和CRM 系统中都存在大量结构化数据，这些结构化数据仍应用着陈旧的数据技术处理，如基于规则的系统，决策树等。这样的方法需要人工进行特征提取，操作繁琐且需要耗费大量人力进行数据标签。
非结构化数据，也就是通常使用的杂乱无章的文本数据。非结构化数据通常是不能用结构化数据的常规方法以传统方式进行分析或处理的，所以这也成为AI领域一个常见的难题，要理解非结构化数据通常需要输入整段文字，以识别其潜在的特征，然后查看这些特征是否出现在池中的其他文本中。因此，在处理此类任务时，深度学习以其出色的特征提取能力一骑绝尘，于是所有人都开始想着把神经网络用在结构化数据上——建个全连接层，把每一列的内容作为输入，再有一个确定好的标签，就可以进行训练和推理了。
2. 新型利器——深度学习
需要寻找结构化数据的语义，目前要解决的问题主要有：
①数据清洗。要在结构化数据 AI 应用上有所成果，首先需要解决人工数据清洗和准备的问题，找到极少或者没有人为干预的自动化方法，才能使得这一应用可落地可拓展。
②异构数据。处理结构化数据的其中一大挑战在于，结构化数据可能是异构的，同时组合了不同类型的数据结构，例如文本数据、定类数据、数字甚至图像数据。其次，数据表有可能非常稀疏。想象一个 100 列的表格，每列都有 10 到 1000 个可能值（例如制造商的类型，大小，价格等），行则有几百万行。由于只有一小部分列值的组合有意义，可以想象，这个表格可能的组合空间有多么“空”。
③语义理解。找到这些结构化数据的语义特征。处理结构化数据并不仅仅依赖于数据本身的特征 (稀疏，异构，丰富的语义和领域知识），数据表集合 (列名，字段类型，域和各种完整性约束等）可以解码各数据块之间的语义和可能存在的交互的重要信息。也就是说，存储在数据库表中的信息具有强大的底层结构，而现有的语言模型（例如 BERT）仅受过训练以编码自由格式的文本。
3. 结构化数据清洗
除了某些特定的需求外，经过预处理之后的结构化数据，应该满足以下特点：
①所有值都是数字–机器学习算法取决于所有数据都是数字；
②非数字值（在类别或文本列中的内容）需要替换为数字标识符；
③标识并清除具有无效值的记录；
④识别并消除了无关的类别；
⑤所有记录都需要使用相同的一致类别。
Ⅳ 【论文精读】决策树：XGBoost: A Scalable Tree Boosting System
XGBoost 的方法源自于Friedman的二阶方法，XGBoost在正则化目标函数上做了小改进。XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了 GBDT算法 并进行了算法和工程上的许多改进。 （XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致）
对于一个含n个训练样本，m个features的给定数据集D，所使用的树集成模型（见图“树集成模型”）使用 K次求和函数（下图公式1） 来预测输出（ 加法模型 ）。
在2.1中的目标函数公式（对应论文公式2）上中的树集成模型包含函数作为参数，传统的欧几里得空间优化方法无法对其进行优化。因此，模型是以相加的方式训练（前向分步算法）的。认为y ̂_i(t)是第i个实例在第t次迭代时的预测，加入一个新的ft来最小化以下目标。目标函数表达式为：
对于该函数的优化，在 XGBoost 中使用了泰勒展开式，与 GDBT 不同的是 XGBoost 使用了泰勒二次展开式。去掉常数项（如下图“常数项”），最终得到简化后的函数（损失函数），如下图“损失函数”。
定义 q 函数将输入 x 映射到某个叶节点上，则定义每个叶子节点j上的样本集合为
除了正则化目标外，还使用了另外两种技术来进一步防止过拟合。
构建树,寻找分裂点的时候需要关注两个问题：选用什么特征（维度）进行切割和在所选特征（维度）取什么样的阈值进行切割。
在所有特征上，枚举所有可能的划分。 精确贪心算法从树的根节点开始，对每个叶节点枚举所有的可用特征。 文中指出：为了更高效，该算法必须首先根据特征值对数据进行排序，以有序的方式访问数据来枚举打分公式中的结构得分（structure score）的梯度统计(gradient statistics)。 （就是写两层循环穷举这两个参数，逐个尝试后保留最优的切分方案。 ）
该算法要求穷举所有数据，当数据不能完全装入内存时（特征量比较大，设备不支持），就不可能有效地这样做。
分桶操作 ，该算法首先会根据特征分布的百分位数，提出候选划分点。将连续型特征映射到由这些候选点划分的分桶(buckets)中，聚合统计信息，基于该聚合统计找到proposal中的最优解。（计算每个桶中的统计信息就可以求出最佳分裂点的最佳分裂收益值）
采用分位数的直方图近似计算分位点，以近似获取特定的查询。使用随机映射将数据流投射在一个小的存储空间内作为整个数据流的概要，这个小空间存储的概要数据（ 需要保留原序列中的最小值和最大值 ）称为Sketch，可用于近似回答特定的查询。
在每个树节点中添加一个默认方向，对于缺失数据让模型自动学习默认的划分方向。采用的是在每次的切分中，让缺失值分别被切分到左节点以及右节点，通过计算得分值比较两种切分方法哪一个更优，则会对每个特征的缺失值都会学习到一个最优的默认切分方向。
XGBoost 在目标函数上加入了惩罚项，使模型的泛化能力大大增强，且对行列支持降采样，优化了计算速度。
比较有意思的点在于稀疏值处理，让模型自动学习，默认划分节点，选择最优。
Ⅳ 最小二乘法、回归分析法、灰色预测法、决策论、神经网络等5个算法的使用范围及优缺点是什么
最小二乘法：通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。优点：实现简单，计算简单。缺点：不能拟合非线性数据.
回归分析法：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。优点：在分析多因素模型时，更加简单和方便，不仅可以预测并求出函数，还可以自己对结果进行残差的检验，检验模型的精度。缺点：回归方程式只是一种推测，这影响了因子的多样性和某些因子的不可测性，使得回归分析在某些情况下受到限制。
灰色预测法：
色预测法是一种对含有不确定因素的系统进行预测的方法 。它通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。它用等时间距离观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或者达到某一特征量的时间。优点：对于不确定因素的复杂系统预测效果较好，且所需样本数据较小。缺点：基于指数率的预测没有考虑系统的随机性，中长期预测精度较差。
决策树：在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。优点：能够处理不相关的特征；在相对短的时间内能够对大型数据源做出可行且效果良好的分析；计算简单，易于理解，可解释性强；比较适合处理有缺失属性的样本。缺点：忽略了数据之间的相关性；容易发生过拟合（随机森林可以很大程度上减少过拟合）；在决策树当中,对于各类别样本数量不一致的数据，信息增益的结果偏向于那些具有更多数值的特征。
神经网络：优点：分类的准确度高；并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
Ⅵ 将非结构化数据转化为结构化数据有哪些方法
非结构化数据转化为结构化数据有以下几个方法：
1. 传统方法——树
虽然绝大多数数据是非结构化格式的，但是结构化数据普遍存在于各类商业应用软件和系统中，例如产品数据存储，交易日志，ERP和CRM 系统中都存在大量结构化数据，这些结构化数据仍应用着陈旧的数据技术处理，如基于规则的系统，决策树等。这样的方法需要人工进行特征提取，操作繁琐且需要耗费大量人力进行数据标签。
非结构化数据，也就是通常使用的杂乱无章的文本数据。非结构化数据通常是不能用结构化数据的常规方法以传统方式进行分析或处理的，所以这也成为AI领域一个常见的难题，要理解非结构化数据通常需要输入整段文字，以识别其潜在的特征，然后查看这些特征是否出现在池中的其他文本中。因此，在处理此类任务时，深度学习以其出色的特征提取能力一骑绝尘，于是所有人都开始想着把神经网络用在结构化数据上——建个全连接层，把每一列的内容作为输入，再有一个确定好的标签，就可以进行训练和推理了。
2. 新型利器——深度学习
需要寻找结构化数据的语义，目前要解决的问题主要有：
①数据清洗。要在结构化数据 AI 应用上有所成果，首先需要解决人工数据清洗和准备的问题，找到极少或者没有人为干预的自动化方法，才能使得这一应用可落地可拓展。
②异构数据。处理结构化数据的其中一大挑战在于，结构化数据可能是异构的，同时组合了不同类型的数据结构，例如文本数据、定类数据、数字甚至图像数据。其次，数据表有可能非常稀疏。想象一个 100 列的表格，每列都有 10 到 1000 个可能值（例如制造商的类型，大小，价格等），行则有几百万行。由于只有一小部分列值的组合有意义，可以想象，这个表格可能的组合空间有多么“空”。
③语义理解。找到这些结构化数据的语义特征。处理结构化数据并不仅仅依赖于数据本身的特征 (稀疏，异构，丰富的语义和领域知识），数据表集合 (列名，字段类型，域和各种完整性约束等）可以解码各数据块之间的语义和可能存在的交互的重要信息。也就是说，存储在数据库表中的信息具有强大的底层结构，而现有的语言模型（例如 BERT）仅受过训练以编码自由格式的文本。
3. 结构化数据清洗
除了某些特定的需求外，经过预处理之后的结构化数据，应该满足以下特点：
①所有值都是数字–机器学习算法取决于所有数据都是数字；
②非数字值（在类别或文本列中的内容）需要替换为数字标识符；
③标识并清除具有无效值的记录；
④识别并消除了无关的类别；
⑤所有记录都需要使用相同的一致类别。
Ⅶ 数据结构中各种排序的时间复杂度与空间复杂度比较！
冒泡排序是稳定的，算法时间复杂度是O(n ^2)。 2.2 选择排序（Selection Sort） 选择排序的基本思想是对待排序的记录序列进行n-1遍的处理，第i遍处理是将L[i..n]中最小者与L[i]交换位置。这样，经过i遍处理之后，前i个记录的位置已经是正确的了。 选择排序是不稳定的，算法复杂度是O(n ^2 )。 2.3 插入排序 （Insertion Sort） 插入排序的基本思想是，经过i-1遍处理后,L[1..i-1]己排好序。第i遍处理仅将L[i]插入L[1..i-1]的适当位置，使得L[1..i] 又是排好序的序列。要达到这个目的，我们可以用顺序比较的方法。首先比较L[i]和L[i-1]，如果L[i-1]≤ L[i]，则L[1..i]已排好序，第i遍处理就结束了；否则交换L[i]与L[i-1]的位置，继续比较L[i-1]和L[i-2]，直到找到某一个位置j(1≤j≤i-1)，使得L[j] ≤L[j+1]时为止。图1演示了对4个元素进行插入排序的过程，共需要(a),(b),(c)三次插入。 直接插入排序是稳定的，算法时间复杂度是O(n ^2) 。 2.4 堆排序 堆排序是一种树形选择排序，在排序过程中，将A[n]看成是完全二叉树的顺序存储结构，利用完全二叉树中双亲结点和孩子结点之间的内在关系来选择最小的元素。 堆排序是不稳定的，算法时间复杂度O(nlog n)。 2.5 归并排序 设有两个有序（升序）序列存储在同一数组中相邻的位置上，不妨设为A[l..m]，A[m+1..h]，将它们归并为一个有序数列，并存储在A[l..h]。 其时间复杂度无论是在最好情况下还是在最坏情况下均是O(nlog2n)。 2.6 快速排序 快速排序是对冒泡排序的一种本质改进。它的基本思想是通过一趟扫描后，使得排序序列的长度能大幅度地减少。在冒泡排序中，一次扫描只能确保最大数值的数移到正确位置，而待排序序列的长度可能只减少1。快速排序通过一趟扫描，就能确保某个数（以它为基准点吧）的左边各数都比它小，右边各数都比它大。然后又用同样的方法处理它左右两边的数，直到基准点的左右只有一个元素为止。 快速排序是不稳定的，最理想情况算法时间复杂度O(nlog2n)，最坏O(n ^2)。 2.7 希尔排序 在直接插入排序算法中，每次插入一个数，使有序序列只增加1个节点，并且对插入下一个数没有提供任何帮助。如果比较相隔较远距离（称为 增量）的数，使得数移动时能跨过多个元素，则进行一次比较就可能消除多个元素交换。D.L.shell于1959年在以他名字命名的排序算法中实现了这一思想。算法先将要排序的一组数按某个增量d分成若干组，每组中记录的下标相差d.对每组中全部元素进行排序，然后再用一个较小的增量对它进行，在每组中再进行排序。当增量减到1时，整个要排序的数被分成一组，排序完成。 希尔排序是不稳定的，其时间复杂度为O(n ^2)。 排序类别 时间复杂度 空间复杂度 稳定 1 插入排序 O(n2) 1 √ 2 希尔排序 O(n2) 1 × 3 冒泡排序 O(n2) 1 √ 4 选择排序 O(n2) 1 × 5 快速排序 O(Nlogn) O(logn) × 6 堆排序 O(Nlogn) 1 × 7 归并排序 O(Nlogn) O(n) √
0
顺序查找， O(n) 二分， O(logn)需要排序分块 分块查找？ 不知道..英文是什么？ 直接插入 O(n^2) 快速排序 最坏情况O(n^2) 平均O(nlogn) 起泡 和插入很像吧 O(n^2) 希尔，O(n^x) 1<x<2 需要比较复杂的分析方法选择 没听过堆排序 最坏情况和平均都是O(nlogn) 其他：归并(merge) O(nlogn) radix() （看怎么来理解n，也可以说O(n)也可以O(nlogn),需要调用稳定的子排序算法） basket O(n) 这两个属于非比较排序。 给予比较操作（> 或< ）的排序算法理论最低复杂度是O(nlogn) 证明： 所有可能情况为n! 构造决策树需要n!子节点 <为二分操作，所以树为二叉树，高度为O(logn!)=O(nlogn)
Ⅷ 设计数据结构来表示和存储决策树 给点解题思路
EDN上看过类似的博客，你不妨去看看http://public.ednchina.com/Search.aspx?wd=%u6811%u72B6%u6570%u636E%u7684C%u8BED%u8A00%u68C0%u7D22