❶ 什么是结构化数据非结构化数据半结构化数据
1、结构化数据
结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。
基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。
2、非结构化数据
非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。
3、半结构化数据
和普通纯文本相比，半结构化数据具有一定的结构性，OEM(Object exchange Model)是一种典型的半结构化数据模型。
半结构化数据(semi-structured data)。在做一个信息系统设计时肯定会涉及到数据的存储，一般我们都会将系统信息保存在某个指定的关系数据库中。我们会将数据按业务分类，并设计相应的表，然后将对应的信息保存到相应的表中。
数据：
数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。
它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2…”、“阴、雨、下降、气温”、“学生的档案记录、货物的运输情况”等都是数据。数据经过加工后就成为信息。
在计算机科学中，数据是所有能输入计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。计算机存储和处理的对象十分广泛，表示这些对象的数据也随之变得越来越复杂。
❷ web网页的HTML文档属于以下哪种结构数据
非结构化数据
❸ 什么是结构化数据，非结构化数据和半结构化数据
结构化数据也称为行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。结构化数据标记是能让网站以更好的姿态展示在搜索结果当中的方式。做了结构化数据标记，便能使网站在搜索结果中良好地展示丰富网页摘要。
非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。
半结构化数据具有一定的结构性，是一种适于数据库集成的数据模型。也就是说，适于描述包含在两个或多个数据库（这些数据库含有不同模式的相似数据）中的数据。它也是一种标记服务的基础模型，用于Web上共享信息。
(3)web中结构化数据扩展阅读：
结构化数据的标记方式
1、使用HTML代码标记
HTML代码标记的方式主要有3种：微数据、微格式和RDFa。但对于一些外贸站站来说，标记是以微数据为主，少许时候也会用到微格式，视不用的页面类型而定。
2、使用微数据标记
使用微数据标记的话，主流是使用schema进行标记。但由于页面上有些项, schema并没推出相应的标记代码，从而也得仍旧使用data-vocabulary来标记， 这样的话页面代码上就会出现新旧代码并存的情况。
❹ 以下选项中什么是结构化数据
结构化数据是HTML，XML，JSON。根据查询相关公开信息显示，结构化数据是首厅一种能让网站以更销洞好的姿态展示在搜索结果当中的方式，做了结构化数者斗隐据便能使网站在搜索结果中良好地展示丰富网页摘要。搜索引擎都支持标准的结构化数据，以便为用户提供更好的上网体验。
❺ 初步理解一下：SOA, SOAP, Web Service, WSDL等
什么是SOA、SOAP?
SOA到底是什么？
SOA（Service-Oriented Architecture）的定义是面向服务的架构，就是说将软件按照功能设计成一个个服务，这些服务用标准的方式定义接口、并通过标准的协议进行调用。 SOA所定义的接口和调用方式是独立于编程语言和运行平台的，广义上讲SOA可以基于不同的底层技术实现，比如CORBA和Web Services。但CORBA由于过于复杂和臃肿已很少使用，所以目前所说的SOA绝大多数是基于Web Services技术实现。在Web Services的实现方式下，SOA服务的接口用XML进行定义。
在SOA架构下，软件开发从业务流程分析开始，使用组件化业务建模的方法识别和分析各种业务模型，将各种实践融入其中，在这个基础上建立用例，用例直接产 生BPEL，这些BPEL则可以被融入一个服务整合框架中，其描述了各种服务的信息，从而把ESB上的各个模块统一起来，形成一个巨大的服务仓。
将中间层再进行抽离，在中间层作一个跨技术架构的元数据和业务逻辑，使之成为跨技术架构的、可长期继承、并不断积累的企业业务库和最宝贵的信息资产，也就 是面向服务的组件库，而且这个服务组件库也可以被其它企业复用，且不依赖于任何一种技术架构。夸张一点说，如果所有软件企业都使用SOA架构，那么世界软 件业将会发生彻底的改变。显然，这样一个框架不是一种产品，也不仅仅是一种技术，而是一种解决问题的方法论。
SOA可能应用于两个场景：第一种是业务互通互联；第二种是封闭交易系统，即将元数据和业务逻辑抽离，形成可复用。举个例子，在第一种场景中，当不同企业 之间的业务需要相互调用，这时就可能采用SOA技术；在第二种场景中，在企业内部需要将系统进行迁移时，利用SOA技术定义的原有数据和业务流程，可以很 快完成。
SOA并不是一个新事物，IT组织已经成功建立并实施SOA应用软件很多年了，BEA、IBM、等厂商看到了它的价值，纷纷跟进。SOA的目标在于让IT 变得更有弹性，以更快地响应业务单位的需求，实现实时企业（Real-Time Enterprise，这是Gartner为SOA描述的愿景目标）。而BEA的CIO Rhonda早在2001年6月就提出要将BEA的IT基础架构转变为SOA，并且从对整个企业架构的控制能力、提升开发效率、加快开发速度、降低在客户 化和人员技能的投入等方面取得了不错的成绩。
SOA是在计算环境下设计、开发、应用、管理分散的逻辑（服务）单元的一种规范。这个定义决定了SOA的广泛性。SOA要求开发者从服务集成的角度来设计 应用软件，即使这么做的利益不会马上显现。SOA要求开发者超越应用软件来思考，并考虑复用现有的服务，或者检查如何让服务被重复利用。SOA鼓励使用可 替代的技术和方法（例如消息机制），通过把服务联系在一起而非编写新代码来构架应用。经过适当构架后，这种消息机制的应用允许公司仅通过调整原有服务模式 而非被迫进行大规模新的应用代码的开发，使得在商业环境许可的时间内对变化的市场条件做出快速的响应。
SOA也不仅仅是一种开发的方法论--它还包含管理。例如，应用SOA后，管理者可以方便的管理这些搭建在服务平台上的企业应用，而不是管理单一的应用模 块。其原理是，通过分析服务之间的相互调用，SOA使得公司管理人员方便的拿到什么时候、什么原因、哪些商业逻辑被执行的数据信息，这样就帮助了企业管理 人员或应用架构师迭代地优化他们的企业业务流程、应用系统。
SOA的一个中心思想就是使得企业应用摆脱面向技术的解决方案的束缚，轻松应对企业商业服务变化、发展的需要。企业环境中单个应用程序是无法包容业务用户 的（各种）需求的，即使是一个大型的ERP解决方案，仍然不能满足这个需求在不断膨胀、变化的缺口，对市场快速做出反应，商业用户只能通过不断开发新应 用、扩展现有应用程序来艰难的支撑其现有的业务需求。通过将注意力放在服务上，应用程序能够集中起来提供更加丰富、目的性更强的商业流程。其结果就是，基 于SOA的企业应用系统通常会更加真实地反映出与业务模型的结合。服务是从业务流程的角度来看待技术的--这是从上向下看的。这种角度同一般的从可用技术 所驱动的商业视角是相反的。服务的优势很清楚：它们会同业务流程结合在一起，因此能够更加精确地表示业务模型、更好地支持业务流程。相反我们可以看到以应 用程序为中心的企业应用模型迫使业务用户将其能力局限为应用程序的能力。
企业流程（enterprise process）是流经企业框架的空气，它赋予业务模型里的组件以生命，并更加清晰地定义了它们之间的关系。流程定义了同业务模型进行交互操作的专门方 法。例如，会计可能是企业服务系统的一个组件--但是将发票寄给客户却是一个业务流程。服务被定义用来支持业务流程，因而贯穿整个流程始终的是：各种服务 组件在流程和逻辑实现过程中的装配操作。理解业务流程是定制服务的关键所在。
有利于企业业务的集成传统的应用集成方法（点对点集成、企业消息总线或中间件的集成（EAI）、基于业务流程的集成）都很复杂、昂贵，并且不灵活。这些集 成方法难于快速适应基于企业现代业务变化不断产生的需求。基于面向服务架构 (SOA) 的应用开发和集成可以很好的解决其中的许多问题。
SOA 描述了一套完善的开发模式来帮助客户端应用连接到服务上。这些模式定制了系列机制用于描述服务、通知及发现服务、与服务进行通信。
不同于传统的应用集成方法，在 SOA 中，围绕服务的所有模式都是以基于标准的技术实现的。大部分的通信中间件系统，如 RPC、CORBA、DCOM、EJB 和 RMI，也同样如此。可是它们的实现都不是很完美的，在权衡交互性以及标准定制的可接受性方面总是存在问题。SOA 试图排除这些缺陷。因为几乎所有的通信中间件系统都有固定的处理模式，如RPC 的功能、CORBA 的对象等等。然而，服务既可以定义为功能，又可同时对外定义为对象、应用等等。这使得 SOA 可适应于任何现有系统，并使得系统在集成时不必刻意遵循任何特殊定制。
SOA 帮助企业信息系统迁移到"leave-and-layer"架构之上，这意味着在不用对现有的企业系统做修改的前提下，系统可对外提供 Web 服务接口，这是因为它们已经被可以提供 Web 服务接口的应用层做了一层封装，所以在不用修改现有系统架构的情况下，SOA 可以将系统和应用迅速转换为服务。SOA 不仅覆盖来自于打包应用、定制应用和遗留系统中的信息，而且还覆盖来自于如安全、内容管理、搜索等 IT 架构中的功能和数据。因为基于 SOA 的应用能很容易地从这些基础服务架构中添加功能，所以基于SOA的应用能更快地应对市场变化，为使企业业务部门设计开发出新的功能应用。
Soap是什么？
SOAP 是Simple Object Access Protocol（简单对象访问协议）的缩写。
SOAP是一个用于分布式环境的、轻量级的、基于XML进行信息交换的通信协议.
对于Soap的理解：
第一步理解：SOAP＝HTTP＋XML
第二步理解：SOAP把XML的使用代码化为请求和响应参数编码模式，并用HTTP作传输。
SOAP是把成熟的基于HTTP的WEB技术与XML的灵活性和可扩展性组合在了一起。
第三步理解：具体地讲，一个SOAP实现可以简单地看作遵循SOAP编码规则的HTTP请求和响应。
注意：SOAP 是一个协议，与编程语言无关。实际上，许多语言已经开始支持 SOAP，如：Java，C，C＋＋以及JavaScript。
Soap的起源？Soap解决的问题？
SOAP最初由微软发起研究，用以解决MTS/COM资源消耗大，不够轻巧等问题，后逐渐被IBM等巨头接纳并加入研究，现已提交W3C，成为Web Service应用传输标准。SOAP技术主要用于实现大量异构程序和平台之间的互操作性，从而使存在的应用能够被广泛的用户所访问。
SOAP意思是简单对象访问协议（Simple Object Access Protocol）。的确如它的名字一样，SOAP是很简单的。它是一个基于XML的协议，允许程序组件和应用程序彼此使用一种标准的Internet协 议--HTTP来通讯。SOAP是一种独立的平台，它不依赖程序语言，它是简单的，弹性的，很容易扩展的。目前，应用程序能够彼此使用一种基于DCOM和 CORBA技术的远程过程调用（RPC）来进行相互通讯，但HTTP不被设计为这个目的。RPC在Internet上应用是非常困难的，它们会出现许多兼 容性和安全性的问题，因为防火墙和代理服务器通常都会阻断（block）这些类型的流量。应用程序之间最好的通讯方式是通过HTTP协议，因为HTTP是 支持所有Internet浏览器和服务器的。基于这个目的，SOAP协议被创建出来。
SOAP（Simple Object Access Protocol ）简单对象访问协议是在分散或分布式的环境中交换信息的简单的协议，是一个基于XML的协议，它包括四个部分：SOAP封装(envelop)，封装定义 了一个描述消息中的内容是什么，是谁发送的，谁应当接受并处理它以及如何处理它们的框架；SOAP编码规则（encoding rules），用于表示应用程序需要使用的数据类型的实例; SOAP RPC表示(RPC representation)，表示远程过程调用和应答的协定;SOAP绑定（binding），使用底层协议交换信息。
虽然这四个部分都作为SOAP的一部分，作为一个整体定义的，但他们在功能上是相交的、彼此独立的。特别的，信封和编码规则是被定义在不同的XML命名空间(namespace)中，这样使得定义更加简单。
什么是CXF？
Apache CXF = Celtix + XFire，Apache CXF 的前身叫 Apache CeltiXfire，现在已经正式更名为 Apache CXF 了，以下简称为 CXF。CXF 继承了 Celtix 和 XFire 两大开源项目的精华，提供了对 JAX-WS 全面的支持，并且提供了多种 Binding 、DataBinding、Transport 以及各种 Format 的支持，并且可以根据实际项目的需要，采用代码优先（Code First）或者 WSDL 优先（WSDL First）来轻松地实现 Web Services 的发布和使用。目前它仍只是 Apache 的一个孵化项目。
Apache CXF 是一个开源的 Services 框架，CXF 帮助您利用 Frontend 编程 API 来构建和开发 Services ，像 JAX-WS 。这些 Services 可以支持多种协议，比如：SOAP、XML/HTTP、RESTful HTTP 或者 CORBA ，并且可以在多种传输协议上运行，比如：HTTP、JMS 或者 JBI，CXF 大大简化了 Services 的创建，同时它继承了 XFire 传统，一样可以天然地和 Spring 进行无缝集成。
CXF 包含了大量的功能特性，但是主要集中在以下几个方面：
支持 Web Services 标准：CXF 支持多种 Web Services 标准，包含 SOAP、Basic Profile、WS-Addressing、WS-Policy、WS-ReliableMessaging 和 WS-Security。
Frontends：CXF 支持多种“Frontend”编程模型，CXF 实现了 JAX-WS API （遵循 JAX-WS 2.0 TCK 版本），它也包含一个“simple frontend”允许客户端和 EndPoint 的创建，而不需要 Annotation 注解。CXF 既支持 WSDL 优先开发，也支持从 Java 的代码优先开发模式。
容易 使用： CXF 设计得更加直观与容易使用。有大量简单的 API 用来快速地构建代码优先的 Services，各种 Maven 的插件也使集成更加容易，支持 JAX-WS API ，支持 Spring 2.0 更加简化的 XML 配置方式，等等。
支持二进制和遗留协议：CXF 的设计是一种可插拨的架构，既可以支持 XML ，也可以支持非 XML 的类型绑定，比如：JSON 和 CORBA。
我们来利用cxf创建一个简单的webservice吧。
首先cxf 所需要的包：更具网站说明以下的包都是必须的，但是在我的实际项目中红色部分的包并没有用到。
大家可更具自己需求来添加适应的包。
cxf.jar
commons-logging.jar
geronimo-activation.jar (Or the Sun equivalent)//
geronimo-annotation.jar (Or the Sun equivalent)//
geronimo-javamail.jar (Or the Sun equivalent)//
neethi.jar
jaxb-api.jar
jaxb-impl.jar
stax-api.jar//
XmlSchema.jar
wstx-asl.jar
xml-resolver.jar
分布式应用程序和浏览器
研究一下当前的应用程序开发，你会发现一个绝对的倾向：人们开始偏爱基于浏览器的瘦客户应用程序。这当然不是因为瘦客户能够提供更好的用户界面，而是因为 它能够避免花在桌面应用程序发布上的高成本。发布桌面应用程序成本很高，一半是因为应用程序安装和配置的问题，另一半是因为客户和服务器之间通信的问题。
传统的Windows富客户应用程序使用DCOM来与服务器进行通信和调用远程对象。配置好DCOM使其在一个大型的网络中正常工作将是一个极富挑战性的 工作，同时也是许多IT工程师的噩梦。事实上，许多IT工程师宁愿忍受浏览器所带来的功能限制，也不愿在局域网上去运行一个DCOM。在我看来，结果就是 一个发布容易，但开发难度大而且用户界面极其受限的应用程序。极端的说，就是你花了更多的资金和时间，却开发出从用户看来功能更弱的应用程序。不信？问问 你的会计师对新的基于浏览器的会计软件有什么想法：绝大多数商用程序用户希望使用更加友好的Windows用户界面。
关于客户端与服务器的通信问题，一个完美的解决方法是使用HTTP协议来通信。这是因为任何运行Web浏览器的机器都在使用HTTP协议。同时，当前许多防火墙也配置为只允许HTTP连接。
许多商用程序还面临另一个问题，那就是与其他程序的互操作性。如果所有的应用程序都是使用COM或.NET语言写的，并且都运行在Windows平台上， 那就天下太平了。然而，事实上大多数商业数据仍然在大型主机上以非关系文件(VSAM)的形式存放，并由COBOL语言编写的大型机程序访问。而且，目前 还有很多商用程序继续在使用C++、Java、Visual Basic和其他各种各样的语言编写。现在，除了最简单的程序之外，所有的应用程序都需要与运行在其他异构平台上的应用程序集成并进行数据交换。这样的任 务通常都是由特殊的方法，如文件传输和分析，消息队列，还有仅适用于某些情况的的API，如IBM的"高级程序到程序交流(APPC)"等来完成的。在以 前，没有一个应用程序通信标准，是独立于平台、组建模型和编程语言的。只有通过Web Service，客户端和服务器才能够自由的用HTTP进行通信，不论两个程序的平台和编程语言是什么。
什么是WebService?
Web services是建立可互操作的分布式应用程序的新平台。作为一个Windows程序员，你可能已经用COM或DCOM建立过基于组件的分布式应用程序。COM是一个非常好的组件技术，但是我们也很容易举出COM并不能满足要求的情况。
Web service平台是一套标准，它定义了应用程序如何在Web上实现互操作性。你可以用任何你喜欢的语言，在任何你喜欢的平台上写Web service ，只要我们可以通过Web service标准对这些服务进行查询和访问。
Web service平台需要一套协议来实现分布式应用程序的创建。任何平台都有它的数据表示方法和类型系统。要实现互操作性，Web service平台必须提供一套标准的类型系统，用于沟通不同平台、编程语言和组件模型中的不同类型系统。在传统的分布式系统中，基于界面 (interface)的平台提供了一些方法来描述界面、方法和参数（译注：如COM和COBAR中的IDL语言）。同样的，Web service平台也必须提供一种标准来描述Web service，让客户可以得到足够的信息来调用这个Web service。最后，我们还必须有一种方法来对这个Web service进行远程调用。这种方法实际是一种远程过程调用协议(RPC)。为了达到互操作性，这种RPC协议还必须与平台和编程语言无关。
Web Service 是一种新的web应用程序分支，他们是自包含、自描述、模块化的应用，可以发布、定位、通过web调用。Web Service可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后，其他Web Service应用程序可以发现并调用它部署的服务。
Web Service是一种应用程序，它可以使用标准的互联网协议，像超文本传输协议(HTTP)和XML，将功能纲领性地体现在互联网和企业内部网上。可将Web服务视作Web上的组件编程。
1 历史
web广泛用到的技术：
◆TCP/IP：通用网络协议，被各种设备使用
◆HTML：通用用户界面，可以使用HTML标签显示数据
◆Java：写一次可以在任何地方运行的通用编程语言
◆XML ：通用数据表达语言，在web上传送机构化数据的容易方法
他们的特点是其开放性，跨平台性，开放性正是Web services的基础。
2 Web发展的趋势
内容更动态化
◆带宽Bandwidth更便宜，易于获得
◆存储器Storage更便宜，更易获得
◆普遍式计算变得更加重要：大量的设备，例如移动电话，页面，电脑，pc，已经在Internet上变得普遍，平台变得更多元化，象XML这样的跨平台技术变得更重要
3 Web Services扮演什么角色？
上述的这些趋势意味着，更加智能的处理，操作和汇总内容变得十分重要。让我们看看按照Web services角度所预示的四个趋势：
◆内容更加动态：一个web service必须能合并从多个不同源来的内容，可以包括股票，天气，新闻等，在传统环境中的内容，如存货水平，购物订单或者目录信息等，都从后端系统而来
◆带宽更加便宜：web services可以分发各种类型的内容（音频，视频流等）
◆存储更便宜: web services必须能聪明地处理大量数据，意味着要使用数据库，LDAP目录，缓冲，和负载平衡软件等技术保持可扩展能力
◆普遍式计算更重要：web services不能要求客户使用某一版本的windows的传统浏览器，必须支持各种设备，平台，浏览器类型，各种内容类型。
4 两种重要技术
要达到这样的目标，Web services要使用两种技术：
◆XML XML是在web上传送结构化数据的伟大方式，Web services要以一种可靠的自动的方式操作数据，HTML不会满足要求，而XML可以使web services十分方便的处理数据，它的内容与表示的分离十分理想
◆SOAP SOAP使用XML消息调用远程方法，这样web services可以通过HTTP协议的post和get方法与远程机器交互，而且，SOAP更加健壮和灵活易用。
其他象UDDI和WSDL技术与XML和SOAP技术紧密结合用于服务发现。</SPAN>
组成Web service平台的这三个技术。
XML和XSD
可扩展的标记语言(XML)是Web service平台中表示数据的基本格式。除了易于建立和易于分析外，XML主要的优点在于它既是平台无关的，又是厂商无关的。无关性是比技术优越性更重要的：软件厂商是不会选择一个由竞争对手所发明的技术的。
XML解决了数据表示的问题，但它没有定义一套标准的数据类型，更没有说怎么去扩展这套数据类型。例如，整形数到底代表什么？16位，32位，还是 64位？这些细节对实现互操作性都是很重要的。W3C制定的XML Schema(XSD)就是专门解决这个问题的一套标准。它定义了一套标准的数据类型，并给出了一种语言来扩展这套数据类型。Web service平台就是用XSD来作为其数据类型系统的。当你用某种语言(如VB.NET或C#)来构造一个Web service时，为了符合Web service标准，所有你使用的数据类型都必须被转换为XSD类型。你用的工具可能已经自动帮你完成了这个转换，但你很可能会根据你的需要修改一下转换 过程。
WSDL
你会怎样向别人介绍你的Web service有什么功能，以及每个函数调用时的参数呢？你可能会自己写一套文档，你甚至可能会口头上告诉需要使用你的Web service的人。这些非正式的方法至少都有一个严重的问题：当程序员坐到电脑前，想要使用你的Web service的时候，他们的工具(如Visual Studio)无法给他们提供任何帮助，因为这些工具根本就不了解你的Web service。解决方法是：用机器能阅读的方式提供一个正式的描述文档。Web service描述语言(WSDL)就是这样一个基于XML的语言，用于描述Web service及其函数、参数和返回值。因为是基于XML的，所以WSDL既是机器可阅读的，又是人可阅读的，这将是一个很大的好处。一些最新的开发工具 既能根据你的Web service生成WSDL文档，又能导入WSDL文档，生成调用相应Web service的代码。
❻ 什么是结构化数据，非结构化数据和半结构化数据
相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
字段可根据需要扩充，即字段数目不定，可称为半结构化数据，例如Exchange存储的数据。
非结构化数据库
在信息社会，信息可以划分为两大类。一类信息能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号；而另一类信息无法用数字或统一的结构表示，如文本、图像、声音、网页等，我们称之为非结构化数据。结构化数据属于非结构化数据，是非结构化数据的特例
数据清洗从名字上也看的出就是把“脏”的“洗掉”。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之桐游歼间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗.而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。
(1)不完整的数据
这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。
(2)错误的数据
这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字局冲符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。
(3)重复的数据
对于这一类数据——特别是维表中会出现这种情况——将重复数据记录的所有字段导出来，让客户确认并整理。
数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。
随着网络技术的发展，特别是Internet和Intranet技术的飞快发展，使得非结构化数据的数量日趋增大。这时，主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因而，数据库技术相应地进入了“后关系数据库时代”，发展进入基于网络应用的非结构化数据库时代。所谓非结构化数据库，是指数据库的变长纪录由若干不可重复和可重复的字段组成，而每个字段又可由若干不可重复和可重复的子字段组成。简单地说，非结构化数据库就是字段可变的数据库。
我国非结构化数据库以北京国信贝斯(iBase)软件有限公司的iBase数据库为代表。IBase数据库是一种面向最终用户的非结构化数据库，在处理非结构化信息、全文信息、多媒体信息和海量信息等领域以及Internet/Intranet应用上处于国际先进水平，在非结构化数据的管理和全文检索方面获得突破。它主要有以下几个优点：
(1)Internet应用中，存在大量的复杂数据类型，iBase通过其外部文件数据类型，可以管理磨迟各种文档信息、多媒体信息,并且对于各种具有检索意义的文档信息资源，如HTML、DOC、RTF、TXT等还提供了强大的全文检索能力。
(2)它采用子字段、多值字段以及变长字段的机制，允许创建许多不同类型的非结构化的或任意格式的字段，从而突破了关系数据库非常严格的表结构，使得非结构化数据得以存储和管理。
(3)iBase将非结构化和结构化数据都定义为资源，使得非结构数据库的基本元素就是资源本身，而数据库中的资源可以同时包含结构化和非结构化的信息。所以，非结构化数据库能够存储和管理各种各样的非结构化数据，实现了数据库系统数据管理到内容管理的转化。
(4)iBase采用了面向对象的基石，将企业业务数据和商业逻辑紧密结合在一起，特别适合于表达复杂的数据对象和多媒体对象。
(5)iBase是适应Internet发展的需要而产生的数据库，它基于Web是一个广域网的海量数据库的思想，提供一个网上资源管理系统iBase Web，将网络服务器(WebServer)和数据库服务器(Database Server)直接集成为一个整体，使数据库系统和数据库技术成为Web的一个重要有机组成部分，突破了数据库仅充当Web体系后台角色的局限，实现数据库和Web的有机无缝组合，从而为在Internet/Intranet上进行信息管理乃至开展电子商务应用开辟了更为广阔的领域。
(6)iBase全面兼容各种大中小型的数据库，对传统关系数据库，如Oracle、Sybase、SQLServer、DB2、Informix等提供导入和链接的支持能力。
通过从上面的分析后我们可以预言，随着网络技术和网络应用技术的飞快发展，完全基于Internet应用的非结构化数据库将成为继层次数据库、网状数据库和关系数据库之后的又一重点、热点技术
❼ web3.0概念是什么意思
Web3.0一词包含多层含义，用来概括互联网发展过程中某一阶段可能出现的各种不同的方向和特征，包括将互联网本身转化为一个泛型数据库；跨浏览器、超浏览器的内容投递和请求机制；人工智能技术的运用；语义网；地理映射网；运用3D技术搭建的网站甚至虚拟世界或网络公国等。
技术介绍如下：
web3.0都会回应现实中的某一项技术的普及和大热。而当上面种种都实现的那一刻，web3.0也就实现源猛了自身的完备，到那时也许我们就该讨论4.0的时代何去何从了！
4、向3D进化。
另一条可能的道路是Web3D联盟拥护的3D化构想，包括将整个网络转化为一系列3D空雹拿桥间，采用第二人敏配生启发的概念。同时也提供新的方式在3D共享空间连接和协同。
❽ 什么是结构化数据
结构化数据（有时称为关系数据）是遵循某种严格架构的数据，因此所有数据都具有相同的字段或属性。共享架构允许使用SQL（结构化查询语言）等查询语言轻松搜索此类数据。此功能使此数据样式非常适合CRM系统、预留和库存管理等应用程序。
结构化数据通常存储在具有行和列的数据库表中，其中键列指示表中的一行与另一个表的另一行中的数据之间的关系。
结构化数据很简单，易于输入，查询和分析。所有数据都遵循相同的格式。但强制采用一致的结构也意味着数据演变会更加困难，因为必须更新每个记录才能符合新的结构。
一个结构化数据的具体例子
业务分析师希望实现商业智能，以计算库存管道和查看销售数据，为了执行这些操作，需要将多个月的数据聚合在一起，然后进行查询。由于需要聚合类似数据。因此必须对这些数据进行结构化处理，以便将一个月的数据与下个月的进行比较。
❾ 什么是构成Web的五大要素
分类: 电脑/网络 >> 互联网
解析:
Web（World Wide Web、万维网）技术是电子商务的核心技术。Web的思想可追溯到Tim Berners-Lee于1989年3月在CERN (Centre European pour la Recherche Nucleaire，或称European Laboratory for Particle Physics、欧洲粒子物理实验室)写的一个关于信息管理的项目建议书（Information Management: A Proposal）。该建议书提出了分布式超文本系统的设想，旨在将CERN已高和知有的几个信息服务器一体化，并提供一个简单的用户界面来存取各种形式的信息。1990年Web浏览器和Web服务器使用面向对象技术相继在CERN实现。Berners-Lee 和他的合作伙伴成功引入了构成Web体系结构的基本元素：Web服务器、Web浏览器、浏览器与服务器之间的通信协议HTTP(Hypertext Transfer Protocol 、超文本传输协议)、写Web文档的语言HTML（Hypertext Markup Language、超文本标记语言)、以及用来标识Web上资源的URL（Universal Resource Locator 、统一资源定位器)。1993年，美国伊利诺斯大学国家超级计算应用中心NCSA (National Center for Superputing Applications)的Marc Andreesen及其合作者发布了称为Mosaic的浏览器，这是第一个较健壮的易用的浏览器，它具有友善的图形用户界面。从此，Web迅速成长为全球范围内的信息宝库。1994 年，W3 联盟在Tim Berners-Lee的领导下成立，该组织通过制定技术规范与提供参考软件来发展Web的技术标准并促进Web产品之间的互操作性。
URL（Universal Resource Locator 、统一资源定位器)用来唯一标识Web上的资源，包括Web 页面、图象文件(如gif 格式文件和jpeg格式文件)、音频文件(如au格式)、视频文件 (如mpeg格式文件)。URL的格式为：协议主机名<:端口号>/棚高标识符(例如 seu.e:80/indexl )。协议可以是HTTP、HTTPS（安全的超文本传输协议）、FTP；主机名用来标识被请求的服务器；端口通常为不同协议保留，例如FTP和HTTP守护进程侦听不同的端口，FTP缺省的端口号为21，HTTP缺省的端口号为80；标识符说明被请求的是什么，可以是文件名（含路径）或一个应用关键字 (如/cgi-bin/和/servlet/)加上一些信息（如一个脚本的名字和servlet的名字）。例如，用户键入URL格式的地址(例如seu.e:80/indexl)；浏览器请求主机seu.e 在80端口提供的HTTP服务，并要求取得该服务器上的indexl文件；服务器接受请求，取得该文件；服务器把文件返回浏览器，并告诉浏览器这是一个HTML文件；浏览器在显示器上显示这个页面。在浏览器和web服务器之间使用的协议是HTTP。
HTTP（Hyper Text Transfer Protocol、超文本传输协议)是用来在互连网上传输文档的协议，它是Web上最常用也是最戚消重要的协议，也是Web服务器和Web客户（如浏览器）之间传输Web页面的基础。HTTP是建立在TCP/IP之上的应用协议，但并不是面向连接的，而是一种请求/应答（Request/Response）式协议。浏览器通常通过HTTP向Web服务器发送一个HTTP请求，其中包括一个方法、可能的几个头、一个体。常用的方法类型包括：GET（请求一个网页）、POST（传送一个表单中的信息）、PUT（存入这个信息、类似于FTP中的PUT）和DELETE（删除这个信息）。Web服务器接受到HTTP请求之后，执行客户所请求的服务，生成一个HTTP应答返回给客户。HTTP应答有一个状态行、可能的几个头、一个体。在头中可以定义返回文档的内容类型（MIME类型）、Cache控制、失效时间。MIME类型包括：“text/”（HTML文本）、“image/jpeg”（JPEG图）、“audio/ra”（RealAudio文件）。HTTP本身也在不断完善和发展，目前，常用的是HTTP1.1，它更好地利用TCP的特性，对HTTP1.0作了改进。
HTML (Hypertext Markup Language、超文本标记语言)是Web诞生与发展的要素之一，它旨在使得Web页面能显示在任何HTML使能的浏览器中，而与连网的机器平台无关。HTML并不是一个程序设计语言，而是一个标记语言，它所提供的标记是由SGML（Standard Generalized Markup Language，标准的通用标记语言）定义的。SGML是ISO（国际标准化组织）在1986年推出的一个用来创建标记语言的语言标准，它源自IBM早在1969年开发的GML（Generalized Markup Language），该语言的名称也正好包含了三位创始人姓字的第一个字母，他们分别是Charles F. Goldfarb, Edward Mosher，Raymond Lorie。SGML是一种元语言，即用来定义标记语言的语言，它提供了一种将数据内容与显示分离开来的数据表示方法，使得数据独立于机器平台和处理程序。这些特性促使Tim Berners-Lee 采用SGML来创建称之为HTML的标记语言。1993年形成HTML 1.0，以后不断完善，HTML 4.0发表于1997年。特别需要指出的是HTML提供的链接机制是Web的本质特性之一。但是，HTML更多的关注Web浏览器如何在页面上安排文本、图象和按钮等，过多地考虑外观使其缺乏对结构化数据的表示能力。另外，HTML中有限的标记不能满足很多Web应用的需要，如基于Web的大型出版系统和新一代的电子商务，而为各种应用需要不断地往HTML中增加标记显然不是最终的解决方法，究其原因是HTML缺乏可扩展性。解决方案应该是简化SGML使之能应用到Web上。为此，从1996年开始，W3C（World Wide Web Consortium） 的一个工作组在Jon Bosak的领导下致力于设计一个超越HTML能力范围的新语言，这个语言后来被命名为XML（Extensible Markup Language，可扩展标记语言）。1998年2月，W3C发布了XML 1.0作为其推荐标准。现在，W3C已经用XML设计出一个与HTML4.01功能等价的语言，称为XHTML1.0 （Extensible HyperText Markup Language）。
Web客户通常指的是Web浏览器，如Netscape Navigator和Microsoft Inter Explorer。这种浏览器能理解多种协议，如HTTP、HTTPS、FTP；也能理解多种文档格式，如text、HTML、JPEG（一种图象文件格式）、XML(有的尚未支持)；也具备根据对象类型调用外部应用的功能。需要指出的是HTML文档中的链接在Web浏览器中通常以带下划线的方式显示，用户点击某个链接就能浏览到所链接的Web资源，这也是Web的魅力所在。
Web服务器（或称HTTP服务器）提供HTTP服务。本来Web服务器只提供“静态”内容，即返回在URL里指定的文件的内容，一般具备将URL名映射到文件名的功能，并能实施某种安全策略。现在，可采用CGI（通用网关接口）技术或Java Servlet技术从一个运行的程序里得出“动态”内容，可以采用应用关键字（如/cgi-bin/和/servlet/）来组织脚本文件和Servlet文件，而且现在的Web服务器通常还具备连接数据库的功能，这些形成了Web应用的出现。通常，一个Web服务器还提供其它服务，如FTP服务。有的还可作为代理服务器。一个代理服务器是一个可以从别的服务器上为它的客户取文件的服务器。代理服务器可以通过缓存应答（页面）使得响应时间更快，也可以降低网络流量，对外能隐藏内部网信息。
总之，URL、HTTP、HTML(以及XML)、Web服务器和Web浏览器是构成Web的五大要素。Web的本质内涵是一个建立在Inter基础上的网络化超文本信息传递系统，而Web的外延是不断扩展的信息空间。Web的基本技术在于对Web资源的标识机制（如URL）、应用协议（如HTTP和HTTPS）、数据格式（如HTML和XML）。这些技术的发展日新月异，同时新的技术不断涌现，因此Web的发展前景不可 *** 。
❿ web服务器工作原理
Step1：用户在地址栏输入一个网址，然后点击回车键；
Step2：浏览器与服务器建立TCP连接；
Step3：浏览器将用户的事件按照HTTP协议要求的格式打包成数据包，这个过程的本质就是在待发送缓冲区中有这一段HTTP协议格式的字节流；
Step4：浏览器确认服务器可写，将该数据包推入Internet中，最终，该包被递交到服务端；
Step5：服务器在接收到该数据包后，以同样的格式进行解析，获取客户端的意图；
Step6：在获取了客户端的意图之后，服务器进行分类处理，或是提供某一文件，或是处理相关数据；
Step7：将处理结果装入缓冲区，或者文档，或是其他内容；
Step8：服务器将按照HTTP协议格式，将Step7中的数据进行打包；
Step9：服务器确定对端可写，将数据包推入Internet，该包经过网络处理，最终返回至客户端；
Step10：客户端拿到包之后，以HTTP协议格式进行解包，然后解析数据；
Step11：客户端处理相关数据，并且展示在页面之上。
以上这11步，就是web服务器最基本的工作原理。通过梳理，我们不难发现，这就是一个简单的网络通信过程。换句话说，就是一个简单的发送数据、接受数据、处理数据的过程。更高级的web服务器，无非也就是将上述的三个基础内容划分得更加详细一点而已。