① 證券的輿情監測系統關鍵是什麼
證券的輿情監測系統，說起來簡單，原理也不難，就網路採集、信息整理、數據處理統計報表、幾大點。
但是真的做起來，很難的，沒有專業的長期技術研究，採集這一關是絕對過不去的，因為國內的證券行業網站格式太多了，數據類型也很多。
② web挖掘怎麼實現
截止到今天為止，我尚不知道有什麼有價值的web挖掘系統存在，不過您可以參考檢索引擎的挖掘演算法，比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
並為您附錄以下信息：
近年來，隨著 Internet/Web技術的快速普及和迅猛發展，使各種信息可以以非常低的成本在網路上獲得，由於Internet/WWW在全球互連互通，可以從中取得的數據量難以計算，而且Internet/WWW的發展趨勢繼續看好，特別是電子商務的蓬勃發展為網路應用提供了強大支持，如何在WWW這個全球最大的數據集合中發現有用信息無疑將成為數據挖掘研究的熱點。
Web挖掘指使用數據挖掘技術在WWW數據中發現潛在的、有用的模式或信息。Web挖掘研究覆蓋了多個研究領域，包括資料庫技術、信息獲取技術、統計學、人工智慧中的機器學習和神經網路等。
2．Web挖掘流程
與傳統數據和數據倉庫相比，Web上的信息是非結構化或半結構化的、動態的、並且是容易造成混淆的，所以很難直接以Web網頁上的數據進行數據挖掘，而必須經過必要的數據處理。典型Web挖掘的處理流程如下[3]：
1．查找資源：任務是從目標Web文檔中得到數據，值得注意的是有時信息資源不僅限於在線Web文檔，還包括電子郵件、電子文檔、新聞組，或者網站的日誌數據甚至是通過Web形成的交易資料庫中的數據。
2．信息選擇和預處理：任務是從取得的Web資源中剔除無用信息和將信息進行必要的整理。例如從Web文檔中自動去除廣告連接、去除多餘格式標記、自動識別段落或者欄位並將數據組織成規整的邏輯形式甚至是關系表。
3．模式發現：自動進行模式發現。可以在同一個站點內部或在多個站點之間進行。
4．模式分析：驗證、解釋上一步驟產生的模式。可以是機器自動完成，也可以是與分析人員進行交互來完成。
Web挖掘作為一個完整的技術體系，在進行挖掘之前的信息獲得IR（Information Retrieval）和信息抽取IE(Information Extraction)相當重要。信息獲得（IR）的目的在於找到相關Web文檔，它只是把文檔中的數據看成未經排序的片語的集合，而信息抽取(IE)的目的在於從文檔中找到需要的數據項目，它對文檔的結構合表達的含義感興趣,它得一個重要任務就是對數據進行組織整理並適當建立索引。
信息獲得（IR）和信息抽取(IE)技術的研究已近有很長時間，隨著Web技術的發展，基於Web技術的IR、 IE得到了更多的重視。由於Web 數據量非常大，而且可能動態變化，用原來手工方式進行信息收集早已經力不從心，目前的研究方向是用自動化、半自動化的方法在Web上進行IR和IE。在 Web環境下既要處理非結構化文檔，又要處理半結構化的數據，最近幾年在這兩方面都有相應的研究成果和具體應用，特別是在大型搜索引擎中得到了很好的應用。
3．Web挖掘分類及各自的研究現狀及發展
根據對Web數據的感興趣程度不同，Web挖掘一般可以分為三類：Web內容挖掘（Web Content mining）、 Web結構挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web內容挖掘：
指從Web內容/數據/文檔中發現有用信息，Web上的信息五花八門，傳統的Internet由各種類型的服務和數據源組成，包括WWW、FTP、Telnet等，現在有更多的數據和埠可以使用，比如政府信息服務、數字圖書館、電子商務數據，以及其他各種通過 Web可以訪問的資料庫。Web內容挖掘的對象包括文本、圖象、音頻、視頻、多媒體和其他各種類型的數據。其中針對無結構化文本進行的Web挖掘被歸類到基於文本的知識發現（KDT）領域，也稱文本數據挖掘或文本挖掘，是Web挖掘中比較重要的技術領域，也引起了許多研究者的關注。最近在Web多媒體數據挖掘方面的研究成為另一個熱點。
Web內容挖掘一般從兩個不同的觀點來進行研究。從資源查找（IR）的觀點來看，Web內容挖掘的任務是從用戶的角度出發，怎樣提高信息質量和幫助用戶過濾信息。而從DB的角度講Web內容挖掘的任務主要是試圖對Web上的數據進行集成、建模，以支持對Web數據的復雜查詢。
3．1．1從資源查找（Information Retrival）的觀點挖掘非結構化文檔：
非結構化文檔主要指Web上的自由文本，包括小說、新聞等。在這方面的研究相對比較多一些，大部分研究都是建立在詞彙袋（bag of words）或稱向量表示法（vector representation）的基礎上，這種方法將單個的詞彙看成文檔集合中的屬性，只從統計的角度將詞彙孤立地看待而忽略該詞彙出現的位置和上下文環境。屬性可以是布爾型，根據詞彙是否在文檔中出現而定，也可以有頻度，即該詞彙在文檔中的出現頻率。這種方法可以擴展為選擇終結符、標點符號、不常用詞彙的屬性作為考察集合。詞彙袋方法的一個弊端是自由文本中的數據豐富，詞彙量非常大，處理起來很困難，為解決這個問題人們做了相應的研究，採取了不同技術，如信息增益，交叉熵、差異比等，其目的都是為了減少屬性。另外，一個比較有意義的方法是潛在語義索引（Latent Semantic Indexing），它通過分析不同文檔中相同主題的共享詞彙，找到他們共同的根，用這個公共的根代替所有詞彙，以此來減少維空間。例如： 「informing」、「information」、「informer」、「informed」可以用他們的根「inform」來表示，這樣可以減少屬性集合的規模。
其他的屬性表示法還有詞彙在文檔中的出現位置、層次關系、使用短語、使用術語、命名實體等，目前還沒有研究表明一種表示法明顯優於另一種。
用資源查找（Information Retrival）的觀點挖掘半結構化文檔：
與非結構化數據相比，Web上的半結構化文檔挖掘指在加入了HTML、超連接等附加結構的信息上進行挖掘，其應用包括超連接文本的分類、聚類、發現文檔之間的關系、提出半結構化文檔中的模式和規則等。
3．1．2從資料庫（Database）的觀點挖掘非結構化文檔：
資料庫技術應用於Web挖掘主要是為了解決Web信息的管理和查詢問題。這些問題可以分為三類：Web信息的建模和查詢；信息抽取與集成；Web站點建構和重構。
從資料庫的觀點進行Web內容挖掘主要是試圖建立Web站點的數據模型並加以集成，以支持復雜查詢，而不止是簡單的基於關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web數據倉庫或Web知識庫或虛擬資料庫來實現。相關研究主要是基於半結構化數據進行的。
資料庫觀點主要利用OEM(Object Exchange Model)模型將半結構化數據表示成標識圖。OEM中的每個對象都有對象標識（OID）和值，值可以是原子類型，如整型、字元串型、gif、html 等，也可以是一個復合類型，以對象引用集合的形式表示。由於Web數據量非常龐大，從應用的角度考慮，很多研究只處理辦結構化數據的一個常用自集。一些有意義的應用是建立多層資料庫（MLDB），每一層是它下面層次的概化，這樣就可以進行一些特殊的查詢和信息處理。對於在半結構化數據上的查詢語言研究也得到了人們的重視並做了專題研究。
由於在資料庫觀點下數據的表示方法比較特殊，其中包含了關系層次和圖形化的數據，所以大部分建立在扁平數據集合之上的數據挖掘方法不能直接使用，目前已經有人針對多層資料庫挖掘演算法進行研究。
3．2、Web結構挖掘：
Web結構挖掘的對象是Web本身的超連接，即對Web文檔的結構進行挖掘。對於給定的Web文檔集合，應該能夠通過演算法發現他們之間連接情況的有用信息，文檔之間的超連接反映了文檔之間的包含、引用或者從屬關系，引用文檔對被引用文檔的說明往往更客觀、更概括、更准確。
Web結構挖掘在一定程度上得益於社會網路和引用分析的研究。把網頁之間的關系分為incoming連接和 outgoing連接，運用引用分析方法找到同一網站內部以及不同網站之間的連接關系。在Web結構挖掘領域最著名的演算法是HITS演算法和 PageRank演算法。他們的共同點是使用一定方法計算Web頁面之間超連接的質量，從而得到頁面的權重。著名的Clever和Google搜索引擎就採用了該類演算法。
此外，Web結構挖掘另一個嘗試是在Web數據倉庫環境下的挖掘，包括通過檢查同一台伺服器上的本地連接衡量 Web結構挖掘Web站點的完全性，在不同的Web數據倉庫中檢查副本以幫助定位鏡像站點，通過發現針對某一特定領域超連接的層次屬性去探索信息流動如何影響Web站點的設計。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用記錄挖掘，在新興的電子商務領域有重要意義，它通過挖掘相關的Web日誌記錄，來發現用戶訪問 Web頁面的模式，通過分析日誌記錄中的規律，可以識別用戶的忠實度、喜好、滿意度，可以發現潛在用戶，增強站點的服務競爭力。Web使用記錄數據除了伺服器的日誌記錄外還包括代理伺服器日誌、瀏覽器端日誌、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、滑鼠點擊流等一切用戶與站點之間可能的交互記錄。可見Web使用記錄的數據量是非常巨大的，而且數據類型也相當豐富。根據對數據源的不同處理方法，Web 用法挖掘可以分為兩類，一類是將Web使用記錄的數據轉換並傳遞進傳統的關系表裡，再使用數據挖掘演算法對關系表中的數據進行常規挖掘；另一類是將Web 使用記錄的數據直接預處理再進行挖掘。Web 用法挖掘中的一個有趣的問題是在多個用戶使用同一個代理伺服器的環境下如何標識某個用戶，如何識別屬於該用戶的會話和使用記錄，這個問題看起來不大，但卻在很大程度上影響著挖掘質量，所以有人專門在這方面進行了研究。通常來講，經典的數據挖掘演算法都可以直接用到Web 用法挖掘上來，但為了提高挖掘質量，研究人員在擴展演算法上進行了努力，包括復合關聯規則演算法、改進的序列發現演算法等。
在[4]中，根據數據來源、數據類型、數據集合中的用戶數量、數據集合中的伺服器數量等將Web 用法挖掘分為五類：
●個性挖掘：針對單個用戶的使用記錄對該用戶進行建模，結合該用戶基本信息分析他的使用習慣、個人喜好，目的是在電子商務環境下為該用戶提供與眾不同的個性化服務。
●系統改進：Web服務（資料庫、網路等）的性能和其他服務質量是衡量用戶滿意度的關鍵指標，Web 用法挖掘可以通過用戶的擁塞記錄發現站點的性能瓶頸，以提示站點管理者改進Web緩存策略、網路傳輸策略、流量負載平衡機制和數據的分布策略。此外，可以通過分析網路的非法入侵數據找到系統弱點，提高站點安全性，這在電子商務環境下尤為重要。
●站點修改：站點的結構和內容是吸引用戶的關鍵。Web 用法挖掘通過挖掘用戶的行為記錄和反饋情況為站點設計者提供改進的依，比如頁面連接情況應如何組織、那些頁面應能夠直接訪問等。
●智能商務：用戶怎樣使用Web站點的信息無疑是電子商務銷售商關心的重點，用戶一次訪問的周期可分為被吸引、駐留、購買和離開四個步驟，Web用法挖掘可以通過分析用戶點擊流等Web日誌信息挖掘用戶行為的動機，以幫助銷售商合理安排銷售策略。
●Web特徵描述：這類研究跟關注這樣通過用戶對站點的訪問情況統計各個用戶在頁面上的交互情況，對用戶訪問情況進行特徵描述。
4．結束語
盡管Web挖掘的形式和研究方向層出不窮，但我認為隨著電子商務的興起和迅猛發展，未來Web挖掘的一個重要應用方向將是電子商務系統。而與電子商務關系最為密切的是用法挖掘（Usage Mining），也就是說在這個領域將會持續得到更多的重視。另外，在搜索引擎的研究方面，結構挖掘的研究已經相對成熟，基於文本的內容挖掘也已經有許多研究，下一步將會有更多的研究者把多媒體挖掘最為研究方向。
③ web mining是什麼意思啊
基於WEB 的數據挖掘
大致意思是:
基於WEB 的數據挖掘是當前熱門研究方向之一，而且其應用范疇廣闊，潛力巨大；Web Mining 技術也在不斷提出和改進之中。但是Web Mining 技術還有很多缺陷和不足。我們還需要半結構化數據模型、Web 數據的過濾和轉換等方面作進一步研究，才能進一步發揮Web Mining 的無限威力
④ 求問什麼是數據挖掘
數據挖掘相關的10個問題 NO.1 Data Mining 和統計分析有什麼不同？ 硬要去區分Data Mining和Statistics的差異其實是沒有太大意義的。一般將之定義為Data Mining技術的CART、CHAID或模糊計算等等理論方法，也都是由統計學者根據統計理論所發展衍生，換另一個角度看，Data Mining有相當大的比重是由高等統計學中的多變數分析所支撐。但是為什麼Data Mining的出現會引發各領域的廣泛注意呢？主要原因在相較於傳統統計分析而言，Data Mining有下列幾項特性： 1.處理大量實際數據更強勢，且無須太專業的統計背景去使用Data Mining的工具； 2.數據分析趨勢為從大型資料庫抓取所需數據並使用專屬計算機分析軟體，Data Mining的工具更符合企業需求； 3. 純就理論的基礎點來看，Data Mining和統計分析有應用上的差別，畢竟Data Mining目的是方便企業終端用戶使用而非給統計學家檢測用的。 NO.2 Data Warehousing 和 Data Mining 的關系為何？ 若將Data Warehousing（數據倉庫）比喻作礦坑，Data Mining就是深入礦坑采礦的工作。畢竟Data Mining不是一種無中生有的魔術，也不是點石成金的煉金術，若沒有夠豐富完整的數據，是很難期待Data Mining能挖掘出什麼有意義的信息的。 要將龐大的數據轉換成為有用的信息，必須先有效率地收集信息。隨著科技的進步，功能完善的資料庫系統就成了最好的收集數據的工具。數據倉庫，簡單地說，就是搜集來自其它系統的有用數據，存放在一整合的儲存區內。所以其實就是一個經過處理整合，且容量特別大的關系型資料庫，用以儲存決策支持系統（Design Support System）所需的數據，供決策支持或數據分析使用。從信息技術的角度來看，數據倉庫的目標是在組織中，在正確的時間，將正確的數據交給正確的人。 許多人對於Data Warehousing和Data Mining時常混淆，不知如何分辨。其實，數據倉庫是資料庫技術的一個新主題，利用計算機系統幫助我們操作、計算和思考，讓作業方式改變，決策方式也跟著改變。 數據倉庫本身是一個非常大的資料庫，它儲存著由組織作業資料庫中整合而來的數據，特別是指事務處理系統OLTP（On-Line Transactional Processing）所得來的數據。將這些整合過的數據置放於數據昂哭中，而公司的決策者則利用這些數據作決策；但是，這個轉換及整合數據的過程，是建立一個數據倉庫最大的挑戰。因為將作業中的數據轉換成有用的的策略性信息是整個數據倉庫的重點。綜上所述，數據倉庫應該具有這些數據：整合性數據（integrated data）、詳細和匯總性的數據(detailed and summarized data)、歷史數據、解釋數據的數據。從數據倉庫挖掘出對決策有用的信息與知識，是建立數據倉庫與使用Data Mining的最大目的，兩者的本質與過程是兩回事。換句話說，數據倉庫應先行建立完成，Data mining才能有效率的進行，因為數據倉庫本身所含數據是干凈(不會有錯誤的數據參雜其中)、完備，且經過整合的。因此兩者關系或許可解讀為Data Mining是從巨大數據倉庫中找出有用信息的一種過程與技術。 NO.3 OLAP 能不能代替 Data Mining？ 所謂OLAP（Online Analytical Process）意指由資料庫所連結出來的在線分析處理程序。有些人會說：「我已經有OLAP的工具了，所以我不需要Data Mining。」事實上兩者間是截然不同的，主要差異在於Data Mining用在產生假設，OLAP則用於查證假設。簡單來說，OLAP是由使用者所主導，使用者先有一些假設，然後利用OLAP來查證假設是否成立；而Data Mining則是用來幫助使用者產生假設。所以在使用OLAP或其它Query的工具時，使用者是自己在做探索（Exploration），但Data Mining是用工具在幫助做探索。 舉個例子來看，一市場分析師在為超市規劃貨品架櫃擺設時，可能會先假設嬰兒尿布和嬰兒奶粉會是常被一起購買的產品，接著便可利用OLAP的工具去驗證此假設是否為真，又成立的證據有多明顯；但Data Mining則不然，執行Data Mining的人將龐大的結帳數據整理後，並不需要假設或期待可能的結果，透過Mining技術可找出存在於數據中的潛在規則，於是我們可能得到例如尿布和啤酒常被同時購買的意料外之發現，這是OLAP所做不到的。 Data Mining常能挖掘出超越歸納范圍的關系，但OLAP僅能利用人工查詢及可視化的報表來確認某些關系，是以Data Mining此種自動找出甚至不會被懷疑過的數據模型與關系的特性，事實上已超越了我們經驗、教育、想像力的限制，OLAP可以和Data Mining互補，但這項特性是Data Mining無法被OLAP取代的。 NO.4 完整的Data Mining 包含哪些步驟？ 以下提供一個Data Mining的進行步驟以為參考： 1. 理解業務與理解數據； 2. 獲取相關技術與知識； 3. 整合與查詢數據； 4. 去除錯誤或不一致及不完整的數據； 5. 由數據選取樣本先行試驗； 6. 建立數據模型 7. 實際Data Mining的分析工作； 8. 測試與檢驗； 9. 找出假設並提出解釋； 10. 持續應用於企業流程中。 由上述步驟可看出，Data Mining牽涉了大量的准備工作與規劃過程，事實上許多專家皆認為整套Data Mining的進行有80﹪的時間精力是花費在數據前置作業階段，其中包含數據的凈化與格式轉換甚或表格的連結。由此可知Data Mining只是信息挖掘過程中的一個步驟而已，在進行此步驟前還有許多的工作要先完成。 NO.5 Data Mining 運用了哪些理論與技術？ Data Mining是近年來資料庫應用技術中相當熱門的議題，看似神奇、聽來時髦，實際上卻也不是什麼新東西，因其所用之諸如預測模型、數據分割，連結分析（Link Analysis）、偏差偵測（Deviation Detection）等，美國早在二次世界大戰前就已應用運用在人口普查及軍事等方面。 隨著信息科技超乎想像的進展，許多新的計算機分析工具問世，例如關系型資料庫、模糊計算理論、基因演算法則以及類神經網路等，使得從數據中發掘寶藏成為一種系統性且可實行的程序。 一般而言，Data Mining的理論技術可分為傳統技術與改良技術兩支。 傳統技術以統計分析為代表，統計學內所含序列統計、概率論、回歸分析、類別數據分析等都屬於傳統數據挖掘技術，尤其 Data Mining 對象多為變數繁多且樣本數龐大的數據，是以高等統計學里所含括之多變數分析中用來精簡變數的因素分析（Factor Analysis）、用來分類的判別分析（Discriminant Analysis），以及用來區隔群體的分群分析（Cluster Analysis）等，在Data Mining過程中特別常用。 在改良技術方面，應用較普遍的有決策樹理論（Decision Trees）、類神經網路（Neural Network）以及規則歸納法（Rules Inction）等。決策樹是一種用樹枝狀展現數據受各變數的影響情形之預測模型，根據對目標變數產生之效應的不同而建構分類的規則，一般多運用在對客戶數據的分析上，例如針對有回函與未回含的郵寄對象找出影響其分類結果的變數組合，常用分類方法為CART（Classification and Regression Trees）及CHAID（Chi-Square Automatic Interaction Detector）兩種。 類神經網路是一種模擬人腦思考結構的數據分析模式，由輸入之變數與數值中自我學習並根據學習經驗所得之知識不斷調整參數以期建構數據的型樣(patterns)。類神經網路為非線性的設計，與傳統回歸分析相比，好處是在進行分析時無須限定模式，特別當數據變數間存有交互效應時可自動偵測出；缺點則在於其分析過程為一黑盒子，故常無法以可讀之模型格式展現，每階段的加權與轉換亦不明確，是故類神經網路多利用於數據屬於高度非線性且帶有相當程度的變數交感效應時。 規則歸納法是知識發掘的領域中最常用的格式，這是一種由一連串的「如果…/則…（If / Then）」之邏輯規則對數據進行細分的技術，在實際運用時如何界定規則為有效是最大的問題，通常需先將數據中發生數太少的項目先剔除，以避免產生無意義的邏輯規則。 NO.6 Data Mining包含哪些主要功能？ Data Mining實際應用功能可分為三大類六分項來說明：Classification和Clustering屬於分類區隔類；Regression和Time-series屬於推算預測類；Association和Sequence則屬於序列規則類。 Classification是根據一些變數的數值做計算，再依照結果作分類。（計算的結果最後會被分類為幾個少數的離散數值，例如將一組數據分為 "可能會響應" 或是 "可能不會響應" 兩類）。Classification常被用來處理如前所述之郵寄對象篩選的問題。我們會用一些根據歷史經驗已經分類好的數據來研究它們的特徵，然後再根據這些特徵對其他未經分類或是新的數據做預測。這些我們用來尋找特徵的已分類數據可能是來自我們的現有的客戶數據，或是將一個完整資料庫做部份取樣，再經由實際的運作來測試；譬如利用一個大型郵寄對象資料庫的部份取樣來建立一個Classification Model，再利用這個Model來對資料庫的其它數據或是新的數據作分類預測。 Clustering用在將數據分群，其目的在於將群間的差異找出來，同時也將群內成員的相似性找出來。Clustering與Classification不同的是，在分析前並不知道會以何種方式或根據來分類。所以必須要配合專業領域知識來解讀這些分群的意義。 Regression是使用一系列的現有數值來預測一個連續數值的可能值。若將范圍擴大亦可利用Logistic Regression來預測類別變數，特別在廣泛運用現代分析技術如類神經網路或決策樹理論等分析工具，推估預測的模式已不在止於傳統線性的局限，在預測的功能上大大增加了選擇工具的彈性與應用范圍的廣度。 Time-Series Forecasting與Regression功能類似，只是它是用現有的數值來預測未來的數值。兩者最大差異在於Time-Series所分析的數值都與時間有關。Time-Series Forecasting的工具可以處理有關時間的一些特性，譬如時間的周期性、階層性、季節性以及其它的一些特別因素（如過去與未來的關連性）。 Association是要找出在某一事件或是數據中會同時出現的東西。舉例而言，如果A是某一事件的一種選擇，則B也出現在該事件中的機率有多少。（例如：如果顧客買了火腿和柳橙汁，那麼這個顧客同時也會買牛奶的機率是85%。） Sequence Discovery與Association關系很密切，所不同的是Sequence Discovery中事件的相關是以時間因素來作區隔（例如：如果A股票在某一天上漲12%，而且當天股市加權指數下降，則B股票在兩天之內上漲的機率是 68%）。 NO.7 Data Mining在各領域的應用情形為何？ Data Mining在各領域的應用非常廣泛，只要該產業擁有具分析價值與需求的數據倉儲或資料庫，皆可利用Mining工具進行有目的的挖掘分析。一般較常見的應用案例多發生在零售業、直效行銷界、製造業、財務金融保險、通訊業以及醫療服務等。 於銷售數據中發掘顧客的消費習性，並可藉由交易紀錄找出顧客偏好的產品組合，其它包括找出流失顧客的特徵與推出新產品的時機點等等都是零售業常見的實例；直效行銷強調的分眾概念與資料庫行銷方式在導入Data Mining的技術後，使直效行銷的發展性更為強大，例如利用Data Mining分析顧客群之消費行為與交易紀錄，結合基本數據，並依其對品牌價值等級的高低來區隔顧客，進而達到差異化行銷的目的；製造業對Data Mining的需求多運用在品質控管方面，由製造過程中找出影響產品品質最重要的因素，以期提高作業流程的效率。 近來電話公司、信用卡公司、保險公司以及股票交易商對於詐欺行為的偵測（Fraud Detection）都很有興趣，這些行業每年因為詐欺行為而造成的損失都非常可觀，Data Mining可以從一些信用不良的客戶數據中找出相似特徵並預測可能的詐欺交易，達到減少損失的目的。財務金融業可以利用 Data Mining來分析市場動向，並預測個別公司的營運以及股價走向。Data Mining的另一個獨特的用法是在醫療業，用來預測手術、用葯、診斷、或是流程式控制制的效率。 NO.8 Web Mining 和Data Mining有什麼不同？ 如果將Web視為CRM的一個新的Channel，則Web Mining便可單純看做Data Mining應用在網路數據的泛稱。 該如何測量一個網站是否成功？哪些內容、優惠、廣告是人氣最旺的？主要訪客是哪些人？什麼原因吸引他們前來？如何從堆積如山之大量由網路所得數據中找出讓網站運作更有效率的操作因素？以上種種皆屬Web Mining 分析之范疇。Web Mining 不僅只限於一般較為人所知的log file分析，除了計算網頁瀏覽率以及訪客人次外，舉凡網路上的零售、財務服務、通訊服務、政府機關、醫療咨詢、遠距教學等等，只要由網路連結出的資料庫夠大夠完整，所有Off-Line可進行的分析，Web Mining都可以做，甚或更可整合Off-Line及On-Line的資料庫，實施更大規模的模型預測與推估，畢竟憑借網際網路的便利性與滲透力再配合網路行為的可追蹤性與高互動特質，一對一行銷的理念是最有機會在網路世界裡完全落實的。 整體而言，Web Mining具有以下特性：1. 數據收集容易且不引人注意，所謂凡走過必留下痕跡，當訪客進入網站後的一切瀏覽行為與歷程都是可以立即被紀錄的；2. 以互動式個人化服務為終極目標，除了因應不同訪客呈現專屬設計的網頁之外，不同的訪客也會有不同的服務；3. 可整合外部來源數據讓分析功能發揮地更深更廣，除了log file、cookies、會員填表數據、線上調查數據、線上交易數據等由網路直接取得的資源外，結合實體世界累積時間更久、范圍更廣的資源，將使分析的結果更准確也更深入。 利用Data Mining技術建立更深入的訪客數據剖析，並賴以架構精準的預測模式，以期呈現真正智能型個人化的網路服務，是Web Mining努力的方向。 NO.9 Data Mining 在 CRM 中扮演的角色為何？ CRM（Customer Relationship Management）是近來引起熱烈討論與高度關切的議題，尤其在直效行銷的崛起與網路的快速發展帶動下，跟不上CRM的腳步如同跟不上時代。事實上CRM並不算新發明，奧美直效行銷推動十數年的CO（Customer Ownership）就是現在大家談的CRM—客戶關系管理。 Data Mining應用在CRM的主要方式可對應在Gap Analysis之三個部分： 針對Acquisition Gap，可利用Customer Profiling找出客戶的一些共同的特徵，希望能藉此深入了解客戶，藉由Cluster Analysis對客戶進行分群後再透過Pattern Analysis預測哪些人可能成為我們的客戶，以幫助行銷人員找到正確的行銷對象，進而降低成本，也提高行銷的成功率。 針對Sales Gap，可利用Basket Analysis幫助了解客戶的產品消費模式，找出哪些產品客戶最容易一起購買，或是利用Sequence Discovery預測客戶在買了某一樣產品之後，在多久之內會買另一樣產品等等。利用 Data Mining可以更有效的決定產品組合、產品推薦、進貨量或庫存量，甚或是在店裡要如何擺設貨品等，同時也可以用來評估促銷活動的成效。 針對Retention Gap，可以由原客戶後來卻轉成競爭對手的客戶群中，分析其特徵，再根據分析結果到現有客戶數據中找出可能轉向的客戶，然後設計一些方法預防客戶流失；更有系統的做法是藉由Neural Network根據客戶的消費行為與交易紀錄對客戶忠誠度進行Scoring的排序，如此則可區隔流失率的等級進而配合不同的策略。 CRM不是設一個（080）客服專線就算了，更不僅只是把一堆客戶基本數據輸入計算機就夠，完整的CRM運作機制在相關的硬軟體系統能健全的支持之前，有太多的數據准備工作與分析需要推動。
⑤ web usage mining是什麼意思
Web Usage Mining就是對Server Logs、Error Logs、Cookie Logs等日誌信息進行挖掘，
⑥ Web數據挖掘方向的學士學位論文題目怎麼定
可以先找一些在知名的國際會議上發的論文好好看看，了解下相關領域最新的進展。如果已經有了大概的方向就更好找了，關鍵還是在自己有興趣的前提下盡量找一個做起來有信心的課題。
舉個例子吧，今年在馬德里開的新一屆www會議上的新論文dblp里都有索引，包括web data mining（鏈接在下面）^^
⑦ WEB數據挖掘怎麼樣
此書作為Web Data Mining的入門書籍還是不錯的。此領域的各個方面都有談到。唯一的問題可能在於如果一點基礎（數學基礎）的話，可能有一些公式推導會顯得不得要領。......
⑧ 網路商務信息收集
我的更詳細
一.網路商務信息收集的基本要求
網路商務信息收集是指在網路上對商務信息的尋找和調取工作。這是一種有目的、有步驟地從各個網路站點查找和獲取信息的行為。一個完整的企業網路商務信息收集系統包括先進的網路檢索設備、科學的信息收集方法和業務精通的網路信息檢索員。
網路營銷離不開信息。有效的網路商務信息必須能夠保證源源不斷地提供適合於網路營銷決策的信息。網路營銷對網路商務信息收集的要求是：及時、准確、適度和經濟。
（1）及時
所謂及時，就是迅速、靈敏地反映銷售市場發展各方面的最新動態。信息都是有時效性的，其價值與時間成反比。及時性要求信息流與物流盡可能同步。由於信息的識別、記錄、傳遞、反饋都要花費一定的時間，因此，信息流與物流之間一般會存在一個時滯。盡可能地減少信息流滯後於物流的時間，提高時效性，是網路商務信息收集的主要目標之一。
（2）准確
所謂准確，是指信息應真實地反映客觀現實，失真度小。在網路營銷中，由於買賣雙方不直接見面，准確的信息就顯得尤為重要。准確的信息才可能導致正確的市場決策。信息失真，輕則會貽誤商機，重則會造成重大的損失。信息的失真通常有三個方面的原因：一是信源提供的信息不完全、不準確；二是信息在編碼、解碼和傳遞過程中受到干擾；三是信宿（信箱）接受信息出現偏差。為減少網路商務信息的失真，必須在上述三個環節上提高管理水平。
（3）適度
適度是指提供信息要有針對性和目的性，不要無的放矢。沒有信息，企業的營銷活動就會完全處於一種盲目的狀態。信息過多過濫也會使得營銷人員無所適從。在當今的信息時代，信息量越來越大，范圍越來越廣，不同的管理層次又對信息提出不同的要求。在這種情況下，網路商務信息的收集必須目標明確，方法恰當，信息收集的范圍和數量要適度。
（4）經濟
這里的"經濟"是指如何以最低的費用獲得必要的信息。追求經濟效益是一切經濟活動的中心，也是網路商務信息收集的原則。許多人上網後，看到網上大量的可用信息，往往想把它們全部拷貝下來，但到月底才發現上網費用十分高昂。應當明確，我們沒有力量，也不可能把網上所有的信息全部收集起來，信息的及時性、准確性和適度性都要求建立在經濟性基礎之上。此外，提高經濟性，還要注意使所獲得的信息發揮最大的效用。
二.網路商務信息收集的困難
網際網路所涵蓋的信息遠遠大於任何傳統媒體所涵蓋的信息。人們在網際網路上遇到的最大的困難是如何快速、准確地從浩如煙海的信息資源中找到自己最需要的信息，這已成為困擾全球網路用戶的最主要的問題。調查顯示，80%被調查者認為互聯網非常有用，但為了查找所需要的信息他們必須花費大量時間和金錢。很多人表示，在查詢WWW時仍然需要專家的指導和幫助。對於我國用戶來說，面臨的問題比國外用戶還要嚴重。我們除了和國外用戶面臨同樣的問題之外，還有信道擁擠、檢索費用高、遠程檢索國外信息系統反應速度慢、語言和文化障礙及大多數用戶沒有受過網路檢索專業培訓等多種困難。
在網際網路上檢索信息困難與下列幾個因素有關：
（1）網際網路信息資源多而分散
Web是一個巨大的資源寶庫，目前頁面數目已超過800億，每小時還以驚人的速度增長。同時，網際網路是一個全球性分布式網路結構，大量信息分別存儲在世界各國的伺服器和主機上。信息資源分布的分散性、遠程通信的距離和信道的寬窄都直接影響了信息的傳輸速率。可是網路關鍵信息都是以半結構化或自由文本形式存在於大量的HTML網頁中，很難直接加以利用，或者網路信息許多都是儲存在深層的網路之中，在用戶面前顯示的可能只有它的1%。這些問題都給我們網路商務信息收集帶來許多困難。
（2）網路資源缺乏有效的管理
和網路飛速發展形成鮮明對照的是至今還找不到一種方法對網路資源進行有效的管理。目前，對WWW的網頁和網址的管理主要依靠兩個方面的力量：一是圖書館和信息專業人員通過對Internet的信息進行篩選、組織和評論，編制超文本的主題目錄，這些目錄雖然質量很高，但編制速度無法適應Internet 的增長速度；二是計算機人員設計開發巡視軟體和檢索軟體，對網頁進行自動搜集、加工和標引。這種方式省時、省力，加工信息的速度快、范圍廣，可向用戶提供關鍵詞、片語或自然語言的檢索。但由於計算機軟體在人工智慧方面與人腦的思維還有很大差距，在檢索的准確性和相關性判斷上質量不高。因此，現在很多檢索軟體都是將人工編制的主題目錄和計算機檢索軟體提供的關鍵詞檢索結合起來，以充分發揮兩者的優勢。但由於Internet的范圍和數量過大，沒有建立統一的信息管理和組織機制，使得現有的任何一種檢索工具都沒有能力提供對網路信息的全面檢索。
（3）網路信息魚目混珠
網際網路上的信息質量參差不齊，良莠不一。在西方國家，特別是美國，任何人都可以在網上不受限制地自由出版、發布自己的網頁。在這種環境下，有價值的信息和無價值的信息，高質量的學術資料或商業信息與劣質、甚至違法的信息都混雜在一起。但目前，網際網路上還沒有人開發出一種強有力的工具對信息的質量進行選擇和過濾。這樣，用戶會發現大量毫無用途的信息混雜在檢索結果中，大大降低了搜索的准確性，浪費了用戶的時間。
三.網路商務信息收集的解決的辦法
面對上述困難，計算機專家和信息管理專家積極地探索和開發了一系列檢索軟體，並將其用於網路資源的管理和檢索，取得了很大的進展。目前，全世界各個國家所開發的各類型檢索軟體已達幾百種。我國及我國的香港、台灣地區以及新加坡都開發出了中文（GB或GB5）的檢索軟體，對推動網路信息的使用和傳輸做出了重要貢獻。
（1）為了快速的、大量收集，可以利用信息採集工具來提高速度和准確性
利用信息採集工具來採集網路商務信息，可以大大的節省人工時間，並且讓很多人工不可能完成的任務變為現實，現在流行的採集工具比如Knowlesys、Kapa、DB2等。在信息的時效性上面，信息採集工具也可以有很大的提高，我們平常搜集信息是在工作日，好多新發布的信息還要人工去判斷，現在用採集工具可以自動的判斷信息的發布時間，在第一時間里准確的把信息採集到，這是信息技術發展帶來的主要便利之一。但是很多採集工具可能還面臨著適用性和操作方面的問題，真正優秀的可能比較少，所以在這方面的研究要加強。
（2）為了得到更准確的內容，更加充分地利用這些檢索軟體，必須使用一定的技巧（如多個關鍵詞和布爾檢索技術）來縮小檢索范圍。
a.明確檢索目標
要完成一個有效檢索，首先應當確定要檢索的是什麼。在確定主題之後，應當列出一個與檢索的信息有關的單詞清單，以及一個應當排除的單詞清單，下一步，應該考慮使用哪一個檢索軟體來獲得更有效的檢索結果。如果主題范圍狹小，不妨簡單地使用兩三個關鍵詞試一試。如果不能准確地確定檢索的是什麼或檢索的主題范圍很廣，不妨使用Yahoo！等搜索站點的分類檢索，盡可能縮小檢索范圍。許多檢索網點允許只在Web中檢索，或只在新聞組中檢索，或只在某個特定地理區域檢索。
b.合理使用各種符號改善檢索過程
為了使用戶更方便有效地檢索內容，許多檢索網點允許使用布爾操作符。布爾操作符提供了一種包括或排除關鍵字的方法，以及檢索引擎如何翻譯關鍵字的控制方法。大多數檢索引擎提供了如何使用引擎的提示，以及如何在檢索中輸入布爾操作符的相應詞法，但它們一般都支持基本的布爾操作：AND（與）、OR（或）和NOT（非）。檢索時，通常不必輸入大寫的布爾操作符，但大寫卻能直觀地分隔關鍵字和操作符。各個檢索工具所使用的符號和格式也不盡相同，我們將在下面具體介紹一些常用檢索工具時再加以說明。
索引檢索會花費稍多一點的時間，但是，由於它可以從許多不同的來源中檢索出結果，最終會得到好的結果，故而從總體上講是節省了時間。當使用檢索引擎時，最好看一下例子或幫助內容，如果使用了錯誤的詞法，檢索時間將會延長，並且可能得不到想要的結果。
⑨ 如何解決食品行業負面輿情問題
食品安全問題觸目驚心
轉基因油、雙匯瘦肉精、染色饅頭、毒黃瓜、塑化劑等事件，在網路輿情推起一次又一次的高潮，總結可以發現，這些事件都是食品相關的，並且絕大部分是負面的。
據從公安部獲悉，今年以來，各地公安機關依法嚴打各種食品非法添加活動，破獲食品非法添加等食品安全案件1100餘起，抓獲犯罪嫌疑人2000餘名，特別是破獲了一起國內影響最大的「瘦肉精」案件。2010年國家質檢總局查處食品質量違法案件4.3萬起，有5654家企業的6045張食品生產許可證被注銷。
食品行業的輿情特點
針對食品輿情問題，著名的輿情監測企業深圳樂思軟體高級輿情分析師雷先生說道：「結合樂思輿情監測系統監測到的相關食品事件的輿情專報，我們可以明顯可以看到食品輿情有以下幾個特點：
一是誠信缺失、道德滑坡，引發食品企業的輿情潮。比如瘦肉精事件，在很短時間內迅速傳播，引起輿論廣泛關注。
二是食品企業內部爭端凸顯，引發了負面輿情。在食品行業中，以家族化管理帶來內部利益之爭的案例不在少數，企業內部爭端影響對外形象。比如真功夫集團的內訌等。
三是行業蜂窩連帶關系突出，輿論施壓加大職能部門的干預。以酒類為代表的副食品漲價問題曝光頻繁，輿論對於此類事件的關注度在一定程度上促使政府職能部門多次約談。而在職能部門出面干預後，絕大多數企業都能夠暫緩漲價，從中可以看出食品行業內部的紐帶關系。
四是企業品牌之爭愈演愈烈，引發了輿論的升溫。如王老吉商標所有權的爭端。」
治理需挖掘深層次原因
食品行業輿情的爆發，最根本的原因肯定還是自身有問題。
現階段，我國食品產業的突出特點是食品生產單位數量巨大，生產方式落後，存在小、散、亂現象，這是影響食品安全最深層次的原因之一。」國務院食品安全委員會辦公室副司長於軍分析說。
農業部產品質量安全監管局副局長把近年來出現的食品安全問題歸為三類。
一類是農葯殘留超標問題。比如去年年初武漢市場檢出的海南豇豆農葯殘留超標就是這類問題，這是農產品真正意義上的質量安全問題。
第二類是非法添加問題。「三聚氰胺」、「瘦肉精」事件屬於這一類。無論是從種植養殖技術上看，還是從農產品的質量安全看，這些物質都不是農產品生產所必需的，純屬非法添加，純屬生產經營者違法行為，必須嚴厲打擊。
第三類是生產安全和品質問題。前段時間連續出現的「乙烯利」、「膨大劑」問題屬於這一類。這類問題與農產品質量安全關系不大，更多影響到的是田間地頭農產品的生長、產量、品相和最後上市產品的品質口感，雖然發生的只是在個別地方和個別產品上，但經媒體報道後，公眾很關心、很敏感。
問題的最終解決辦法
據了解，今年3月至5月，全國人大常委會組織開展了《食品安全法》的執法檢查工作。白克明表示，這次執法檢查在全面了解和評估《食品安全法》實施情況的基礎上，著重推動法律實施中一些重點和難點問題的解決。
食品生產是良心工程，企業要切實當好第一責任人。這么做不僅能讓食品生產企業在特殊時期贏得社會信任，而且能增強公司核心競爭力，促進企業可持續發展。也只有這樣，才能讓那些食品負面輿情逐漸平息。
⑩ web scraping是什麼意思
web scraping
網頁；網頁信息；網站檢索
例句
1.Simple job for someone that is good at web scraping.
簡單的工作，是有人在網上刮好。
2.The ideal candidate must have extensive and advanced knowledge on web scraping and data mining.
理想的候選人必須擁有廣泛而先進的網頁抓取和數據挖掘的知識。
3.As mentioned, you can access data in multiple ways. The two primary methods are web scraping and API use.
如前所述，可以用多種方法訪問數據，其中兩種主要方法是Web擦除和API使用。
4.The emerging business of web scraping provides some of the raw material for a rapidly expanding data economy.
網路信息搜集這種新興業務為迅速擴張的數據經濟提供了良好的支撐。
5.You should now have the tools that you need to start scraping data from web pages.
您目前應該已經擁有了從Web頁面上擦除數據所需的工具。