A. 如何利用網站WEB日誌分析追查網站攻擊者
WEB日誌分析只能查到攻擊者的IP還有訪問的文件
而且這些是無法查到攻擊者的
B. web日誌分析工具 怎麼確認被攻擊
Apache 伺服器
預安裝在Kali Linux
可以用以下命令開啟：
service apache2 start
Mysql
預安裝在Kali Linux
可以用以下命令開啟：
service mysql start
使用PHP-MySQL創建一個有漏洞的web應用
我使用PHP開發了一個有漏洞的web應用並且把它放在上面提到的 Apache-MySQL裡面。
上述設置完成後，我用了一些Kali Linux中的自動工具（ZAP、w3af）掃描這個有漏洞的應用的URL。
現在讓我們來看看分析日誌中的不同情況。
0x02 Apache服務中的日誌記錄
Debian系統上Apache伺服器日誌的默認位置為：/var/log/apache2/access.log
日誌記錄只是在伺服器上存儲日誌。我還需要分析日誌以得出正確結果。在接下來的一節里，我們將看到我們如何分析Apache伺服器的訪問日誌以找出web站點上是否有攻擊嘗試。
分析日誌
手動檢查
在日誌量較小的情況下，或者如果我們查找一個指定關鍵詞，可以使用像grep表達式這樣的工具觀察日誌。
在下圖中，我們在URL中試圖搜尋所有關鍵詞為「union」的請求。
從上圖中，我們可以看到URL中的「union select 1,2,3,4,5」請求。很明顯，ip地址為 192.168.56.105的某人嘗試了SQL注入。 類似地，當我們有自己的關鍵詞時可以搜索特殊的關鍵詞。
在下圖中，我們正在搜索試圖讀取「/etc/passwd」的請求，很明顯是本地文件包含嘗試。
如上面的截圖所示，我們有許多本地文件包含的嘗試，且這些請求發送自ip地址 127.0.0.1。
很多時候，能輕易通過日誌看出是否是自動化掃描器產生的。
舉例來說， IBM appscan在許多攻擊payload中使用「appscan」這個詞。所以，在日誌中查看這樣的請求，我們基本就可以判斷有人在使用appscan掃描網站。
Microsoft Excel也是一個打開日誌文件和分析日誌的不錯的工具。我們可以通過指定「空格」為分隔符以用excel打開日誌文件。
當我們手頭沒有日誌分析工具時，這個也挺好用的。
除了這些關鍵詞，在分析期間要了解HTTP狀態代碼的基礎知識。以下是關於HTTP狀態代碼的高級信息的表格。
0x03 Web shells
webshell是網站/伺服器的另一個問題。webshell可以已web server許可權控制伺服器。
在一些情況下，我們可以使用webshell來訪問所有放在相同伺服器上的其他站點。
以下截圖顯示了Microsoft Excel 中開啟相同的access.log文件。
我們清楚地看到有一個叫「b374k.php」的文件被訪問了。「b374k」是一個流行的webshell，因此這個文件是很可疑的。
查看相應代碼「200」，本行表明有人上傳了一個webshell並訪問了它。
在許多情況下，攻擊者重命名webshell的名字以避免懷疑。我們必須變得聰明點，看看被訪問的文件是否是常規文件或者是否他們看起來不太一樣。我們可以更進一步，如果任何文件看起來可疑的話，還可以查看文件類型和時間戳。
One single quote for the win
SQL注入是web應用中最常見的漏洞之一。大多數學習web應用安全的人是從學習SQL注入開始的。
識別一個傳統的SQL注入很容易，給URL參數添加一個單引號看看是否報錯。
任何我們傳遞給伺服器的東西都會被記錄，並且可以朔源。
以下截圖顯示了日誌當中記錄了有對參數user傳入單引號測試是否有SQL注入的行為。
%27是單引號的URL編碼。
出於管理目的，我們還可以運行查詢監視來查看資料庫中的哪個請求被執行了。
如果我們觀察以上圖片，傳遞一個單引號給參數「user」的SQL語句被執行了。
0x04 使用自動化工具分析
當存在大量日誌時。手動檢查就會變得困難。在這種情景下，除了一些手動檢查之外我們可以使用自動化工具。
雖然有許多高效的商業工具，但是我要向你們介紹一款被稱為「Scalp」的免費工具。
據他們的官方鏈接所說，Scalp是用於Apache伺服器，旨在查找安全問題的日誌分析器。主要理念是瀏覽大量日誌文件並通過從HTTP/GET中提取可能的攻擊。
Scalp可以從以下鏈接下載：
https://code.google.com/p/apache-scalp/
Scalp是python腳本，所以要求我們的機器中安裝python。
以下圖片顯示該工具的幫助。
如我們在上圖所見，我們需要使用標志-l來提供要分析的日誌文件。
同時，我們需要提供使用標志-f提供一個過濾文件讓Scalp在access.log文件中識別可能的攻擊。
我們可以使用PHPIDS項目中的過濾器來檢測任何惡意的嘗試。
該文件名為「default_filter.xml 」，可以從以下鏈接中下載：
https://github.com/PHPIDS/PHPIDS/blob/master/lib/IDS/default_filter.xml
以下代碼塊是取自上面鏈接的一部分。
1
2
3
4
5
6
7
8
9
10
11
<filter>
<id>12</id>
<rule><![CDATA[(?:etc\/\W*passwd)]]></rule>
<description>Detects etc/passwd inclusion attempts</description>
<tags>
<tag>dt</tag>
<tag>id</tag>
<tag>lfi</tag>
</tags>
<impact>5</impact>
</filter>
它是使用XML標簽定義的規則集來檢測不同的攻擊測試。以上代碼片段是檢測文件包含攻擊嘗試的一個示例。
下載此文件之後，把它放入Scalp的同一文件夾下。
運行以下命令來使用Scalp分析日誌。
1
python scalp-0.4.py –l /var/log/apache2/access.log –f filter.xml –o output –html
「output」是報告保存的目錄。如果不存在的話，由Scalp自動創建。-html是用來生成HTML格式的報告。 如我們在上圖看到的那樣，Scalp結果表明它分析了4001行，超過4024並發現了296個攻擊模式。
運行上述命令後在輸出目錄內生成報告。我們可以在瀏覽器內打開它並查看結果。 下面截圖顯示的輸出顯示了目錄遍歷攻擊嘗試的一小部分。
MySQL中的日誌記錄
本節論述了資料庫中的攻擊分析和監視它們的方法。
第一步是查看設置了什麼變數。我們可以使用「show variables;」完成，如下所示。
接下來顯示了上述命令的輸出。
如我們在上圖中看到的，日誌記錄已開啟。該值默認為OFF。
這里另一個重要的記錄是 「log_output」，這是說我們正在把結果寫入到文件中。另外，我們也可以用表。
我們可以看見「log_slow_queries」為ON。默認值為OFF。
所有這些選項都有詳細解釋且可以在下面提供的MySQL文檔鏈接里直接閱讀：
MySQL的查詢監控
請求日誌記錄從客戶端處收到並執行的語句。默認記錄是不開啟的，因為比較損耗性能。
我們可以從MySQL終端中開啟它們或者可以編輯MySQL配置文件，如下圖所示。
我正在使用VIM編輯器打開位於/etc/mysql目錄內的「my.cnf」文件。
如果我們向下滾動，可以看見日誌正被寫入一個稱為「mysql.log」的文件內。
我們還能看到記錄「log_slow_queries」 ，是記錄SQL語句執行花了很長時間的日誌。
現在一切就緒。如果有人用惡意查詢資料庫，我們可以在這些日誌中觀察到。如下所示：
上圖顯示了查詢命中了名為「webservice」的資料庫並試圖使用SQL注入繞過認證。
C. 求助：我想做個web日誌分析的程序（java）
這是導師給同學開的一個畢業設計課題。
個人感覺挺簡單的。
自己配置個web伺服器,iis吧。
設置以下log參數，看看日誌信息，作字元串處理，建議用正則表達式
D. 如何進行網站日誌分析
一個合格的站長或者seoer必須要能看懂網站的伺服器日誌文件，這個日誌記錄了網站被搜索引擎爬取的痕跡，給站長提供了蜘蛛是否來訪的有力佐證，站長朋友可以通過網站日誌來分析搜索引擎蜘蛛的抓取情況，分析網站的是否存在收錄異常問題。並且我們可以根據這個日誌文件判斷蜘蛛來訪頻率以及抓取規律，這將非常有利於我們做優化。另外，學習分析網站日誌文件也是站長必須具備的能力，也是你從一個初級seo進階到seo高手的必由之路。但是前提是要主機服務商開通日誌統計功能，一般虛擬主機提供商都不會開通，你可以申請開通，或者自己到伺服器管理後台開通這個日誌統計功能，不過日誌也會佔用空間的，我們在看完日誌文件後，可以隔段時間清理下日誌文件。那麼如何分析伺服器日誌文件呢?聽我娓娓道來。
搜索引擎抓取網站信息必會在伺服器上留下信息，這個信息就在網站日誌文件里。我們通過日誌可以了解搜索引擎的訪問情況，一般通過主機服務商開通日誌功能，再通過FTP訪問網站的根目錄，在根目錄下可以看到一個log或者weblog文件夾，這裡面就是日誌文件，我們把這個日誌文件下載下來，用記事本(或瀏覽器)打開就可以看到網站日誌的內容。那麼到底這個日誌裡面隱藏了什麼玄機呢?其實日誌文件就像飛機上的黑匣子。我們可以通過這個日誌了解很多信息，那麼到底這個日誌給我們傳遞了什麼內容呢?
如果想要知道網站日誌文件包含了什麼內容，首先必須知道各搜索引擎的蜘蛛名稱，比如網路的蜘蛛程序名稱是spider，Google的機器人程序名稱是Google-Googlebot等等，我們在日誌的內容里搜索上述的的蜘蛛名就可以知道哪個搜索引擎已經爬取過網站了，這里就留下了他們的蛛絲馬跡。再者，必須能看懂常見的http狀態碼，最常見的HTTP狀態碼有200(頁面抓取成功)、304(上次抓取的和這次抓取的沒變化)，404(未找到頁面，錯誤鏈接)500(伺服器未響應，一般由伺服器維護和出故障，網站打不開時出現的)，這些狀態碼是我們站長朋友必須能看懂的，伺服器狀態碼的值是我們和蜘蛛交流的信號。知道了這些基本信息以後我們就可以根據網站日誌進行分析了，一般來說我們只看網路和谷歌蜘蛛的爬行和抓取情況，當然有特殊需要的也可以對其他幾個蜘蛛的爬行情況進行分析。網站日誌中出現大量的谷歌蜘蛛和網路蜘蛛，說明搜索引擎蜘蛛時常來光顧你的網站。
說到分析日誌文件，我們就不得不說分析日誌文件的時機了，那麼在什麼情況下我們要去分析日誌文件呢?首先，新網站剛建立的時候，這個時候也是站長朋友最急切的時候，我們一般都會焦急的等待搜索引擎收錄網站內容，經常會做的事情就是去網路或者Google用命令site:下網站域名看看是否被收錄，這個時候，其實我們沒必要頻繁的查詢網站是否被收錄，要想知道搜索引擎是否關顧我們的網站。我們就可以藉助網站日誌文件來查看，怎麼看?看網站日誌是否有搜索引擎的蜘蛛來網站抓取過，看返回的狀態碼是200還是其他，如果返回200說明抓取成功，如果返回404說明頁面錯誤，或者頁面不存在，就需要做301永久重定向或者302暫時重定向。一般抓取成功後被搜索引擎放出來的時間也會晚點，一般谷歌機器人放出來的比較快，最快可秒殺，但是網路反應就慢了，最快也要一周左右，不過11月份網路演算法調整後，放出來的速度還是很快的。其次，當網站收錄異常時我們要把正常收錄的日誌和異常的日誌進行對比分析，找出問題所在，這樣可以解決網站收錄問題，也是對完整優化大有裨益的。第三，網站被搜索引擎K掉後，我們必須要觀察網站日誌文件來亡羊補牢，一般這種情況下，日誌文件里只有很少的幾個蜘蛛爬行了首頁和robots，我們要找出被K的原因並改正，再提交給搜索引擎，接下來就可以通過觀察日誌來看蜘蛛是否正常來臨，慢慢過一段時間，如果蜘蛛數量增加或者經常來臨並且返回200狀態嗎，那麼恭喜你，你的網站又活了，如果半年都沒反應，那麼建議放棄該域名重新再戰了。
很多站長朋友不懂得如何利用網站日誌文件，遇到網站收錄問題就去提問別人，而不好好自檢，這是作為站長或者seoer的悲哀。而且網上的很多軟文都提到要做好日誌文件的分析，但是那隻是軟文而已，說不定寫文章的作者都沒有去看日誌文件。說到底，還是希望站長朋友一定不要忽略了網站日誌文件，合理的利用好網站日誌文件是一個站長或seoer必備的技能。再者說，看懂網站日誌文件並不需要你有多麼高深的編碼知識，其實只要看得懂html代碼和幾個返回的狀態碼就可以了，一定不能懶，或者抱著僥幸心理去對待你的網站，這種心理會導致你輸得很慘。如果你是一個小站長，或者你是一個seoer，如果你以前沒有意識到網站日誌文件的重要性，那麼從看到我寫的這篇文章開始要好好對待你的網站日誌了。
E. 什麼是網站日誌分析需要分析哪些內容
網站日誌是記錄web伺服器接收處理請求以及運行時錯誤等各種原始信息的以·log結尾的文件，確切的講，應該是伺服器日誌。網站日誌最大的意義是記錄網站運營中比如空間的運營情況，被訪問請求的記錄。
怎麼分析網站日誌？
登錄「FTP」賬號，鏈接到網站數據，找到網站日誌文件夾。（注意：一般情況下，網站日誌所在文件夾都是與網站文件同級文件夾，且帶有log字樣。只有少數情況下，網站日誌文件夾在網站根目錄下。）
打開文件夾，下載日誌壓縮文件！（下載方法很簡單，只要選中文件直接拖到電腦桌面，然後左下方的本地瀏覽下載目錄的文件上「右鍵—傳輸隊列」即可！）
解壓下載的日誌文件，而後將解壓後文件的後綴改為「txt」
新建一個excel表格，並打開！找到頂端工具欄的「數據」工具
點擊「導入數據」，默認「直接打開數據文件」，再選擇「選擇數據源」。
選中解壓後的txt文檔，並打開！
默認「其他編碼「
選擇「分隔符號」，並「下一步」；
勾選所有選項，然後「下一步」；
默認「常規」，並「完成」；
如圖，網站日誌哥數據項之間全部分隔開來；
接下來只要保留自己需要的數據項即可。刪除不需要的數據項！（如圖，僅保留了數據分析需要的訪客ip、訪問文件、訪問狀態碼以及訪客名稱四項數據。）
選中訪客名稱一整列，然後點擊「開始」欄目的「篩選」工具
點擊訪客名稱一列上方的三角下拉按鈕；
取消「全選」，找到網路蜘蛛的訪客名稱，選中並「確定」；
我們就可以得到日誌當天網路蜘蛛訪問網站的所有數據。
最後，該數據保存到網站每日分析日誌中。（注意：每日更新原創內容的網站一般在分析日誌的時候還需要保留時間數據。）
F. 網站日誌分析工具有什麼用
分析蜘蛛都爬行了那些頁面。 網站日誌肯定是為了分析網站啊，
G. 如何shell命令編寫自己的Web日誌分析腳本
根據你的需要，把日誌文件定時放到某個目錄保存
然後對文件進行分析，grep出你需要的信息
然後可以重定向文件到別的新目錄
最後把你需要的文件打包歸檔處理
H. 如何進行網站日誌分析
1、下載網站日誌：
流程如下：主機獨立控制面板——網站情報系統分析——網站日誌——下載WebLog日誌——右鍵點擊查看，鏈接另存為
在主機獨立控制面板中，找到網站情報系統分析板塊，裡面就能看到網站日誌了，點擊下載WebLog日誌，能看到最近幾天的網站日誌，但是點擊查看進去，會發現是一堆看不懂的代碼，沒有關系，我們先不要進去查看，而是右鍵點擊查看，鏈接另存為，下載網站日誌。
——————
2、代碼看不懂的話，可以使用光年日誌分析軟體GnAnalyzer，這是一個可以幫助我們進行網站日誌分析的軟體。比如蜘蛛抓取的情況，日誌裡面都有顯示。
——————
3、光年日誌分析軟體的使用：
下載好網站日誌後，就可以使用光年日誌分析軟體進行網站日誌的分析了。
流程如下：光年日誌分析軟體文件夾中的GnAnalyzer.exe——文件菜單，新建任務——添加（類型選擇所有文件）——下一步，保存——馬上分析
——————
4、網站日誌分析：
馬上分析後，就可以查看當天：蜘蛛分析（概要分析、目錄抓取、頁面抓取、IP排行）；搜索引擎分析（關鍵字分析）；狀態碼分析（用戶狀態碼、蜘蛛狀態碼）的相關信息。
文章參考自www.bjtcliuyan.com
I. 如何編寫自己的Web日誌分析腳本
具體地說,腳本通過利用應用程序或工具的規則和語法來表達指令,以控制應用程序(包括注冊表程序)中各種元素的反應,也可以由簡單的控制結構(例如循環語句和If/Then語句)組成,這些應用程序或工具包括網頁瀏覽器(支持VBScript,Jscript),多媒體製作工具,應用程序的宏(比如Office的宏)以及我們熟悉的注冊表工具(regedit.exe)等.操作系統中的批處理也可以歸入腳本之列,批處理程序也經常由Windows環境中的"腳本"替換,所以又稱腳本是"Windows時代的批處理".
腳本的作用在每一種應用程序中起的作用都是不一樣的,比如在網頁中可以實現各種動態效果,各種特效處理,實現各種HTML不能實現的功能.而在Office組件中,我們會經常看到"宏"這個工具,它其實就是一系列命令和指令可以實現任務執行的自動化.
腳本多以「vbs」、「bat」結尾。可以用「記事本」或「按鍵精靈」編輯。
J. 如何查看Web伺服器日誌
這些日誌信息對計算機犯罪調查人員非常有用。
所謂日誌是指系統所指定對象的某些操作和其操作結果按時間有序的集合。每個日誌文件由日誌記錄組成．每條日誌記錄描述了一次單獨的系統事件。通常情況下，系統日誌
是用戶可以直接閱讀的文本文件，其中包含了一個時間戳和一個信息或者子系統所特有的其他信息。日誌文件為伺服器、工作站、防火牆和應用軟體等IT資源相關活動記錄必要的、有價值的信息，這對系統監控、查詢、報表和安全審汁是十分重要的。日誌文件中的記錄可提供以下用途：監控系統資源，審汁用戶行為，對可疑行為進行報警，確定入侵行為的范圍，為恢復系統提供幫助，生成調查報告，為打擊計算機犯罪提供證據來源。
在windows操作系統中有一位系統運行狀況的忠實記錄者，它可以詳細記錄計算機從開機、運行到關機過程中發生的每一個事件，它就是「事件查看器」。用戶可以利用這個系統維護工具，收集有關硬體、軟體、系統問題方面的信息，並監視系統安全事件，將系統和其他應用程序運行中的錯誤或警告事件記錄下來，便於診斷和糾正系統發生的錯誤和問題。
可以雙擊「控制面板」中「管理工具」中的「事件查看器」，打開事件查看器窗口