㈠ web安全攻擊方式都有些什麼
非法輸入 Unvalidated Input
在數據被輸入程序前忽略對數據合法性的檢驗是一個常見的編程漏洞。隨著OWASP對Web應用程序脆弱性的調查，非法輸入的問題已成為大多數Web應用程序安全漏洞方面的一個普遍現象。
失效的訪問控制Broken Access Control
大部分企業都非常關注對已經建立的連接進行控制，但是，允許一個特定的字元串輸入可以讓攻擊行為繞過企業的控制。
失效的賬戶和線程管理Broken Authentication and Session Management
有良好的訪問控制並不意味著萬事大吉，企業還應該保護用戶的密碼、會話令牌、賬戶列表及其它任何可為攻擊者提供有利信息、能幫助他們攻擊企業網路的內容。
跨站點腳本攻擊Cross Site Scripting Flaws
這是一種常見的攻擊，當攻擊腳本被嵌入企業的Web頁面或其它可以訪問的Web資源中，沒有保護能力的台式機訪問這個頁面或資源時，腳本就會被啟動，這種攻擊可以影響企業內成百上千員工的終端電腦。
緩存溢出問題Buffer Overflows
這個問題一般出現在用較早的編程語言、如C語言編寫的程序中，這種編程錯誤其實也是由於沒有很好地確定輸入內容在內存中的位置所致。
注入式攻擊Injection Flaws
如果沒有成功地阻止帶有語法含義的輸入內容，有可能導致對資料庫信息的非法訪問，在Web表單中輸入的內容應該保持簡單，並且不應包含可被執行的代碼。
異常錯誤處理Improper Error Handling
當錯誤發生時，向用戶提交錯誤提示是很正常的事情，但是如果提交的錯誤提示中包含了太多的內容，就有可能會被攻擊者分析出網路環境的結構或配置。
不安全的存儲Insecure Storage
對於Web應用程序來說，妥善保存密碼、用戶名及其他與身份驗證有關的信息是非常重要的工作，對這些信息進行加密則是非常有效的方式，但是一些企業會採用那些未經實踐驗證的加密解決方案，其中就可能存在安全漏洞。
程序拒絕服務攻擊Application Denial of Service
與拒絕服務攻擊 (DoS)類似，應用程序的DoS攻擊會利用大量非法用戶搶占應用程序資源，導致合法用戶無法使用該Web應用程序。
不安全的配置管理Insecure Configuration Management
有效的配置管理過程可以為Web應用程序和企業的網路架構提供良好的保護
㈡ Weblog expert日誌分析器怎麼使用
方法/步驟
把已經安裝好的weblog expert的軟體打開，這個工具是免費的，打開完軟體之後，點擊菜單中的「new」的選項。
就會進入到general的界面中，進行在profile中輸入網址，domain中輸入域名，index中輸入編號，進入到下一步
到log files的界面中，如果知道log存放的路徑，可以把路徑直接復制到輸入框中，也可以通過browse進行瀏覽器log文件位置，進行點擊browse
找到載入log的文件，找到log文件之後並選中該文件。
就把log文件載入到weblog expert工具中，然後就直接點擊Analyze的按鈕。
就分析的按鈕就自動對log日誌進行分析，分析完成之後，會自動通過網頁開發log分析日誌。就可以通過這些log的分析日誌信息，進行獲取到自己需要的信息。
㈢ 1Web日誌數據分析模型的設計思想與實現
1Web日誌數據分析模型的設計思想
本論文設計平台通過對web日誌文件分析，統計出哪個頁面最受歡迎，訪問者來自哪裡，訪問時段分布情況等。分析結果生成HTML代碼，最終通過瀏覽器以頁面的形式將各種報表呈現在用戶面前。其中要用到目前比較常用的ASP技術，由於要將海量的日誌數據存入，所以還要用到sql-Server這個功能強大的資料庫。
1.1系統的體系結構
Web日誌數據分析系統的主要用戶是一般企業網站或個人網站管理員，目前常見的網路開發模式共有3種體系結構：兩層Client/Server（C/S）體系結構；三層Client/Server/Database（C/S/D）體系結構；三層Browser/Server/Database（B/S/D）體系結構。綜合考慮本系統的用戶群特點及這三種體系結構特點，最終採用的體系結構是目前國際上流行的「Browser/WebServer/Database」即三層網路結構模型。這種體系結構簡單實用，客戶端只要採用標准瀏覽器與網路進行連接就可以了。
1.2系統功能模塊設計
系統功能模塊是系統與用戶交互的介面，本系統包括：數據預處理模塊、基本分析模塊、智能分析模塊和可視化模塊，系統功能模塊.數據預處理模塊：該模塊主要功能是首先去掉原先存放在關系資料庫中的部分沒有用的原始日誌，然後設置日誌文件格式、采樣方法，依據包含替換規則對數據進行凈化，再將該數據導入源資料庫，形成頁面映射表信息，最後形成用戶表。基本分析模塊：該模塊主要是對網站的`訪問情況進行以下6方面的統計匯總，即時段分析模塊、地域分析模塊、來源統計模塊、客戶端分析模塊、受訪頁分析模塊、搜索引擎模塊。智能分析模塊：該模塊主要功能是利用關聯規則對Web站點的頁面之間的鏈接關系和站點結構進行分析，構建一個新的Web站點拓撲結構，尋有關聯的客戶群體，開展有針對性和個性化的電子商務活動。
2Web日誌數據分析系統功能的實現
2.1數據收集
由於本系統是對Web日誌的分析，所以數據收集部分的工作實際上就是對日誌的收集工作，所以最重要得一點是網站的管理者允許對其日誌文件進行研究，在同意對日誌文件保密的前提下，筆者從電腦商網中國IT商務門戶（www.cnitsw.com）獲取了一段時間的網站日誌文件以此作為分析對象。
2.2數據預處理
數據的預處理過程是將Web日誌整理成適合數據挖掘的數據模型。整個挖掘預處理過程分為數據凈化、用戶識別、會話識別、路徑補充、事務識別5個步驟。
2.3智能分析模塊實現
我們利用了Apriori演算法的思想，但同時對APriori演算法進行了改造，採用了改進的APriori演算法進行頻繁路徑挖掘。改進Apriori是受到APriori演算法的啟發，但它適合頻繁路徑的挖掘。
2.4基本分析模塊實現
基本分析可以分為兩個方面，一是網站整體的訪問統計，另一方面是具體網頁的訪問分析。整體分析可以統計用戶數、點擊數，分析客戶端信息等等；對具體網頁可以統計其訪問量，以分析其受歡迎程度，也可表示其重要程度。這些工作的數據來源是預處理中數據清理階段產生的源資料庫和整個預處理階段後產生的用戶事務資料庫，實現方法也比較簡單，一般都是簡單的統計分析處理。基本分析模塊由時段分析模塊、地域分析模塊、來源統計模塊、客戶端分析模塊、受訪頁分析模塊、搜索引擎分析模塊6個模塊組成。本文以時段分析模塊為例進行闡述。根據日誌中的日期域（data）、時間域（time）以及所花時間域（time－taken）可以統計出每天哪個時段的訪問人數和具體逗留時間，每個小時訪問量的變化，通過一天中每小時的訪問數可以得出站點哪個時間段的訪問人數最多是訪問高峰期，進而分析出訪問人群的職業和上網習慣等相關信息。
Web日誌數據分析是internet信息處理的一個重要應用，目前我們只是實現了一些簡單的功能，還可以對WEB日誌的分析處理上進行某些更詳細的深入分析，譬如可以根據訪問者的登錄時間、訪問頁面、停留時間等信息進行統計分析，然後制定個性化的電子商務營銷策略，幫助電子商務網站在最短的時間內抓住最有效的客戶。還可根據以往時間段的訪問人數統計，對網站未來幾天或者某個時間段的訪問流量進行預測。
作者:吳敏綱 黃傑恆 鄭義平 單位:景德鎮陶瓷學院信息工程學院 景德鎮市第六人民醫院 景德鎮市國稅局直屬分局
㈣ web日誌分析工具 怎麼確認被攻擊
Apache 伺服器
預安裝在Kali Linux
可以用以下命令開啟：
service apache2 start
MySQL
預安裝在Kali Linux
可以用以下命令開啟：
service mysql start
使用PHP-MySQL創建一個有漏洞的web應用
我使用PHP開發了一個有漏洞的web應用並且把它放在上面提到的 Apache-MySQL裡面。
上述設置完成後，我用了一些Kali Linux中的自動工具（ZAP、w3af）掃描這個有漏洞的應用的URL。
現在讓我們來看看分析日誌中的不同情況。
0x02 Apache服務中的日誌記錄
Debian系統上Apache伺服器日誌的默認位置為：/var/log/apache2/access.log
日誌記錄只是在伺服器上存儲日誌。我還需要分析日誌以得出正確結果。在接下來的一節里，我們將看到我們如何分析Apache伺服器的訪問日誌以找出web站點上是否有攻擊嘗試。
分析日誌
手動檢查
在日誌量較小的情況下，或者如果我們查找一個指定關鍵詞，可以使用像grep表達式這樣的工具觀察日誌。
在下圖中，我們在URL中試圖搜尋所有關鍵詞為「union」的請求。
從上圖中，我們可以看到URL中的「union select 1,2,3,4,5」請求。很明顯，ip地址為 192.168.56.105的某人嘗試了SQL注入。 類似地，當我們有自己的關鍵詞時可以搜索特殊的關鍵詞。
在下圖中，我們正在搜索試圖讀取「/etc/passwd」的請求，很明顯是本地文件包含嘗試。
如上面的截圖所示，我們有許多本地文件包含的嘗試，且這些請求發送自ip地址 127.0.0.1。
很多時候，能輕易通過日誌看出是否是自動化掃描器產生的。
舉例來說， IBM appscan在許多攻擊payload中使用「appscan」這個詞。所以，在日誌中查看這樣的請求，我們基本就可以判斷有人在使用appscan掃描網站。
Microsoft Excel也是一個打開日誌文件和分析日誌的不錯的工具。我們可以通過指定「空格」為分隔符以用excel打開日誌文件。
當我們手頭沒有日誌分析工具時，這個也挺好用的。
除了這些關鍵詞，在分析期間要了解HTTP狀態代碼的基礎知識。以下是關於HTTP狀態代碼的高級信息的表格。
0x03 Web shells
webshell是網站/伺服器的另一個問題。webshell可以已web server許可權控制伺服器。
在一些情況下，我們可以使用webshell來訪問所有放在相同伺服器上的其他站點。
以下截圖顯示了Microsoft Excel 中開啟相同的access.log文件。
我們清楚地看到有一個叫「b374k.php」的文件被訪問了。「b374k」是一個流行的webshell，因此這個文件是很可疑的。
查看相應代碼「200」，本行表明有人上傳了一個webshell並訪問了它。
在許多情況下，攻擊者重命名webshell的名字以避免懷疑。我們必須變得聰明點，看看被訪問的文件是否是常規文件或者是否他們看起來不太一樣。我們可以更進一步，如果任何文件看起來可疑的話，還可以查看文件類型和時間戳。
One single quote for the win
SQL注入是web應用中最常見的漏洞之一。大多數學習web應用安全的人是從學習SQL注入開始的。
識別一個傳統的SQL注入很容易，給URL參數添加一個單引號看看是否報錯。
任何我們傳遞給伺服器的東西都會被記錄，並且可以朔源。
以下截圖顯示了日誌當中記錄了有對參數user傳入單引號測試是否有SQL注入的行為。
%27是單引號的URL編碼。
出於管理目的，我們還可以運行查詢監視來查看資料庫中的哪個請求被執行了。
如果我們觀察以上圖片，傳遞一個單引號給參數「user」的SQL語句被執行了。
0x04 使用自動化工具分析
當存在大量日誌時。手動檢查就會變得困難。在這種情景下，除了一些手動檢查之外我們可以使用自動化工具。
雖然有許多高效的商業工具，但是我要向你們介紹一款被稱為「Scalp」的免費工具。
據他們的官方鏈接所說，Scalp是用於Apache伺服器，旨在查找安全問題的日誌分析器。主要理念是瀏覽大量日誌文件並通過從HTTP/GET中提取可能的攻擊。
Scalp可以從以下鏈接下載：
https://code.google.com/p/apache-scalp/
Scalp是python腳本，所以要求我們的機器中安裝python。
以下圖片顯示該工具的幫助。
如我們在上圖所見，我們需要使用標志-l來提供要分析的日誌文件。
同時，我們需要提供使用標志-f提供一個過濾文件讓Scalp在access.log文件中識別可能的攻擊。
我們可以使用PHPIDS項目中的過濾器來檢測任何惡意的嘗試。
該文件名為「default_filter.xml 」，可以從以下鏈接中下載：
https://github.com/PHPIDS/PHPIDS/blob/master/lib/IDS/default_filter.xml
以下代碼塊是取自上面鏈接的一部分。
1
2
3
4
5
6
7
8
9
10
11
<filter>
<id>12</id>
<rule><![CDATA[(?:etc\/\W*passwd)]]></rule>
<description>Detects etc/passwd inclusion attempts</description>
<tags>
<tag>dt</tag>
<tag>id</tag>
<tag>lfi</tag>
</tags>
<impact>5</impact>
</filter>
它是使用XML標簽定義的規則集來檢測不同的攻擊測試。以上代碼片段是檢測文件包含攻擊嘗試的一個示例。
下載此文件之後，把它放入Scalp的同一文件夾下。
運行以下命令來使用Scalp分析日誌。
1
python scalp-0.4.py –l /var/log/apache2/access.log –f filter.xml –o output –html
「output」是報告保存的目錄。如果不存在的話，由Scalp自動創建。-html是用來生成HTML格式的報告。 如我們在上圖看到的那樣，Scalp結果表明它分析了4001行，超過4024並發現了296個攻擊模式。
運行上述命令後在輸出目錄內生成報告。我們可以在瀏覽器內打開它並查看結果。 下面截圖顯示的輸出顯示了目錄遍歷攻擊嘗試的一小部分。
MySQL中的日誌記錄
本節論述了資料庫中的攻擊分析和監視它們的方法。
第一步是查看設置了什麼變數。我們可以使用「show variables;」完成，如下所示。
接下來顯示了上述命令的輸出。
如我們在上圖中看到的，日誌記錄已開啟。該值默認為OFF。
這里另一個重要的記錄是 「log_output」，這是說我們正在把結果寫入到文件中。另外，我們也可以用表。
我們可以看見「log_slow_queries」為ON。默認值為OFF。
所有這些選項都有詳細解釋且可以在下面提供的MySQL文檔鏈接里直接閱讀：
MySQL的查詢監控
請求日誌記錄從客戶端處收到並執行的語句。默認記錄是不開啟的，因為比較損耗性能。
我們可以從MySQL終端中開啟它們或者可以編輯MySQL配置文件，如下圖所示。
我正在使用VIM編輯器打開位於/etc/mysql目錄內的「my.cnf」文件。
如果我們向下滾動，可以看見日誌正被寫入一個稱為「mysql.log」的文件內。
我們還能看到記錄「log_slow_queries」 ，是記錄SQL語句執行花了很長時間的日誌。
現在一切就緒。如果有人用惡意查詢資料庫，我們可以在這些日誌中觀察到。如下所示：
上圖顯示了查詢命中了名為「webservice」的資料庫並試圖使用SQL注入繞過認證。
㈤ web log 日誌分析工具怎麼用
WebLog，它是一款專門用來分析網站日誌文件的軟體，可以對網站的來訪者進行詳細分析，包括當前活動會話統計、文件存取統計、搜索使用情況統計、瀏覽器/操作系統統計、錯誤統計等。
㈥ 如何編寫自己的Web日誌分析腳本
具體地說,腳本通過利用應用程序或工具的規則和語法來表達指令,以控制應用程序(包括注冊表程序)中各種元素的反應,也可以由簡單的控制結構(例如循環語句和If/Then語句)組成,這些應用程序或工具包括網頁瀏覽器(支持VBScript,Jscript),多媒體製作工具,應用程序的宏(比如Office的宏)以及我們熟悉的注冊表工具(regedit.exe)等.操作系統中的批處理也可以歸入腳本之列,批處理程序也經常由Windows環境中的"腳本"替換,所以又稱腳本是"Windows時代的批處理".
腳本的作用在每一種應用程序中起的作用都是不一樣的,比如在網頁中可以實現各種動態效果,各種特效處理,實現各種HTML不能實現的功能.而在Office組件中,我們會經常看到"宏"這個工具,它其實就是一系列命令和指令可以實現任務執行的自動化.
腳本多以「vbs」、「bat」結尾。可以用「記事本」或「按鍵精靈」編輯。
㈦ 如何shell命令編寫自己的Web日誌分析腳本
一、讀取文件
按照上面的思路，先解決讀取問題。這里我用了判斷語句，起初我是想寫出類似於 access=more
/usr/access*.*，將這個路徑全部加到變數里，方便判斷，因為在shell里，只能將固定文件、文件夾作為變數，變數中不能加*號（我是沒找到別的方法，有知道大牛請提點下小弟），所以就想了個笨辦法，用匹配關鍵詞的方式來判斷特定目錄下，是apache日誌，還是weblogic日誌，還是IIS日誌，具體判斷方法如下：
if ls -l /usr/ | egrep "access";then
more /usr/access*.* | egrep "多個關鍵詞"
else
more /usr/ex*.log | egrep 「多個關鍵詞」
fi
這樣的方式來進行判斷，但是這樣判斷有個缺點，就是中間件日誌在/usr/目錄下，只能存在一種，比如同時存在apache和IIS的日誌，就會優先判斷apache的，進而不會執行IIS日誌分析的語句。而且，為了不跟之前的歷史數據混亂，在腳本執行開始，清空了下數據。
file=/usr/nmgxy/
if [ -e "$file" ];then
echo "日誌目錄存在，跳過創建過程，該操作會清空/usr/nmgxy/目錄下所有數據"
echo "按回車鍵開始清空數據，結束請點擊Ctrl+c"
read key
rm -r /usr/nmgxy/*
mkdir -p /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/ /usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/
else
mkdir -p /usr/nmgxy/ /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/
/usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/
fi
echo "分析結果日誌保存在/usr/nmgxy/目錄下"
echo ---------------------日誌目標文件---------------------------
if ls -l /usr/ | egrep "access";then
echo --------------------統計出現次數最多的前20個IP地址-----------------
cat /usr/access*.* |awk '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/top20.log
echo "統計完成"
二、定義攻擊特徵
日誌讀取的問題解決了，接下來就是定義攻擊特徵的事兒了，攻擊特徵比較好定義。例如，SQL注入攻擊的判斷：
echo ------------------------SQL注入攻擊sql.log----------------
echo "開始分析存在SQL注入的攻擊行為，並將結果保存在/usr/nmgxy/sql/目錄下"
more /usr/access*.* |egrep
"%20select%20|%20and%201=1|%20and%201=2|%20exec|%27exec|
information_schema.tables|%20information_schema.tables|%20where%20|%20union%20|%20SELECT%20|%2ctable_name%20|cmdshell|%20table_schema"
>/usr/nmgxy/sql/sql.log
echo "分析結束"
awk '{print "共檢測到SQL注入攻擊" NR"次"}' /usr/nmgxy/sql/sql.log|tail -n1
echo "開始統計SQL注入攻擊事件中，出現頻率最多的前20個IP地址"
cat /usr/nmgxy/sql/sql.log |awk -F "[" '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/sql/top20.log
echo ----------------------------------------------------------
more /usr/nmgxy/sql/top20.log
echo "統計結束"
我把一些常見的SQL注入攻擊的特徵寫到了裡面，去掉了MSSQL資料庫存儲過程以及MSSQL資料庫才會出現的一些注入語句。
三、輸出匹配到的含有攻擊特徵的記錄
將匹配到的攻擊特徵內容，重新輸出到了另外一個log裡面，相當於做了一次篩選/usr/nmgxy/sql/sql.log
more /usr/access*.* |egrep
"%20select%20|%20and%201=1|%20and%201=2|%20exec|%27exec|
information_schema.tables|%20information_schema.tables|%20where%20|%20union%20|%20SELECT%20|%2ctable_name%20|cmdshell|%20table_schema"
>/usr/nmgxy/sql/sql.log
然後二次分析這個篩選過的文件，統計SQL注入攻擊出現的次數
awk '{print "共檢測到SQL注入攻擊" NR"次"}' /usr/nmgxy/sql/sql.log|tail -n1
輸出完畢後，將攻擊出現最多的前20個IP地址進行統計並顯示到屏幕上
echo "開始統計SQL注入攻擊事件中，出現頻率最多的前20個IP地址"
cat /usr/nmgxy/sql/sql.log |awk -F "[" '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/sql/top20.log
echo ----------------------------------------------------------
more /usr/nmgxy/sql/top20.log
echo "統計結束"
四、輸出結果
這個在代碼開頭，創建了一些文件夾，用來存放篩選過的記錄
mkdir -p /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/ /usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/
中間刪刪改改折騰了好幾次。後來針對特定的攻擊，我們比較關注（重點是比較好寫的= =）的內容做了HTTP響應請求200/500的判斷，並輸出結果。
echo -------------------------getshell-getshell.log----------------
echo "開始分析存在getshell的攻擊行為，並將結果保存在/usr/nmgxy/getshell/目錄下"
more /usr/access*.* |egrep "
eval|%eval|%execute|%3binsert|%20makewebtaski%20|/div.asp|/1.asp|/1.jsp|/1.php|/1.aspx|xiaoma.jsp|tom.jsp|py.jsp|k8cmd.jsp|/k8cmd|ver007.jsp|ver008.jsp|ver007|ver008|%if|\.aar"
>>/usr/nmgxy/getshell/getshell.log
echo "分析結束"
echo "二次分析結果中HTTP響應碼為200和500，結果另存為/usr/nmgxy/getshell/ok.log"
more /usr/nmgxy/getshell/getshell.log | awk '{if($9=200) {print $1" "$2"
"$3" "$4" "$6" "$7" "$8" "$9}}' >/usr/nmgxy/getshell/ok.log
more /usr/nmgxy/getshell/getshell.log | awk '{if($9=500) {print $1" "$2"
"$3" "$4" "$6" "$7" "$8" "$9}}' >>/usr/nmgxy/getshell/ok.log
echo "二次分析結束"
awk '{print "共檢測到getshell行為" NR "次"}' /usr/nmgxy/getshell/getshell.log|tail -n1
echo "開始統計漏洞利用攻擊事件中，出現頻率最多的前20個IP地址"
cat /usr/nmgxy/getshell/getshell.log |awk -F "[" '{print $1}' |sort
|uniq -c |sort -rn |head -20 >/usr/nmgxy/getshell/top20.log
echo ---------------------------------------------------------------
more /usr/nmgxy/getshell/top20.log
echo "統計結束"
統計HTTP響應狀態，IIS和apache有點區別。apache我以默認空格為分隔符，判斷第9個分隔符是否為200或500，如果等於，則輸出全部內容
more /usr/nmgxy/getshell/getshell.log | awk '{if($9=500) {print $1" "$2" "$3" "$4" "$6" "$7" "$8" "$9}}'
而IIS的，我則是用獲取關鍵詞的方式，來進行判斷。
more /usr/nmgxy/getshell/getshell.log | egrep " 200" >/usr/nmgxy/getshell/ok.log
用egrep的方式，關鍵詞為" 200"，200前面有個空格，如果不加空格的話，很容易跟其他的參數混起來，那個時候誤報就不是一點點了。例如asp?id=200，所以加入了空格做區分。
IIS和nginx的思路類似，唯一的區別就是特徵碼，稍微有點改動而已，這個就不一一例舉了。思路就是這個思路，其實後期想把報告整體輸出成HTML的方式，估計工作量挺大，這個還是得閑下來的時候，慢慢修改吧。
PS：這個腳本雖然寫的比較粗糙，但是精確度還是有的，測試了幾十次，精確度能達到至少80%以上。
分析1個多G的日誌文件，需要大致約30多秒左右，我是在虛擬機里做的測試。虛擬機ubuntu系統，1G的內存。
不見得能幫上大忙，至少可以給大家在分析日誌時節省點時間。。。。
先貼出apache、weblogic、IIS的腳本代碼，weblogic的從網盤直接下載就好。apache、weblogic、IIS的腳本代碼：
㈧ 如何shell命令編寫自己的Web日誌分析腳本
根據你的需要，把日誌文件定時放到某個目錄保存 然後對文件進行分析，grep出你需要的信息 然後可以重定向文件到別的新目錄 最後把你需要的文件打包歸檔處理
㈨ 新功能：阿里雲反爬蟲管理利器！
背景
爬蟲形勢
Web安全形勢一直不容樂觀, 根據 Globaldots的2018年機器人報告 , 爬蟲占據Web流量的42%左右.
為什麼要反爬
防資源過度消耗
大量的機器人訪問網站, 設想你的網站有42%的流量都不是真的人訪問的. 相當一部分還會大量佔用後台的網路帶寬, 伺服器計算, 存儲資源.
防黃牛黨
航空公司佔座: 黃牛黨利用惡意爬蟲遍歷航空公司的低價票，同時批量發起機器請求進行佔座，導致航班座位資源被持續佔用產生浪費，最終引發航班空座率高對航空公司造成業務損失，並且損害正常用戶的利益。
防薅羊毛黨
黃牛黨在電商活動時針對有限的高價值商品的限時秒殺、優惠活動等可牟利場景，批量發起機器請求來模擬正常的交易，再將商品、資源進行倒賣從中賺取差價，導致電商企業的營銷資源無法觸達正常用戶，而被黃牛牟取暴利。
防黑客
核心介面被刷: 登錄、注冊、簡訊等業務環節作為業務中的關鍵節點，相關介面往往會被黑客利用，為後續的欺詐行為作準備。
私信菜鳥007即可獲取數十套PDF！
為什麼需要日誌分析
找出隱藏更深的機器人
爬蟲與反爬蟲是一個攻與防的過程, 根據前述報告, 高級機器人占據了74%的比例(剩餘是比較簡單的機器人), 而根據 FileEye M-Trends 2018報告 ，企業組織的攻擊從發生到被發現，一般經過了多達101天，其中亞太地區問題更為嚴重，一般網路攻擊被發現是在近498（超過16個月）之後。有了日誌才能更好的找出隱藏很深的壞機器人.
了解機器人並區分對待
爬蟲也分好與壞, 搜索引擎來查詢, 才可以達到SEO效果並帶來更多有價值的訪問. 通過日誌可以幫助管理員更好的區分哪些是好的機器人, 並依據做出更加適合自己的反爬配置.
保留報案證據
發現非法攻擊的機器人, 可以保留攻擊者信息與路徑, 作為報警的重要證據.
增強運維效率
基於日誌可以發現異常, 並能快速報警並採取行動.
更多附加功能
依託日誌服務的其他功能, 可以發揮日誌的更大價值.
阿里雲反爬管理 - 實時日誌分析概述
阿里雲反爬管理
雲盾Anti-Bot Service是一款網路應用安全防護產品，專業檢測高級爬蟲，降低爬蟲、自動化工具對網站的業務影響。 產品提供從Web、App到API介面的一整套全面的惡意Bot防護解決方案，避免某一環節防護薄弱導致的安全短板。
阿里雲日誌服務
阿里雲的日誌服務（log service）是針對日誌類數據的一站式服務，無需開發就能快捷完成海量日誌數據的採集、消費、投遞以及查詢分析等功能，提升運維、運營效率。日誌服務主要包括 實時採集與消費、數據投遞、查詢與實時分析 等功能，適用於從實時監控到數據倉庫的各種開發、運維、運營與安全場景：
目前，阿里雲WAF與日誌服務打通，對外開發Web訪問與攻擊日誌。提供近實時的網站具體的日誌自動採集存儲、並提供基於日誌服務的查詢分析、報表報警、下游計算對接與投遞的能力。
發布地域
適用客戶
功能優勢
反爬日誌實時查詢分析服務具有以下功能優勢：
開通前提
限制說明
反爬管理所存儲的日誌庫屬於專屬的日誌庫，有如下限制：
使用場景
1.追蹤機器人爬取與封禁日誌，溯源安全威脅：
查看Top 100的爬取機器人列表:
2. 實時正常可信Web請求活動，洞察狀態與趨勢：
查看PV/UV訪問趨勢的SQL:
3. 快速了解安全運營效率，即時反饋處理：
查看有效請求與攔截率趨勢的SQL:
4. 輸出安全網路日誌到自建數據與計算中心
進一步參考
我們會陸續發布WAF安全日誌分析的最佳時間, 這里可以進一步參考相關用戶手冊：
㈩ 如何查看Web伺服器日誌
這些日誌信息對計算機犯罪調查人員非常有用。
所謂日誌是指系統所指定對象的某些操作和其操作結果按時間有序的集合。每個日誌文件由日誌記錄組成．每條日誌記錄描述了一次單獨的系統事件。通常情況下，系統日誌
是用戶可以直接閱讀的文本文件，其中包含了一個時間戳和一個信息或者子系統所特有的其他信息。日誌文件為伺服器、工作站、防火牆和應用軟體等IT資源相關活動記錄必要的、有價值的信息，這對系統監控、查詢、報表和安全審汁是十分重要的。日誌文件中的記錄可提供以下用途：監控系統資源，審汁用戶行為，對可疑行為進行報警，確定入侵行為的范圍，為恢復系統提供幫助，生成調查報告，為打擊計算機犯罪提供證據來源。
在windows操作系統中有一位系統運行狀況的忠實記錄者，它可以詳細記錄計算機從開機、運行到關機過程中發生的每一個事件，它就是「事件查看器」。用戶可以利用這個系統維護工具，收集有關硬體、軟體、系統問題方面的信息，並監視系統安全事件，將系統和其他應用程序運行中的錯誤或警告事件記錄下來，便於診斷和糾正系統發生的錯誤和問題。
可以雙擊「控制面板」中「管理工具」中的「事件查看器」，打開事件查看器窗口