A. web日志都包括哪些内容
想看Web日志,到网上去下一个Web日志分析器
这里是下载页面,你自己去看看吧,看了就知道了
http://www.zhujiangroad.com/software/html/49/49443.html
B. web日志是什么
web日志是保存浏览过的网页的记录
C. web服务器工作日志文件格式
摘要 亲~您好！我是北虹老师：您的问题我已帮您整理好资料：【WEB日志格式
D. 通过万网的控制面板，配置WebLog日志下载说明
当您想查看站点的详细的WebLog日志时，可以通过此功能将您想查看的一段时间内日志文件先拷到您站点的wwwlogs目录下，您可以通过FTP的方式将日志文件下载到您本地进行查看。
注意：
1、由于日志文件较大，当您将日志文件下载到本地后，将您站点的wwwlogs目录下的文件删除，以便节省您的Web空间。
2、我们只提供一周内的日志文件下载。
E. 怎么个.net web写日志记录用户使用情况
其实Log4net真的很方便，你要官网上下载一个log4net 的dll文件，然后在你的项目中引用就要以了。然后简单的配置一下你上场的记录形式，比如是数据库形式记录还是文件形式记录。进行完这些操作后，你可以很轻松的进行日志记录了。如果你愿意的话，你可以把Log4net封闭成一个wcf，供其实项目调用使用，实现log4net的通用。减少了其他人的配置。哈哈，一定要自己尝试，尝试的过程中能学到好多东西。
F. 如何保护Web服务器中日志安全
Web日志记录了web服务器接收处理请求，以及其运行时的错误等各种原始信息。通过对日志进行统计、分析、综合，就能有效地掌握服务器的运行状况，发现和排除错误、了解客户访问分布等，方便管理员更好地加强服务器的维护和管理。另外，Web日志也是判断服务器安全的一个重要依据，通过其可以分析判断服务器是否被入侵，并通过其可以对攻击者进行反向跟踪等。因此，对于Web日志攻击者往往以除之而后快。
一、攻击者清除日志的常用伎俩 1、Web服务器系统中的日志 以WindowsServer 2003平台的Web服务器为例，其日志包括：安全日志、系统日志、应用程序日志、WWW日志、FTP日志等。对于前面的三类日志可以通过“开始→运行”输入eventvwr.msc打开事件查看器进行查看，WWW日志和FTP日志以log文件的形式存放在硬盘中。具体来说这些日志对应的目录和文件为： (1).安全日志文件:C:WINDOWSsystem32configSecEvent.Evt (2).系统日志文件:C:WINDOWSsystem32configSysEvent.Evt (3).应用程序日志文件:C:WINDOWSsystem32configAppEvent.Evt (4).FTP日志默认位置:C: (5).WWW日志默认位置:C:、非法清除日志 上述这些日志在服务器正常运行的时候是不能被删除的，FTP和WWW日志的删除可以先把这2个服务停止掉，然后再删除日志文件，攻击者一般不会这么做的。系统和应用程序的日志是由守护服务Event Log支持的，而它是没有办法停止的，因而是不能直接删除日志文件的。攻击者在拿下Web服务器后，一般会采用工具进行日志的清除，其使用的工具主要是CL和CleanIISLog。 (1).利用CL彻底清除日志 这个工具可以彻底清除IIS日志、FTP日志、计划任务日志、系统日志、安全日志等，使用的操作非常简单。 在命令下输入“cl -logfiles 127.0.0.1”就可以清除Web服务器与Web和FTP和计划任务相关的日志。其原理就是先把FTP、WWW、Task Scheler服务停止再删除日志，然后再启动三个服务。(图2)celialin 该工具还可以选择性地清除相应的日志，比如输入“cl -eventlog All”就会清除Web服务器中与系统相关的日志。另外，此工具支持远程清理，这是攻击者经常采用的方法。首先他们通过命令“netuse ipipc$ 密码/user:用户名”在本地和服务器建立了管理员权限的IPC管理连接，然后用“CL -LogFile IP”命令远程清理服务日志。(图3)
(2).利用CleanIISLog选择性地清理IIS日志 比如攻击者通过Web注入方式拿下服务器，这样他的入侵痕迹(IP地址)都留在了IIS日志里。他们利用该工具只把其在IIS日志中的IP地址进行清除，这样就不会让对方管理员起疑心。 在命令中执行“CleanIISLog . IP”就可以清除IIS日志中有关该IP的连接记录同时保留其它IP记录。如果管理做了防范，比如更改了IIS日志的路径，攻击者在确定了日志的路径后，也可以通过该工具进行清除，其操作是，在命令行下执行“CleanIISLog IIS日志路径 IP地址”来清除指定IIS路径的IP记录。(图4)二、打造日志服务器保护日志 通过上面的演示可以看到，如果将服务器的日志保存在本地是非常不安全的。而且，如果企业中的服务器非常多的话，查看日志会非常麻烦。基于以上考虑，打造专门的日志服务器，即有利于服务器日志的备份又有利用于集中管理。 笔者的做法是，搭建一个FTP服务器用来日志的集中和备份，可以在服务器中通过专门的工具或者计划任务来实现日志的自动上传备份。这部分内容比较简单，笔者就不演示了。其实不仅可以将服务器日志备份到专门的日志服务器上，日志服务器还可以实现网络设备的日志备份。 以路由器为例，首先在其上进行设置，指定记录日志的服务器，最后通过FTP协议将日志数据传输到FTP服务器上。搭建FTP服务器可以利用IIS的FTP或者Serv-u，但是笔者觉得IIS的FTP在权限分配上不够方便，而Serv-u有漏洞太多，因此推荐TYPSoft FTP。 1、架设日志服务器 TYPSoft FTP是绿色软件，下载解压后双击ftpserv.exe文件，启动typsoft fip主程序。启动后，点击主界面菜单中的“设定→用户”，建立新账户log。接着在用户界面中设置log账号所对应的用户密码和日志保存的目录，最后点击“保存”按钮使设置生效，这样日志服务器就架好了。(图5)2、日志服务器的指定 当搭建好日志服务器后，只需要到相应的网络设置中通过SYSLOG或LOG命令指定要保存日志的服务器地址即可，同时加上设置好的账户名和密码即可完成传输配置工作。下面笔者就以Cisco6509设备上配置及指定日志服务器为例。 正常登录到设备上然后在全局配置模式下输入logging 192.168.1.10，它的意思是在路由器上指定日志服务器地址为192.168.1.10。接着输入logging trap，它的意思是设置日志服务器接收内容，并启动日志记录。trap后面可以接参数0到7，不同级别对应不同的情况，可以根据实际情况进行选择。如果直接使用logging trap进行记录的话是记录全部日志。配置完毕后路由交换设备可以发送日志信息，这样在第一时间就能发现问题并解决。日志服务器的IP地址，只要是能在路由交换设备上ping通日志服务器的IP即可，不一定要局限在同一网段内。因为FTP属于TCP/IP协议，它是可以跨越网段的。(图6) 总结：本文从攻击者的角度解析对Web日志的删除和修改，目的是让大家重视服务器日志的保护。另外，搭建专门的日志服务器不仅可以实现对日志的备份，同时也更利用对日志的集中管理。
G. 现在要做基于Web日志挖掘的数据预处理，有没有可以用来做实验的现成的Web服务器日志文件数据集啊，跪求！
一般的web日志数据都是公司的财富，不会轻易公开
如果你只需要样例，可以去CSDN下载一些，有很多人公开，但是需要C币，这个得自己想点办法
H. 如何将Web日志文件导入数据库
这几天写论文做实验，Web日志挖掘部分第一步就是对Web日志进行预处理。所谓预处理就是将Web日志中没有用的记录和字段去掉。根据我的实验需要需要保留的是有效用户对于有效页面的访问时间，就这三个字段就可以。做数据预处理的第一步是将以文本形式保存的Web日志导入数据库，然后利用sql语句对其所导入的数据库表进行操作就可以完成数据与处理。
Web日志的形式如下图所示：
这个部分之前一直不是很明白，询问去年做过这个工作的两个哥们，其中一个说用C++中STL部分可以实现，另一个说是将日志按行读取，分割内容存入数据库，然后读取下一行，却没有做具体工作。总之这两个人所说的都是利用编码来实现文本的读取和内容的分割最后再导入数据库。这样在理论上是可行的，但是实际操作起来还是有很大的麻烦的，以现在的时间来看是来不及的。
还好在相关文献上看到有人提到用SQL
Server2000种的DTS工具可以实现这个导入功能。在网上进行搜索居然没有任何有用的类似于教程的文章，手头还没有SQL
Server的书籍，只能自己研究了，经过了一个小时的研究终于将这个问题解决。
Web日志文件虽然是文本文件，但是它的后缀是.log，如果想将其导入数据库必须首先将其后缀改称.txt。然后打运行SQL
Server2000的服务管理器，打开企业管理器。建立新的数据库Weblog，然后利用工具DTS进行操作，DTS即数据转换服务。操作为“工具—〉数据转换服务—〉导入数据”，出现如下对话框如图2所示。
在图3对话框中的数据源选择文本文件，对话框变成图4所示界面。点击文件名处右边的浏览按钮可以选择所要读取的文本文件形式的日志。这里只能读取.txt文件，所以前面一定要将Web日志的后缀.log改成后缀.txt。
根据图1我们看到Web日志头四行都是日志的信息，比如时间和文件格式，所以在跳过行里面要写跳过4行。下一步进入图6所示界面。
在图6种需要选择如何对文本文件中每一行的各个字段进行区分。选择方式如图中所示。由于Web日志每行为一个记录，每条记录中每一个字段中间都是用空格来进行分隔，所以选择“其它”然后在其对话框中填入一个空格键“
”，系统就将对数据进行处理进行划分，得到分割好的记录。当然相应字段的名称是错误的，这个可以在以后生成数据库表文件后对表进行设计修改。点击下一步进入图7所示界面。
单击下一步之后就可以完成数据导入。
然后刷新数据库Weblog，就可以看到与Web日志同名的新的数据库表文件。修改相应字段的名称，就可以完成数据的导入和数据库表的建立。
接下来可以利用查询分析器对Web日志的数据库表进行操作，完成数据预处理，进而进行日志挖掘或者流量分析。
I. 如何获取某个Web站点的服务器日志
自己有服务器的先打开“Internet 信息服务”，选择你的网站属性，下面有“启用日志记录”，一般有三个选项：W3C扩展日志文件格式、Microsoft IIS 日志文件格式、NCSA公用日志文件格式，默认是:W3C扩展日志文件格式，选择右边的属性，下面有日志文件名：(例 如：W3SCC1\ncyymmdd.log),日志存放目录一般是:C:\WINDOWS\system32\LogFiles，如果你要打开日志文件 夹，那地址就是C:\WINDOWS\system32\LogFiles\W3SCC1。 如果用虚拟主机的可以到服务器商的后台选择日志保存后用 FTP去下载，一般都放在log文件夹内。
J. web日志分析工具 怎么确认被攻击
Apache 服务器
预安装在Kali Linux
可以用以下命令开启：
service apache2 start
MySQL
预安装在Kali Linux
可以用以下命令开启：
service mysql start
使用PHP-MySQL创建一个有漏洞的web应用
我使用PHP开发了一个有漏洞的web应用并且把它放在上面提到的 Apache-MySQL里面。
上述设置完成后，我用了一些Kali Linux中的自动工具（ZAP、w3af）扫描这个有漏洞的应用的URL。
现在让我们来看看分析日志中的不同情况。
0x02 Apache服务中的日志记录
Debian系统上Apache服务器日志的默认位置为：/var/log/apache2/access.log
日志记录只是在服务器上存储日志。我还需要分析日志以得出正确结果。在接下来的一节里，我们将看到我们如何分析Apache服务器的访问日志以找出web站点上是否有攻击尝试。
分析日志
手动检查
在日志量较小的情况下，或者如果我们查找一个指定关键词，可以使用像grep表达式这样的工具观察日志。
在下图中，我们在URL中试图搜寻所有关键词为“union”的请求。
从上图中，我们可以看到URL中的“union select 1,2,3,4,5”请求。很明显，ip地址为 192.168.56.105的某人尝试了SQL注入。 类似地，当我们有自己的关键词时可以搜索特殊的关键词。
在下图中，我们正在搜索试图读取“/etc/passwd”的请求，很明显是本地文件包含尝试。
如上面的截图所示，我们有许多本地文件包含的尝试，且这些请求发送自ip地址 127.0.0.1。
很多时候，能轻易通过日志看出是否是自动化扫描器产生的。
举例来说， IBM appscan在许多攻击payload中使用“appscan”这个词。所以，在日志中查看这样的请求，我们基本就可以判断有人在使用appscan扫描网站。
Microsoft Excel也是一个打开日志文件和分析日志的不错的工具。我们可以通过指定“空格”为分隔符以用excel打开日志文件。
当我们手头没有日志分析工具时，这个也挺好用的。
除了这些关键词，在分析期间要了解HTTP状态代码的基础知识。以下是关于HTTP状态代码的高级信息的表格。
0x03 Web shells
webshell是网站/服务器的另一个问题。webshell可以已web server权限控制服务器。
在一些情况下，我们可以使用webshell来访问所有放在相同服务器上的其他站点。
以下截图显示了Microsoft Excel 中开启相同的access.log文件。
我们清楚地看到有一个叫“b374k.php”的文件被访问了。“b374k”是一个流行的webshell，因此这个文件是很可疑的。
查看相应代码“200”，本行表明有人上传了一个webshell并访问了它。
在许多情况下，攻击者重命名webshell的名字以避免怀疑。我们必须变得聪明点，看看被访问的文件是否是常规文件或者是否他们看起来不太一样。我们可以更进一步，如果任何文件看起来可疑的话，还可以查看文件类型和时间戳。
One single quote for the win
SQL注入是web应用中最常见的漏洞之一。大多数学习web应用安全的人是从学习SQL注入开始的。
识别一个传统的SQL注入很容易，给URL参数添加一个单引号看看是否报错。
任何我们传递给服务器的东西都会被记录，并且可以朔源。
以下截图显示了日志当中记录了有对参数user传入单引号测试是否有SQL注入的行为。
%27是单引号的URL编码。
出于管理目的，我们还可以运行查询监视来查看数据库中的哪个请求被执行了。
如果我们观察以上图片，传递一个单引号给参数“user”的SQL语句被执行了。
0x04 使用自动化工具分析
当存在大量日志时。手动检查就会变得困难。在这种情景下，除了一些手动检查之外我们可以使用自动化工具。
虽然有许多高效的商业工具，但是我要向你们介绍一款被称为“Scalp”的免费工具。
据他们的官方链接所说，Scalp是用于Apache服务器，旨在查找安全问题的日志分析器。主要理念是浏览大量日志文件并通过从HTTP/GET中提取可能的攻击。
Scalp可以从以下链接下载：
https://code.google.com/p/apache-scalp/
Scalp是python脚本，所以要求我们的机器中安装python。
以下图片显示该工具的帮助。
如我们在上图所见，我们需要使用标志-l来提供要分析的日志文件。
同时，我们需要提供使用标志-f提供一个过滤文件让Scalp在access.log文件中识别可能的攻击。
我们可以使用PHPIDS项目中的过滤器来检测任何恶意的尝试。
该文件名为“default_filter.xml ”，可以从以下链接中下载：
https://github.com/PHPIDS/PHPIDS/blob/master/lib/IDS/default_filter.xml
以下代码块是取自上面链接的一部分。
1
2
3
4
5
6
7
8
9
10
11
<filter>
<id>12</id>
<rule><![CDATA[(?:etc\/\W*passwd)]]></rule>
<description>Detects etc/passwd inclusion attempts</description>
<tags>
<tag>dt</tag>
<tag>id</tag>
<tag>lfi</tag>
</tags>
<impact>5</impact>
</filter>
它是使用XML标签定义的规则集来检测不同的攻击测试。以上代码片段是检测文件包含攻击尝试的一个示例。
下载此文件之后，把它放入Scalp的同一文件夹下。
运行以下命令来使用Scalp分析日志。
1
python scalp-0.4.py –l /var/log/apache2/access.log –f filter.xml –o output –html
“output”是报告保存的目录。如果不存在的话，由Scalp自动创建。-html是用来生成HTML格式的报告。 如我们在上图看到的那样，Scalp结果表明它分析了4001行，超过4024并发现了296个攻击模式。
运行上述命令后在输出目录内生成报告。我们可以在浏览器内打开它并查看结果。 下面截图显示的输出显示了目录遍历攻击尝试的一小部分。
MySQL中的日志记录
本节论述了数据库中的攻击分析和监视它们的方法。
第一步是查看设置了什么变量。我们可以使用“show variables;”完成，如下所示。
接下来显示了上述命令的输出。
如我们在上图中看到的，日志记录已开启。该值默认为OFF。
这里另一个重要的记录是 “log_output”，这是说我们正在把结果写入到文件中。另外，我们也可以用表。
我们可以看见“log_slow_queries”为ON。默认值为OFF。
所有这些选项都有详细解释且可以在下面提供的MySQL文档链接里直接阅读：
MySQL的查询监控
请求日志记录从客户端处收到并执行的语句。默认记录是不开启的，因为比较损耗性能。
我们可以从MySQL终端中开启它们或者可以编辑MySQL配置文件，如下图所示。
我正在使用VIM编辑器打开位于/etc/mysql目录内的“my.cnf”文件。
如果我们向下滚动，可以看见日志正被写入一个称为“mysql.log”的文件内。
我们还能看到记录“log_slow_queries” ，是记录SQL语句执行花了很长时间的日志。
现在一切就绪。如果有人用恶意查询数据库，我们可以在这些日志中观察到。如下所示：
上图显示了查询命中了名为“webservice”的数据库并试图使用SQL注入绕过认证。