Apache HTTP服务器日志文件的理解(2)

上述配置是一种被称为通用日志格式(CLF)的记录格式，它被许多不同的Web服务器所采用，并被许多日志分析程序所识别，它产生的记录形如：
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326
记录的各部分说明如下：
127.0.0.1 (%h)
这是发送请求到服务器的客户的IP地址。如果HostnameLookups设为 On ，则服务器会尝试解析这个IP地址的主机名并替换此处的IP地址，但并不推荐这样做，因为它会显著拖慢服务器，最好是用一个日志后续处理器来判断主机名，比如logresolve 。如果客户和服务器之间存在代理，那么记录中的这个IP地址就是那个代理的IP地址，而不是客户机的真实IP地址。
- (%l)
这是由客户端identd进程判断的RFC1413身份(identity)，输出中的符号"-"表示此处的信息无效。除非在严格控制的内部网络中，此信息通常很不可靠，不应该被使用。只有在将IdentityCheck指令设为 On 时，Apache才会试图得到这项信息。
frank (%u)
这是HTTP认证系统得到的访问该网页的客户标识(userid)，环境变量REMOTE_USER会被设为该值并提供给CGI脚本。如果状态码是401，表示客户未通过认证，则此值没有意义。如果网页没有设置密码保护，则此项将是"-"。
[10/Oct/2000:13:55:36 -0700] (%t)
这是服务器完成请求处理时的时间，其格式是：
[日/月/年:时:分:秒 时区]
日 = 2数字
月 = 3字母
年 = 4数字
时 = 2数字
分 = 2数字
秒 = 2数字
时区 = (+|-)4数字
可以在格式字符串中使用 %{format}t 来改变时间的输出形式，其中的format与C标准库中的strftime()用法相同。
"GET /apache_pb.gif HTTP/1.0" (\"%r\")
引号中是客户端发出的包含许多有用信息的请求行。可以看出，该客户的动作是GET ，请求的资源是/apache_pb.gif ，使用的协议是HTTP/1.0 。另外，还可以记录其他信息，如：格式字符串"%m %U%q %H"会记录动作、路径、查询字符串、协议，其输出和"%r"一样。
200 (%>s)
这是服务器返回给客户端的状态码。这个信息非常有价值，因为它指示了请求的结果，或者是被成功响应了(以2开头)，或者被重定向了(以3开头)，或者出错了(以4开头)，或者产生了服务器端错误(以5开头)。完整的状态码列表参见HTTP规范(RFC2616第10章)。
2326 (%b)
最后这项是返回给客户端的不包括响应头的字节数。如果没有信息返回，则此项应该是"-"，如果希望记录为"0"的形式，就应该用%B 。
组合日志格式(Combined Log Format)
另一种常用的记录格式是组合日志格式，形式如下：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" combined
CustomLog log/access_log combined
这种格式与通用日志格式类似，但是多了两个 %{header}i 项，其中的header可以是任何请求头。这种格式的记录形如：
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "" "Mozilla/4.08 [en] (Win98; I ;Nav)"
其中，多出来的项是：
"" (\"%{Referer}i\")
"Referer"请求头。此项指明了该请求是被从哪个网页提交过来的，这个网页应该包含有/apache_pb.gif或者其连接。
"Mozilla/4.08 [en] (Win98; I ;Nav)" (\"%{User-agent}i\")
"User-Agent"请求头。此项是客户端提供的浏览器识别信息。
多文件访问日志
可以简单地在配置文件中用多个CustomLog指令来建立多文件访问日志。如下例，既记录基本的CLF信息，又记录提交网页和浏览器的信息，最后两行CustomLog示范了如何模拟ReferLog和AgentLog指令的效果。
LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog logs/access_log common
CustomLog logs/referer_log "%{Referer}i -> %U"
CustomLog logs/agent_log "%{User-agent}i"
此例也说明了，记录格式可以直接由CustomLog指定，而并不一定要用LogFormat起一个别名。
条件日志
许多时候，根据与请求特征相关的环境变量来有选择地记录某些客户端请求会带来便利。首先，需要使用SetEnvIf指令来设置特定的环境变量以标识符合某种特定条件的请求，然后用CustomLog指令的 env= 子句，根据这些环境变量来决定记录或排除特定的请求。例如：
# 不记录本机发出的请求
SetEnvIf Remote_Addr "127\.0\.0\.1" dontlog
# 不记录对robots.txt文件的请求
SetEnvIf Request_URI "^/robots\.txt$" dontlog
# 记录其他请求
CustomLog logs/access_log common env=!dontlog
再如，将使用英语的请求记录到一个日志，而记录非英语的请求到另一个日志：
SetEnvIf Accept-Language "en" english
CustomLog logs/english_log common env=english
CustomLog logs/non_english_log common env=!english
虽然上述已经展示了条件日志记录的强大和灵活，但这不是控制日志内容的唯一手段，还可以用日志后继处理程序来剔除你不关心的内容，从而使日志更加有用。
top
日志滚动
即使一个并不繁忙的服务器，其日志文件的信息量也会很大，一般每10000个请求，访问日志就会增加1MB或更多。这就有必要定期滚动日志文件。由于Apache会保持日志文件的打开，并持续写入信息，因此服务器运行期间不能执行滚动操作。移动或者删除日志文件以后，必须重新启动服务器才能让它打开新的日志文件。
用优雅的(graceful)方法重新启动，可以使服务器启用新的日志文件，而不丢失原来尚未写入的信息。为此，有必要等待一段时间，让服务器完成正在处理的请求，并将记录写入到原来的日志文件。以下是一个典型的日志滚动和为节省存储空间而压缩旧日志的例子：
mv access_log access_log.old
mv error_log error_log.old
apachectl graceful
sleep 600
gzip access_log.old error_log.old
另一种执行滚动的方法是使用下一节阐述的管道日志。
top
管道日志
Apache httpd可以通过管道将访问记录和出错信息传递给另一个进程，而不是写入一个文件，由于无须对主服务器进行编程，这个功能显著地增强了日志的灵活性。只要用管道操作符"|"后面跟一个可执行文件名，就可以使这个程序从标准输入设备获得事件记录。Apache在启动时，会同时启动这个管道日志进程，并且在运行过程中，如果这个进程崩溃了，会重新启动这个进程(所以我们称这个技术为"可靠管道日志")。
管道日志进程由其父进程Apache httpd产生，并继承其权限，这意味着管道进程通常是作为root运行的，所以保持这个程序简单而安全极为重要。
管道日志的一种重要用途是，允许日志滚动而无须重新启动服务器。为此，服务器提供了一个简单的程序rotatelogs 。每24小时滚动一次日志的例子如下：
CustomLog "|/usr/local/apache/bin/rotatelogs /var/log/access_log 86400" common
注意：引号用于界定整个管道命令行。虽然这是针对访问日志的，但是其用法对于其他日志也一样。
在其他站点，有一个类似但更灵活的日志滚动程序叫cronolog 。
如果有较简单的离线处理日志的方案，就不应该使用条件日志和管道日志，即使它们非常强大。