Squid 日志详解

评论关闭

access.log 日志

在squid中access访问日志最为重要,位于/var/log/squid/access.log,Squid把关于HTTP响应的关键信息存放在access.log里。该文件是基于行的,也就是说每行对应一个客户端请求。 squid记录客户端IP(或主机名)、请求URL、响应size、和其他信息。
常用的记录格式如下(包含了10个域):

例如:

1206507660.803  84367 192.168.1.114 TCP_MISS/502 1486 GET http://123.138.238.114/QQ2008SpringKB1.exe – DIRECT/123.138.238.114 text/html

下面来看看意思

logformat squid %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt
  1. 时间戳: 请求完成时间,以 Unix 时间来记录的(UTC 1970-01-01 00:00:00 开始的时间)它是毫秒级的。 squid使用这种格式而不是人工可读的时间格式,是为了简化某些日志处理程序的工作。
  2. 响应时间: 对HTTP响应来说,该域表明squid花了多少时间来处理请求。在squid接受到HTTP请求时开始计时,在响应完全送出后计时终止。响应时间是毫秒级的。尽管时间值是毫秒级的,但是精度可能是10毫秒。在squid负载繁重时,计时变得没那么精确。
  3. 客户端地址: 该域包含客户端的IP地址,或者是主机名.
  4. 结果/状态码: 该域包含2个 token,以斜杠分隔。第一个token叫结果码,它把协议和响应结果(例如TCP_HIT或UDP_DENIED)进行归类。这些是squid专有的编码,以TCP_开头的编码指HTTP请求,以UDP_开头的编码指ICP查询。第2个token是HTTP响应状态码(例如200,304,404等)。状态码通常来自原始服务器。在某些情形下,squid可能有义务自己选择状态码.
  5. 传输size: 该域指明传给客户端的字节数。严格的讲,它是squid告诉TCP/IP协议栈去发送给客户端的字节数。这就是说,它不包括TCP/IP头部的overhead。也请注意,传输size正常来说大于响应的Content-Length。传输size包括了HTTP响应头部,然而Content- Length不包括。
  6. 请求方式: 该域包含请求方式.
  7. URI: 该域包含来自客户端请求的URI。大多数记录下来的URI实际是URL(例如,它们有主机名)。在记日志时,squid删掉了在第一个问号(?)之后的所有URI字符,除非禁用了strip_query_terms指令。
  8. 客户端身份: 无
  9. 对端编码/对端主机: 对端信息包含了2个token,以斜杠分隔。它仅仅与cache 不命中的请求有关。第一个token指示如何选择下一跳,第二个token是下一跳的地址。当squid发送一个请求到邻居cache时,对端主机地址是邻居的主机名。假如请求是直接送到原始服务器的,则squid会写成原始服务器的IP地址或主机名–假如禁用了log_ip_on_direct。 NONE/-这个值指明squid不转发该请求到任何其他服务器。
  10. 内容类型: 原始access.log的默认的最后一个域,是HTTP响应的内容类型。 squid从响应的Content-Type头部获取内容类型值。假如该头部丢失了,squid使用一个横杠(-)代替。

假如激活了 log_mime_hdrs 指令,squid在每行追加2个附加的域:

  • HTTP请求头部: Squid 编码HTTP请求头部,并且在一对方括号之​​间打印它们。方括号是必须的,因为squid不编码空格字符。编码方案稍许奇怪。回车(ASCII 13)和换行(ASCII 10)分别打印成\r和\n。其他不可打印的字符以RFC 1738风格来编码,例如Tab(ASCII 9)变成了%09。
  • HTTP响应头部: Squid编码HTTP响应头部,并且在一对方括号之​​间打印它们。注意这些是发往客户端的头部,可能不同于从原始服务器接受到的头部。

如果日志需要给 awstats 分析和让人可读性更加好,可能需要修改日志为 combined:

logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh
access_log /var/log/squid/access.log combined

会显示为

110.211.14.58 – - [04/Apr/2008:00:07:39 +0800] “GET http://www.php-oa.com/0.flv HTTP/1.1″ 206 139732 “-” “Mozilla/4.0 (compatible; MSIE 6.0;)” TCP_HIT  13936

store.log

在 store.log 记录上面不能从 access.log 中的一些信息,如 Squid 关于存储或删除 cache 目标的相关的一些操作和时间.对每个 Squid 中存储的文件和不能 cache 的文件,以及每个被轮换策略删除的文件,Squid 都会创建相应的日志.
注意这个日志文件记录了所有的文件.
信息有如下的一些信息:

  • 某个特定的 HTTP 请求是否被 cache.
  • cache 目标的文件号.可以通过应用的 UFS 存储机制,来查到该文件号到路径名,并且检查 cache 文件的内容.
  • 响应的内容长度: 包括 Content-Length 值和实际的 body 大小.
  • Date, Last-Modified, 和 Expires 等过期头部的值.
  • 响应的 cache 关键字(例如MD5 hash值).

1323468268.676 RELEASE -1 FFFFFFFF 3D7E036366ECC176665F3ED635E9B058  200 1323467369 1322847727 1365003369 video/x-flv 521858017/96195 GET http://www.php-oa.com/0.flv

如上:每个日志条目包含如下13个域:

  1. 时间戳: 事件何时发生,表现为Unix纪元以来的秒数,它是毫秒级的.
  2. 动作: cache目标发生的动作.该域有3个可能值:SWAPOUT,RELEASE,和SO_FAIL.
    • SWAPOUT在Squid成功的存储目标到磁盘时发生.某些目标例如那些消极cache的,仅保存在内存而不是磁盘,Squid不会在store.log裡记录它们.
    • SO_FAIL表明Squid不能完整的存储目标到磁盘.多半意味着存储机制拒绝以写方式打开新的磁盘文件.
    • RELEASE在Squid从cache裡删除目标,或首先就决定响应不可存储时发生.
  3. 目录号: 目录号是十进制小数形式,它是个到cache目录的7位索引.对没有存储到磁盘的目标,该域包含-1值.
  4. 文件号: 文件号是25位的标识符,内在的被squid使用.它被写成8字符的十六进制号.对UFS基础的存储机制没有存储到磁盘的目标,没有有效的文件号.对这些目标,该域的值是FFFFFFFF.仅仅在RELEASE和SO_FAIL情况下才会出现这个值.
  5. cache关键字: Squid使用MD5哈希值作为主要的索引来定位目标.该关键字基于请求方式、URI、和其他可能的信息计算得来.可以从cache关键字来查找store.log条目.
  6. 状态码: 该域显示响应的HTTP状态码,跟access.log一样.表13.1是状态码列表.
  7. 日期: HTTP响应的Date头部值,表现为Unix纪元以来的秒数.值-1表示Date头部不可解析,-2意味着头部完缺.
  8. 最后修改时间: HTTP响应的Last-Modified头部值,表现为Unix纪元以来的秒数.值-1表示Last-Modified头部不可解析,-2意味着头部完缺.
  9. 过期时间: HTTP响应的Expires头部值,表现为Unix纪元以来的秒数.值-1表示Expires头部不可解析,-2意味着头部完缺.
  10. 内容类型: HTTP响应的Content-Type头部值,排除了任何media-type参数.假如Content-Type丢失了,Squid插入值unknown.
  11. 内容长度/大小: 该域包含2个数字,以斜杠分开.第一个是Content-Length头部值. -1表明Content-Length头部不存在.第二个是HTTP消息 body的实际大小.你可使用这2个数字来部分的验证接受到的响应,并验证原始服务器是否不正确的计算了内容长度.大多数情形下,这2个数字相等.
  12. 方式: 请求目标的HTTP方式,跟access.log里的一样.
  13. URI: 最后一个域是请求URI,跟access.log里的一样.该域也有前述章节提到的空格问题.然而,这里不必为此担忧,因为你可安全的忽略任何多余的域.

对许多RELEASE的条目,在最后8个域出现的是疑问号(?).这是因为这些域的大部分值来自squid称为MemObject的结构.该结构仅在目标已被接受时,或目标被完整存储在内存时,才会出现. Squid cache里的大部分目标没有MemObject结构,因为它们仅存在于磁盘.对这些情况,Squid在相应域放置一个疑问号.

简单分析

squid的日志很重要.常常要了解的,其中最重要的就是命中率啦,不然反向代理做的用就不大.

#cat access.log|gawk ‘{print $4}’|sort|uniq -c|sort -nr

9568 TCP_IMS_HIT/304
6313 TCP_HIT/200
2133 TCP_MISS/200
1568 TCP_MISS/206
587 TCP_MEM_HIT/200
531 TCP_MISS/304
207 TCP_REFRESH_HIT/200
152 TCP_REFRESH_HIT/304
86 TCP_NEGATIVE_HIT/404
69 TCP_MISS/404
9 TCP_MISS/000
4 TCP_MISS/503
1 TCP_REFRESH_MISS/000
1 TCP_DENIED/400

可以使用上面的方法,大约的分析一下命令中比.什么意思就看下面的详解.

#cat /var/log/squid/access.log |grep TCP_MEM_HIT

如果看到很多的TCP_MEM_HIT ,这表明该文件是从内存缓存读取的,squid已经起作用了!你再用浏览器打开该文件,应该是快如闪电了..呵呵,大功告成了!还有其他类型的HIT,如TCP_HIT等等,这些是从磁盘读取的,我觉得加速的意义不大,只不过缓解了apache的压力而已.

相应于HTTP请求,下列标签可能出现在access.log文件的第四个域.

TCP_HIT

Squid发现请求资源的貌似新鲜的拷贝,并将其立即发送到客户端.

TCP_MISS

Squid没有请求资源的cache拷贝.

TCP_REFERSH_HIT

Squid发现请求资源的貌似陈旧的拷贝,并发送确认请求到原始服务器.原始服务器返回304(未修改)响应,指示squid的拷贝仍旧是新鲜的.

TCP_REF_FAIL_HIT

Squid发现请求资源的貌似陈旧的拷贝,并发送确认请求到原始服务器.然而,原始服务器响应失败,或者返回的响应Squid不能理解.在此情形下,squid发送现有cache拷贝(很可能是陈旧的)到客户端.

TCP_REFRESH_MISS

Squid发现请求资源的貌似陈旧的拷贝,并发送确认请求到原始服务器.原始服务器响应新的内容,指示这个cache拷贝确实是陈旧的.

TCP_CLIENT_REFRESH_MISS

Squid发现了请求资源的拷贝,但客户端的请求包含了Cache-Control: no-cache指令.Squid转发客户端的请求到原始服务器,强迫cache确认.

TCP_IMS_HIT

客户端发送确认请求,Squid发现更近来的、貌似新鲜的请求资源的拷贝.Squid发送更新的内容到客户端,而不联系原始服务器.

TCP_SWAPFAIL_MISS

Squid发现请求资源的有效拷贝,但从磁盘装载它失败.这时squid发送请求到原始服务器,就如同这是个cache丢失一样.

TCP_NEGATIVE_HIT

在对原始服务器的请求导致HTTP错误时,Squid也会cache这个响应.在短时间内对这些资源的重复请求,导致了否命中. negative_ttl指令控制这些错误被cache的时间数量.请注意这些错误只在内存cache,不会写往磁盘.下列HTTP状态码可能导致否定 cache(也遵循于其他约束): 204, 305, 400, 403, 404, 405, 414, 500, 501, 502, 503, 504.

TCP_MEM_HIT

Squid在内存cache里发现请求资源的有效拷贝,并将其立即发送到客户端.注意这点并非精确的呈现了所有从内存服务的响应.例如,某些cache在内存里,但要求确认的响应,会以TCP_REFRESH_HIT, TCP_REFRESH_MISS等形式记录.

TCP_DENIED

因为http_access或http_reply_access规则,客户端的请求被拒绝了.注意被http_access拒绝的请求在第9域的值是NONE/-,然而被http_reply_access拒绝的请求,在相应地方有一个有效值.

TCP_OFFLINE_HIT

当offline_mode激活时,Squid对任何cache响应返回cache命中,而不用考虑它的新鲜程度.

TCP_REDIRECT

重定向程序告诉Squid产生一个HTTP重定向到新的URI(见11.1节).正常的,Squid不会记录这些重定向.假如要这样做,必须在编译squid前,手工定义LOG_TCP_REDIRECTS预处理指令.

NONE

无分类的结果用于特定错误,例如无效主机名.

相应于ICP查询,下列标签可能出现在access.log文件的第四域.

UDP_HIT

Squid在cache里发现请求资源的貌似新鲜的拷贝.

UDP_MISS

Squid没有在cache里发现请求资源的貌似新鲜的拷贝.假如同一目标通过HTTP请求,就可能是个cache丢失.请对比UDP_MISS_NOFETCH.

UDP_MISS_NOFETCH

跟UDP_MISS类似,不同的是这里也指示了Squid不愿去处理相应的HTTP请求.假如使用了-Y命令行选项,Squid在启动并编译其内存索引时,会返回这个标签而不是UDP_MISS.

UDP_DENIED

因为icp_access规则,ICP查询被拒绝.假如超过95%的到某客户端的ICP响应是UDP_DENIED,并且客户端数据库激活了(见附录A),Squid在1小时内,停止发送任何ICP响应到该客户端.若这点发生,你也可在cache.log里见到一个警告.

UDP_INVALID

Squid接受到无效查询(例如截断的消息、无效协议版本、URI里的空格等).Squid发送UDP_INVALID响应到客户端.

转载请注明:作者为 于 2008年01月17日 在 http://www.php-oa.com 发表

ノートパソコンはhotspotになる

评论关闭

1.管理者として、CMDを実行する

2.下記のコマンドは実行する

netsh wlan set hostednetwork mode=allow ssid=ura key=1234567890

3.「ネットワーク接続」に、「ワイヤネットワーク接続2」があって、プロパティは「Microsoft Virtual WiFi Miniport Adapter」であること、確認してください。

4.該当ネットワーク接続の名前は好きな名へ変更して、こちはura-hotspotへ変更。

5.現在インターネット利用可能「ローカルエリア接続」は右クリックして、プロパティを押下する

6.表示されるが画面に、タグ「共有」を選択する。「ネットワークのほかのユーザに、このコンピューターのインターネット接続をとおしての接続を許可する」に

チェックを入れ、ホームネットワーク接続は「ura-hotspot」を選択する

7.ボタン「OK」に押下する

8.「ローカルエリア接続」は共有することで、「ura-hotspot」は接続されていませんであることは確認してください。

9.管理者として、CMDを実行する。下記のコマンドは実行して、「ura-hotspot」を起動させる。

netsh wlan start hostednetwork

10.項番②に設定したSSID「ura」、KEY「1234567890」へは移動端末から接続してください。

注意事項:

あ、無線Wifi「ura-hotspot」はほかのSSIDへ接続しないこと

い、再起動する時に、「netsh wlan start hostednetwork」は再実行してください。

syslog-ng msyql 设定

评论关闭

配置文件

source src {unix-dgram(“/dev/log”);internal();};
source net {udp();};
destination d_mysql           { pipe(“/tmp/mysql.pipe”
template(“INSERT INTO logs (host, facility,
priority, level, tag, date, time, program,
msg) VALUES ( ‘$HOST’, ‘$FACILITY’, ‘$PRIORITY’,
‘$LEVEL’, ‘$TAG’, ‘$YEAR-$MONTH-$DAY’,
‘$HOUR:$MIN:$SEC’, ‘$PROGRAM’, ‘$MSG’ );\n”)
template-escape(yes)); };
log {source(net);destination(d_mysql);};
log {source(net); destination(d_local); };

写入数据库的脚本

  1. #
  2. #
  3. #
  4. #!/bin/bash
  5. if [ -e /tmp/mysql.pipe ]
  6. then
  7. while [ -e /tmp/mysql.pipe ]
  8. do
  9. mysql -u root –password=Pingzi01# syslog < /tmp/mysql.pipe
  10. done
  11. else
  12. mkfifo /tmp/mysql.pipe
  13. fi

问题 /usr/bin/ld: cannot find -lmysqlclient

评论关闭

问题

/usr/bin/ld: cannot find -lmysqlclient

collect2: ld returned 1 exit status
make: *** [sqlsyslogd] Error 1
解决办法
find / -name libmysqlclient.so
/usr/lib64/mysql/libmysqlclient.so
ln -s  /usr/lib64/mysql /usr/local/lib/

/dev/null 2>&1 详解

评论关闭

> 是重定向
/dev/null 代表空设备文件
1 表示stdout标准输出,系统默认值是1,所以 “>/dev/null” 等同于 “1>/dev/null”
2 表示stderr标准错误
& 表示等同于的意思,2>&1,表示2的输出重定向等同于1

command > file 2>file 与 command > file 2>&1 有什么区别呢?

command > file 2>file 的意思是将命令所产生的标准输出信息,和错误的输出信息送到file 中.command > file 2>file 这样的写法,stdout和stderr都直接送到file中, file会被打开两次,这样stdout和stderr会互相覆盖,这样写相当使用了FD1和FD2两个同时去抢占file 的管道.
而command >file 2>&1 这条命令就将stdout直接送向file, stderr 继承了FD1管道后,再被送往file,此时,file 只被打开了一次,也只使用了一个管道FD1,它包括了stdout和stderr的内容.
引自http://blog.csdn.net/web256/article/details/8244286

rsyslog+loganalyzer

评论关闭

1.1 http mysql php的安装

yum -y install httpd mysql* php*
chkconfig httpd on
chkconfig mysqld on
1.1.1 mysql用户创建
mysqladmin -u root password  xxxxx
1.1.2 rsyslog是否安装
rpm -qa|grep rsyslog
1.1.3 创建数据库
yum install rsyslog-mysql*
cd /usr/share/doc/rsyslog-mysql-5.8.10/
mysql -uroot -pxxxxxx < createDB.sql
grant all on Syslog.* to rsyslog@localhost identified by ‘rsyslog’;
flush privileges;
1.1.4 rsyslog配置
# vi /etc/rsyslog.conf
$ModLoad ommysql
*.* :o mmysql:localhost,Syslog,rsyslog,123456
在 #### MODULES #### 下添加上面两行。
$ModLoad immark    #immark是模块名,支持日志标记
$ModLoad imudp    #imupd是模块名,支持udp协议
$UDPServerRun 514    #允许514端口接收使用UDP和TCP协议转发过来的日志
#### MODULES ####
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ModLoad immark  # provides –MARK– message capability
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
1.2 loganalyzer的安装
# mkdir -p /var/www/html/loganalyzer
# rsync -a src/* /var/www/html/loganalyzer/
# touch /var/www/html/loganalyzer/config.php
# chmod 666 /var/www/html/loganalyzer/config.php

mysql基本操作和命令

评论关闭

1.1 root用户创建

mysqladmin -u root password xxxxxxx

1.2 普通用户创建

mysql -uroot -pSmySQL01# < createDB.sql

grant all on Syslog.* to rsyslog@localhost identified by ‘rsyslog’;

flush privileges;

1.3 修改root 密码

mysqladmin -u root -p password “newpasswd#”
Enter password: oldpasswd

CCIE RS考试

评论关闭

0925  10:33 D35动车,整理诊断,最后一次K6版本。
下了火车,直接地铁,在国贸站下车,地下通告直达银泰中心,踩点成功。
0926  7:40 北京银泰中心楼下,遇见两个小伙伴。都是一个培训中心。
8:30 开始CCIE Lab开始。TS的IPv6和MPLS稍微有点问题,最终还是圆满解决了。
中午饭都没顾上吃,一致都在敲版本。拿了一个果汁,就喝了一口,忘在那里了。
都敲完的时候,检查发现MPLS的属性都是both还有R2的前缀列表没有。还以为是考官TR了呢。
一下子就慌的不行了。回来想想,可能是版本号的问题,默认是both而不是常见的extend。
R9down了,没有路由走R11,查看路由表,我X,无数路由,什么61.61.61.61,62.62.62.62乱七八糟的,直接放弃了。
现在想想,当时怎么不好好整整,也就不用后来在火车上失眠了。
20:06 K681 12个小时后到大连。发现这火车一直都在等其他的火车,有一半的时间都处于静止状态。
晚上过一会就查下成绩,估计在我查了10几次的成绩后,终于看到了传说账户被锁的信息了。
0927 03:53 做梦梦见版本挂了,后面几部分都没有成绩。惊醒。拿起手机查成绩吧。
看到Pass的信息,一致砰砰跳的心可以正常工作了。早上起来,老贾看到消息,也很高兴。
同去的两个小伙伴,有一个3Pass的Fail,挺遗憾的。
“当你决定考CCIE时,你就已经是CCIE了.”回想一下考试前的准备。很长一段时间,都是慢悠悠的练习版本。
到了离考试还有半个月的时候,真是拼了,白天上班,必须撸一次。晚上回家再来一遍TS。小亮版的TS效果确实不错。
最后在发现它的BUG后也找出了解决办法。圆满。
去考试的每一个人,我觉得都是准备充分的人。因为这个考试真是太贵了。10800。考的已经不是你背了多少,而是在考
你的心态,和临场发挥。平时2个小时的版本,我都不知道用了几倍的时间才整完,而且是慌慌张张的。
我交完卷,走在去火车站的路上,想不明白自己为什么慌张。明明还有一个多小时的时间。
版本基本上是从0开始敲起,里面用到什么命令,都是自己熟悉,都像自己孩子一样。
最终是幸运的Pass了。去参加CCIE考试,是一种经历,是一种磨练。

用MAK密钥联网激活的Office2010 备份激活信息的简明方法

评论关闭

C:\ProgramData\Microsoft\OfficeSoftwareProtectionPlatform下的tokens.dat文件备份

1.还原时需要暂时关闭Office Software Protection Platform Service服务。关闭方法:右键计算机-管理-服务和应用程序-服务-找到Office Software Protection Platform Service 后,右键-停止即可。待tokens.dat恢复完成之后重新开启Office Software Protection Platform Service服务(右键-开始)即可。也可以在PE下直接恢复tokens.dat文件。

2.如果密钥忘记,请用以下工具检测(Windows7 MAK密钥不能检测)

下载地址:http://www.vdisk.cn/down/index/8993060A8351

运行cmd,输入:slmg.vbs -div即可检验Windows 7部分MAK密钥。

squid

评论关闭

http://blog.chinaunix.net/uid-22780578-id-3346350.html

http://www.linuxso.com/linuxpeixun/10332.html

Older Entries