Kros Dai's Blog • xdanger.com

November 22, 2004

Zend

　　今天有幸见了 Zend 的销售总监，9 月份新上任的 Yohai Shaked，聊了一下午，大致就是来了解一下国内的 PHP 使用状况，筹划推广中国的 Zend 产品。

　　不过从他的 PPT 演示中，感觉出 PHP 会越来越走向商业化、努力来迎合企业级应用，从 Java 及 .Net 手中抢一口饭吃。其实这点从 PHP5 的 ZendEngine2 就看出来了，不过这次感受更深切。祝 PHP 一路走好……

Posted by xdanger on 2004-11-22 · Permalink · Comments

November 20, 2004

Google 的 Firefox 主页

　　Firefox 1.0 正式版推出 2 星期，下载量达到 500 万，发布第一天网站根本打不开。如果是新安装 1.0 正式版的话，肯定会发现默认的主页竟然是 Google 为 Firefox 定制的一个页面，就像为 Linux 定制页面一样，Firefox 的成就可见一斑。

　　同期，邮件客户端 Thunderbired 也更新至 0.9 版本了，看来历史悠久的 Mozilla 寒窗多年之后终于爆发了，而且其势势不可挡，正应了鲁迅爷爷的那句话……

　　我老早把 IE/MyIE/Outlook/Foxmail 扔进回忆里了，不久会做一个 Mozilla 的中文专题站，域名都注册好咯（汗……好多站要做啊……），把好东西推荐并教会大家用最开心了^_^

　　有那么优秀的开源软件摆在面前，What are you waiting for...

Posted by xdanger on 2004-11-20 · Permalink · Comments

November 19, 2004

GFans.org

　　长久以来深受 Google 文化影响，前天注册了 GFans.org 的域名，准备做个 Google 的专题站，今天先凑了点 Google 公益广告的资料：

天空为什么是蓝色的？-> 天空为什么是蓝色
谁是纸的发明者？ -> 纸的发明者
标准的一副塔罗牌总共有几张？ -> 塔罗牌张数
《海底总动员》中尼莫的配音是谁？ -> 海底总动员尼莫配音
最近的星球是什么？ -> 最近的星球
谁发明了饺子？ -> 饺子的发明
太阳的温度是多少？ -> 太阳温度
书中的瑞普·凡·温克睡了多久？ -> 瑞普.凡.温克
世界鸟类中跑得最快的是鸟是什么？ -> 世界鸟类跑得最快的鸟
谁是世界上最高音歌唱家？ -> 最高音歌唱家
最大的数字是？它存在吗？它的名字是什么？ -> 数学最大数字
恐龙最早被认为是在什么时期出现的？ -> 恐龙最早出现时期
有关医学的问题，红血球是在哪里产生的？ -> 红血球的产生
谁是 2002 年诺贝尔和平奖得主？ -> 2002 年诺贝尔和平奖得主
埃及艳后克丽奥佩特拉是怎样死的？ -> 克丽奥佩特拉之死
希腊神话中，谁打败了九头蛇许德拉？ -> 希腊神话九头蛇许德拉
罗马神话中拔掉狮子爪子中的刺的人是谁？ -> 罗马神话中拔掉狮子爪子中的刺
西西里的首府在哪里？ -> 西西里的首府
第二个登上月球的人是谁？ -> 第二个登上月球的人
斯芬达克斯谜语的答案是什么？ -> 斯芬达克斯谜语
世界上最大的建筑是什么？ -> 世界上最大的建筑
海有多深？ -> 世界最低点

Posted by xdanger on 2004-11-19 · Permalink · Comments

November 18, 2004

　　今天重新配置了两台静态网页服务器，去掉了 NFS，改由 ssh 定时同步目录，关于这个话题，Dash 已经 Blog 掉了……
　　哈哈，去掉两台静态页服务器的负担，原本的 NFS 服务器（兼数据库）一下子轻松了，想象原来真笨，都是静态页干吗要 NFS 嘛……汗死了……
　　自从 VeryCD 实行推荐注册之后，网友们明显开始珍惜自己的帐号了，而且有一种光荣感和使命感了……想不到学 Google 的这招还真管用~~

Posted by xdanger on 2004-11-18 · Permalink · Comments

November 16, 2004

Apache日志轮巡/合并/分析

　　今天在 VeryCD 服务器上设置了访问日志的轮巡、合并、分析。

VeryCD 目前的网页服务器配置结构

1 台 MySQL 数据库 + NFS 文件服务器，无域名指向，定义为 host1.verycd.com；
2 台静态页 + 资源搜索服务器，域名为 www.verycd.com 及 lib.verycd.com，DNS 轮巡，定义为 host2.verycd.com 及 host3.verycd.com，host3 上还有 emule.org.cn；
2 台论坛服务器，域名为 bbs.verycd.com 及 blog.verycd.com，DNS 轮巡，定义为 host4.verycd.com 及 host5.verycd.com；
OS 均为 RedHad Linux 9，Web 服务器均为 Apache 2.0.49

构思

　　上个月 VeryCD 使用的是章文嵩博士的 Linux Virtual Server 软件，该系统针对高可伸缩、高可用网络服务的需求，给出了基于IP层和基于内容请求分发的负载平衡调度解决方法，它通过前端一个负载调度器（Load Balancer）无缝地将网络请求调度到真实服务器上，从而使得服务器集群的结构对客户是隐藏的，客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。因此整个网站的访问统计的取样就显得很简单，只要在一台 Web 服务器上分析自己的日志就行了，其他服务器的请求就是它的一个线性分布，系数大致就是硬件的性能比。

　　而现在整个网站由多个 Web 服务器 DNS 轮巡构成，网站结构对于用户是透明的，因此不能使用简单的抽样分析方法，分析日志的过程就比单个服务器的情况复杂得多。于是希望构建一套系统，能实现自动综合分析多个 Web 服务器的日志，给出准确直观的网站访问状况报告，而不是某台服务器单个的访问状况报告。

　　注：千万不能将日志记录到同一个远程(NFS)文件里。如果使用远程文件系统记录日志，带来的麻烦远比你获得的方便多的多！

Apache 日志分割、轮巡

　　使用 cronolog，到官方网站上下载 1.6.2 版，编译：

#tar -xzf cronolog-1.6.2.tar.gz
#cd cronolog-1.6.2
#./configure
#make

Copy 到 Apache 的 bin 目录：

#cp src/cronolog /usr/local/apache2/bin/cronolog

然后编辑 Apache 的 httpd.conf：

#vi /usr/local/apache2/conf/httpd.conf

这里我自定义了一个 LogFormat "all"：

Format "%v %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" all

就是在 Apache 默认的 combined 格式的最前面加了 %v 以区别不同的虚拟主机访问。如果该 Web 服务器没有设置虚拟主机的话，%v 出来的将是星号(*)。查了 Apache 手册后，没找到能反映 HTTP/1.1 协议中 Host 字段所对应的变量。为了能和其他日志格式兼容，我用了个笨办法——直接将该服务器所对应的域名写在里面，于是，没有设置虚拟主机的 Appache 的日志格式成了类似：

Format "bbs.verycd.com %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" all

修改 CustomLog，实现按天分割、按周轮巡：

CustomLog "|/usr/local/apache2/bin/cronolog /var/log/httpd/%w.log" all

重起 Apache，OK。

　　随后要做的是每天定时将前一天的 Log 发送到日志分析服务器，并删除五天前的那份 Log：

#crontab -u root -e

每天凌晨 0:10 Copy 前一天的日志到日志分析服务器，我这就是 NFS 的路径；1:40删除旧日志：

10 0 * * * /bin/cp -f /var/log/httpd/`date -d yesterday +\%w`.log /var/hosts/com/verycd/host1.log
10 1 * * * /bin/rm -f /var/log/httpd/`date --date "5 days ago" +\%w`.log

　　到此，Apache 分割、轮巡，定时发送、删除日志的工作就做好了。

合并日志

　　现在日志分析服务器上已经有全部完整的、按日期精确分割的 Log 文件了，如何定时将它们合并在一起送交分析软件呢？在日志分析服务器上：

#crontab -u root -e

每天 1:30 将host2.log、host3.log、host4.log、host5.log 按照时间排序合并到 all.log：

30 1 * * * /bin/sort -m -t : -k 2,4 -o /var/hosts/com/verycd/all.log /var/hosts/com/verycd/host2.log /var/hosts/com/verycd/host3.log /var/hosts/com/verycd/host4.log /var/hosts/com/verycd/host5.log

　　完成日志合并工作。

分析日志

　　由于以前只接触过 Windows 系列服务器，因此我已经习惯使用跨平台的 AwStats 分析日志，那还是继续使用吧。在官方网站上就有下载，有 tgz 包和 rpm 安装包，还有 For Win32 的 .exe 安装程序……安装我这就不多说了，只是需要 Perl > 5.0。

　　使用也非常简便，只要按照他的设置修改几处地方即可，修改 awstats.model.conf：

LogFile="/var/hosts/com/verycd/all.log"
LogFormat= "%virtualname %host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"
DirData="./data" # 分析好的数据存放的路径，可以是系统的绝对路径，也可以是相对于 awstats.pl 的相对路径，需要手动建立，并赋予 0777 属性
其他参数默认即可，每个参数配置文件里都有详细解释，耐心的话一会儿就能都基本理解了。

　　新建 awstats.lib.verycd.conf awstats.bbs.verycd.conf awstats.emule.org.cn.conf 等配置文件（awstats.自定义配置名称.conf），保存于 awstats.pl 相同目录下，内容大致如下：

Include "awstats.model.conf" # 引入主配置文件，共享参数
# 各自配置
SiteDomain="lib.verycd.com" # 主机名
HostAliases="www.verycd.com" # 主机别名

　　将 wwwroot 目录下所有文件复制到网站的某个目录，例如，/log。在 Apache 中开放 awstats.pl 所在目录的 ExecCGI 权限：

AddHandler cgi-script .cgi .pl
<Directory /var/hosts/com/verycd/lib/log>
Options +ExecCGI
</Directory>

　　另外，如果访问是500错误的话，修改 awstats.pl 的权限试试看。

　　接下去是设置定时分析日志：

新建一个脚本文件 uodate_sites_logs.sh，内容大致如下：
/usr/bin/perl /var/hosts/com/verycd/lib/log/awstats.pl -config=lib.verycd.com -update=1
/usr/bin/perl /var/hosts/com/verycd/lib/log/awstats.pl -config=blog.verycd.com -update=1
/usr/bin/perl /var/hosts/com/verycd/lib/log/awstats.pl -config=emule.org.cn -update=1
/usr/bin/perl /var/hosts/com/verycd/lib/log/awstats.pl -config=dl1.emule.org.cn -update=1
/usr/bin/perl /var/hosts/com/verycd/lib/log/awstats.pl -config=bbs.verycd.com -update=1
#crontab -u root -e
每天 3:30 执行这个脚本
30 3 * * * /bin/sh /var/local/bin/crontab/update_sites_logs.sh

Demo

　　VeryCD 的访问统计可见 http://www.verycd.com/log/

参考文档：

Posted by xdanger on 2004-11-16 · Permalink · Comments

Kros Dai’ Blog No excuse, no panic