Board logo

标题: [分享] 分享apache下网站日志里面显示百度蜘蛛(baiduspider)等的方法 [打印本页]

作者: cbh    时间: 2013-3-9 23:24     标题: 分享apache下网站日志里面显示百度蜘蛛(baiduspider)等的方法

本帖最后由 cbh 于 2013-3-9 23:26 编辑

这些天研究SEO需要分析网站的日志,看百度蜘蛛的爬行轨迹和爬行时间
但是在wdcp后台看的web_log日志里面找了个遍硬是没有找到这些信息
相信很多朋友也一样有这个苦恼
于是百度搜索了一晚,再结合原有的apache日志格式,终于把这个难题给解决了
下面分享给大家

想要记录你网站的日志
1、首页,你要在 “站点编辑” 里面把 "开启访问日志 " 这个选项打勾,如下图:
open.jpg
2013-3-9 23:25


2、配置vhost 里面对应站点的 conf 文件( /www/wdlinux/apache/conf/vhost)
把 CustomLog "/www/web_logs/你的域名_access_log" common 这一行的  common 修改成 combined
也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined

修改完后保存一下

3、重新启动web服务,测试一下效果

4、如果还是不行的话,把 /www/wdlinux/apache/conf/httpd.conf  这个文件也改一下
把 #CustomLog "logs/access_log" combined  这一句前面的 # 去掉,然后再重启web服务

好了,以上操作应该是可以实现效果了,希望大家都可以操作成功

图片附件: open.jpg (2013-3-9 23:25, 11.19 KB) / 下载次数 9102
http://www.wdlinux.cn/bbs/attachment.php?aid=2502&k=36f0fd59a1a0afc6f4be1ba28b165e17&t=1711654492&sid=BadwSr


作者: qing763    时间: 2013-5-21 18:30

回复 1# cbh
补充一下:第二条这个方法目前有一个问题,如果在站点设置里面修改了其他设置,保存之后站点对应的conf配置文件会自动覆盖掉。或者点击了“更新所有站点配置”,对应的conf配置文件也会覆盖掉你手动添加的代码。到时候默认的设置还会是:CustomLog "/www/web_logs/你的域名_access_log" common,然后又得去手动改一下。我找到一个完美解决的办法,其他地方都不要动,也不用去修改站点的conf配置文件。
直接修改apache默认的httpd.conf配置文件。打开/www/wdlinux/apache/conf/httpd.conf。找到:
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

common和combined交换一下就行了,最终的代码:

LogFormat "%h %l %u %t \"%r\" %>s %b" combined

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common


上传后重启一下web服务就可以了。
原理就是在“站点编辑” 里面 "开启访问日志"后,默认是添加的CustomLog "/www/web_logs/你的域名_access_log" common 这段代码,生效的就是httpd.conf里面common的配置,改一下默认的common的配置就OK了。
作者: admin    时间: 2013-5-21 21:54

不错
作者: glmgs    时间: 2013-8-14 21:54

回复 3# admin

管理员,这样设置好了以后,我可以像这样查询网站日志吗?
QQ图片20130814215038.jpg
2013-8-14 21:53


网站日志是每天分类的,只记录每天的日志?
如果是可以像我这样查询的,请问是不是地址就是在/www/web_logs下面?

谢谢

图片附件: QQ图片20130814215038.jpg (2013-8-14 21:53, 67.8 KB) / 下载次数 8999
http://www.wdlinux.cn/bbs/attachment.php?aid=3426&k=ea24317ca6ac7f994583b3d01ebffacc&t=1711654492&sid=BadwSr


作者: admin    时间: 2013-8-15 18:59

可以的
作者: dmcountry    时间: 2014-2-24 12:41

回复 2# qing763

谢谢楼主分享!
作者: supertree    时间: 2016-12-22 11:51

不错,方法正确,解决了我一个大问题……
作者: oy86866    时间: 2016-12-28 16:14

哈哈,正找这个问题呢、:lol试试去




欢迎光临 WDlinux官方论坛 (http://www.wdlinux.cn/bbs/) Powered by Discuz! 7.2