年无分老少,事无分难易,但行之有恒,恒之,何三起,五眠 注册 | 登陆

优化日志分析蜘蛛

日志里面可以看到所有来路 任何来路都可以,唯一的缺点就是数据太多,当我只想要分析搜索蜘蛛信息的时候找起来很麻烦,看起来也累,想偷懒就的人就这样,我只想知道每日日志里面 搜索蜘蛛 来的时间 蜘蛛IP 爬过的页面就足够了。对于我这样什么都不懂的人只有寻求高手的帮助。特许感谢 hao32~

1:必须有看日志权限,没能力租服务器的可以租使用directadmin控制面板的空间.

2:有ssh权限,没有的自己虚拟主机装一台。或者用Office Excel也可以分析到日志的.

分析1.log
进入linux 找到放1.log的目录 执行命令
#cat 1.log |grep -i Baiduspider|awk ‘{print $1″ “$4″ “$7}’>2.log

然后查看 2.log 就是分析好的日志了

用Office Excel的使用筛选就可以了!

Tags: 蜘蛛

« 上一篇 | 下一篇 »

Trackbacks

点击获得Trackback地址,Encode: UTF-8

发表评论

评论内容 (必填):