记录蜘蛛爬行记录的一段简单PHP代码
这段PHP代码是我调试好的,一直自己用,可以用来分析下每天蜘蛛的爬行记录,但是对于一些只是虚拟主机的朋友来说还是比较方便的,直接通过网页的形式分析你站点的蜘蛛爬行记录. 这个文件的代码挺简单:各大搜索引擎的蜘蛛爬行程序都有自己的标识符,百度的是baiduspider,谷歌的是googlebot,还有雅虎的 等.有朋友问怎么判断当前访问者是否是搜索引擎呢?实际上通过PHP中的$_SERVER[“HTTP_USER_AGENT”]服务器变量可以判断的. 下面就是一段简单的通过PHP获取搜索引擎蜘蛛来访爬行记录,并写入数据库的代码. 我们先用dreamweaver建一个php文件,代码如下,命名为r