利用Robots.txt内提供的信息来对网站的安全进行检测

什么是robots.txt文件?

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。

您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

Robots可以告诉搜索引擎在你的网站中不想让访问的部分,但也会暴露你网站中不想让别人看到的部分。虽然搜索引擎不会把Robots中禁止收录的页面加入搜索索引中,但是任何用户都可以不通过任何方式打开你的Robots.txt(如:http://zhangqian.me/Robots.txt),这样你不想让搜索引擎收录的页面就会被其他人轻松的得到了,虽然不是通过搜索引擎!我在建站初期为了看一些大哥级别的网站如何规范的写Robots.txt文件时,无意中在“中国站长联盟(cnzz)”的网站中看到了Robots.txt文件。

 在CNZZ的Robots.txt中告诉所有的搜索引擎不希望访问的目录有:.QcIadd、265a、cert、cnz31、cnz32、cron、template、sda1这些文件夹。其中cnz32即为此网站的监测系统,路径为http://www.cnzz.com/cnz32/,大家可以打开看看。还有部分目录好象是管理员登陆的路径,虽然Robots.txt文件的作用是不希望搜索引擎收录而让用户搜索的时候找到,但是在Robots.txt仍然可以看到这些站长不希望其他用也看到的信息。在Google管理员工作中提供了一些Robots的写法,可以使用$和*来匹配路径。可以参照本站的Robots文件进行书写!

社会现象——小偷

今天去食堂吃饭的时候看到小偷再偷东西(可以说是在抢)。

有两个新疆的小男孩在铜锣湾宝地住宅小区附近实施偷窃。阳光灿烂的中午,人们都下班了,路上行人很多。有两个新疆的小男孩跟在一个推着小孩子的女人的后面正准备实施偷窃。一个前,一个后,一个掩护,一个动手,周围有很多过路的行人,行人对这种行为好像已经习惯了一样,没有一个人去注意和制止。这两个小偷很是从容,第一次动手的时候没有成功,被那个妇女发现了;没走2步,那两个新疆的小男孩就有开始动手了,这次那个妇女警觉了,当其中一个正要把手伸进口袋的时候,妇女扒拉开了,之后就拿起手机打电话,应该是打给熟人或者自己的亲人的;小偷并没有放弃偷窃,之后就开始由偷变成抢了。

这一幕让我很震撼,之前就听朋友说在火车站有很多新疆人经常偷东西、抢东西,我一直也没当回事。我在去食堂的路上已经看到不止一次这种事了。

你可以说我懦弱,也可以说我胆小,甚至可以说我不是男人。你遇到这种事会怎么做呢?见义勇为?我也很想见义勇为一次!很多人都想见义勇为。

为什么会出想这种现象?为什么会没人管?人们怕惹麻烦,事不关己,高高挂起。为什么这些小偷不断的偷窃也没人管呢?我在网上找了关于新疆人偷东西的网址,看到有这样说的:由于涉及到民族问题,少数民族如果被抓了,严重的也最多关24小时然后遣回原籍,一般不到一天就又放出来了。

并不是说所有新疆人都偷东西,有坏就有好,大家请不要误解。

日记一则 写于08年4月13日

今天公司只剩我一人值班,很是无聊!现在唯一想的就是盼着自己心爱的Zippo可以早点到货。

还有一个客户的网站需要一个博客程序,个人感觉Zblog还不错,不过我没有用。现在我使用的博客程序是由ASblog提供的一个开源程序,遗憾的就是没有Trackback这个功能。一直想自己做一个Trackback的功能,前几个星期试着弄了一下,不过都不理想,只能怪自己的ASP学的不是很好了。

昨天Beyond家园的站他找我聊了一会儿,让我帮他弄一个新闻发布的网站,由于以前关系还算不错,我就答应了,一个只有新闻发布的程序还算简单。我以前很喜欢去Beyond家园的论坛上发贴,可能由于时间的原因,现在已经很少去论坛了。大多数在Mop上面潜水,Mop里面的贴子很有意思,尤其是Mopper们的回贴更是逗人!前些日子Mop上对非主流的评价很火,我本人也非常讨厌非主流,视之为脑残,其实他们真的很脑残。花着父母的血汗钱,还要装着B的说自己很有钱,哎……

经理突然打电话过来,说北宫口吃的要来取一份推荐报告,让我给打印出来。也不是很多,一份有8张左右,一共要打印5份,事先其他事事已经准备好的。我先腾出点时间自己去外面吃了些早饭,以前从来没有吃早饭的习惯,主要是因为太懒,8点上班,要到了750才准备起床。闹钟是定在7点的,现在闹钟也成了摧眠曲了,基本上就听不到闹钟响!我们这块是太原繁华地段(铜锣湾),所以无论什么东西都比较贵,再加上现在物价上涨,简单的吃个早饭就要花4块钱,要是天天早上吃,这也是一个不小的开销,幸好自己有这么一个好的习惯。

同事小尉也给我打了个电话,说他银行卡里的钱少了50元。我昨天让别友给我汇点钱,直接先汇到他的账户里了,是我去取的款,之后我还把凭证给了他。就这么一下就把少钱的责任归到我身上了,真要是认为我拿的那也没办法,大不了给他50就完了,50块钱对我来说还不算太高。也错在自己,应该让他帮我把款取出来。事到如今,只好等他晚上回来再具体谈了。

已经连续下了一周的雨了,今天天气还是没有转晴,有点阴,而且还刮着风。周末对我来说没什么意思,只可以睡个懒觉。睡醒之后就打开电脑开始下载Beyond的歌曲了,我之前在淘宝买了个VX818MP3播放器,2G的空间里存的都是Beyond的歌,大多是演唱会。我下定决心一定要把Beyond所有的歌都放到这个小巧的MP3里面去。我平时很少用MP3听歌,只有在睡觉的时候听,这好象已经成为一种习惯了,只有打开MP3听着Beyond的歌才可以睡着。

心情乱,内容写的也乱。今年我的变化很大,去年一到周末总喜欢去找朋友一块吃个饭,喝点酒,我很喜欢喝酒,不过今年周末几乎没有出去过,我想原因应该在于工作。所以过几天要请假回家休息一段时间,也趁这个机会把身份证办了。

在淘宝买了个Zippo

一直就很喜欢Zippo,早就想自己买一个了,不过一直没下决心买,经过几天的反复考虑终于决定买一个了。

在淘宝上看到一个哈雷的Zippo,感觉不错。于是就把银行卡里仅剩的200元全部打到了支付宝里。款还差10块,一个Zippo 180元,加油费15,还想要一桶原装油,一共需要210元。想到我在任务中国还有10块的金额,就登录看可不可以提现,在任务中国经过实名认证,设置好银行账户准备提现的时候提示最低金额需要100元,我晕了。自己的钱不可以取,这叫什么规则了。只好让同事给我的支付宝里存10元后一下子拍下一个Zippo和一桶油!就等着3天后的货了。

在买之前看了一下,卖家的信誉还算不错的。可以放心质量问题了吧!哈哈,期待3天后拿到自己心爱的Zippo!

黄家驹语录摘选

黄家驹

  我感受的、思想的、会用歌唱出来…… —— 黄家驹
  自由是我的愿望。如果旁人不干涉我干任何事,多好!还有,祈求身壮体健,无病无痛,龙精虎猛地活下去。 —— 黄家驹
  我不知道什么是大事什么是小事,我只知道做年轻人该做的事。 —— 黄家驹
  Life is not what you have gained but what you have done! —— 黄家驹
  只要有音乐,就不会有世界末日! —— 黄家驹
  "直至现在为止,我还不敢斩钉截铁说,谁是我最疼爱的人。有阵子,跟一位女孩子相处,责任往往重于感情,所以,我仍不断在溺寻……也许,他朝被我找到心仪的对象,然而,她又不可能不像我爱她那么多,与其如此,我宁愿"她"永不要出现。"  —— 黄家驹

哥哥 王宵宇

     王宵宇,是我在大同打工时候认识的一个朋友,是从网上认识的,我一直叫他哥。

     上面这张照片在大同的时候一块照的,右边那个戴眼镜的帅小伙子便是我哥王宵宇。我经常翻出来看。我和他都喜欢Beyond,我们也正是因为这个同样的爱好才认识的。

     我第一个工作的地方就是在大同,那时候经朋友介绍在一个小商品批发市场打杂,工作很是辛苦。

     我和王宵宇在我没去大同之前就认识了,那时候也提到过要见个面,不过一直没有去想这回事。我和他见面是因为我去大同的时候是晚上坐着一个去大同送货的火车去的,所以不知道怎么回去,那时候也非常想家,但有不知道怎么回去。这是我第一次出外地,所以一切对我来说都很陌生。在这种境况下我想到了他,于是我就打电话约他见面。

     我的工作致使我自己的时间很少几乎没有,我打电话给王宵宇,让他来工作的地方找我,现在忘了当时的地方叫什么了,好像是在矿务局。打电话给他的第一次他没有能来,后来说是出差了,不过最终还是见面了。王宵宇个子不高,不过很有活力,他给我的第一感觉就是觉得很亲切。

     我们两个在一起一共有差不多五次,每一次的映像都非常深刻!第一次并没有太深的交流,因为彼此都还不太熟悉;第二次他带我去我在大同的一个姐姐的家里,当时还给我买了一身衣服,很是感谢他当时对我的照顾!最让我难忘的是我来太原之后,我们并没有中断联系,他来太原看过我,这也是最后一次见面。我也有时候会打电话问候一下他。

     直到现在为止,我认为我真正的朋友只有两个,其中一个就是我哥王宵宇。

一个不错的想法

     今天是周日,我的假期被取消了,留在公司值班,只有我一个人。

     中午我把公司的铺面关了去食堂吃饭。今天是星期日,吃大米和烩菜,烩菜中有少量的猪肉。这是我和同事都期昐的一天,因为星期日有猪肉吃,所以我和同事经常互相开玩笑“看你那样,就这点理想!”。呵呵,也并不是非吃这几块猪肉不可,虽然说现在的猪肉比以前的猪肉要贵一倍还多,但也不会为了这没有一两的猪肉而放弃心中远大的理想。人到了处在一定的境况下就会有一定的想法,因为一个星期只有2天可以吃到这样的“大餐”,所以就会莫名其妙的在意起来。记的以前上学的时候我从来不吃太肥的东西,但是现在工作后却特别想吃太肥的东西,感觉太肥的东西吃着有感觉,而且不会腻。

     来到食堂,其他人都没在,可能是因为星期天,大家都去外面忙去了。一锅大米,一锅烩菜,没有其他出人意料的饭了。拿起勺子盛菜的时候,本能的挑拣里面的猪肉,不过并没有刻意去翻。

     一个人一边吃,一边就在想:如果有个粘肉勺子就好了,吃饭的时候可以拿自己的专用粘肉勺子去盛饭,这样就可以把大量的猪肉通通盛到自己的碗里,而且也不会被别人看到而尴尬!

     吃完后就赶紧回到公司准备继续上班。一天忙忙碌碌,胡乱想想放松一下,感觉挺不错!

隐藏IP段显示IP的方法

     我的ASP基础很差,这一点唏嘘一世也在经常强调。

     今天看到博客有一个小小的不足之处,就是当游客引用回复时,就会把游客的完整IP显示出来,看着是非常的不合意。

     在没有了解这个方法前是这样想的。用“left”函数调用,问题就来了。如果IP是“192.168.111.1”这样的话就用“left("192.168.111.1",12)&"*"”,也就是去取IP的前12个字符,显示为“192.168.111.*”;但是如果IP是“127.0.0.1”呢?岂又不是全部显示了吗?!这个方法肯定是不行。我在昨天有学到“len()”的用法,不过也不可以用在这里。当时就想到一个笨办法,有IF语句判断,不过太乱了,要进行很多判断。我认为一定有可以实现这种效果的简单语句。

     于是就去翻Google了,果然有简单的实现方法。哈哈,很高心又学到了一点点,虽然很菜,不过也很高兴,所以也就特别想把这一点点小小的知识记录在博客里。

    Split可以吧字符串中分割符之间的值取出来。IP(0)得到的值是127,IP(1)得到的是0,IP(2)得到的是0,加到一块就是IP(0)"."&IP(1)"."&IP(2)".*",即127.0.0.*

我的表达能力真的非常的差,希望可以对你有所帮助!

清明没放假 心里老是不爽

     心里老是感觉不爽。国务院发布的《全国年节及纪念日放假办法》,是具有法律效力的行政法规,是全社会都要共同遵守的,而我们还要在法定节假日的时候工作?扯远了…

     就是有些心里老是感觉不满。自从工作后,除了盼着月底发工资之外,唯一有盼头的就是节假日了,连这么的一个“愿望”都没办法实现。心里不爽是在为自己可怜的身体感到难过,除了工作还是工作,累到每天早饭都不想去吃,确是消瘦了不少。

     听老板说,好像这个周日我也没得休息了。本来今天经理说让我明天休息,后天上班,后又说怕明天有事忙不过来。好像我就天生是受罪的命,每天上班时候就不想多说了,工作时间从8个小时变成现在的连续14个小时,我整个人都感觉到快要崩溃了。再有就是我也太老实了,我就是欠揍。

     听听Beyond的歌,然后洗洗睡吧!