Dong's Note
0%

给AWStats增加针对Googlebot/Baiduspider/Yahoo!Slurp/MSNBot的详细统计

Posted on In

虽然AWStats中提供了蜘蛛的分类统计：

搜索引擎网站的机器人 (前 10) – 全部列出 – 最近参观日期

102 个机器人* | 文件数 | 字节 | 最近参观日期
—|—
Sina Iask Spider | 41894 | 520.80 M字节 | 2006年 九月 09日 07:17
GouGou | 34577 | 920.11 M字节 | 2006年 九月 09日 12:23
Googlebot | 12171+39 | 212.60 M字节 | 2006年 九月 09日 12:23
Yahoo Slurp | 5775+1275 | 91.10 M字节 | 2006年 九月 09日 12:24
GigaBot | 5334+233 | 53.62 M字节 | 2006年 九月 09日 12:24
Unknown robot (identified by ‘robot’) | 5421+6 | 71.46 M字节 | 2006年 九月 09日 12:17
Lilina | 5278 | 76.67 M字节 | 2006年 九月 09日 12:22
MSNBot | 4075+217 | 52.31 M字节 | 2006年 九月 09日 12:19
Yahoo! Slurp China | 3135+460 | 25.83 M字节 | 2006年 九月 09日 12:21
Unknown robot (identified by ‘crawl’) | 3431+6 | 78.98 M字节 | 2006年 九月 09日 12:23

有汇总后的数据，但是每个蜘蛛具体抓取了那些页面和抓取的频度就无法得知了，利用AWStats的扩展配置，统计也可以详细到每个蜘蛛的具体访问（参考了http://www.antezeta.com/awstats.html上的配置样例）。

注意：配置完Extra后可能会遇到以下这样的警告：

Phase 2 : Now process new records (Flush history on disk after 20000 hosts)…
Error: The number of values found for extra section 5 has grown too large.
In order to prevent awstats from using an excessive amount of memory, the number of values is currently limited to 500. Perhaps you should consider revising extract parameters for extra section 5. If you are certain you want to track such a large data set, you can increase the limit by setting ExtraTrackedRowsLimit in your awstats configuration file.

如果扩展配置统计的条目较多，比如：蜘蛛抓取的不同URL的个数很多，就需要在全局扩大一下ExtraTrackedRowsLimit这个参数， 这个参数不像其他参数一样需要加编号，缺省最多统计500个项目，我扩大到了2万，ExtraTrackedRowsLimit=20000

完整设置如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
ExtraSectionName5="Google crawls – Top 50"
ExtraSectionCodeFilter5="200 304"
ExtraSectionCondition5="UA,(.*Googlebot.*)"
ExtraSectionFirstColumnValues5="URL,(.*)"
ExtraSectionFirstColumnFormat5="<a href='%s' title='Item Crawled' target='_blank'>%s</a>"
ExtraSectionStatTypes5=PHBL
ExtraSectionAddAverageRow5=0
ExtraSectionAddSumRow5=5
MaxNbOfExtra5=50
MinHitExtra5=1ExtraSectionName6="Baidu crawls – Top 50"
ExtraSectionCodeFilter6="200 304"
ExtraSectionCondition6="UA,(.*Baiduspider.*)"
ExtraSectionFirstColumnValues6="URL,(.*)"
ExtraSectionFirstColumnFormat6="<a href='%s' title='Item Crawled' target='_blank'>%s</a>"
ExtraSectionStatTypes6=PHBL
ExtraSectionAddAverageRow6=0
ExtraSectionAddSumRow6=6
MaxNbOfExtra6=50
MinHitExtra6=1

ExtraSectionName7="Yahoo Slurp crawls – Top 50"
ExtraSectionCodeFilter7="200 304"
ExtraSectionCondition7="UA,(.*Slurp.*)"
ExtraSectionFirstColumnValues7="URL,(.*)"
ExtraSectionFirstColumnFormat7="<a href='%s' title='Item Crawled' target='_blank'>%s</a>"
ExtraSectionStatTypes7=PHBL
ExtraSectionAddAverageRow7=0
ExtraSectionAddSumRow7=7
MaxNbOfExtra7=50
MinHitExtra7=1

ExtraSectionName8="MSN crawls – Top 50"
ExtraSectionCodeFilter8="200 304"
ExtraSectionCondition8="UA,(.*msnbot.*)"
ExtraSectionFirstColumnValues8="URL,(.*)"
ExtraSectionFirstColumnFormat8="<a href='%s' title='Item Crawled' target='_blank'>%s</a>"
ExtraSectionStatTypes8=PHBL
ExtraSectionAddAverageRow8=0
ExtraSectionAddSumRow8=8
MaxNbOfExtra8=50
MinHitExtra8=1

ExtraSectionName9="Sohu crawls – Top 50"
ExtraSectionCodeFilter9="200 304"
ExtraSectionCondition9="UA,(.*sogou.*)"
ExtraSectionFirstColumnValues9="URL,(.*)"
ExtraSectionFirstColumnFormat9="<a href='%s' title='Item Crawled' target='_blank'>%s</a>"
ExtraSectionStatTypes9=PHBL
ExtraSectionAddAverageRow9=0
ExtraSectionAddSumRow9=9
MaxNbOfExtra9=50
MinHitExtra9=1

ExtraTrackedRowsLimit=20000

输出样例： 从中可以发现一些蜘蛛的特点，百度只抓取中文内容，而在robots.txt的遵循上，百度是先抓后删，而Google/Yahoo!/MSN则从抓取队列中就会删除。而仍然不知是谁家的outfoxbot似乎对图片更感兴趣……

Google crawls – Top 50

 |网页数|文件数|字节|最近参观日期
—|—
/blog/|41|41|272.41 K字节|2006年 九月 09日 20:37
/phpMan.php/phpinfo|4|4|110.92 K字节|2006年 九月 09日 19:27
/u2/lyrics.txt|4|4|221.90 K字节|2006年 九月 09日 20:55
/bbcweb/9.htm|4|4|4.91 K字节|2006年 九月 09日 21:58
/digest/20060907.html|3|3|26.60 K字节|2006年 九月 09日 20:55
/bbcweb/4.htm|3|3|3.15 K字节|2006年 九月 09日 21:58
/tech/lucene.html|3|3|64.98 K字节|2006年 九月 09日 21:59
/|3|3|124.52 K字节|2006年 九月 09日 20:03
/robots.txt|3|3|696 个字节|2006年 九月 09日 17:49
/phpMan.php/man/perlform/1|3|3|68.74 K字节|2006年 九月 09日 23:47
/sitemap.html|3|3|14.90 K字节|2006年 九月 09日 01:49
/bbcweb/1.htm|3|3|6.34 K字节|2006年 九月 09日 21:58
/tech/|3|3|14.39 K字节|2006年 九月 09日 20:55
/side_by_side/google_yahoo.html|3|3|1.14 K字节|2006年 九月 09日 20:55
/phpMan.php/man/hotplug/8|3|3|18.57 K字节|2006年 九月 09日 02:55
/phpMan.php/man/perllexwarn/1|3|3|60.44 K字节|2006年 九月 09日 23:47
/tech/acdsee.html|3|3|10.17 K字节|2006年 九月 09日 21:58
/digest/20060906.html|3|3|50.66 K字节|2006年 九月 09日 16:28
/tech/rotate_merge_log.html|3|3|91.96 K字节|2006年 九月 09日 16:56
/digest/20060905.html|3|3|56.00 K字节|2006年 九月 09日 16:28
/phpMan.php|3|3|7.94 K字节|2006年 九月 09日 04:30
/tech/study.html|3|3|19.62 K字节|2006年 九月 09日 21:58
/bbcweb/8.htm|3|3|4.77 K字节|2006年 九月 09日 21:59
/tech/oracle.html|3|3|19.57 K字节|2006年 九月 09日 21:59
/phpMan.php/man/curl_global_init/3|2|2|7.79 K字节|2006年 九月 09日 01:23
/tech/gnu.html|2|2|7.15 K字节|2006年 九月 09日 21:58
/tech/weblog.html|2|2|13.36 K字节|2006年 九月 09日 21:59
/phpMan.php/search/(2)|2|2|124.43 K字节|2006年 九月 09日 04:53
/tech/indent_tools.html|2|2|34.31 K字节|2006年 九月 09日 22:23
/blog/archives/001146.html|2|2|50.66 K字节|2006年 九月 09日 17:40
/phpMan.php/man/grubby/8|2|2|23.48 K字节|2006年 九月 09日 06:03
/bbcweb/10.htm|2|2|3.04 K字节|2006年 九月 09日 21:58
/blog/archives/001164.html|2|2|45.14 K字节|2006年 九月 09日 13:00
/phpMan.php/search/(6)|2|2|16.36 K字节|2006年 九月 09日 04:16
/phpMan.php/man/pdf2dsc/1|2|2|7.96 K字节|2006年 九月 09日 23:25
/phpMan.php/man/req/1|2|2|51.25 K字节|2006年 九月 09日 21:34
/tech/mysql.html|2|2|28.71 K字节|2006年 九月 09日 21:58
/blog/archives/001169.html|2|2|36.42 K字节|2006年 九月 09日 14:07
/phpMan.php/man/iopl/2|2|2|7.90 K字节|2006年 九月 09日 23:25
/phpMan.php/man/stdout/3|2|2|13.16 K字节|2006年 九月 09日 19:27
/phpMan.php/man/charset/1|2|2|4.40 K字节|2006年 九月 09日 04:33
/tech/google_ads.html|2|2|11.53 K字节|2006年 九月 09日 04:11
/phpMan.php/search/(9)|2|2|28.15 K字节|2006年 九月 09日 04:16
/phpMan.php/search/(8)|2|2|126.83 K字节|2006年 九月 09日 04:16
/tech/awstats.html|2|2|39.49 K字节|2006年 九月 09日 21:59
/tech/nat.html|2|2|18.39 K字节|2006年 九月 09日 21:59
/blog/archives/001199.html|2|2|18.38 K字节|2006年 九月 09日 15:45
/rolling_stones/stones/the_rolling_stones.smi|2|2|8.96 K字节|2006年 九月 09日 12:14
/blog/archives/001198.html|2|2|35.09 K字节|2006年 九月 09日 20:55
/phpMan.php/man/isdnctrl/8|2|2|40.42 K字节|2006年 九月 09日 23:32
总数|165|165|2.03 M字节

Baidu crawls – Top 50

 |网页数|文件数|字节|最近参观日期
—|—
/|8|8|306.07 K字节|2006年 九月 09日 17:22
/robots.txt|4|4|928 个字节|2006年 九月 09日 14:30
/blog/|4|4|220.84 K字节|2006年 九月 09日 15:34
/linkPopCheck.php|4|4|8.70 K字节|2006年 九月 09日 21:11
/blog/archives/001199.html|4|4|73.53 K字节|2006年 九月 09日 17:22
/phpMan.php|3|3|9.57 K字节|2006年 九月 09日 19:27
/blog/archives/001109.html|2|2|69.52 K字节|2006年 九月 09日 08:34
/tech/google_url.html|1|1|10.40 K字节|2006年 九月 09日 15:34
/blog/archives/001161.html|1|1|17.67 K字节|2006年 九月 09日 14:18
/cgi-bin/mt/mt-atom.cgi/weblog/blog_id=1|1|1|1.07 K字节|2006年 九月 09日 17:55
/blog/archives/000651.html|1|1|12.81 K字节|2006年 九月 09日 18:43
/blog/archives/000638.html|1|1|35.87 K字节|2006年 九月 09日 18:42
/blog/archives/001146.html|1|1|25.33 K字节|2006年 九月 09日 10:38
/blog/archives/000625.html|1|1|22.62 K字节|2006年 九月 09日 18:43
/blog/archives/000220.html|1|1|10.65 K字节|2006年 九月 09日 18:43
/blog/archives/001157.html|1|1|15.73 K字节|2006年 九月 09日 03:37
/digest/20050621.html|1|1|12.36 K字节|2006年 九月 09日 21:11
/blog/archives/000011.html|1|1|24.25 K字节|2006年 九月 09日 07:12
/blog/archives/000454.html|1|1|11.52 K字节|2006年 九月 09日 18:43
/digest/20060120.html|1|1|12.36 K字节|2006年 九月 09日 10:57
/tech/apache_install.html|1|1|12.36 K字节|2006年 九月 09日 01:25
/blog/archives/001052.html|1|1|12.56 K字节|2006年 九月 09日 18:43
/cgi-bin/mt/mt-atom.cgi/weblog/blog_id=1/entry_id=1174|1|1|1.07 K字节|2006年 九月 09日 10:57
/blog/archives/001094.html|1|1|19.27 K字节|2006年 九月 09日 18:43
/blog/archives/000519.html|1|1|16.59 K字节|2006年 九月 09日 18:43
/blog/archives/000950.html|1|1|29.79 K字节|2006年 九月 09日 18:42
/digest/20060908.html|1|1|18.01 K字节|2006年 九月 09日 17:22
/tech/google.html|1|1|12.36 K字节|2006年 九月 09日 15:34
/blog/archives/001164.html|1|1|22.57 K字节|2006年 九月 09日 00:37
/blog/archives/000005.html|1|1|10.27 K字节|2006年 九月 09日 07:12
/blog/archives/001182.html|1|1|16.05 K字节|2006年 九月 09日 03:02
/blog/archives.html|1|1|12.36 K字节|2006年 九月 09日 22:41
/blog/archives/001085.html|1|1|14.31 K字节|2006年 九月 09日 18:43
/blog/archives/001131.html|1|1|27.04 K字节|2006年 九月 09日 11:18
/bbcweb/204.htm|1|1|3.05 K字节|2006年 九月 09日 21:11
/site_search.php|1|1|1.54 K字节|2006年 九月 09日 08:36
/blog/archives/001040.html|1|1|20.35 K字节|2006年 九月 09日 18:43
/blog/archives/001139.html|1|1|24.43 K字节|2006年 九月 09日 18:42
/blog/archives/000859.html|1|1|16.03 K字节|2006年 九月 09日 05:46
/digest/20050926.html|1|1|12.36 K字节|2006年 九月 09日 21:11
/blog/archives/000284.html|1|1|25.01 K字节|2006年 九月 09日 18:43
/blog/archives/2005_12.html|1|1|12.36 K字节|2006年 九月 09日 22:55
/blog/archives/000741.html|1|1|12.36 K字节|2006年 九月 09日 08:35
/blog/archives/000498.html|1|1|10.55 K字节|2006年 九月 09日 18:43
/bbcweb/218.htm|1|1|3.61 K字节|2006年 九月 09日 10:57
/tech/cvs.ppt|1|1|12.34 K字节|2006年 九月 09日 08:40
/blog/archives/000645.html|1|1|14.01 K字节|2006年 九月 09日 18:43
/blog/archives/000632.html|1|1|10.22 K字节|2006年 九月 09日 18:43
/blog/archives/001124.html|1|1|53.21 K字节|2006年 九月 09日 04:14
/blog/archives/001044.html|1|1|13.90 K字节|2006年 九月 09日 08:40
总数|72|72|1.34 M字节

Yahoo Slurp crawls – Top 50

 |网页数|文件数|字节|最近参观日期
—|—
/robots.txt|104|104|23.56 K字节|2006年 九月 09日 23:38
/|16|16|665.58 K字节|2006年 九月 09日 23:36
/blog/archives/001189.html|8|8|102.40 K字节|2006年 九月 09日 22:12
/tech/indent_tools.html|7|7|117.59 K字节|2006年 九月 09日 22:39
/tech/google.html|7|7|251.04 K字节|2006年 九月 09日 23:32
/blog/|6|6|329.88 K字节|2006年 九月 09日 23:19
/tech/apache_install.html|5|5|90.00 K字节|2006年 九月 09日 23:15
/blog/archives/001196.html|5|5|173.59 K字节|2006年 九月 09日 23:48
/blog/archives/000751.html|5|5|104.12 K字节|2006年 九月 09日 23:21
/blog/archives/001197.html|5|5|174.99 K字节|2006年 九月 09日 22:37
/tech/lucene.html|4|4|136.91 K字节|2006年 九月 09日 23:57
/blog/archives/000828.html|4|4|107.72 K字节|2006年 九月 09日 23:27
/tech/link_pop_check.html|4|4|44.79 K字节|2006年 九月 09日 23:04
/tech/cms.html|4|4|61.17 K字节|2006年 九月 09日 22:13
/tech/awstats.html|4|4|56.19 K字节|2006年 九月 09日 22:58
/linkPopCheck.php|4|4|8.65 K字节|2006年 九月 09日 21:39
/blog/archives/001199.html|4|4|55.15 K字节|2006年 九月 09日 22:14
/blog/archives/000644.html|3|3|81.88 K字节|2006年 九月 09日 19:52
/tech/cvs_card.html|3|3|82.04 K字节|2006年 九月 09日 22:44
/blog/archives/000001.html|3|3|93.52 K字节|2006年 九月 09日 23:23
/blog/archives/001198.html|3|3|35.09 K字节|2006年 九月 09日 22:49
/blog/archives/cat_tech_notes.html|2|2|509.34 K字节|2006年 九月 09日 23:48
/phpMan.php/man/pkgCache::PkgFileIterator|2|2|4.08 K字节|2006年 九月 09日 23:58
/digest/20060908.html|2|2|36.03 K字节|2006年 九月 09日 19:40
/tech/resin.html|2|2|18.64 K字节|2006年 九月 09日 18:24
/blog/archives/000496.html|2|2|32.08 K字节|2006年 九月 09日 18:22
/blog/archives/000741.html|2|2|77.94 K字节|2006年 九月 09日 21:56
/blog/archives/000790.html|2|2|47.28 K字节|2006年 九月 09日 22:03
/phpMan.php/man/FindBin/3|1|1|5.18 K字节|2006年 九月 09日 14:08
/phpMan.php/man/chr/11|1|1|8.74 K字节|2006年 九月 09日 18:47
/phpMan.php/man/Win32::API|1|1|1.98 K字节|2006年 九月 09日 23:02
/phpMan.php/man/ocsp/1ssl|1|1|2.05 K字节|2006年 九月 09日 23:53
/tech/gnu.html|1|1|7.15 K字节|2006年 九月 09日 20:07
/phpMan.php/man/foomatic-datafile/1|1|1|2.01 K字节|2006年 九月 09日 18:21
/phpMan.php/man/pkgCache::PrvIterator|1|1|2.03 K字节|2006年 九月 09日 18:11
/phpMan.php/man/INVARIANT/3|1|1|1.98 K字节|2006年 九月 09日 20:54
/phpMan.php/man/Apache::TestMB|1|1|2.00 K字节|2006年 九月 09日 22:47
/phpMan.php/man/DBM::Deep|1|1|1.98 K字节|2006年 九月 09日 18:34
/phpMan.php/man/Pod::Select|1|1|13.29 K字节|2006年 九月 09日 21:21
/digest/20051218.html|1|1|0|2006年 九月 09日 23:44
/phpMan.php/man/Other::CONST|1|1|1.99 K字节|2006年 九月 09日 23:21
/blog/archives/001146.html|1|1|25.33 K字节|2006年 九月 09日 11:44
/phpMan.php/man/DH_check/3ssl|1|1|2.10 K字节|2006年 九月 09日 16:15
/phpMan.php/man/fxload/8|1|1|11.27 K字节|2006年 九月 09日 19:44
/phpMan.php/man/VOP_LEASE/9|1|1|1.99 K字节|2006年 九月 09日 14:22
/phpMan.php/man/XCopyArea/3x|1|1|1.98 K字节|2006年 九月 09日 14:27
/phpMan.php/man/log/3|1|1|3.07 K字节|2006年 九月 09日 23:28
/digest/20050525.html|1|1|23.48 K字节|2006年 九月 09日 23:41
/phpMan.php/man/Data::Buffer/3|1|1|2.00 K字节|2006年 九月 09日 16:57
/blog/archives/000661.html|1|1|20.83 K字节|2006年 九月 09日 22:28
总数|244|244|3.58 M字节

MSN crawls – Top 50

 |网页数|文件数|字节|最近参观日期
—|—
/robots.txt|9|9|2.04 K字节|2006年 九月 09日 20:38
/phpMan.php/man/getpwnam/lgn|3|3|21.21 K字节|2006年 九月 09日 23:45
/phpMan.php/man/CGI::Session|2|2|53.71 K字节|2006年 九月 09日 23:48
/side_by_side/search_form_utf8.html|2|2|1.57 K字节|2006年 九月 09日 19:06
/phpMan.php/man/munlockall/2|1|1|3.39 K字节|2006年 九月 09日 20:07
/|1|1|6.63 K字节|2006年 九月 09日 16:20
/blog/archives/001083.html|1|1|15.91 K字节|2006年 九月 09日 17:13
/blog/archives/cat_appinstall.html|1|1|98.97 K字节|2006年 九月 09日 19:05
/phpMan.php/man/rpc.nfsd/8|1|1|4.26 K字节|2006年 九月 09日 18:20
/bbcweb/223.htm|1|1|2.48 K字节|2006年 九月 09日 14:26
/blog/archives/001047.html|1|1|19.07 K字节|2006年 九月 09日 17:47
/phpMan.php/man/isdntime/5|1|1|1.94 K字节|2006年 九月 09日 15:09
/phpMan.php/man/SSL_CTX_set_session_cache_mode/3|1|1|8.29 K字节|2006年 九月 09日 20:25
/phpMan.php/man/XML::PerlSAX::DOM|1|1|1.97 K字节|2006年 九月 09日 22:19
/blog/archives/000738.html|1|1|13.47 K字节|2006年 九月 09日 20:38
/phpMan.php/man/unzipsfx/1|1|1|17.98 K字节|2006年 九月 09日 20:45
/phpMan.php/man/mbadblocks/1|1|1|4.64 K字节|2006年 九月 09日 14:10
/phpMan.php/man/wmemchr/3p|1|1|4.37 K字节|2006年 九月 09日 22:51
/blog/archives/000220.html|1|1|10.65 K字节|2006年 九月 09日 14:34
/blog/archives/000208.html|1|1|9.65 K字节|2006年 九月 09日 15:58
/phpMan.php/man/integer/3pm|1|1|11.47 K字节|2006年 九月 09日 22:34
/blog/archives/000550.html|1|1|11.97 K字节|2006年 九月 09日 11:48
/phpMan.php/man/cut/1p|1|1|15.37 K字节|2006年 九月 09日 12:28
/blog/archives/000454.html|1|1|11.52 K字节|2006年 九月 09日 11:58
/phpMan.php/man/adsl-start/8|1|1|3.68 K字节|2006年 九月 09日 22:46
/phpMan.php/man/df/1|1|1|5.58 K字节|2006年 九月 09日 16:00
/phpMan.php/man/mmove/1|1|1|4.82 K字节|2006年 九月 09日 18:36
/blog/archives/2006_03.html|1|1|33.75 K字节|2006年 九月 09日 23:52
/phpMan.php/man/adsl-setup/8|1|1|3.48 K字节|2006年 九月 09日 20:41
/tech/robots.pm|1|1|78.83 K字节|2006年 九月 09日 20:13
/phpMan.php/man/ash/1|1|1|15.46 K字节|2006年 九月 09日 20:56
/blog/archives/001164.html|1|1|22.57 K字节|2006年 九月 09日 17:17
/phpMan.php/man/CGI::Session::ErrorHandler/3pm|1|1|2.11 K字节|2006年 九月 09日 19:57
/phpMan.php/man/sem_open/3p|1|1|9.64 K字节|2006年 九月 09日 23:19
/phpMan.php/man/locale/5|1|1|15.30 K字节|2006年 九月 09日 20:14
/phpMan.php/man/clock/3p|1|1|4.84 K字节|2006年 九月 09日 13:21
/phpMan.php/man/tiffgt/1|1|1|8.38 K字节|2006年 九月 09日 14:40
/blog/archives/001081.html|1|1|14.33 K字节|2006年 九月 09日 18:26
/phpMan.php/man/stime/2|1|1|3.19 K字节|2006年 九月 09日 15:06
/blog/archives/000656.html|1|1|17.83 K字节|2006年 九月 09日 17:33
/tech/google_ads.html|1|1|15.55 K字节|2006年 九月 09日 19:23
/phpMan.php/man/uuid_parse/3|1|1|3.73 K字节|2006年 九月 09日 12:13
/bbcweb/|1|1|2.40 K字节|2006年 九月 09日 12:45
/phpMan.php/man/SSL_CTX_add_session/3|1|1|4.94 K字节|2006年 九月 09日 21:12
/phpMan.php/man/diskdumpctl/8|1|1|3.28 K字节|2006年 九月 09日 14:55
/phpMan.php/man/passwd/1|1|1|9.06 K字节|2006年 九月 09日 19:43
/blog/archives/000805.html|1|1|20.12 K字节|2006年 九月 09日 17:11
/bbcweb/2.htm|1|1|1.88 K字节|2006年 九月 09日 15:58
/phpMan.php/man/gzcat/1L|1|1|1.93 K字节|2006年 九月 09日 15:15
/phpMan.php/man/string/3|1|1|6.71 K字节|2006年 九月 09日 22:49
总数|62|62|665.90 K字节

Sohu crawls – Top 50

 |网页数|文件数|字节|最近参观日期
—|—
/blog/archives/000955.html|3|3|46.87 K字节|2006年 九月 09日 23:34
/tech/gnu.html|1|1|7.14 K字节|2006年 九月 09日 15:55
/blog/archives/000728.html|1|1|48.14 K字节|2006年 九月 09日 23:00
/blog/archives/000100.html|1|1|15.54 K字节|2006年 九月 09日 19:45
/blog/archives/000012.html|1|1|23.06 K字节|2006年 九月 09日 16:02
/digest/20060701.html|1|1|39.31 K字节|2006年 九月 09日 12:38
/digest/20050823.html|1|1|43.52 K字节|2006年 九月 09日 13:12
/blog/archives/2004_02.html|1|1|48.14 K字节|2006年 九月 09日 20:59
/digest/20060703.html|1|1|45.31 K字节|2006年 九月 09日 20:54
/blog/archives/000646.html|1|1|51.85 K字节|2006年 九月 09日 16:29
/index.php/blog/tech/index.php/side_by_side/google_yahoo.html|1|1|41.31 K字节|2006年 九月 09日 13:27
/blog/archives/001058.html|1|1|70.79 K字节|2006年 九月 09日 11:55
/blog/archives/000267.html|1|1|27.10 K字节|2006年 九月 09日 20:01
总数|15|15|508.09 K字节

OutfoxBot crawls – Top 50

 |网页数|文件数|字节|最近参观日期
—|—
/robots.txt|3|3|696 个字节|2006年 九月 09日 15:53
/blog/archives/newsgator_buzz.png| |1|5.95 K字节|2006年 九月 09日 15:53
/blog/archives/pairs.png| |1|84.68 K字节|2006年 九月 09日 15:01
/blog/archives/firefox-rss.png| |1|29.18 K字节|2006年 九月 09日 15:03
/blog/archives/pairs_wikipedia.png| |1|84.56 K字节|2006年 九月 09日 13:19
/blog/archives/newsgator-incoming.png| |1|5.82 K字节|2006年 九月 09日 15:02
总数|3|8|210.87 K字节