headermask image

header image

robots.txt中支持加入sitemaps

04月 21, 2007 – 7:57 pm

　　作为一个日渐被大多数主流搜索引擎接受的标准Sitemaps(xml)在SEO方面的重要性越来越大，不仅可以帮助搜索引擎收录、索引网站内的页面，同时，明确的更新状态也让搜索引擎在网站内爬行时有的放矢，降低来自搜索引擎的访问压力。
　　一般而言，网站需要至Google网站管理员中心或Yahoo! Site Explorer中提交sitemaps (xml) 文件的url，告知搜索引擎sitemaps文件的位置，今后则可免去这一步骤。根据Google Webmaster Central 官方Blog上的说明，Sitemaps引入了一个名为“autodiscovery”的扩展支持，即网站可以直接在robots.txt中加入Sitemaps链接地址，这样，支持sitemaps协议的搜索引擎便能自动找到相应的sitemaps，而不必向多个搜索引擎分别提交。——目前支持Sitemaps的搜索引擎包括Google、Yahoo!、Live Search及Ask.com，大部分国产搜索引擎似乎并无相应的计划。
　　要让搜索引擎找到网站的sitemaps文件，只需在robots.txt中加入类似如下的一行：
Sitemap:http://pcxingxing.net.ru/sitemap.xml
　　注意，url必须使用绝对路径，并且，不能省略“http://”。

By xingxing | Posted in 搜索引擎 | Comments (0)

Google Sitemaps使用指南

06月 15, 2006 – 7:30 pm

　Google Sitemaps是Google的一个和网站管理员相关的工具，有点象BLOG的RSS功能，是一个方便自己的服务，如果大家（互联网上所有的信息源）都采用了这种方式提交自己的更新的话，Google就再也不用派出那么多爬虫辛辛苦苦的到处乱窜了，任何一个站点，只要有更新，便会自动“通知”Google，方便Google进行索引。
　　初步使用了一下Google Sitemaps，用法非常简单。
　　首先在自己网站根目录上上建立一个名为GOOGLE11e5844324b7354e.html，文件本身可为空。然后在Google Sitemaps主页上单击验证按钮。Google会验证这一文件。如果验证通过，Google会显示一个已验证状态，并提供一个指向用户网站统计信息的链接。经过验证后，用户随时可以通过单击“网站概述”页上的链接来查看自己网站的统计信息。
　　接下来，建立Sitemaps文件。Sitemaps文件是XML格式的，Google建议使用Sitemaps协议格式的文件。不过使用BLOG的RSS甚至纯文本文件也都可以。XML Sitemaps 格式其实也很简单，建议多花几分钟转换为XML Sitemaps 格式后再提交Google。Sitemaps协议是XML的变种，用于概括与Web抓取工具相关的Sitemaps信息。对于每个网址，都可以加入抓取“提示”（如最后修改日期和近似更改频率）。Sitemaps协议以 开始标记开始，以 结束标记结束。 每个网址包含一个作为父标记的 条目。 每一个 父标记包括一个 子标记条目。是网页文件的网址。此网址应以http开始并少于2048个字符。 表示该文件上次修改的日期。此日期允许删除时间部分，例如YYYY-MM-DD。其他的可选项可以不加。
　　最后，在Google Sitemaps的提交页面填写你生成的Sitemap地址,并提交即可。
　　过了几个小时后，再登录Google Sitemaps，可以看到功能菜单。
　　Google Sitemaps还提供了Google Spider对用户网站访问情况的说明报告，如：查询统计信息、抓取统计信息、网页分析、索引统计信息等信息。“查询统计信息”中，有列出几个进入你网站的热门搜索关键字。在“抓取统计信息”中，可以看到Google Spider抓取网站的概要统计和抓取错误的地址。实现了网站主和Google Spider的信息交互。
http://blog.pcxingxing.net.ru/2006/06/google-sitemaps.html

By xingxing | Posted in Uncategorized | Comments (0)