百度seo可以提供xml,txt,html类型的文件,下面对xml系列文件的要求进行阐述
1、提供robots.txt文件,此文件需要放置在网站根目录,例如http://api.1473.cn/robots.txt。并可访问
2、提供sitemapindex.xml文件,里面列出所有步骤3中的所有子文件
3、提供sitemap.xml文件,里面列出所有需要索引的网页地址。
百度sitemap.xml提交地址为zhanzhang.baidu.com
1、需要提供名为robots.txt的文件,此文件时爬虫的入口文件,其中放置了sitemapindex文件的地址,其格式如下:
User-Agent: *
Allow: /
Sitemap: http://api.1473.cn/seo/sitemapindex.xml
2、需要提供名为sitemapindex.xml的文件,此文件放置所有的具体的站点地图xml文件,每个xml文件不超过五万条记录.因此,第三个步骤有可能是多个文件。
如需提交大量sitemap文件,则可将其列在sitemap索引文件中,然后将该索引文件提交。您无需分别提交每个文件。
http://example.com/ext/xmlsitemap/add/201201/index_20120106.xml
2009-12-14
有多个Sitemap,按上述格式重复 之间的片断,列明所有Sitemap地址,向站长平台进行提交。
3、需要提供名为sitemap(1...n).xml文件,其格式如下:
单个xml数据格式如下:
http://www.yoursite.com/yoursite.html
2009-12-14
daily
0.8
http://www.yoursite.com/yoursite2.html
2010-05-01
daily
0.8
上述Sitemap向百度提交了一个url:http://www.yoursite.com/yoursite.html
若有多条url,按照上述格式重复 之间的片断,列明所有url地址,打包到一个xml文件,向站长平台进行提交。
对于网站中希望360搜索抓取的网页url,站长可以将其制作成标准的Sitemap(站点地图)文件。站长提交后Sitemap文件后,360搜索会使用Sitemap中的内容来了解网站结构等信息,有助于今后更全面、更快速地对网站进行抓取。
但我们不保证一定会抓取及索引Sitemap中所有网址,也不保证其在搜索结果中的排名。
360站点地图提交地址为:http://zhanzhang.so.com/
作者:信息录入:文案编辑:视频录制:视频编辑:图片编辑: