营销推广常见问题

网站优化:360搜索爬虫360蜘蛛spider正式推出

　　360搜索爬虫360蜘蛛spider正式推出。站长可以通过设置网站robots.txt文件来决定是否允许360搜索蜘蛛(360Spider)抓取网站内容。

　　如果站长希望自己的网站被360综合搜索收录，可以先检查一下您的网站robots.txt 文件是否允许360搜索蜘蛛抓取。如果您的网站还没有允许360搜索蜘蛛抓取，只要在robots.txt 文件中添加下面的代码就可以啦：

　　User-agent: 360Spider

　　Allow: /

　　如果想屏蔽360spider对网站的抓取，可这么书写

　　User-agent: 360Spider

　　Disallow: /

　　据站长之家旗下服务超级监控发现，360搜索蜘蛛在上周就已经出现，之所以没有正式推出，是因为产品刚上线时对robots协议处理有异步延迟的情况。目前，360综合搜索已全面改进。

　　网站日志可以查看到360爬虫记录

　　同时，360综合搜索官方表示，360蜘蛛同样支持disallow命令，如果网站设置了通用的disallow，360搜索是不会去抓取页面的。

　　下面是主流搜索引擎怕丑spider的名称，在进行网站日志分析的时候，留下下

　　谷​歌​ ​G​o​o​g​l​e​b​o​t​ ​ ​百​度​爬​虫​b​a​i​d​u​s​p​i​d​e​r​ ​ ​雅​虎​爬​虫​ ​Y​a​h​o​o​!​ ​S​l​u​r​p​ ​ ​

　　​ ​新​浪​爱​问​爬​虫​ ​i​a​s​k​s​p​i​d​e​r​ ​ ​搜​狗​爬​虫​ ​S​o​g​o​u​ ​P​u​s​h​ ​S​p​i​d​e​r​ ​ ​ ​

　　网​易​爬​虫​ ​Y​o​d​a​o​B​o​t​ ​ ​ ​M​S​N​爬​虫​ ​m​s​n​b​o​t​ ​ ​ ​必​应​ ​m​s​n​b​o​t​/​1​.​1​ ​ ​

　　​S​O​S​O​ ​S​o​s​o​s​p​i​d​e​r​ ​ ​3​6​0​搜​索​ ​3​6​0​S​p​i​d​e​r

以上资料来自互联网收集，版权归原作者所有，如有侵犯您的权益，请联系我们进行删除，谢谢！
一体传媒www.oem365.net软文发布平台不定期收集整理相关的网站SEO优化技巧和方法、百度360推广技巧和方法、百度360收录排名技巧和和方法等相关资料。

上一篇: 网站优化:360搜索和百度搜索的区别在哪里？   返 回   下一篇:网站优化:谷歌熊猫算法第27次更新-Panda 4.1