雅虎是如何抓取我的网站的？ - Yahoo优化_雅虎优化-★提供权威网站优化推广解决方案★

雅虎是如何抓取我的网站的？

发布：巨鼎网络 www.judweb.com | 发布时间 2011-10-08

雅虎是如何抓取我的网站的？
雅虎应用雅虎搜索引擎技术(Yahoo! Search Engine Technology，简称YST),它是一套基于算法的Web索引抓取程序，能够自动探测网络内容。YST 这套机器搜索程序从因特网上采集文档，建立起一个可搜索的索引系统。这些文件（即您的网站文件）能被YST程序发现和抓取的主要原因是，在因特网其他的网页上包含有这些文档的直接链接。
YST 搜索程序严格遵守robots.txt标准执行抓取，因此，对于那些您不希望被雅虎搜索引擎返回的结果，搜索程序不会执行抓取。任何被robots.txt标准认为不适宜抓取的文件，既不会被包括在抓取文档中，也不会进入到搜索引擎的数据库。

本文由东莞巨鼎网络公司整理发布，原创文章如转载请注明出处并保留文章链接！http://www.judweb.com/userlist/163/newshow-3861.html

[文章评论(0)] [ 点击数:] [打印本网页] [关闭本窗口]

相关内容

雅虎是如何抓取我的网站的？ 2011-10-08

如何让雅虎收录我的网页？ 2010-05-21

如何向雅虎提交我的网站? 2012-03-28

雅虎Yahoo登录技巧全解,五大要点 2011-10-08


	巨鼎网络相关：提交订单 \| 网站解决方案 \| 经典案例 \| 建站套餐 \| 优化推广 \| 百度 \| 必应 \| 雅虎 \| 搜搜 \| 网站提交 \| 联系我们 \| 网站地图

做网站,就找巨鼎网络！