怎么提高搜索

提高搜索引擎的抓取速度有三个策略：
1.提高抓取单个网页的速度。
2.尽可能减少不必要的抓取任务。
3.增加同时工作的爬虫数量。
第一种方法目前实现不了，受万维网发展水平的限制，单个网页的抓取速度受到下载带宽的限制，在现在技术条件下很难任意提高；第二种方法难度很大，由于需要和万维网的变化保持紧密同步，所以冗余的抓取总是不可避免的，减少不必要的抓取会导致网页重访不及时，这样就不能快速同步目标网页的变化；第三种方法是可行的，在多个爬虫抓取的情况下，将工作量分解成为主要的问题，即要解决一个网页交给一个爬虫抓取，分工明确，防止爬虫抓取了相同的网页，从而引入额外的开销。