第一，合理设置网站的roobots文件。网站roobots文件有以下几个重要作用:             
       1、有效屏蔽网站站内的死链接。
       2、可以分别设置不同权重的重要页面。比如一些广告板块，一些仅仅为了展示给用户但是并不希望蜘蛛抓取参与排名计算的页面，都可以用roobots屏蔽抓取。
       3、对于网站后台或者一些比较隐私的内容进行屏蔽。在这里笔者告诉大家两点robots.txt文件的基本语法。
       第一条是：User-agent，即搜索引擎蜘蛛的名称;
       第二条是：Disallow，即不允许抓取的部分。当然还有一些通配符以及具体的细节用法我们可以百度搜索下，或者参照一些seo类的书籍进行设置，总之网站roobots文件是必须设置的，它是明确告知搜索引擎对于网站抓取级别的总大纲是蜘蛛访问网站的第一个访问文件，所以一定要在优化过程中予以重视。

第二，为网站设置合理的网站地图。

   网站地图是引导蜘蛛快速抓取整个网站目录结构非常有效的途径，地图顾名思义，我们一般去一个陌生的城市都会购买一份当地的地图，通过地图可以直观的看到自己所在的地点和目标地点的直接距离，从而选择合适的出行方式。而网站地图也是一个道理，蜘蛛犹如一个陌生人，来到我们站点之后通过对于网站地图的熟悉，就能轻而易举的对于整体网站路径有个明确的认知，接着有主意对于权重页的判断和甄别主要表现在对于更新频繁的栏目进行有效的抓取，对于一些更新率低或者不更新的栏目，降低爬行次数甚至不爬行，就网站本身而言一个动态的网站地图有助于提高网站的收录速度。

第三，对于网站源文件的清理和减肥。

     网页源文件代码的有效处理是站内优化非常关键的一个环节，我们知道蜘蛛的抓取方式和我们经常出行乘坐的公交车是一个道理，遇到车流高峰势必会出现很大程度的拥堵，而臃肿的代码势必会造成蜘蛛访问的瓶颈，那么，具体我们要如何进行代码减肥呢?比如去掉无用的空格，对于css文件、JS文件进行合并操作，最好独立出来放到单独的外部文件中，通过头部引用来导入所需页面中，尤其是布局页面，建站之初就要想到代码优化的细节点，比如可以使用css和div进行页面布局，表格有时候为了布局需要不得不增加很多无用的冗余代码，这些都是代码减肥的细节要点。

第四，为网站设置404和301跳转。

   404页面主要是针对网站错误链接而生的，由于网站改版、转移空间、备份恢复等势必会造成网站很多错误页无法访问的问题，很多时候自己不注意还发现不了，但是这些错误页对于网站用户的伤害是非常大的，影响了用户体验，这个时候404页面，就是告诉用户，这个页面不存在，然后通过一个回路链接导入网站其他部分，这样不是非常友好的给用户提示了吗，通过回路可以让客户继续逗留在网站之中，增加了用户的停留时间，从而降低跳出率。

另外，301也是常用的手段，主要是为了网站设置首选域的问题，一般站长会将不带www的域名永久重定向到www主机头上面去，另外网站域名在更换的时候或者重新申请新域名时也常常采用这种手法。就是将不在使用的域名永久重定向到现在的这个新域名上，这样新域名就很好的继承了原来域名的权重，非常有利于网站权重的继续稳定的延续。