网站应该避免的”蜘蛛陷阱”

蜘蛛陷阱是一种会妨碍网络蜘蛛爬取网页制作技术，这些技术通常用于提升页面显示效果增加交互，在浏览量中可以正常显示，但会邮箱网络蜘蛛爬行的抓取。消除网站中的蜘蛛陷阱，可以让搜索引擎有更多收录，从而达到权重更高的效果。

1.flash。很多人都喜欢在网站中插入酷炫的flash，来显出自己的实力，但是网络蜘蛛可读不懂flash的内容，更不能抓取其中的链接。

2.session ID。服务器通常会为买个用户分配一个独一无二的session ID（简称回话标识），以区分不同用户，有些网站为了分析用户行为，在URL中插入了一个session ID来进行跟踪，当网络蜘蛛来爬的时候都会被当成一个新用户，每次访问的url的会产生不同的session ID，从而造成一个页面有很多不同url的情况，从而减少蜘蛛爬行的情况。所以应该减少避免向url中增加session ID。

3.动态url。动态url是指网页url是随机生成的，其中包含很多参数，虽然现在网络蜘蛛抓取动态url已经不是问题，但是还是应该减少此情况，带有过多参数的也还是不利于网络蜘蛛的抓取，所以可以把动态url转换成静态url。

4.除了301之外的所有跳转。一些网站会使用大量的跳转，比如JavaScript跳转，metarefeesh跳转，flash跳转，302跳转等，虽然用户会自动跳转到其他页面，但任何跳转都会在一定程度上给网络蜘蛛的爬行造成障碍，并有欺骗用户和搜索引擎的嫌疑。如果必须使用跳转，推荐301永久跳转，这种做法可以传递权重，除301之外的跳转都不建议使用。

5.框架。网络蜘蛛并不能理解框架的意思，所以框架能不用就不用。