URL网址规范化是什么？ - SEO每天一贴

Zac的SEO博客，坚持19年，优化成为生活。唯一排名始终坚挺在百度、谷歌首页的网站。需要SEO服务、顾问和培训的公司欢迎找我。
网址规范化（URL canonicalization）是SEO工作中经常遇到，因而必须了解的一个重要步骤。就我检查过的网站来看，99%的网站有各种各样、程度不同的URL规范化问题。
网址规范化问题指的是网站上由于种种原因，同一个页面出现多个网址，搜索引擎挑选显示的URL有可能不是最恰当的、站长想要的那个URL网址。网址规范化就是通过一些SEO技术手段，帮助搜索引擎判断出真正的、站长想要的那个所谓规范化的网址。
举例来说，下面这几个URL一般来说指的是同一个文件或网页：
http://www.domainname.com http://domainname.com http://www.domainname.com/index.html http://domainname.com/index.html https://www.domainname.com
从技术上来讲，这几个网址都是不同的网址，是可以显示不同内容的。虽然在绝大部分情况下，这些网址所返回的都是相同的文件，也就是网站的主页。但是从技术上来说，主机完全可以对这几个网址返回不同的内容。
既然实质上是同一个页面，搜索引擎需要从这些选择当中挑一个最合适的代表，也就是规范化网址。但由于各种原因，搜索引擎不一定能判断正确。
比如，一般来说，网站首页是固定的，只有一个URL。但是有的时候，在很多网站上站长在链接回首页时，所使用的URL并不是唯一的。很可能在网站上，一会链接到 http://www.domainname.com，一会儿链接到 http://www.domainname.com/index.html 。这在没考虑网址规范化的CMS中是很常见的。外部链接也可能链接向不同版本的非规范化网址，而且别人链接到哪里还不能控制。
虽然这些情况不会给访客造成什么麻烦，因为这些网址都是同一个文件，但是对搜索引擎来说却是造成了困惑，哪一个网址是真正的首页呢？
上面举的首页例子只是造成网址规范化问题的一种原因，还有很多其它原因会造成网址规范化问题，会出现网址规范化问题的也不仅仅是首页。比如，电商网站经常会出现的产品列表不同排版、排序、显示产品个数等URL，页面内容是一样的，也会造成网址规范化问题。
再比如以目录为网址形式时尾端有没有斜线，URL中是否有字母大小写混用，用户访问时生成会话ID（session ID）等等，这些都有可能造成网址规范化问题。
出现网址规范化问题，可能会给网站带来很多方面的负面影响。
比如，网站上不同版本的网址大量出现，那么多个URL可能都会被搜索引擎收录进数据库，这时就会造成复制内容网页。
所谓复制内容网页，指的是两个或多个网页的内容是相同或大部分相似的。很多时候，复制网页有可能是作弊手段。就算不是作弊手段的时候，搜索引擎通常也只会挑出其中一个返回搜索结果，而把其他的复制网页都排在最后面，以至于根本找不到。
如果复制内容只出现在同一个网站上，搜索引擎通常不会因此惩罚网站。但获得排名的可能不是站长希望的那个，对转化可能就有影响。如果复制内容出现在不同网站上，搜索引擎判断错误，可能就意味着原创版本没有得到排名。
即使不考虑复制内容，多个版本的不规范化网址也可能造成权重分散，因为网站上的内部链接和外部链接都很可能指向各种不同版本，使得本该获得所有链接的规范化网址没有得到该有的权重，影响关键词排名。
再进一步，即使搜索引擎从多个版本中正确判断出规范化网址，将权重合并到规范化URL上，网站上出现多个URL版本，也会造成抓取份额的浪费，因为搜索引擎需要抓取每一个版本URL，对大型网站来说，很可能会挤占了抓取其它更有用页面的份额。
能避免出现网址规范化问题当然是最好，从建站时就要高度注意。如果已经出现网址规范化问题，就要从几个方面尽量解决。
1）谨慎选择CMS系统，看一下其它使用了这个CMS的网站生成的URL都是什么样的。有的CMS是比较SEO友好的，如 WordPress，但即使WordPress也没能完全避免网站规范化问题，可能还需要做特定设置，安装些插件，或者修改模板，修改特定功能等。以后有机会详细写一下WordPress的优化。
2）选择一个规范化网址版本后，全站严格贯彻使用。网站内部在链接到其他内页时，只使用规范化URL。不管是包含www或不包含www，不管URL结尾有没有斜杠，选定一个，就由始至终只使用这一个版本。这样搜索引擎也就明白哪一个是规范化的网址。
3）但是你没办法控制别的网站用哪一个网址连向你的页面。所以应该在你的主机服务器上，把所有非规范化网址，做301重定向到你所选择的规范化版本。这样各版本权重将被集中到规范化版本URL。具体参考301转向贴子。
4）在所有页面上用canonical标签指定规范化网址版本。canonical标签可以理解为和301转向的功能几乎相同，但用户是停留在原URL的。
5）在提交给搜索引擎的Sitemap.xml文件中，只提交规范化网址。
zac,下一篇blog可以把国外的最新的301定向方面的信息发布一下.
顶！！！网站优化真的好难，所以偶每天来这学习受用，感谢版主罗。。。。 google在中国经常会出现打不开的情况（至少现在这个问题一起没解决），所以我们习惯了用百度，有时间可以讨论下baidu的优化更实际些^_^
robinliu: 这一两天会写篇301定向方面更详细的文章。多谢建议。
Mike：欢迎来我的博客，也谢谢建议。我最近才开始研究中文搜索引擎，过些天会讨论百度排名等的心得。
不过，所有的搜索引擎优化原则都是相同的。我的经验是，能在google排名好，其他搜索引擎也不会差。
搜索引擎的排名原理大同小异的,只要我们真正的用心做好自己站点的优化,投入会有回报的.
静态页面怎么做301转向呢？还有在我的网页链到首面是用/index.htm和www.mysite.com 链到同一网页，最近我的收录一直在下降 这算不算规范问题。
你网站的资料比较新，我大都是读英文的，不过有困难，还是这里好。
石头王：如果www.mysite.com/index.htm和www.mysite.com都在Google结果中，可能就会有URL规范问题。
可以参考这篇301转向文章： http://www.chinamyhosting.com/seoblog/2006/04/12/301-redirect/
seo：谢谢。我会尽量讨论最新技术。我也是每天都读一大堆英文论坛和博客。
http://www.chinamyhosting.com/seoblog/2006/04/12/301-redirect/ 我看过，我是想问，在htm里怎么写html代码让它301转向，因为服务器不在我那，无法修改apache
据我所知，HTML无法做301转向。在HTML里只能做JS或META REFRESH，但不是301转向。HTML一被读取，就已经返回200 OK状态码了。
如果你的页面是ASP或PHP还可以做301转向：
<%@ Language=VBScript %> <% Response.Status="301 Moved Permanently" Response.AddHeader "Location", " http://www.domain.com" >
Header( “HTTP/1.1 301 Moved Permanently” ); Header( “Location: http://www.domain.com” ); ?>
另外，DOThtaccess文件只是一个普通文字文件，你用Notepad建这个文件，放上指令，存在你帐号的根目录下就行了。不需要修改Apache。