企业网站建设

建站知识

今日已发布信息: 227745
累计注册用户: 80299379

Robots.txt的作用和使用技巧

搜索引擎 屏蔽一些 链接是不 爬取程序

概述: 更加好的理解我们网站。 比如我们搜索某一个词,他也会出现这样的内容。还有提示页面[搜索无结果页面]、错误页面、404页面(如果你做了的话)。你会发现我们要屏蔽的东西越来越多了。而这些东西我们都是要处理的。 2、屏蔽一些重复页面。 如评论页、dz论坛的简写版本(ative)、wordpress的RSS,这些重复的页面是我们需要进行处理的。有些重复页面是我们不得不去做的,这是没办法的事了。

一、Robots.txt的由来

Robots是一个网站和搜索引擎的第三方协议(早期用于隐私的保护)。

屏蔽解释:屏蔽是指不让搜索引擎放出来。百度生效会比较慢,好像就是一个老人,他已经是一个老年人了,他反映特别的慢,谷歌很快。谷歌只要你提交了,他马上抓取,24小时生效,你直接在谷歌站长管理工具里面看到屏蔽被拦截的页面。但百度不行,百度反映非常的慢。

百度经验:jingyan.baidu.com

二、Robots.txt的作用

我们的网站有很多不可抗拒性因素而导致我们的网页质量整体下降。

1、屏蔽一些无内容的页面。

登录页: /login_c.jsp

Disallow: /login_c.jsp

注册页:/register_p.jsp

Disallow: /register_p.jsp

留言页……【签到页/论坛的签到页面属于无内容页面】

这点在于不管我们的网站是论坛、商城、博客、企业站都好,现在这些页面都需要我们处理和操作的,我们只能屏蔽,不能删除。我们的目的就是为了能够实现某个功能便于用户找寻,更加好的理解我们网站。

比如我们搜索某一个词,他也会出现这样的内容。还有提示页面[搜索无结果页面]、错误页面、404页面(如果你做了的话)。你会发现我们要屏蔽的东西越来越多了。而这些东西我们都是要处理的。

2、屏蔽一些重复页面。

 

  溧阳模板建站  下水道疏通   今日推荐免费建站   分类信息   伊宁网站建设公司

 

如评论页、dz论坛的简写版本(ative)、wordpress的RSS,这些重复的页面是我们需要进行处理的。有些重复页面是我们不得不去做的,这是没办法的事了。

3、屏蔽一些死链接页面。

我们只屏蔽那些带有普遍特征的页面。蜘蛛爬不到页面,就会显示一个404页面,就会形成死链接。

蜘蛛他爬不到并不意味着他抓取不到地址。

能否抓取到地址跟能否抓取到是2个概念。

抓取地址,我中需要一个提供地址的源头就行了。比如说我的一个页面里面,我不小心写错了一个地址,而这个超链接是不存在的,蜘蛛就会抓取不到,显示404代码,而死链接就出现了。(无中生有)

我们的网站页面原来是存在的,现在改版了,地址不存在了,而搜索引擎抓到了,现在抓不到了,而形成死链接。(原先有现在没了)

错误链接的比例达到一定程度的时候,搜索引擎就会认为你的网站不及格,给予你较低的评分,开始你的收录会下降,排名会下降。只要死链接的比例比较小,对网站的影响就不大,因为这个是无法避免的。

有的死链接是可以屏蔽的,有些死链接是不可能屏蔽的。

可以进行处理的死链接,是不需要屏蔽的。是由我们站内自己所造成的错误,我们是可以改正的。而有些不是我们造成的死链接,我们就要屏蔽,可以在IIS日志里面显示出来。

百度经验:jingyan.baidu.com

三、Robots.txt的使用

1、Robots.txt的建立

Robots.txt是一个记事本文件。

2、Robots.txt放在什么地方。

用flashFXP上传到根目录上面。

常规的根目录一般是wwwroot和web

3、常见的语法

User-agent定义搜索引擎爬取程序的(指定搜索引擎的爬取程序),他不能单独使用,要配合其它2个语法中的一个使用。

Disallow:/ 禁止允许

Allow: /

Allow要和Disallow一起使用。

常见的爬取程序

Baiduspider 百度蜘蛛谷歌机器人

Googlebot

User-agent:Baiduspider

Disallow:/admin/

我现在要指定百度搜索引擎不要抓取我的admin目录

如果robots.txt文件里面什么都没有写,那就代表着所有搜索引擎可以来抓取。默认的就是允许的。(冒号后面要有空格)

User-agent: Baiduspider

Disallow: /admin

指定百度搜索引擎不要来抓取我们的admin目录和含有以admin开头的网址。后面有斜杠的,会收录/admin.php因为这个是在根目录下的。

Allow:

他必须要和禁止一起使用的,一般来说是不会单独使用的,他和禁止语法一起使用的目的便于目录的屏蔽灵活的应用,最终的目的是为了减少代码的使用。

 

浅述做站前你需要考虑的七个方面

 

  良好的开端是成功的一半,这句话同样适用于网站优化。对于建立一个网站,很多人都是抱着尝试的态度,冲冲忙忙就开始拿个程序买个域名空间,成立自己的网站了。然而这样的做法往往为后期的优化埋下更多的忧患。这里我给新手的建议便是建站不可操之过急,想建站的朋友们可以按照这些步骤来建一个良好的网站。

  一:建站的目的

  我们可以从根本的目的上着手,想想自己建站的目的是什么?有的人说测试一下自己的实力,有的人则是练手。而我个人觉得最最根本的目的还是赚钱。有利可图,便有无穷的动力。

  二:网站的定位

  目前做网站有三种盈利方式。一是卖产品,二是卖服务,三是卖广告。一个良好的定位才能指明一个良好的方向。在这里我希望建站的朋友们不要迷迷糊糊没有定位就建好了个人网站。

  三:网站程序和模板

  现在互联网上面的自助建站程序很多,有wordpress、dedecms等等。对于程序的选择追求代码精简,冗余度少,嵌套少,采用DIV+CSS布局。这其实就是对代码进行优化。

  四:空间和域名

  由于新手朋友们大部分都只是做中文网站,所以在域名上选择只需好记就好,不过还得查询下是否被搜索引擎惩罚过。因为用关键词的中文拼音做域名对网站的优化可以忽略不计,而域名是否被惩罚过。这个大家都知道,搜索引擎对于惩罚过的网站是不喜欢的。至于空间的选择,如果你是做国内的网站,最好买国内的空间。选择的标准最好是,安全、稳定、速度快。当然也要检查下是否被搜素引擎惩罚过,还可以检查下该空间下的其他网站域名。

  五:关键词的设定

  很多人不知道怎么挖掘关键词,这里对于我们做普通的网站,我觉得谷歌关键词工具就很够用了,当然还可以通过百度搜索的相关搜索,以及百度搜索的下拉框中挖掘关键词。然后把关键词布局到整个网站。

  六:网站内容填充

  在互联网到处充斥着垃圾网站,采集网站的风气下,搜索引擎是越来越重视网站的原创内容。这里我建议新手朋友们每天更新一些原创文章,辅助一些伪原创和采集文章共同充实网站的内容。当然这些内容要与网站主题相关。

  七:链接建设

  链接建设分为内部链接建设和外部链接建设。内部链接建设做好关键词的链接,联通整个网站和相关文章链接等。外部链接,则是有多种多样。不同的人有不同的外链建设方法。这里我强调一下友情链接对于网站的排名是占了很大的一大块的,所以友情链接必须重视。

微软Edge浏览器将默认阻止Flash运行

Flash是我们的一个记忆,过去的页游广告等都运行在Flash上,自从乔布斯摒弃Flash,Flash的灭亡就已经开始加速了。今天早些时候微软为用户带来了Windows 10 Build 15002预览版系统,其中针对Edge浏览器也进行了不少功能上的更新。

其中针对网页Flash内容的一些变动最引人注意。

更新后的Edge浏览器将“默认”阻止网页中不受信的Flash内容,用户想要运行此类Flash插件则必须要手动确认启用。

此前谷歌已经先行一步,在Chrome 55当中将HTML 5作为默认选项,彻底将老旧的Flash打入冷宫。加上此番微软也开始正式限制运行,Flash已经穷途末路。

网友认为可能有些人就是喜欢或习惯做flash,有时候自己用的浏览器不能用flash,还要换浏览器,是有点沮丧的。

为何站点某些长尾关键词非常好,而有些一点排名都没有

  最近优化皇冠网小编发现好多人在论坛上面问:“为什么站点某些长尾词非常好,而有些一点排名都没有?”。其实问这个问题的话,那么你的网站很可能架构布局没有弄的那么明了。因为网站架构在很大程度上会影响到网站长尾词的排名,如果网站布局不合理的话,那么就会导致网站内页权重不均衡,这样也会导致某些页面的长尾词没有排名。那么出现这种情况,到底该怎么解决呢?这里优化皇冠网小编就大概的给大家介绍下,供参考操作:

  1,首页增加引导页面,增加内页的权重

  2,长尾页面的设置

  3,长尾关键词的选择

  4,长尾内链的设置

  5,长尾文章的发布

  网站架构关键词布局也得当

  

  从上图可知,这个站点全部提升网站的整体权重,而非主页,或者某个页面,这样就不会出现,某些长尾词排名很好,某些长尾词一点排名都没有。长尾词网站架构布局很重要。

  在操作这几步之前,得先要确认下你的这些页面是否已经被搜索引擎收录,如果没有收录的话,那就更不用说了,只能先把收录问题搞定了才行。那么没收录的原因是什么?

  1、 内容质量不高(原创高质量软文该怎么写?)

  2、 结构不行

  3、 层次太深,不够明了

  4、 入口不够

  当出现这种情况后,小编建议从上面几种进行分析,也要确定你所选择的词,是主词被你误认为是长尾词进行布局的话,那么这样的话,主词没有长尾词那么快的出现效果。那么选择长尾词的时候也要根据这个长尾词的竞争程度来优化,并非所有的长尾词都很容易优化上去的。长尾词竞争程度可以根据百度指数进行判断

  

  根据百度指数判断竞争程度,若这些长尾词相对比较重要的话,那么可以把这些没有排名的关键词单独拿出来,着重优化这些没有排名的词,那么这样就会相对快点的把这些词给优化上去。

  好了,小编就对为什么站点某些长尾词非常好,而有些一点排名都没有?介绍到此,欢迎各位高手前来留言交流。谢谢!

 

我的人才网怎样在二个月内PR升到3的

  经历了2个多月的艰辛,我的人才网终于从PR0变到3了!其实我也是新人站长,这个站也是我运营的第一个站。在这里说一下这2个月来我是怎么运营的,希望能对新人有一些帮助,也希望老手不要笑我,能给我一些意见建议,谢谢!

  1、首先是选题。其实现在建站很方便了,有很多现成的程序,如果你真有个别的要求什么,花些钱就算个小投资吧。成本真的不贵。建站容易做的人就多了。这时候选对网站的主题就很重要了。因为这是一个长期的过程,有的网站甚至要一两年后才有效果!我就是看中了现在失业的人比较多,创业的人也多。所以人才交流会很频繁,才做的人才网。

  2、SEO优化。这个我还真不是很懂。其实也不需要想的太复杂了。这里可以教新人朋友一个小技巧,就是title部分不要用固定的。可以考虑把文章啊,产品啊什么的参数也套在title里(现在网上大部分程序都是这样弄的,如自己做站的朋友可能会忽略)。

  3、坚持每天更新,哪怕只更新一两篇文章。新站最好不要用采集的,如果你想长期做的话。说实话一开始你就算每天更新100篇,也不一顶会有人进来看。因为新站一开始都没被各大搜索引擎收录。你的更新是给搜索蜘蛛看的。一开始周期会比较长,后来会越来越短。我的站现在百度1-2天来爬一次。

  4、推广。这个是一个体力活。可以考虑比较热闹的一些地方,如百度贴吧、天涯、猫扑等地方。不要弄的太直接了,谁都不希望自己的论坛或底盘里出现垃圾广告。软文就是一种很好的策略,可以以故事的形式来表达你网站的主题,我的人才网一开始就是在百度乱做广告把我的百度帐号都给封了,后来学着写些软文什么的,多少有些效果吧。如果你文笔实在不行但是技术很好的话,可以考虑QQ群发或邮件群发。

  5、友情连接。一开始PR为0的时候做连接是最痛苦的,高的PR不理你,低的又怕不正规。所以尽量认识一些站长朋友是最重要的。有些建站的朋友可以考虑给老客户的网站加你的连接,不行的话就买几个连接吧。PR4的也才20。买一两个应该够用了。最重要的一点,千万不要加垃圾站连接,特别是搜索引擎收录不正常的!

  6、勾引蛛蛛。一开始时候最怕没被收录,这里有一个小技巧,你先建立一个新的词。如“个古柯碱的”此类就百度搜索不到的词。然后在你的网站上发表一篇文章,里面出现几次这个词。最好加粗或者什么。然后到天涯或什么地方发表一下。如果运气好的话,第二天,你的站就被收录了。

 希望能对新人朋友有点帮助。(文笔不好,废话比较多,大家不要喷我。)。最后希望大家能够光临我的0556人才网。

在国内使用国外空间 怎样提高访问速度

  国内网络政策风声鹤唳,很多站长都将网站搬到了国外。本人对备案拍照非常反感,名下有好几个网站都在国内,最近正为这事忧心忡忡。反正不到万不得已我是肯定不会去拍照的,于是,本人最近在国外一著名主机商那里买了一个虚拟服务器,带独立ip,以备后患。在测试主机的过程中,我发现一个很大的问题就是网速太慢,比国内网站要慢很多。美国离中国大半个地球,一来一去光就要绕地球一圈,这速度是无论如何都快不上来的,据说ping值在250ms算是不错的了。于是我又想到了网站加速。

  我首先想到了CDN加速,但是CDN太贵,CDN的花费完全可以再买一个主机了,而且听说CDN对百度、谷歌等收录不利,因为IP处于不断变化中,想想也有道理,虽然没有亲身试验,但是我想站长都不会拿自己的网站去开玩笑的。

  后来我又想到一个办法,那就是将网页文件分别布置在国内外不同的服务器上。一个静态页面无非由文字、图片、CSS、JS等文件组成,我想到的方法和步骤如下:

  1、在美国租用一个尽量稳定的、快速的服务器,作为主服务器;

  2、在国内租用一个便宜的、稳定的、快速的服务器,作为辅服务器,一般来说就几十块钱,双线的也就百来元;如果有独立ip更好,省去DNS解析时间,如果没有,就将就着用IDC公司提供的三级域名。IDC公司提供的三级域名都是备案过的,不用担心备案问题,也不用担心拍照问题。(声明:我不是为国内IDC做广告,只是为了让访问速度快一些,不得不用国内主机,这没办法的,望大家谅解。)

  3、将某些文件,主要包括Images、CSS、JS三种文件置于上述辅服务器中,其他比较大的文档其实也可以放国内。转移文件后,将网站进行一番改造,主要是重写模板代码,将其中的图片、CSS、JS文件的相对路径改成国内辅服务器的绝对路径;

  4、测试、调整网站。这样就可以了。

  这种方法的基本思路就是将网页文件在国内外分别布置。这一方法对于生成静态页面的网站非常实用,对于动态网站也能起到一定作用。本人用dedecms做了一个网站测试了一下,发现网站打开的速度已经和国内网站相差无几。一般来说,一个页面总大小大约在250K左右,其中图片、CSS、JS等就占到了200K,其他50K,如此说来相当于80%的页面元素是在国内下载的。这样,相当于国外就放了网站的外壳,而网站的大部分内容在国内。

  本人学文科出身,学法律的,热爱公平自由,反对专制暴政,我对于计算机和网络并不在行,可能有的朋友已经知道了这种方法法,也可能朋友们有更好的方法。上述方法也许比较拙劣,但是经过我测试,效果确实不错,其效果可以说是立竿见影。朋友们可能有更好的加速方法,希望共同探讨。本人不是做广告,我不附任何网址,我只想让大家能顺利地办网站,并且能够有效地抵御网络恶政,实现自己的理想。不当之处,多多原谅。

  插入一个题外话:要是大家都这样做,会不会买国内虚拟主机就要拍照? 疑惑中。

http://liyang.kvov.com.cn/jzxx35873.html