使用robots引导SEO搜索引擎允许禁止访问网站目录或文件
itomcoil 2025-01-08 14:39 13 浏览
通常像后台管理登录页面、会员登录与注册页面等不想让搜索引擎收录/抓取，怎么办？那办法之一就是通过robots.txt文件来实现。
Robots也称做爬虫协议，写法是robots.txt（不用写成Robots.txt），一定要放在网站根目录，其他目录无效。搜索引擎爬虫访问/抓取网站首先访问的就是robots.txt文件，其次才是index.html/index.php、网站目录等。网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。很多人知其一不知其二，懂得一些简单写法用法。但有些人仍然有所忽略，那就是涉及安全隐私的问题。
以下是个人写法，仅供参考：
User-agent: * 搜索引擎的标识，*代表包括百度、谷歌等任意引擎。要具体指定的话这里不详述了。
Disallow: /a*/ 禁止以“a”适配开头的目录下的访问，例如：admin/index.html 是不能访问的。
Disallow: /C*/ 同上，这个大写的C，要注意区分大小。
Disallow: /js/ 禁止访问js目录的任何
Disallow: /*? 禁止包含 ? 的网址，如：www.haook.cn/abc?id=88或www.haook.cn/aa?cc=2 这样的形式。
Disallow: /*.jpg$ 禁止访问以.jpg结尾的所有图片
Sitemap: <http://www.haook.cn/sitemap.xml> 允许访问这个网站地图文件。
这里说要注意的就是要使用网站地图指令，用"<>"将网站地图的URL地址包裹，有些人说不用加，这你看着办吧。
用*适配符号以防止黑客或恶意攻击的行为，你认为不重要的就不要用*了，直接写上全名即可，如“/js/”。
部分像谷歌搜索引擎还支持网页内写上 <meta name="robots" content="noindex,nofollow" /> 来实现其功能。
注意：对于访问您网站的抓取工具来说robots.txt 命令仅仅只是指令,robots.txt 文件中的命令并不能强制抓取工具对您的网站进行相应的抓取操作。
相关推荐
- Excel新函数TEXTSPLIT太强大了，轻松搞定数据拆分!
-
我是【桃大喵学习记】，欢迎大家关注哟~，每天为你分享职场办公软件使用技巧干货！最近我把WPS软件升级到了版本号：12.1.0.15990的最新版本，最版本已经支持文本拆分函数TEXTSPLIT了，并...
- Excel超强数据拆分函数TEXTSPLIT，从入门到精通!
-
我是【桃大喵学习记】，欢迎大家关注哟~，每天为你分享职场办公软件使用技巧干货！今天跟大家分享的是Excel超强数据拆分函数TEXTSPLIT，带你从入门到精通！TEXTSPLIT函数真是太强大了，轻松...
- 看完就会用的C++17特性总结（c++11常用新特性）
-
作者：taoklin，腾讯WXG后台开发一、简单特性1.namespace嵌套C++17使我们可以更加简洁使用命名空间：2.std::variant升级版的C语言Union在C++17之前，通...
- plsql字符串分割浅谈（plsql字符集设置）
-
工作之中遇到的小问题，在此抛出问题，并给出解决方法。一方面是为了给自己留下深刻印象，另一方面给遇到相似问题的同学一个解决思路。如若其中有写的不好或者不对的地方也请不加不吝赐教，集思广益，共同进步。遇到...
- javascript如何分割字符串（javascript切割字符串）
-
javascript如何分割字符串在JavaScript中，您可以使用字符串的`split()`方法来将一个字符串分割成一个数组。`split()`方法接收一个参数，这个参数指定了分割字符串的方式。如...
- TextSplit函数的使用方法(入门+进阶+高级共八种用法10个公式)
-
在Excel和WPS新增的几十个函数中，如果按实用性+功能性排名，textsplit排第二，无函数敢排第一。因为它不仅使用简单，而且解决了以前用超复杂公式才能搞定的难题。今天小编用10个公式，让你彻底...
- Python字符串split()方法使用技巧
-
在Python中，字符串操作可谓是基础且关键的技能，而今天咱们要重点攻克的“堡垒”——split()方法，它能将看似浑然一体的字符串，按照我们的需求进行拆分，极大地便利了数据处理与文本解析工作。基本语...
- go语言中字符串常用的系统函数（golang 字符串）
-
最近由于工作比较忙,视频有段时间没有更新了,在这里跟大家说声抱歉了,我尽快抽些时间整理下视频今天就发一篇关于go语言的基础知识吧!我这我工作中用到的一些常用函数,汇总出来分享给大家,希望对...
- 无规律文本拆分，这些函数你得会（没有分隔符没规律数据拆分）
-
今天文章来源于表格学员训练营群内答疑，混合文本拆分。其实拆分不难，只要规则明确就好办。就怕规则不清晰，或者规则太多。那真是，Oh,mygod.如上图所示进行拆分，文字表达实在是有点难，所以小熊变身灵...
- Python之文本解析:字符串格式化的逆操作?
-
引言前面的文章中，提到了关于Python中字符串中的相关操作，更多地涉及到了字符串的格式化，有些地方也称为字符串插值操作，本质上，就是把多个字符串拼接在一起，以固定的格式呈现。关于字符串的操作，其实还...
- 忘记【分列】吧，TEXTSPLIT拆分文本好用100倍
-
函数TEXTSPLIT的作用是：按分隔符将字符串拆分为行或列。仅ExcelM365版本可用。基本应用将A2单元格内容按逗号拆分。=TEXTSPLIT(A2,",")第二参数设置为逗号...
- Excel365版本新函数TEXTSPLIT，专攻文本拆分
-
Excel中字符串的处理，拆分和合并是比较常见的需求。合并，当前最好用的函数非TEXTJOIN不可。拆分，Office365于2022年3月更新了一个专业函数：TEXTSPLIT语法参数：【...
- 站长在线Python精讲使用正则表达式的split()方法分割字符串详解
-
欢迎你来到站长在线的站长学堂学习Python知识，本文学习的是《在Python中使用正则表达式的split()方法分割字符串详解》。使用正则表达式分割字符串在Python中使用正则表达式的split(...
- Java中字符串分割的方法（java字符串切割方法）
-
技术背景在Java编程中，经常需要对字符串进行分割操作，例如将一个包含多个信息的字符串按照特定的分隔符拆分成多个子字符串。常见的应用场景包括解析CSV文件、处理网络请求参数等。实现步骤1.使用Str...
- 因为一个函数strtok踩坑，我被老工程师无情嘲笑了
-
在用C/C++实现字符串切割中，strtok函数经常用到，其主要作用是按照给定的字符集分隔字符串，并返回各子字符串。但是实际上，可不止有strtok(),还有strtok、strtok_s、strto...
- 一周热门
- 最近发表
- 标签列表
-
- ps像素和厘米换算 (32)
- ps图案在哪里 (33)
- super().__init__ (33)
- python 获取日期 (34)
- 0xa (36)
- super().__init__()详解 (33)
- python安装包在哪里找 (33)
- linux查看python版本信息 (35)
- python怎么改成中文 (35)
- php文件怎么在浏览器运行 (33)
- eval在python中的意思 (33)
- python安装opencv库 (35)
- python div (34)
- sticky css (33)
- python中random.randint()函数 (34)
- python去掉字符串中的指定字符 (33)
- python入门经典100题 (34)
- anaconda安装路径 (34)
- yield和return的区别 (33)
- 1到10的阶乘之和是多少 (35)
- python安装sklearn库 (33)
- dom和bom区别 (33)
- js 替换指定位置的字符 (33)
- python判断元素是否存在 (33)
- sorted key (33)