使用robots引导SEO搜索引擎允许禁止访问网站目录或文件
itomcoil 2025-01-08 14:39 16 浏览
通常像后台管理登录页面、会员登录与注册页面等不想让搜索引擎收录/抓取，怎么办？那办法之一就是通过robots.txt文件来实现。
Robots也称做爬虫协议，写法是robots.txt（不用写成Robots.txt），一定要放在网站根目录，其他目录无效。搜索引擎爬虫访问/抓取网站首先访问的就是robots.txt文件，其次才是index.html/index.php、网站目录等。网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。很多人知其一不知其二，懂得一些简单写法用法。但有些人仍然有所忽略，那就是涉及安全隐私的问题。
以下是个人写法，仅供参考：
User-agent: * 搜索引擎的标识，*代表包括百度、谷歌等任意引擎。要具体指定的话这里不详述了。
Disallow: /a*/ 禁止以“a”适配开头的目录下的访问，例如：admin/index.html 是不能访问的。
Disallow: /C*/ 同上，这个大写的C，要注意区分大小。
Disallow: /js/ 禁止访问js目录的任何
Disallow: /*? 禁止包含 ? 的网址，如：www.haook.cn/abc?id=88或www.haook.cn/aa?cc=2 这样的形式。
Disallow: /*.jpg$ 禁止访问以.jpg结尾的所有图片
Sitemap: <http://www.haook.cn/sitemap.xml> 允许访问这个网站地图文件。
这里说要注意的就是要使用网站地图指令，用"<>"将网站地图的URL地址包裹，有些人说不用加，这你看着办吧。
用*适配符号以防止黑客或恶意攻击的行为，你认为不重要的就不要用*了，直接写上全名即可，如“/js/”。
部分像谷歌搜索引擎还支持网页内写上 <meta name="robots" content="noindex,nofollow" /> 来实现其功能。
注意：对于访问您网站的抓取工具来说robots.txt 命令仅仅只是指令,robots.txt 文件中的命令并不能强制抓取工具对您的网站进行相应的抓取操作。
相关推荐
- Python Qt GUI设计:将UI文件转换Python文件三种妙招(基础篇—2)
-
在开始本文之前提醒各位朋友，Python记得安装PyQt5库文件，Python语言功能很强，但是Python自带的GUI开发库Tkinter功能很弱，难以开发出专业的GUI。好在Python语言的开放...
- Connect 2.0来了，还有Nuke和Maya新集成
-
ftrackConnect2.0现在可以下载了--重新设计的桌面应用程序，使用户能够将ftrackStudio与创意应用程序集成，发布资产等。这个新版本的发布中还有两个Nuke和Maya新集成，...
- Magicgui:不会GUI编程也能轻松构建Python GUI应用
-
什么是MagicguiMagicgui是一个Python库,它允许开发者仅凭简单的类型注解就能快速构建图形用户界面(GUI)应用程序。这个库基于Napari项目,利用了Python的强大类型系统,使得...
- Python入坑系列:桌面GUI开发之Pyside6
-
阅读本章之后，你可以掌握这些内容：Pyside6的SignalsandSlots、Envents的作用，如何使用？PySide6的Window、DialogsandAlerts、Widgets...
- Python入坑系列-一起认识Pyside6 designer可拖拽桌面GUI
-
通过本文章，你可以了解一下内容：如何安装和使用Pyside6designerdesigner有哪些的特性通过designer如何转成python代码以前以为Pyside6designer需要在下载...
- pyside2的基础界面（pyside2显示图片）
-
今天我们来学习pyside2的基础界面没有安装过pyside2的小伙伴可以看主页代码效果...
- Python GUI开发:打包PySide2应用（python 打包pyc）
-
之前的文章我们介绍了怎么使用PySide2来开发一个简单PythonGUI应用。这次我们来将上次完成的代码打包。我们使用pyinstaller。注意，pyinstaller默认会将所有安装的pack...
- 使用PySide2做窗体，到底是怎么个事?看这个能不能搞懂
-
PySide2是Qt框架的Python绑定，允许你使用Python创建功能强大的跨平台GUI应用程序。PySide2的基本使用方法：安装PySide2pipinstallPy...
- pycharm中conda解释器无法配置（pycharm安装的解释器不能用）
-
之前用的好好的pycharm正常配置解释器突然不能用了？可以显示有这个环境然后确认后可以conda正在配置解释器，但是进度条结束后还是不成功！！试过了pycharm重启，pycharm重装，anaco...
- Conda使用指南:从基础操作到Llama-Factory大模型微调环境搭建
-
Conda虚拟环境在Linux下的全面使用指南：从基础操作到Llama-Factory大模型微调环境搭建在当今的AI开发与数据分析领域，conda虚拟环境已成为Linux系统下管理项目依赖的标配工具。...
- Python操作系统资源管理与监控（python调用资源管理器）
-
在现代计算环境中，对操作系统资源的有效管理和监控是确保应用程序性能和系统稳定性的关键。Python凭借其丰富的标准库和第三方扩展，提供了强大的工具来实现这一目标。本文将探讨Python在操作系统资源管...
- 本地部署开源版Manus+DeepSeek创建自己的AI智能体
-
1、下载安装Anaconda，设置conda环境变量，并使用conda创建python3.12虚拟环境。2、从OpenManus仓库下载代码，并安装需要的依赖。3、使用Ollama加载本地DeepSe...
- 一文教会你，搭建AI模型训练与微调环境，包学会的!
-
一、硬件要求显卡配置：需要Nvidia显卡，至少配备8G显存，且专用显存与共享显存之和需大于20G。二、环境搭建步骤1.设置文件存储路径非系统盘存储：建议将非安装版的环境文件均存放在非系统盘（如E盘...
- 使用scikit-learn为PyTorch 模型进行超参数网格搜索
-
scikit-learn是Python中最好的机器学习库，而PyTorch又为我们构建模型提供了方便的操作，能否将它们的优点整合起来呢？在本文中，我们将介绍如何使用scikit-learn中的网格搜...
- 如何Keras自动编码器给极端罕见事件分类
-
全文共7940字，预计学习时长30分钟或更长本文将以一家造纸厂的生产为例，介绍如何使用自动编码器构建罕见事件分类器。现实生活中罕见事件的数据集：背景1.什么是极端罕见事件？在罕见事件问题中，数据集是...
- 一周热门
- 最近发表
-
- Python Qt GUI设计:将UI文件转换Python文件三种妙招(基础篇—2)
- Connect 2.0来了，还有Nuke和Maya新集成
- Magicgui:不会GUI编程也能轻松构建Python GUI应用
- Python入坑系列:桌面GUI开发之Pyside6
- Python入坑系列-一起认识Pyside6 designer可拖拽桌面GUI
- pyside2的基础界面（pyside2显示图片）
- Python GUI开发:打包PySide2应用（python 打包pyc）
- 使用PySide2做窗体，到底是怎么个事?看这个能不能搞懂
- pycharm中conda解释器无法配置（pycharm安装的解释器不能用）
- Conda使用指南:从基础操作到Llama-Factory大模型微调环境搭建
- 标签列表
-
- ps图案在哪里 (33)
- super().__init__ (33)
- python 获取日期 (34)
- 0xa (36)
- super().__init__()详解 (33)
- python安装包在哪里找 (33)
- linux查看python版本信息 (35)
- python怎么改成中文 (35)
- php文件怎么在浏览器运行 (33)
- eval在python中的意思 (33)
- python安装opencv库 (35)
- python div (34)
- sticky css (33)
- python中random.randint()函数 (34)
- python去掉字符串中的指定字符 (33)
- python入门经典100题 (34)
- anaconda安装路径 (34)
- yield和return的区别 (33)
- 1到10的阶乘之和是多少 (35)
- python安装sklearn库 (33)
- dom和bom区别 (33)
- js 替换指定位置的字符 (33)
- python判断元素是否存在 (33)
- sorted key (33)
- shutil.copy() (33)