「从零开始Python爬虫」1.8.1 Pyspider的安装
itomcoil 2025-05-05 16:36 10 浏览
pyspider是国人binux编写的强大的网络爬虫框架，它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，同时支持多种数据库后端、多种消息队列，另外还支持JavaScript渲染页面的爬取，使用起来非常方便，本节介绍一下它的安装过程。
相关链接
※官方文档：http://docs.pyspider.org/
※PyPI：https://pypi.python.org/pypi/pyspider
※GitHub：https://github.com/binux/pyspider
※官方教程：
http://docs.pyspider.org/en/latest/tutorial
※在线实例：http://demo.pyspider.org
准备工作
pyspider是支持JavaScript渲染的，而这个过程是依赖于PhantomJS的，所以还需要安装PhantomJS。
pip安装
这里推荐使用pip安装，命令如下：
pip install pyspider命令执行完毕即可完成安装。
常见错误
Windows下可能会出现这样的错误提示：
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl这是PyCurl安装错误，此时需要安装PyCurl库。从
http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本，然后下载相应的wheel文件即可。比如Windows 64位、Python 3.6，则需要下载pycurl-7.43.0-cp36-cp36m-win_amd64.whl，随后用pip安装即可，命令如下：
pip3 install pycurl-7.43.0-cp36-cp36m-win_amd64.whl如果在Linux下遇到PyCurl的错误，可以参考本文：
https://imlonghao.com/19.html。
验证安装
安装完成之后，可以直接在命令行下启动pyspider：
pyspider all此时控制台会有类似如下图所示的输出。
这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/，即可进入pyspider的WebUI管理页面，如下图所示，这证明pyspider已经安装成功了。
后面，我们会详细介绍pyspider的用法。
相关推荐
- Excel新函数TEXTSPLIT太强大了，轻松搞定数据拆分!
-
我是【桃大喵学习记】，欢迎大家关注哟~，每天为你分享职场办公软件使用技巧干货！最近我把WPS软件升级到了版本号：12.1.0.15990的最新版本，最版本已经支持文本拆分函数TEXTSPLIT了，并...
- Excel超强数据拆分函数TEXTSPLIT，从入门到精通!
-
我是【桃大喵学习记】，欢迎大家关注哟~，每天为你分享职场办公软件使用技巧干货！今天跟大家分享的是Excel超强数据拆分函数TEXTSPLIT，带你从入门到精通！TEXTSPLIT函数真是太强大了，轻松...
- 看完就会用的C++17特性总结（c++11常用新特性）
-
作者：taoklin，腾讯WXG后台开发一、简单特性1.namespace嵌套C++17使我们可以更加简洁使用命名空间：2.std::variant升级版的C语言Union在C++17之前，通...
- plsql字符串分割浅谈（plsql字符集设置）
-
工作之中遇到的小问题，在此抛出问题，并给出解决方法。一方面是为了给自己留下深刻印象，另一方面给遇到相似问题的同学一个解决思路。如若其中有写的不好或者不对的地方也请不加不吝赐教，集思广益，共同进步。遇到...
- javascript如何分割字符串（javascript切割字符串）
-
javascript如何分割字符串在JavaScript中，您可以使用字符串的`split()`方法来将一个字符串分割成一个数组。`split()`方法接收一个参数，这个参数指定了分割字符串的方式。如...
- TextSplit函数的使用方法(入门+进阶+高级共八种用法10个公式)
-
在Excel和WPS新增的几十个函数中，如果按实用性+功能性排名，textsplit排第二，无函数敢排第一。因为它不仅使用简单，而且解决了以前用超复杂公式才能搞定的难题。今天小编用10个公式，让你彻底...
- Python字符串split()方法使用技巧
-
在Python中，字符串操作可谓是基础且关键的技能，而今天咱们要重点攻克的“堡垒”——split()方法，它能将看似浑然一体的字符串，按照我们的需求进行拆分，极大地便利了数据处理与文本解析工作。基本语...
- go语言中字符串常用的系统函数（golang 字符串）
-
最近由于工作比较忙,视频有段时间没有更新了,在这里跟大家说声抱歉了,我尽快抽些时间整理下视频今天就发一篇关于go语言的基础知识吧!我这我工作中用到的一些常用函数,汇总出来分享给大家,希望对...
- 无规律文本拆分，这些函数你得会（没有分隔符没规律数据拆分）
-
今天文章来源于表格学员训练营群内答疑，混合文本拆分。其实拆分不难，只要规则明确就好办。就怕规则不清晰，或者规则太多。那真是，Oh,mygod.如上图所示进行拆分，文字表达实在是有点难，所以小熊变身灵...
- Python之文本解析:字符串格式化的逆操作?
-
引言前面的文章中，提到了关于Python中字符串中的相关操作，更多地涉及到了字符串的格式化，有些地方也称为字符串插值操作，本质上，就是把多个字符串拼接在一起，以固定的格式呈现。关于字符串的操作，其实还...
- 忘记【分列】吧，TEXTSPLIT拆分文本好用100倍
-
函数TEXTSPLIT的作用是：按分隔符将字符串拆分为行或列。仅ExcelM365版本可用。基本应用将A2单元格内容按逗号拆分。=TEXTSPLIT(A2,",")第二参数设置为逗号...
- Excel365版本新函数TEXTSPLIT，专攻文本拆分
-
Excel中字符串的处理，拆分和合并是比较常见的需求。合并，当前最好用的函数非TEXTJOIN不可。拆分，Office365于2022年3月更新了一个专业函数：TEXTSPLIT语法参数：【...
- 站长在线Python精讲使用正则表达式的split()方法分割字符串详解
-
欢迎你来到站长在线的站长学堂学习Python知识，本文学习的是《在Python中使用正则表达式的split()方法分割字符串详解》。使用正则表达式分割字符串在Python中使用正则表达式的split(...
- Java中字符串分割的方法（java字符串切割方法）
-
技术背景在Java编程中，经常需要对字符串进行分割操作，例如将一个包含多个信息的字符串按照特定的分隔符拆分成多个子字符串。常见的应用场景包括解析CSV文件、处理网络请求参数等。实现步骤1.使用Str...
- 因为一个函数strtok踩坑，我被老工程师无情嘲笑了
-
在用C/C++实现字符串切割中，strtok函数经常用到，其主要作用是按照给定的字符集分隔字符串，并返回各子字符串。但是实际上，可不止有strtok(),还有strtok、strtok_s、strto...
- 一周热门
- 最近发表
- 标签列表
-
- ps像素和厘米换算 (32)
- ps图案在哪里 (33)
- super().__init__ (33)
- python 获取日期 (34)
- 0xa (36)
- super().__init__()详解 (33)
- python安装包在哪里找 (33)
- linux查看python版本信息 (35)
- python怎么改成中文 (35)
- php文件怎么在浏览器运行 (33)
- eval在python中的意思 (33)
- python安装opencv库 (35)
- python div (34)
- sticky css (33)
- python中random.randint()函数 (34)
- python去掉字符串中的指定字符 (33)
- python入门经典100题 (34)
- anaconda安装路径 (34)
- yield和return的区别 (33)
- 1到10的阶乘之和是多少 (35)
- python安装sklearn库 (33)
- dom和bom区别 (33)
- js 替换指定位置的字符 (33)
- python判断元素是否存在 (33)
- sorted key (33)