探索 Python 中的 subprocess 模块:执行外部命令和程序

前言

在 Python 中，subprocess 模块允许你在子进程中执行外部命令和程序，并且与之交互。本文将向你介绍 subprocess 模块的基本用法，以及如何利用它执行外部命令和控制子进程。

一.导入 subprocess 模块

subprocess 模块，python内置的不需要额外安装使用需要导入即可：

import subprocess

二.基本用法

1.run()函数执行外部命令

这个例子展示了如何使用 subprocess.run() 方法执行外部命令。在这里，我们执行了 dir 命令来列出当前目录下的文件和文件夹。windows格式是GB2312，需要转成这个，不然打印会乱码，如下图

import subprocess


result = subprocess.run('dir',shell=True,stdout=subprocess.PIPE)


print(result.stdout.decode('GB2312'))

2.Popen()函数控制子进程

subprocess.Popen() 方法创建了一个新的子进程，并允许你与之交互。在这个例子中，我们调用了系统命令执行打印命令，并捕获了其输出。

import subprocess  
  
# 执行外部命令并交互  
process = subprocess.Popen(['python', '-c', 'print("Hello, World!")'], stdout=subprocess.PIPE)  
output, error = process.communicate()  
print(output.decode('utf-8'))

3.设置超时

只有run()函数有设置timeout，Popen()没有

subprocess.run(['dir'], timeout=2)

?

4.常用方法和函数

run(cmds,shell=True,text=True,stdout=subprocess.PIPE, stderr=subprocess.PIPE): 执行指定的命令，stdout和stderr参数来捕获子进程的输出。

Popen(args, stdout=subprocess.PIPE): 创建一个新的子进程对象。

communicate(input): 与子进程进行交互，发送数据并获取输出。

5.应用场景

subprocess 模块在执行系统命令、调用其他程序、进行进程间通信等场景中非常有用。它可以帮助你与外部程序进行交互，获取和处理执行结果。以下是一些常用的场景

1. 自动化任务：使用subprocess模块可以轻松地自动化常见的系统任务，例如文件管理、系统监控、网络管理等等。
2. 运行脚本或程序：当需要从Python脚本中调用其他脚本或程序时，可以使用subprocess模块来启动和监控这些进程。
3. 与外部服务通信：如果需要与外部服务（例如数据库、Web服务或文件服务器）进行通信，可以使用subprocess模块来执行相关的命令或脚本。
4. 集成工具：subprocess模块可以用于集成各种工具和命令行程序，以便在Python脚本中方便地使用它们。
5. 测试和调试：在测试和调试阶段，可以使用subprocess模块来模拟外部环境，以便更好地理解和控制程序的执行。
6. 系统管理：在系统管理任务中，可以使用subprocess模块来执行系统命令和脚本，例如安装软件、配置网络或管理用户账户等等。
7. 构建工具：subprocess模块可以用于构建工具中，例如构建系统、持续集成/持续部署（CI/CD）工具等等，以自动化构建和部署过程。
8. 数据处理：在数据处理任务中，可以使用subprocess模块来调用外部数据处理工具或命令，例如数据清洗、转换或分析等等。

6. 注意事项

1. Shell安全性：使用subprocess.run()或subprocess.Popen()时，如果通过shell参数（shell=True）来执行命令，需要特别注意安全性问题。这可能会导致命令注入攻击，因为用户输入可能会被解释为shell命令。因此，除非你完全信任执行的命令，否则应避免使用shell参数。
2. 管道管理：在使用subprocess模块时，管道是非常有用的功能，可以用于获取子进程的输出。然而，如果不正确地处理管道，可能会导致死锁或资源泄漏。确保在不再需要管道时关闭它们，并使用communicate()方法来读取管道内容，以避免死锁。
3. 资源管理：确保在不再需要子进程时正确地关闭它们。可以使用wait()方法来等待子进程结束，或使用Popen.kill()或Popen.terminate()来强制终止子进程。同时，也要注意关闭文件描述符和网络连接等资源。
4. 错误处理：当执行外部命令时，可能会发生错误。确保使用适当的错误处理机制来捕获和处理这些错误，例如使用try/except块来捕获异常。
5. 环境变量和路径：在执行外部命令时，可能会受到环境变量和路径的影响。确保了解你的环境变量和路径设置，并考虑使用绝对路径来执行命令或脚本。
6. 超时和终止：在某些情况下，你可能需要设置超时或终止正在执行的子进程。可以使用subprocess.Popen的timeout参数来设置超时，并使用Popen.kill()或Popen.terminate()来强制终止子进程。
7. 输出和返回值：在使用subprocess模块时，需要注意正确地处理子进程的输出和返回值。使用communicate()方法可以获取子进程的标准输出和标准错误输出，并使用returncode属性获取子进程的返回值。

更多用法参考官方文档

https://docs.python.org/3/library/subprocess.html