Midjourney 生成

R语言会话持久化

熟悉或常用R语言进行数据分析/数据挖掘/数据建模的数据工作者可能对R语言的会话保存和会话恢复印象比较深刻，它可以将当前session会话持久化保存，以便分享给其他人开展后续的分析工作，而不需要重新执行前面的内容(前面数据处理过程可能很费时间),从而大大降低处理时间并提升效率。

RData 文件和 save.image() 函数的核心意义是提供一种方便的方式来保存和加载 R 会话的工作空间。它们的核心意义有以下几点：

1. 持久化工作空间：RData 文件和 save.image() 函数允许你将当前会话的工作空间保存到硬盘上的文件中。这样，你可以在不同的时间点或不同的计算机上恢复保存时的工作环境。这对于长期项目、复杂分析和需要重复运行相同代码的情况非常有用。你可以保存数据、函数、变量和其他对象，以便将来使用。
2. 环境共享和迁移：通过保存和加载工作空间，你可以方便地共享代码和数据，并在不同的 R 会话之间共享环境。这对于团队合作、结果复现和共享分析成果非常有帮助。你可以将工作空间发送给其他人，或在不同的计算机之间迁移工作环境，而无需手动重新创建对象和设置环境。
3. 提高工作效率：RData 文件和 save.image() 函数可以帮助你节省时间和努力。你可以将工作空间保存为文件，避免在每次启动 R 会话时重新加载数据和设置环境。这样，你可以快速回到之前的工作状态，继续进行分析或开发，而不必从头开始。

总而言之，RData 文件和 save.image() 函数的核心意义是提供一种简单而有效的方法来保存和加载 R 会话的工作空间，以方便地保留和共享环境，节省时间并提高工作效率。

Python会话如何持久化？

持久化和恢复Python 对大数据处理(Data PipeLine)框架由比较大意义。

大数据应用的典型范式是由数据管道(Data PipeLine)组成的一系列数据加工处理和应用的过程，主流数据管道处理框架如批处理、流处理管道和Lambda架构。在这些数据管道中，Python 在数据处理和应用方面的应用越来越广泛，并成为主流的计算方式。Python 可以用于控制批处理部分的逻辑控制（与数据平台交互），并很好地支持交互数据应用部分，如交互报表和算法模型的预测服务。整个过程可以分为两部分：批处理部分（数据加工过程）和交互数据应用部分。

关于这两部分如何更好地结合，有两种方式：

• 分离方式：在这种方式下，批处理部分和交互数据应用部分是相互分离的。批处理部分负责数据加工和持久化，将结果存储在数据库或其他持久化数据存储中。交互数据应用部分则从持久化数据中加载所需的数据，并进行交互式应用和分析。这种方式可以通过数据库查询或数据加载方式来关联两部分的数据。
• 统一方式：在这种方式下，整个过程是统一和一体的。批处理部分的结果会被持久化，然后交互数据应用部分加载批处理结果的会话（session），并进行交互式的应用。这种方式可以通过使用适当的工具和框架，如dill等，来实现会话的持久化和加载。

那如何在Python中实现类似于 R 的 save.image() 功能，将会话数据持久化，以便在需要时重新加载和重用？

接下来介绍一下笔者尝试使用dill 包实现session会话的保存和恢复，同时修复dill在Notebook中使用出现的bug。

关于dill

dill 是一个扩展了 Python 的 pickle 模块的库，用于序列化和反序列化 Python 对象，并具有保存解释器会话状态的功能。

GitHub地址：https://github.com/uqfoundation/dill

主要功能：

a. 序列化和反序列化 Python 对象到大多数内置 Python 类型。

b. 提供与 pickle 模块相同的用户界面，并具有一些附加功能。

c. 能够保存解释器/Kernel会话的状态，以便在不同的解释器/Kernel会话之间恢复和继续执行。

d. 可以将 Python 对象作为字节流发送到网络上。

e. 允许对任意用户定义的类和函数进行序列化。

f. dill 是 pathos（pathos 是一个并行计算和多核编程的框架，旨在简化在多个计算资源上执行任务的过程。它提供了一组工具和接口，使得在分布式和并行计算环境中编写高效的代码更加容易） 框架的一部分，用于异构计算。

dill操作实例

• 安装dill

pip install dill

• 定义变量

import pandas as pd
import numpy as np
a=[100,'aa']
b={"x":100,"y":'200'}
df1 = pd.DataFrame({'A': np.arange(1,1000), 'B': np.arange(2,1001)})
df1

• 保存session 会话

import dill
filepath = 'session1.pkl'
dill.dump_module(filename=filepath)

• 关闭python 或kernel
• 重新进入python或重启kernel,加载session：

import dill
filepath = 'session1.pkl'
dill.load_module(filename=filepath) 
df1

dill 在notebook上实例

通过测试发现，dill 在notebook上执行dump_module失败，经过排查主要由于IPython和ipykernel 相关socket对象无法持久化导致异常。IPython和ipykernel 主要kernel 与notebook 通信交互的相关包和对象，创建kernel 会自动生成无需持久化和恢复。

经排查和阅读dill 源代码，可以使用register重新注册dict 持久化类，先预处理过滤掉相关对象，再调用dill 内部snb_save_module_dict。代码参考如下：

from dill._dill import register
from dill._dill import save_module_dict
"""
dill 在notebook 里面无法正常使用，由于IPython和ipykernel 相关socket对象无法持久化，save pickl 时候需要过滤掉相关对象。
register 重新注册dict 持久化类，先预处理过滤掉，再调用dill 内部snb_save_module_dict。
"""
@register(dict)
def snb_save_module_dict(pickler, obj):
  keys=list(obj.keys())
  for k in keys:
    if type(obj[k]).__module__.startswith("ipykernel.") or type(obj[k]).__module__.startswith("IPython."):
      obj.pop(k,None)
    else:
      pass
      #print(k,obj[k])
  save_module_dict(pickler, obj)

经过测试，dill 可以完整在Notebook 使用。