捉虫笔记（二）之 杀软请你自重点

前一篇文章介绍了如何配置符号，这一篇文章我们来个实战。

1 现象

在我们的程序中利用robocopy进行文件的复制。但是QA反馈，只要进行了备份操作，整个进程就会卡住。但是奇怪的是只有他的机器能发现。刚开始的时候我没有太重视这个问题。随着内部反馈的人多了，我开始对这个现象感兴趣了。

2 分析过程

2.1 初步猜测

首先我们是利用的python的脚本启动robocopy，下面是伪代码:

proc = subprocess.Popen("robocopy %s %s /E /MT:32 /XD .* /XF *.gmp *.zip" % (src, dst), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
_, _ = proc.communicate()

robocopy是windows自带的一个复制程序，我觉得可靠性应该是很高的。所以一开始我觉得出问题的肯定 是在我们的内部程序，我仔细检查了每个参数一无所获。

目标只能转移到robocopy本身，刚开始觉得卡住可能是因为需要复制的文件过多，导致线程卡住，但是执行了10分钟还是纹丝不动。我就意识到估计死锁或者等待某个事件。

但是需要证据，此时我让QA的同事立马生成robocopy的dump文件。

2.2 线程堆栈分析

拿到dump之后，立马使用WinDbg打开。

首先就执行了!runaway看看哪个线程跑的最欢。

现0s和5s排在前面。0号线程其实是UI线程（windows中0号线程默认是UI线程），用时最长可以理解。但是仔细分析就发现5号线程其实还没有开始执行就已经卡住了。看来我们刚开始的猜测是有出入的。robocopy刚启动就被按住不动了。

即使卡住了，看看是不是有上锁了，执行!cs -l，查看发现就没有任何的锁。

再执行.exr -1看看是不是出现了什么异常。发现最近的异常还是断点异常。说明也没有异常。

思考片刻，决定还是看看每个线程的 堆栈情况如何。执行~*k，查看所有线程的堆栈，还好线程不多。

因为涉及到一些敏感信息，我把关键点使用softwareXXX来代替。

 # Child-SP          RetAddr               Call Site
00 00000092`21d3f088 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14
01 00000092`21d3f090 00007ff7`4c9009fa     KERNELBASE!WaitForSingleObjectEx+0x8e
02 00000092`21d3f130 00007ff7`4c90296d     Robocopy!WaitMultiThreaded+0x50e
03 00000092`21d3f1b0 00007ff7`4c90f3ad     Robocopy!wmain+0x681
04 00000092`21d3f970 00007ffb`dec37344     Robocopy!__wmainCRTStartup+0x14d
05 00000092`21d3f9b0 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
06 00000092`21d3f9e0 00000000`00000000     ntdll!RtlUserThreadStart+0x21
0:000> ~*k;.  0  Id: 5bf8.4ee4 Suspend: 0 Teb: 00000092`21f62000 Unfrozen
 # Child-SP          RetAddr               Call Site
00 00000092`21d3f088 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14
01 00000092`21d3f090 00007ff7`4c9009fa     KERNELBASE!WaitForSingleObjectEx+0x8e
02 00000092`21d3f130 00007ff7`4c90296d     Robocopy!WaitMultiThreaded+0x50e
03 00000092`21d3f1b0 00007ff7`4c90f3ad     Robocopy!wmain+0x681
04 00000092`21d3f970 00007ffb`dec37344     Robocopy!__wmainCRTStartup+0x14d
05 00000092`21d3f9b0 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
06 00000092`21d3f9e0 00000000`00000000     ntdll!RtlUserThreadStart+0x21   1  Id: 5bf8.4c68 Suspend: 0 Teb: 00000092`21f6a000 Unfrozen
 # Child-SP          RetAddr               Call Site
00 00000092`2217fca8 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14
01 00000092`2217fcb0 00007ffb`d9776e2b     KERNELBASE!WaitForSingleObjectEx+0x8e
02 00000092`2217fd50 00007ffb`dec37344     softwareXXX+0x76e2b
03 00000092`2217fd80 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
04 00000092`2217fdb0 00000000`00000000     ntdll!RtlUserThreadStart+0x21   2  Id: 5bf8.5930 Suspend: 0 Teb: 00000092`21f6c000 Unfrozen
 # Child-SP          RetAddr               Call Site
00 00000092`221ff478 00007ffb`ddffbea0     ntdll!NtWaitForMultipleObjects+0x14
01 00000092`221ff480 00007ffb`ddffbd9e     KERNELBASE!WaitForMultipleObjectsEx+0xf0
02 00000092`221ff770 00007ffb`d977a9c0     KERNELBASE!WaitForMultipleObjects+0xe
03 00000092`221ff7b0 00007ffb`dec37344     softwareXXX+0x7a9c0
04 00000092`221ff810 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
05 00000092`221ff840 00000000`00000000     ntdll!RtlUserThreadStart+0x21   3  Id: 5bf8.5dbc Suspend: 0 Teb: 00000092`21f6e000 Unfrozen
 # Child-SP          RetAddr               Call Site
00 00000092`2227f648 00007ffb`e051d407     ntdll!NtWaitForWorkViaWorkerFactory+0x14
01 00000092`2227f650 00007ffb`dec37344     ntdll!TppWorkerThread+0x2f7
02 00000092`2227f950 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
03 00000092`2227f980 00000000`00000000     ntdll!RtlUserThreadStart+0x21   4  Id: 5bf8.7f4 Suspend: 0 Teb: 00000092`21f70000 Unfrozen
 # Child-SP          RetAddr               Call Site
00 00000092`222ff7d8 00007ffb`e051d407     ntdll!NtWaitForWorkViaWorkerFactory+0x14
01 00000092`222ff7e0 00007ffb`dec37344     ntdll!TppWorkerThread+0x2f7
02 00000092`222ffae0 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
03 00000092`222ffb10 00000000`00000000     ntdll!RtlUserThreadStart+0x21   5  Id: 5bf8.3694 Suspend: 0 Teb: 00000092`21f7a000 Unfrozen
 # Child-SP          RetAddr               Call Site
00 00000092`224fd878 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14
01 00000092`224fd880 00007ffb`d978abed     KERNELBASE!WaitForSingleObjectEx+0x8e
02 00000092`224fd920 00007ff7`4c90c25f     softwareXXX+0x8abed
03 00000092`224fe2a0 00007ff7`4c8ff78f     Robocopy!CZEnt::CopyData+0x467
04 00000092`224ff390 00007ff7`4c90014e     Robocopy!RoboCopy+0x18b
05 00000092`224ff400 00007ffb`e0533730     Robocopy!RoboCopyWorker+0x6e
06 00000092`224ff430 00007ffb`e051d79a     ntdll!TppWorkpExecuteCallback+0x130
07 00000092`224ff480 00007ffb`dec37344     ntdll!TppWorkerThread+0x68a
08 00000092`224ff780 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
09 00000092`224ff7b0 00000000`00000000     ntdll!RtlUserThreadStart+0x21

接下来就是仔细分析每个线程的堆栈情况了。可以看到0，1，2，以及5号线程都在等待某个内核对象。

3，4号线程就是windows内部的线程池，这里我们暂且不关注。

先分析0号线程，我们查了函数原型NtWaitForSingleObject，第一个参数就是需要等待的内核对象，第二个参数是否可中断，第三个参数超时时间。根据x64调用协议，前四个非浮点数且小于64位参数都是寄存器rcx,rdx,r8,r9中。

NTSTATUS NtWaitForSingleObject(
  [in] HANDLE         Handle,
  [in] BOOLEAN        Alertable,
  [in] PLARGE_INTEGER Timeout
);

我们试着找出这个参数，在WinDbg命令中执行r rcx，就是打印出rcx寄存器中的值。

找到这个值之后，我们需要验证这个值是不是内核对象。再执行!handle xxx f，此时就会打印出关于此内核对象的具体信息。

如法炮制，分析切换到1，2，5号线程。比如我们切换到1号线程：

这里需要说下2号线程调用的函数NtWaitForMultipleObjects，这个函数在微软的文档并未公布函数原型。但是我们可以到此线程的第二帧调用的函数KERNELBASE!WaitForMultipleObjectsEx，而这个函数原型是有的。

从名字可以大致猜出此函数应该是等待多个内核对象。第一个参数就是等待的个数，第二个就是类似数组里面保存了句柄，第三个和第四含义和之前是一样的。

DWORD WaitForMultipleObjects(
  [in] DWORD        nCount,
  [in] const HANDLE *lpHandles,
  [in] BOOL         bWaitAll,
  [in] DWORD        dwMilliseconds
);

我们利用WinDbg来找下句柄值。

一共等待两个句柄值0x128, 0x130。我们在验证下找得对不对。看如下的截图发现我们找得没有错。

这里我把句柄做成表格进行对比。

线程

句柄

信息

0

0x194

1

0x128

2

0x128, 0x130

5

0x738

从表格中我们大致可以看到等待的句柄是Event类型，以及权限，当前Event的状态信息。

2.3 陷入僵局

从上面的表格分析，此时线程中并没有出现明显的相互等待的现象。此时有点穷途末路的感觉。

我在想是不是还有蛛丝马迹被我忽略了。

对，还有3，4号线程我并没有分析。我立马着手在msdn搜索函数原型，可惜这两个函数在msdn未公布任何信息。但是我还不死心继续Google上搜索关于这个函数的信息，从网络搜索的信息也是相当的少，都是一笔带过简单的连参数信息都没有提及。

我开始深入思考，到底还有什么信息被我遗漏了 。

坐着已经让我无法思考了，需要走两步清空下大脑。

转了一圈回来之后，发现还是需要从基础的堆栈分析，一个帧一个帧过滤下。从上面的堆栈中可以看到5号线程堆栈是最长的。我们再看下5号线程的堆栈信息。

0:000> ~5k;
 # Child-SP          RetAddr               Call Site
00 00000092`224fd878 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14
01 00000092`224fd880 00007ffb`d978abed     KERNELBASE!WaitForSingleObjectEx+0x8e
02 00000092`224fd920 00007ff7`4c90c25f     softwareXXX+0x8abed
03 00000092`224fe2a0 00007ff7`4c8ff78f     Robocopy!CZEnt::CopyData+0x467
04 00000092`224ff390 00007ff7`4c90014e     Robocopy!RoboCopy+0x18b
05 00000092`224ff400 00007ffb`e0533730     Robocopy!RoboCopyWorker+0x6e
06 00000092`224ff430 00007ffb`e051d79a     ntdll!TppWorkpExecuteCallback+0x130
07 00000092`224ff480 00007ffb`dec37344     ntdll!TppWorkerThread+0x68a
08 00000092`224ff780 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14
09 00000092`224ff7b0 00000000`00000000     ntdll!RtlUserThreadStart+0x21

5号线程刚开始Robocopy!CZEnt::CopyData就被按住了。我们反汇编看下Robocopy!CZEnt::CopyData代码。

反汇编的函数大概有1m A4纸那么长，该怎么看呢。

我们可以直接从02帧那里看到返回值地址00007ff74c90c25f，这个返回值就是softwareXXX+0x8abed执行完后返回到Robocopy!CZEnt::CopyData

再从Robocopy!CZEnt::CopyData反汇编的函数搜索此地址。

搜索的结果如下：

结果发现了点异常，上面帧好像不大对劲。这里的函数是Robocopy!_imp_CopyFile2，而这里显示的却另外一个模块的代码。

再看softwareXXX这个模块加上了一个相当大的偏移0x8abed，这是不同寻常的，很有可能找的符号不对。

而这个模块的代码在Robocopy中根本就没有。这是从哪里来的？相当的奇怪，突然感觉有点意思。

看下这个模块的信息，在命令中执行lmvm softwareXXX，发现了端倪，原来是个杀软，把这个dll注入了robocopy中，很有可能对函数进行了拦截，导致了这个函数一直无法返回。

0:000> lmvm softwareXXX
Browse full module list
start             end                 module name
00007ffb`d9700000 00007ffb`d9a93000   softwareXXX   (no symbols)           
    Loaded symbol image file: softwareXXX.dll
    Image path: C:\Program Files\softwareXXX\softwareXXX.dll
    Image name: softwareXXX.dll
    Browse all global symbols  functions  data
    Timestamp:        Tue Mar 26 22:56:55 2024 (6602E237)
    CheckSum:         0038B6E1
    ImageSize:        00393000
    File version:     1.0.1.622
    Product version:  1.0.1.622
    File flags:       0 (Mask 3F)
    File OS:          40004 NT Win32
    File type:        2.0 Dll
    File date:        00000000.00000000
    Translations:     0804.04b0
    Information from resource tables:
        CompanyName:      https://www.softwareXXX.cn/
        ProductName:      XDR
        InternalName:     softwareXXX.dll
        OriginalFilename: softwareXXX.dll
        ProductVersion:   1.0.1.622
        FileVersion:      1.0.1.622
        FileDescription:  softwareXXX 应用程序监控模块
        LegalCopyright:   Copyright (C) 2021

再回过头看上面的堆栈信息，此dll对系统的其他的关键函数也进行了拦截处理。

2.4 验证问题

接下来就是找IT部门，让他们把robocopy加入白名单，再进行测试。经过协商之后，我们在进行测试问题就解决了。