我的天

昨天说到当我想用VBA把一个工作簿里面的某些工作表复制到另外一个工作簿的时候，如果要复制的工作表有多个，复制过程中就会出现闪烁。如果需要复制的工作表很多，闪烁的时间会比较长。我觉得批量选择，最后一次性复制是一个解决办法。如果不是用VBA，而是手动实现这个复制功能，的确会用批量选择，然后再复制。现在按住Ctrl，然后用鼠标选择需要复制的工作表，最后进行复制。如果要在VBA里面实现这个批量选择，该怎么做呢？

一个工作簿里的工作表该如何判断哪些是需要的，哪些是不需要的，对我来说只需要判定工作表的名称就可以，所以我可以对需要的工作表以某种方式结合起来，比如形成一个以固定分隔符的字符串。VBA里要表达批量选择，然后复制，到底该用什么东西呢？这一次我没有搜索，而是直接录制了个宏。结果发现原来批量选择再复制，在宏里默认是通过数组的。需要把目标工作表的名称组合成一个一维数组，然后用最普通的复制方式把拷贝到新的工作簿。所以我要做的就是把目标工作表的名称赋值给一个一维数组。因为不知道到底要复制多少个工作表，所以这个数组应该是一个动态数组，我马上想到的方式就是以默认分隔符打断字符串的方式赋值给一维的动态数组。这个操作非常高效，而且动态数组的大小完全不需要在一开始就定义好，字符串里面有多少东西就可以生成多大的一维数组。

接下来，我要做的是经过一轮循环筛选出某个工作簿里我需要的工作表的名称，然后把这些名称以固定分隔符的方式连接起来。最后在打断之前我还要干掉一个分隔符，因为无论我把分隔符放在最前面还是最后面，整个字符串还是会多一个分格符。我不知道多一个分隔符在赋值给一维数组的时候会不会失败，作为完美主义者，我宁愿手动把那个分隔符去掉。那不过是一个字符串取值的简单操作而已。处理好字符串以后，就可以打断那个字符串赋值给一维数组，最后通过经典的复制方式，把工作簿里的目标工作表拷贝到另外一个工作簿。

我没有测试过这样处理耗时跟基础经典处理有多大差别，但就肉眼来说，差别挺大。因为如果进行这般批量选择一次性复制，基本上可以秒杀完成，但如果使用经典的方法、工作表又比较多，我感觉得闪烁一秒钟以上。秒杀就能完成我感觉那个耗时会在0.3秒以内。

批量选择再复制的确可以秒杀实现拷贝工作表，但是光标会停留在最后一个被复制的工作表里，我需要光标仍然停留在我的点击VBA控件的工作表。所以最后我又增加了一个激活目标工作表，把鼠标锁定在某个单元格的功能。这个功能不是非如此不可的，没有也不影响数据处理本身，但就方便程度而言，这是显而易见的。就如没有初始化和拷贝数据那两个模块，核心功能没问题，但是多了这些贴心的小步骤。整个核对的过程会变得更顺手。

如果使用的时候能更顺畅，我宁愿把代码搞得复杂一些。毕竟复杂的代码是一次性的。

PS：测试
复制19个工作表：批量法0.85秒，经典法7.25秒。
复制8个工作表：批量法0.59秒，经典法3.02秒。
复制4个工作表：批量法0.48秒，经典法1.59秒。

Sub 批量拷贝工作表-批量法()
    Application.ScreenUpdating = False '关闭屏幕刷新
    Dim book As Workbook
    Dim sht As Worksheet
    Dim my_name As String, stringArray() As String
 
    my_name = ""
 
    For Each book In Workbooks
        If book.Name <> "AAA.xlsm" Then
            For Each sht In book.Worksheets
                If Not sht.Name Like "*BBB*" Then
                    my_name = my_name & sht.Name & ","
                End If
            Next
            my_name = Mid(my_name, 1, Len(my_name) - 1)
            stringArray = Split(my_name, ",")
            book.Sheets(stringArray).Copy before:=ThisWorkbook.Worksheets("条件")
        End If
    Next
 
    With ThisWorkbook
        .Worksheets("条件").Activate
        .Worksheets("条件").Range("A27").Select
    End With
 
    MsgBox "完成数据抓取！"
    Application.ScreenUpdating = True '打开屏幕刷新
End Sub
 
************************************
 
Sub 批量拷贝工作表-经典法()
    Application.ScreenUpdating = False '关闭屏幕刷新
 
    Dim book As Workbook
    Dim sht As Worksheet
    For Each book In Workbooks
        If book.Name <> "AAA.xlsm" Then
            For Each sht In book.Worksheets
                If Not sht.Name Like "*BBB*" Then
                    sht.Copy before:=ThisWorkbook.Worksheets("条件")
                End If
            Next
        End If
    Next
 
    With ThisWorkbook
        .Worksheets("条件").Activate
        .Worksheets("条件").Range("A27").Select
    End With
 
    MsgBox "完成数据抓取！"
    Application.ScreenUpdating = True '打开屏幕刷新
End Sub

几年以后，我终于又在某一个我用来核对账本的VBA脚本上加了两个新的模块。之前这两个模块的内容我都是手动实现的。第一个模块是初始化，就是把已经核对过的明细数据删除掉。初始化这个步骤眨眼间就完成了，因为是在同一个工作簿里进行。另外一个模块做的是数据抓取，抓取我需要核对的那个工作簿里的明细工作表。我要核对的那个工作簿里的汇总，那个工作表默认不抓取，因为那是用来核对的。另外一个跟明细数据和汇总数据不是一伙的工作表也不能抓取，因为那个表的数据格式跟其它的不一样。过去这几年来我做的事情都是手动的在VBA脚本所在的工作簿里删除掉已核对的数据明细，然后再把我需要核对的那个工作簿里的明细粘贴到VBA脚本所在的工作簿。这个操作很机械很单一，完全可以用VBA去实现，但是我却一直没有这么干，为什么呢？大概是因为最初的时候，我写的那个VBA脚本核心部分实现的功能已经减少了我绝大部分的工作量，简单实现了非常麻烦才能实现的事情，所以我觉得自己已经上岸了，相对来说，这些复制粘贴删除的东西比较简单。简单归简单，很容易能实现，但是日积月累经常性习惯性每一次都要整那么十几二十遍也是很烦的。为了简化初始化的那个步骤，我每次核对完就以不保存的方式关闭VBA脚本所在的工作簿，然后重新打开。

我不知道对以前的我来说，写着两个模块有多难，对现在的我来说，对今年已经在VBA脚本里浸润了好几个月的我来说挺简单。实现方法很简单，但是出来的效果我感觉上应该还可以改进。初始化的那个脚本已经很完美，没啥需要再进一步了，但是那个拷贝数据的脚本，如果需要复制的工作表有很多，屏幕会出现长时间的闪烁。那种闪烁源于不同工作簿之间切换导致聚焦位置改变。之所以这样，因为我所使用的复制方式是VBA教程里最简单的那款。微软的默认教程就是那样，当然你也可以使用不一般的方式。闪烁是因为不同工作表之间切换以及活动工作表活动单元格之间的变换。这个问题之前我已经发现。我以前的VBA脚本里也有这种问题。做一个循环，把某个工作表名称符合要求的就复制到 VBA所在的工作簿，这个循环是显而易见的，但是一个一个工作表去判断，一个一个复制显然就会出现很多次闪烁。如果我先去判断，然后把符合要求的全部选定，最后一次性复制，这样会不会就可以从多次闪烁变成一次闪烁呢？多次闪烁你肯定能感觉到闪烁的存在，但如果只是一次，估计那种闪烁感就会感知不到了。有人在网上提出过如何避免闪烁这个问题，但好像大家都没有在批量选择然后一次性复制上面想。我也想参考他们的做法改进，但好像不太适合我的实际情况。

我觉得闪烁这个问题是可以攻克的。

上周开始我就在用Power Query跟Power Pivot做跨表的数据合并。与其说是数据合并，不如说是数据查询。一开始我用的是PQ，因为从感觉上来说好像 PQ做这个就够了，但当我把东西都做出来了以后发现PQ很多规则都非常奇怪。让我觉得要试一下PP到底怎么样。根本原因是明明数据量很少，但是PQ的运行效率却很低，而且运行效果很不稳定。从0-1生成PQ的过程比较挣扎，虽然整体的思路我都有，我知道我要有什么后效果。但是该如何实现还是花费了我不少时间，比如查询参数应该用什么格式的表格表达出来。一开始我把4个日期和3个文本以左右的方式表达。的确这样的取数没有什么问题。虽然实际上PQ是用列去进行各种魔法运算的，但要精确定位到某个单元格也就是某条记录一点问题都没有。后来当我要用PP，那个东西至今我不知道如何在某列混杂着各种内容的单元格里获取我需要的数据。要顺畅用起PP，我得把日期参数跟文本参数拆分为两个表格。文本参数我不是直接给PP用，而先给PQ，所以横的竖的都无所谓。日期参数是直接在PP里做限定，所以必须以PP的规格去设定表格的形式。这仅仅是参数的表达，是最简单的东西。如果以普通人的视角考虑，某一列数据日期和文本混搭一点问题都没有，但是从机器的角度考虑，从我使用的那两个软件的规范考虑，显然这样是不行的，又或者说不是不行，是你为什么非得以一种如此随意的方式去做这么简单的设定呢？混搭的方式，肯定也会得到你想要的结果，但是对软件新手来说，绕那么一大圈显然就比较费劲了。

用PQ和PP的方式做出来的两个查询都能实现我的目标。数据都是没有问题的，但是一个文件体积很大，一个查询时间很长，且查询效率忽高忽低不稳定。这两个都不是我想要的。我不过是想做一个查询而已，很简单的东西，实际上我就只需要一个结果。那个结果以我想要的方式输出，后续的格式化纯粹是让我自己觉得比较顺眼好看而已。但是这两个Microsoft 365内置的Power都不能达到我的预期目标。

在挣扎之前，我觉得应该用PQ实现目标，但实际上出来的效果跟我想象的相差挺远，最根本的原因是我实在不太理解PQ的数据处理。PQ是用来做数据清洗的，所以从某个大表里获取数据，然后进行各种筛选，接着以各种目标形式输出表格，理论上这是很简单的事情。这大表的查询几乎可以这么说，一定是引用外表，因为源数据已经很大，你不可能在上面直接运行，虽然其实一直以来我都是这么干的，但是那个时候我并没有进行跨表操作。从现在的运行效果看来，即便是同一个代表同一个源数据，最终需要以几种方式输出分组筛选后的结果，最终要生成多少个查询效果，我就得把那个源数据查询多少次。理论上怎么会干这么傻的事情呢？直接把大的源数据查询一次缓存起来，往后就不需要调用了。但问题是从我现在的观察看来。最终我要多少个查询结果，他们就同时开始查询多少遍，于是有些时候就会导致有些查询结果失败，你得刷新再来。原因是这个查询正在使用那个源数据，那个查询也在用那个源数据，为了抢那个源数据打架了，抢不赢那个就刷新失败。都是查询一个源数据，我考虑过既然无法避免它们一次又一次查询，那么我就把那几个查询按顺序来，完了一个再到下一个，但实际上这个也是无法控制的。都说VBA是单线程的，但是PQ是多线程的，单线程虽然慢，但是多线程这样打架，最终反而得不到我想要的效果。从理论上说，我把那个大表一开始就缓存起来，后面的都用内存缓存，这很正常啊。我设置查询的优先等级，先刷新一些，然后再刷新另外一些，这也很正常啊，为什么却没有一个很直接的实现方式呢？有些人想到要用VBA去控制PQ的刷新顺序，但是VBA却很难判定某个刷新是不是完毕了，VBA也很难做到这个刷新完毕了再开始下一个。

接下来我要试一下python方案，我的目标是查询时间小于10秒，生成的文件小于100K。