我的天

我花了三天时间（但实际上每天都只有半天时间）把二维报表提取数据成以一维数据表。这有什么难度呢？一开始我也认为好像难度不是很大，但开始琢磨以后我发现事情远远没有我想象中的那么简单。我用的是Excel的VBA。如果操作简单的话可以在Excel的数据层面进行操作，但如果我要进行大量的数据清洗显然为了要追求效率，就必定要用到数组，数组这种东西无非就是不断地叠加循环以及判断。循环和判断我觉得几乎可以这么说，是编程的核心。要实现最终的目标，首先你得有一个非常清晰的逻辑，然后用那些循环和判断实现你的逻辑。当我看到某些人逻辑彻底混乱的时候，我心里就会冒出一句话，他们绝对不会懂得编程。也正是因为这样，所以现在的幼儿教育有时会把编程列为一个非常重要的项目，实际上练习编程就是锻炼逻辑，但是逻辑这种东西又分为了既定的规则以及你的自创招式。自创招式都来源于各种规则，但是不同的编摆方式会有不同的效果。成功编程的话效率极高，是秒杀型的，但是要制造那个秒杀效果的过程可能非常漫长。

我需要处理的那个报表，准确来说是一套报表，但是用的几乎都是一个版式。虽然看上去几乎一样，但是有可能某些细节上会有不同。如果我用了一个靠谱的逻辑去抓取数据，无论什么微调，对我来说都毫无影响。所以首先我要确定我要在报表里抓取什么东西，我要用什么方式去除掉那些我不需要的东西。如果用Excel表格的思路去理解的话，我肯定是先做一个筛选，然后把我不要的删除掉。如果不要的东西在行那里我还可以用关键词筛选掉，但如果那些东西出现在列那里，难道我要先做一个转制，然后再做删除吗？更郁闷的是那个表格的表头有三行。就一个现成的要达到最终效果的报表而言，三行的表头没有任何问题，但是如果你要把它按照数据层面去理解，这就很逆天。就更加不用说这三行的表头里面还有不少合并单元格，但幸好的是当我把单元格拆分了以后，实际上每个单元格里其实都有靠谱数据的。

我的思路是先把我不要的行删除掉，然后把我不要的列再删除掉。在删除行这个问题上一步我就搞定了，但在删除列这个问题上，我花了好几步，首先是删除没有数据的列，其次是删除含有某些关键词的列，也就是那些虽然有数据，但对我来说也没什么作用的列。把可以删除的东西都删除掉以后，我进行了一个二维表转化为一维表的操作，接下来就是在那个加工完的表里加一列存放表名。之前我说过我要处理的是一组样式差不多的表格。上面说的一大通，我只是说针对一个表我需要这么处理，所以在这之前我要有一个把文件夹里所有工作簿里面包含某些关键词的工作表汇总到一个工作簿里的步骤。我觉得这个合并工作表的耗时挺长，相对于后面的数组操作来说，这实在太费时了。之所以会这么耗费时间，是因为实际上Excel需要把工作簿一个个打开，抓取里面的某个工作表，然后关掉，不断地重复这个步骤，不断地开关工作簿会非常耗时。

如果之前我没有花过很多时间在账本的合并数据上，现在突然要我整这个的话，我肯定得花好几倍甚至十几倍的时间，但因为现在我是站在曾经自己的肩膀上的，所以虽然期间有过纠结，但总的来说还算是比较顺利。我考虑过要不要进行这种操作，但过去几年我都一直没这么干，因为要合并这些数据，一年只做一遍，有没有必要开发这样一个VBA脚本去实现呢？当那个报表被国粮局修改了，我又得重新修改脚本适应。所以之前我就在那里纠结到底有没有必要进行这个脚本的开发。

最终我做了，而且还做到了。

渐渐地我越发有点明白自己想要的到底是什么。之所以让我纠结了半天，不知道该如何计算的某些数据，实际上是因为两种性质的东西混搭在一起了。我不知道别人是否真的搞得清，他们是有意糊弄我们的吗？是因为他们知道我们算不清这个，所以这么搞吗？这个问题很困扰我，是因为那个东西把正常的批次跟没有写明批次但要先进先出的混搭在一起。有明确批次的数量计算是不分仓号的，因为通常那意味着好几个仓进同一批货，开始计费的日期定在第1个仓刚开始进货的那天。所以，如果同批次还有其他仓，最后一个仓进货的时候可能已经是3天后，那个仓的免堆期等于要减去三天。如果某个客户所有东西都这么弄，不会有烦恼，因为无论进货还是出货，肯定会带入批次。

在Power Query的世界里，这就意味着要以批次和日期分组。各种仓号数据可以全部加在一起，无所谓。但同时，这个客户又有另外一种情况。如果他进货不是用船，而是用车，每天几千几千吨进货的话，我们跟他们签订的合同是按每天为一个批次。一个批次到达免堆期以后开始计费。现在我们的系统总的来说，根本没分清这种批次，计费完全是人肉计算的。但实际上，这种没有批次的批次，理论上也应该自动带入，入库的时候以日期为批次。所以有可能发生同一个批次有几个仓出库的时候，要以先进先出进行批次划分。进货的时候，一个批次可能有几个仓，但是出货的时候肯定是指定的。所以在这里要以仓好为分类，然后在对入库批次分割数量。比如某一个仓里第1个日期批次用完了再开始用第2个，第2个没用完，就留到以后继续分割。据说用SQL和Power Pivot能解决这个先进先出的问题。但貌似，我看到的Power Pivot的例子没有看到我想要的最终结果，也就是把那个出库数量自动分割成入库批次。先进先出是非常经典的会计问题，只不过我们的人从来都是我觉得我要指定这个，没有用过这些规则，当然也就没有思考该怎么自己动手去计算。一开始没有批次，用先进先出的规则，入库的时候自动添加批次，出库的时候按照入库的批次风格，最终得出来的数据，跟之前一开始就已经有批次的东西可以用同样的规则继续演算。

对我来说，有两个点我没想明白。首先，要怎么在PQ里以先进先出的规则，对出库数量进行批次分割呢？第二，因为实际上我们得到的信息是一个入库日期和出库日期。而这些日期通常都是不连续的，在不连续的日子里也要计算每天库存，到达一定时间之后，要每天计算堆存费。所以，该怎么在不连续的日子里插入一些日期，然后向下填充信息呢？之前我想到的办法是先建立一个日期索引。然后把有数据的东西合并到索引里，这就意味着有些日期可能是没有数据的。接着，把这些东西透视展开，把数据为空的那一列删掉，余下的东西向下填充，然后再把零数据替换为空，接下来再用一个逆透视恢复。这个方法比较笨。但可以一次性实现N个批次的插入和填充，至于速度如何，估计跟电脑的性能有关。我总觉得高手一定不需要用到这种先透视再逆透视的方法。他们是怎么插入日期，然后向下填充数据的呢？

想清楚了这些，离我想要的最终结果就会又近了一些。