我的天

渐渐地我越发有点明白自己想要的到底是什么。之所以让我纠结了半天，不知道该如何计算的某些数据，实际上是因为两种性质的东西混搭在一起了。我不知道别人是否真的搞得清，他们是有意糊弄我们的吗？是因为他们知道我们算不清这个，所以这么搞吗？这个问题很困扰我，是因为那个东西把正常的批次跟没有写明批次但要先进先出的混搭在一起。有明确批次的数量计算是不分仓号的，因为通常那意味着好几个仓进同一批货，开始计费的日期定在第1个仓刚开始进货的那天。所以，如果同批次还有其他仓，最后一个仓进货的时候可能已经是3天后，那个仓的免堆期等于要减去三天。如果某个客户所有东西都这么弄，不会有烦恼，因为无论进货还是出货，肯定会带入批次。

在Power Query的世界里，这就意味着要以批次和日期分组。各种仓号数据可以全部加在一起，无所谓。但同时，这个客户又有另外一种情况。如果他进货不是用船，而是用车，每天几千几千吨进货的话，我们跟他们签订的合同是按每天为一个批次。一个批次到达免堆期以后开始计费。现在我们的系统总的来说，根本没分清这种批次，计费完全是人肉计算的。但实际上，这种没有批次的批次，理论上也应该自动带入，入库的时候以日期为批次。所以有可能发生同一个批次有几个仓出库的时候，要以先进先出进行批次划分。进货的时候，一个批次可能有几个仓，但是出货的时候肯定是指定的。所以在这里要以仓好为分类，然后在对入库批次分割数量。比如某一个仓里第1个日期批次用完了再开始用第2个，第2个没用完，就留到以后继续分割。据说用SQL和Power Pivot能解决这个先进先出的问题。但貌似，我看到的Power Pivot的例子没有看到我想要的最终结果，也就是把那个出库数量自动分割成入库批次。先进先出是非常经典的会计问题，只不过我们的人从来都是我觉得我要指定这个，没有用过这些规则，当然也就没有思考该怎么自己动手去计算。一开始没有批次，用先进先出的规则，入库的时候自动添加批次，出库的时候按照入库的批次风格，最终得出来的数据，跟之前一开始就已经有批次的东西可以用同样的规则继续演算。

对我来说，有两个点我没想明白。首先，要怎么在PQ里以先进先出的规则，对出库数量进行批次分割呢？第二，因为实际上我们得到的信息是一个入库日期和出库日期。而这些日期通常都是不连续的，在不连续的日子里也要计算每天库存，到达一定时间之后，要每天计算堆存费。所以，该怎么在不连续的日子里插入一些日期，然后向下填充信息呢？之前我想到的办法是先建立一个日期索引。然后把有数据的东西合并到索引里，这就意味着有些日期可能是没有数据的。接着，把这些东西透视展开，把数据为空的那一列删掉，余下的东西向下填充，然后再把零数据替换为空，接下来再用一个逆透视恢复。这个方法比较笨。但可以一次性实现N个批次的插入和填充，至于速度如何，估计跟电脑的性能有关。我总觉得高手一定不需要用到这种先透视再逆透视的方法。他们是怎么插入日期，然后向下填充数据的呢？

想清楚了这些，离我想要的最终结果就会又近了一些。

数据本身没有问题，如果我们不能让它们确立某种关系，只是因为我们对那个东西还不够了解而已。在Excel里做一件事，你可以通过很多方法，比如说函数，比如说VBA，比如说SQL查询，又或者Power Query或Power Pivot。当然，我这里所说的，主要是针对查询，或者说数据清洗类的东西。如果纯粹是针对单元格的格式化，函数以及Power BI系列以及SQL是没办法做到的。

同样一个数据，用不同的方法都可以得出目标答案，但是哪个会更简便快捷一些呢？函数我觉得挺被动的，尤其是在处理大量数据的时候，效率非常低。因为在处理一些复杂东西的时候通常要用到数组函数，即便不需要用到数据函数本身，其实也在运用着数组函数的变体。而且函数这种东西受Excel本身版本的限制，越是低版本的Excel越是没办法轻而易举地实现某些逼格的功能。于是就出现了你不得不为了某个功能升级Excel，又或者因为你的伙伴升级了Excel，用了一些高端的函数，但是你却看不到，工作就没办法继续下去了。SQL和VBA是两个大杀器，很早以前Excel就已经支持。与其说他们是Office软件的一部分，不如说这两个东西更接近于编程语言。我对Excel里面的SQL不是十分熟悉，因为至今为止，虽然已经折腾了不少网站，但是我从未试过操作数据库。SQL在Excel可以用，但我觉得可能在Access里SQL会用得更顺手一些。比如说如果改变数据源，比如移动文件之后，SQL需要重新连接。若没有VBA的帮助，这是无解的。我不喜欢用SQL的其中一个原因是它会在硬盘的某个位置生成某个数据库。

VBA这个东西强大到任何你想到想不到的东西都可以控制，无论是数据本身还是说单元格的格式，一律通杀，它甚至可以让Excel自杀，又或者让你的系统自杀。VBA用得好不好直接决定了某个脚本的运行效率。是对初级用户来说，VBA的学习成本实在是高，除非你从来不打算要建立自己的规则而纯粹只是用别人的东西。

至于Power BI系列的Power Query和Power Pivot现在我仍然处在甚至还不能说入门的阶段，我只是稍微了解了一点这两个东西。在数据清洗和建立关系的时候，它们实在太强大了。但是要使用这两个东西，Excel的版本就必须有要求。所以这也导致了不少免费用户直接绕过这两个强大的东西。我也不知道为什么自己在使用Excel高级函数几乎还没入门的情况下，我就去折腾M语言。我觉得那个东西一定程度上颠覆了我对数据的理解。Power Query对数据的处理方式就像通过各种蹂躏就能得出你想要的东西，其间你没有修改原数据，所以实际上在写M语言的时候就像是手工编写一个宏，而那个宏要比一般的VBA简洁很多。之所以简洁，一定程度是因为那是在高级套用的前提下。Power Query里玩的数据转换实际上是在折叠、删除以及扩充，一定程度上就像是在用类似于递归或者迭代的方式。

别人把时间耗在应付考试上，我把时间耗在折腾自己上。

昨天在设计某个Power Query查询的时候，我遇到了个问题。只需要做一个非常简单的IF判断，但貌似是不能直接用IF处理步骤。那些不过是非常简单的东西而已，如果符合这个条件，用这个步骤，如果不符合这个条件，用另外的步骤。我之所以被拦在那里，大概是因为我还没搞清IF使用的场景关系。判断步骤从理论上说再普通不过了。我该怎么做到这个呢？之所以有这个困惑，因为IF的判断，在举例子的时候，大都用在添加列这个功能里面。如果符合这个条件，就添加这种，否则就是另外一种，当然你也可以添加一大堆筛选。我正在开始构思这篇东西的时候，突然意识到，我要处理的实际上是一个列表。既然是一个列表，在后面引用的时候我就没必要把所有东西都摊开，我在前面就做好判断，后面直接一个判断好的列表扔过去就可以了。有些步骤我进行了排序，但是实际上排不排都无所谓，因为最后这些东西会到达数据透视表。月份参数必须排序，理论上那个参数不仅仅要排序，而且还应该以日期的数据格式展示出来。昨晚上我发现同样引用同一个数据表，如果我在展开的时候，不加以说明，反而会得出正确的东西。如果纯粹用可视化的操作，会有画蛇添足的效果。我的数据必须得用我想要的方式表达出来，如果默认的东西不对，我应该改到对为止。这一次我运气好，我没有解释某一列到底是什么东西，系统读对了，但有些时候情况不是这样的。当然，也会有我昨天下午遇到的那种情况，系统默认的不太靠谱。最终，我忍耐了那个不太靠谱，但是。既然有了晚上的的经历，系统默认画蛇添足的部分根本不应该存在。

一开始我只想实现某个功能，但在实现某个功能的过程中，我发现以前我的那种分类有点想太多了，因为根本没有必要。那些东西都是独立的存在。与其进行二级分类，不如多做几个一级分类。一级分类的非重复计算实际上用的都是一个模板。既然是模板，我当然可以用外部引入数据的方式实现动态筛选。关于非重复计算这种东西，加入了模型的数据透视表能轻而易举地做到，但经过这段时间的摸索以后，我发现Power Query只要能打开，基本上不会出错，但是Power Pivot我搞不懂为什么会出错，为什么会卡机。那个东西卡机的概率我感觉太高了，之所以有这么高的概率，也可能因为我用得比较少。有时我只是写了个非常简单的度量值，出来了以后，度量值不知道为什么选不上，不知道为什么选上了以后电脑就弹出了某些界面，关掉了以后Power Pivot的选项卡就消失了，但是你依然可以进入。关掉Excel，再次打开，Power Pivot的选项卡没有了，你得在加载项那里把那勾去掉，再重新加回去。实在说不准为什么会这样。如果不把那个曾经导致问题的文件的模型删掉，打开那个工作簿的时候永远存在这种问题，其它工作簿不也会被连累。删掉那个错误后，还得重启电脑才能解决问题。很久以前Power Query也是Excel的插件，但后来，那个东西已经不再是独立的选项卡，而直接内嵌到软件了，而Power Pivot在Microsoft 365里依然是个选项卡，依然要借助COM加载下。这就意味着这个东西还没有到非常成熟的地步。所以或许某一天我要玩Power Pivot的时候，我不在Excel里面玩，而会跑到Power BI里折腾。因为起码那样的话，我就不用烦恼Excel的加载项老是消失这个问题了。

越研究就越知道自己什么都不知道。

今天我终于看完了一本Power Query的教程。其实我也不知道叫不叫做看完了，因为最后的部分，我是囫囵吞枣的过的，因为那些功能我用不着。最后一章说的是函数，但是，每个函数都没有仔细说要怎么着，只是把函数列举了出来，大概说一下什么意思，但函数里面到底有什么具体参数，没说。看完那本书以后，我回去看那条我搞不懂的题目，结果发现，之前我卡在的那个地方其实不是难点，而是因为我没有仔细观察数据源，所以犯了一个错误。真正的难点，我没有意识到。因为我用的最多的是数据透视表，要做汇总计算，根本不是问题，任何类型都可以。Power Query非常擅长数据清洗。当然这个东西也可以用作汇总计算，但当一个表里，明细跟汇总都放在一起，感觉就不太靠谱了，作为Power BI的两剑客。我个人觉得Power Query更擅长于处理原始数据，让那更容易用于后续的Power Pivot分析使用。高手用了一个高级的公式，解决了某个汇总问题。我有主动了解那个东西到底是干嘛的。之后，我大概知道那要做什么，那里内置了一个循环功能，又或者说是迭代的功能。让我摸不着头脑的是，在使用那个公式之前，又套用了好几层东西，然后我就彻底蒙圈了，那简直就是连环套，就像俄罗斯套娃一样。有时我真的想不懂那些高手到底是怎么写那些脚本的。公式一层套一层，他们怎么就搞得清那些小括号、中括号和大括号呢？同样是引用一个列名，有用双引号的，用中括号的，也有用大括号加双引号的。貌似暂时我还没有看到纯粹小括号的。Power Query实际上就是搞清几种数据类型，在那几种东西之间来回变换，其中就包括表格，列表，记录和值。一个个说，貌似都能明白，但问题是，要把它们套用起来的时候，情况就比较复杂了。要表达一个表，用的是大括号，要表达一堆列表，也是用大括号。如果要表达某个表里面的一些记录，那得用3层的大括号，列表只是两层。这是纯粹用大括号的，你也可以在大括号里面嵌套中括号来定位某些记录。这些层层套套的关系，简直要把人逼疯。但实际上复杂的结构有哪个不是这种关系呢？只怪Power Query这个东西把这些关系放在表格里，而其它地方用的几层的缩进。Power Query不存在单元格这个概念，那个东西用的是上面说的那几种东西。

回到一开始那个难题，我觉得要解答那个东西，最简便的方式应该是用Power Query实现多表合并抓取数据，然后把抓取到的东西放到Power Pivot里面建立一个大表和一个索引表的关系。这样一来，就完全不需要考虑那种必须得用高端函数才能解决的汇总问题了。为什么我们非得吊死在一棵树上呢？当然，之所以不这么干，是因为做表那个人想一次性搞定所有。在没有Power BI两剑客之前，要实现这个功能，肯定会有高手用VBA解决问题。如果用的是VBA，那又是一个怎么样的思路呢？

我觉得Power Query现在对我来说很无解，这是因为我对这个东西的了解还不够深入。

从完全不用Power Query到天天都用那个东西，我感觉这实在太不可思议了。这种变化仅仅发生在一周之内。一周前我还在纠结，为什么我的Microsoft 365用不了Power Pivot和Power Query。自从我重新能用PP以后，我就在不断地探索，但是平时我处理的东西已经没什么可探索的了，因为那都是用了几年的成熟方案。我觉得已经很顺畅了。如果要再高效一点，就是把所有东西放进数据库，但我又不想真那样。并不是说我的确做不了，而是我还是想把这些东西用普通的office软件解决，毕竟实在说不准以后会怎样。会不会某一天我不续费365，又或者是我可以这么操作，但是和我搭档的人无法接受我的高端。如果我只是把软件交给他们用，这对他们来说学不到什么东西，他们只是用软件。当然这对我来说是很有好处的，因为无论是软件的使用还是软件的开发，我都了如指掌。这也正是我一直都很着迷的事。我不仅仅喜欢研究某一个部分，从某一个部分开始，我会快乐地发散开去，无论是纵向的还是横向的，最后全流程我都熟悉了。大概到了那个时候，我会换另一种东西开玩。

说回PQ这个东西。其实几年之前我已经听说这个强大的存在。Office 2003有个MS Query，但那个东西跟PQ其实是两回事，MS Query更类似于数据库的界面，PQ我觉得应该是Power BI的一个组成部分。Power BI除了PQ以外，还有Power Pivot和Power View。说是这么说，实际上我没用过Power BI。PV这个东西非常强大，动态展示数据，五颜六色，各种花式，但问题是，即便我能把那些东西放在网上，当我要交作业的时候，领导还是比较喜欢长篇大论。其实我更倾向于做个PPT，然后由我上去讲我的想法，而不只是写一篇纸上静态的东西说明问题。

PQ让我着迷的首先是逆透视。逆透视在从前的教学里，唯有通过数据透视表高级处理，现在貌似我已经不记得应该怎么用了，但是PQ非常简单，没有做不到，只有你想不到。二维表变一为表是秒杀的事。既然可以逆透视，当然也可以透视，所以你也可以把一维表变成二维的，为什么会有这种需要呢？之前我也不觉得要这么干，但昨天论坛里某个网友还真提出了这样的要求。他要合并两个表的数据，其中一个表的某两列得先进行透视处理。为什么会这么折腾呢？从原始数据看来，我不觉得他的表有什么问题。如果是我设计的原始表格，也就那样了。最终，他想做到的效果也很正常，因为那一大堆的数据，最后要得到的，其实也就是为了看那些东西。一开始，我想用PP连接两个表。结果发现连不上，说那不是唯一的ID，我有点理解为什么会连不上，因为实际上两个表除了某列数据有共同点以外，其他东西完全不相干，但是PQ却可以把他们用接近变态的方式粘合起来。从最后组成的大表结构看来，的确很乱来，但是要的不就是最后的数据吗？整合之后，一点问题都没有，当然，如果你要筛选两个表格，关联部分以外的字段肯定会出状况，而且这个状况是无法避免的，因为那些根本是不共有的信息。

我对PQ有好感的另外一个原因是那个东西有高级编辑器这种神奇之物。那种感觉就像PQ是一个可视化的网页制作软件，而它的高级编辑器就像是源代码。路人甲玩的是可视化，高手操控的是源代码。PQ的源代码用的是M语言。这是一种介乎于函数和编程语言之间的东西。能玩好这个的人没多少，能玩好这个的人绝对会让别人觉得是个神。数据的整理变成弹指间的东西，非常的伟大。几句代码就能解决平时我们只能靠努力，甚至非常努力都仍然解决不了的问题。

是网友们的问题，让我的脑洞又大了。