我的天

今天我终于看完了一本Power Query的教程。其实我也不知道叫不叫做看完了，因为最后的部分，我是囫囵吞枣的过的，因为那些功能我用不着。最后一章说的是函数，但是，每个函数都没有仔细说要怎么着，只是把函数列举了出来，大概说一下什么意思，但函数里面到底有什么具体参数，没说。看完那本书以后，我回去看那条我搞不懂的题目，结果发现，之前我卡在的那个地方其实不是难点，而是因为我没有仔细观察数据源，所以犯了一个错误。真正的难点，我没有意识到。因为我用的最多的是数据透视表，要做汇总计算，根本不是问题，任何类型都可以。Power Query非常擅长数据清洗。当然这个东西也可以用作汇总计算，但当一个表里，明细跟汇总都放在一起，感觉就不太靠谱了，作为Power BI的两剑客。我个人觉得Power Query更擅长于处理原始数据，让那更容易用于后续的Power Pivot分析使用。高手用了一个高级的公式，解决了某个汇总问题。我有主动了解那个东西到底是干嘛的。之后，我大概知道那要做什么，那里内置了一个循环功能，又或者说是迭代的功能。让我摸不着头脑的是，在使用那个公式之前，又套用了好几层东西，然后我就彻底蒙圈了，那简直就是连环套，就像俄罗斯套娃一样。有时我真的想不懂那些高手到底是怎么写那些脚本的。公式一层套一层，他们怎么就搞得清那些小括号、中括号和大括号呢？同样是引用一个列名，有用双引号的，用中括号的，也有用大括号加双引号的。貌似暂时我还没有看到纯粹小括号的。Power Query实际上就是搞清几种数据类型，在那几种东西之间来回变换，其中就包括表格，列表，记录和值。一个个说，貌似都能明白，但问题是，要把它们套用起来的时候，情况就比较复杂了。要表达一个表，用的是大括号，要表达一堆列表，也是用大括号。如果要表达某个表里面的一些记录，那得用3层的大括号，列表只是两层。这是纯粹用大括号的，你也可以在大括号里面嵌套中括号来定位某些记录。这些层层套套的关系，简直要把人逼疯。但实际上复杂的结构有哪个不是这种关系呢？只怪Power Query这个东西把这些关系放在表格里，而其它地方用的几层的缩进。Power Query不存在单元格这个概念，那个东西用的是上面说的那几种东西。

回到一开始那个难题，我觉得要解答那个东西，最简便的方式应该是用Power Query实现多表合并抓取数据，然后把抓取到的东西放到Power Pivot里面建立一个大表和一个索引表的关系。这样一来，就完全不需要考虑那种必须得用高端函数才能解决的汇总问题了。为什么我们非得吊死在一棵树上呢？当然，之所以不这么干，是因为做表那个人想一次性搞定所有。在没有Power BI两剑客之前，要实现这个功能，肯定会有高手用VBA解决问题。如果用的是VBA，那又是一个怎么样的思路呢？

我觉得Power Query现在对我来说很无解，这是因为我对这个东西的了解还不够深入。

理清思路，比埋头苦干重要很多。如果一开始就掌握了方法，就不需要在路上兜那么多的弯。处理数据有这么一句行话，汇总时掉的汗，是录入时脑子进的水。如果一开始就把数据结构设定好，往后的汇总那是行云流水般自然而然的事。我是那种习惯于白手起家的人，通常我不会借用什么特殊的工具，比如说某个系统，我只用最普通常用的办公软件解决问题。

当然了，办公软件我是挑的，比如我只喜欢微软，我不喜欢WPS。而之所以不喜欢WPS，是因为我觉得很多东西他们仍旧留抄袭的层面，在一些非常核心的数据控制方面，他们远没有Office这么强大。有一些经常用到的小技巧，他们的确做了很好的封装要优化。但是会看的看门道，不会看的看热闹，就如一开始所说的，如果数据结构做好了，那些小窍门是不需要用到的。那些小窍门通过Office的高级公式是可以完成的。有人觉得那些小窍门非常有用，但是我觉得如果全盘数据由我控制，我的脑子不会那般进水，自然就不会挖坑让自己踩，那些所谓窍门也就不需要用上了。

跟数据透视表交了朋友以后，我明白到明细数据和汇总数据是彻底不一样的两种东西。你把他们混合起来用，结果将非常恐怖。通常，大家都喜欢这么干，而且觉得这么干是理所当然的事，而之所以有这样的看法，是因为当没有办公软件，没有Excel没有电脑之前，他们在纸质上就是这么干的。在纸质上这么干，可以让他们对整体数据有一个全面的认识了解。但实质上，他们所做的那些事正是数据透视表最擅长的。在纸上完成，只能做某一个分类的，如果要换个统计口径，那一大片数据等于白费。很多人在用Excel的时候，实际上只是把他们在纸上做的那些搬到电脑上。Excel不是一个画图软件，不是艺术家的画板，也不是一个用键盘操控的笔记本。这个强大的软件是有很强汇总计算功能的，我们必须用好这个，用不好别人的优点就是在增加自己的麻烦。软件的天马行空建立在我们说了一些他们能理解听懂的话。软件也是有脾气的，你得按他们的语法去表达你的东西，他才能用他的高超技术化腐朽为神奇。所以，我们首先要知道自己有什么，自己想得到什么，还有软件习惯用什么格式去处理问题。把我们的需求用机器语言翻译出来，然后我们就能得到我们想要的结果。把明细数据和汇总搞在一起其实并不是我们最初获取的数据心态，我们做的其实已经发展过了，要软件替我们做汇总分类，我们就要退回最原始的状态。为什么明细数据和汇总数据必须在一个页面反映出来呢？看数据的时候，我们到底是看每一条数据有没有问题，还是我们只是把那个明细数据当做是一个凑数的工具，而我们的眼睛直接瞄到了最后呢？如果我们关注的只是最后的汇总数据，明细数据摆在那里，难道就只是用来让我们多滑几下鼠标到最后吗？对基层人员来说，他们必须保证每一条原始数据的真实性、准确性和完整性，而对领导来说，明细是什么不重要，他们需要的是各种维度的汇总结果，每个领导的口味不一样，他们想要的汇总口径五花八门。成千上万的明细数据再用一开始纸质那种画大图的方法来汇总，根本赶不上这个时代的节奏。不仅仅是累处理数据的这个人，看结果的人也很烦。

程序语言也是一种语言，射手座有语言天赋，我觉得这可能是真的。

改变字典的键值规则就可以把从一本书里挑随机单词这件事轻松搞定，我真搞不懂参考答案为啥要那么折腾。在Think Python 2的第十三章里，字典的默认规则是单词是键，词频是键值。既然这道题要唯一的索引找随机单词，我把键值变成唯一序号不就完事大吉了？再来一个zip把字典的键值和键互换，random.choice()直接就到达随机单词了。我只改了生成字典的规则，耗时0.12秒，参考答案折腾了不只一点点，耗时0.42秒。之所以参考答案不修改字典规则，是因为他们要灌输python拼装模块的特性，拼装很方便，但事实证明效率不一定最高。

This algorithm works, but it is not very efficient; each time you choose a random word, it rebuilds the list, which is as big as the original book. An obvious improvement is to build the list once and then make multiple selections, but the list is still big.

An alternative is: Use keys to get a list of the words in the book. Build a list that contains the cumulative sum of the word frequencies (see Exercise 2). The last item in this list is the total number of words in the book, n. Choose a random number from 1 to n. Use a bisection search (See Exercise 10) to find the index where the random number would be inserted in the cumulative sum. Use the index to find the corresponding word in the word list.

Exercise 7: Write a program that uses this algorithm to choose a random word from the book. Solution: http://thinkpython2.com/code/analyze_book3.py.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

import string
import random
from time import time
def set_book(fin1):
    useless = string.punctuation + string.whitespace + '“' + '”' # 标点符号、换行符全部咔嚓掉
    d = {}
    i = 1
    for line in fin1:
        line = line.replace('-', ' ') # 有-的单词全部一分为二，这样真的好吗？
        for word in line.split():
            word = word.strip(useless)
            word = word.lower()
            if word not in d:
                d[word] = i # 录入字典的时候键值就是序号
                i += 1
            # d[word] = d.get(word, 0) + 1 # 反正我不算词频，这个没必要了
    return d
fin1 = open('emma.txt', encoding='utf-8')
start = time()
book1 = set_book(fin1)
book2 = dict(zip(book1.values(), book1.keys())) # 键和键值互换，序号成了唯一索引号
print('100 random words in book')
for i in range(100):
    if i > 1 and i%8 == 0:
        print()
    print(random.choice(book2), end=' ') # 索引号找词，想多快有多快
print()
end = time()
print(end - start)
# 100 random words in book
# solicit laughing preserve inebriety elton's unimpeded effusions unselfish
# intimate connect native judges charities travel informs colours
# enigmas bragge case greensward cox's particularly unexampled promise
# prone greensward dignity maps fourth christmas creature maximum
# graver mildest pleasant corrected increased named partridge marks
# following kept gloom conjecturing parlour inheriting say consulting
# magnified abundant produces sons malt add unenforceability beautifully
# richly striking confuse greatness asleep steps humility upon
# already paper delight liberties confide appendages undecided male
# prophecies esteem unadorned likelihood shopping deeply unbiased horrors
# man's dumplings business chapter shakespeare sees counsels attentive
# silenced ventured singular double mean waltzes requisite checks
# unattended qualified blessed surmises
# 0.12100672721862793