常用数据工具介绍：一份三年踩坑笔记

三年前刚接手数据周报时，我用的还是Excel 2016。那时候每周要处理六张表，每张大约八千行，靠VLOOKUP和透视表硬扛。经常出现的问题是公式引用错行，或者数据源更新后忘了刷新，导致周报里的走势图跟实际差了一截。后来统计了一下，那半年里因为手工操作失误返工的时间，累计超过四十个小时。这个数字不算大，但足以让人开始认真考虑换工具。

第一个真正改变工作节奏的是Power Query。它藏在Excel的“数据”选项卡里，很多人天天打开Excel却从没用过。我拿它做的第一件事，是把十二个分公司的月报合并成一张总表。原本需要手动复制粘贴、统一表头、处理空值，前后大约两小时。用Power Query录制一次步骤后，每月只需点“全部刷新”，三十秒内完成。更重要的是，每一步清洗动作都被记录下来，同事接手时能直接看懂逻辑，不用再问我“这个数是怎么算出来的”。

数据量再往上走，Excel就开始吃力了。大概到五十万行左右，打开文件要等十几秒，做透视表时风扇狂转。这时候SQL成了必需品。我主要用SQL做两件事：一是从业务库直接取明细，避免导出CSV再导入的中间损耗；二是做分组聚合，比如按城市和品类算月度环比。刚开始学的时候，我习惯把整张表SELECT出来再在Excel里筛，后来发现用WHERE和GROUP BY直接在数据库里跑，返回的结果从几十万行变成几百行，速度快了不止一个量级。

可视化方面，Tableau和Power BI我都用过一段时间。Tableau的拖拽体验确实顺滑，适合快速探索数据里的异常点。比如某次看日活走势，发现每周三下午都会掉一个坑，拖了几个维度进去，很快定位到是某个渠道的定时任务挤占了带宽。Power BI的优势则在于和Excel的衔接更自然，如果团队已经在用微软全家桶，学习成本会低很多。不过两者都有个共同问题：一旦数据源结构变了，之前做好的报表可能大面积报错，需要留出维护时间。

轻量级的场景，我反而越来越依赖Google Sheets。它的QUERY函数能写类似SQL的语句，比如=QUERY(A:D,"select A, sum(D) where B='华东' group by A")，对于临时性的数据观察足够用。加上IMPORTRANGE可以跨表引用，几个同事协作维护一张看板时，不用来回发文件。缺点是数据量上限大约一千万个单元格，超过就会变慢，所以只适合做前端展示，不适合当存储层。

如果涉及更复杂的预测或统计建模，Python的pandas和statsmodels是绕不开的。我一般用pandas做数据对齐和缺失值处理，再用statsmodels跑简单的ARIMA或线性回归。举个例子，去年做某品类的销量预测，用过去十八个月的周数据训练，MAPE控制在百分之八左右。这个过程里，pandas的merge和resample帮我省掉了大量手工对齐时间。当然，Python的门槛比Excel高，如果只是做描述性统计，没必要一开始就上代码。

回头看这三年，工具换了不少，但选择逻辑其实没变：先看数据量级，再看协作人数，最后看是否需要自动化。十万行以内、单人操作，Excel加Power Query足够；上百万行、多人取数，SQL加BI工具更稳；涉及建模和预测，再考虑Python。工具本身没有绝对的好坏，关键是别让清洗和搬运占掉大部分时间。毕竟做数据观察，重点始终是观察本身，而不是折腾工具。