数据整理的那些笨办法，往往最管用

刚入行那会儿，我特别迷信工具。看到别人用脚本一键清洗上千行数据，觉得手动整理简直原始。后来自己做数据观察才发现，工具能解决重复劳动，但解决不了口径混乱。有次整理某城市三个区的月度用电量，三个区的表格里「工业用电」定义都不一样，有的含建筑业，有的不含。我把三份数据直接合并，得出的走势图在第二个月出现一个莫名其妙的深坑。查了两天才发现，是口径没对齐，跟实际用电变化毫无关系。

从那以后，我给自己定了一条规矩：动手整理之前，先花二十分钟把每个字段的定义写在一张纸上。字段名、单位、统计范围、时间节点，四项缺一不可。上周整理一份连续36个月的零售数据，光「当月同比」这个指标就发现两种算法：一种用累计值倒推，一种用单月值直接比。两种算法在正常月份差别不到0.3个百分点，但遇到春节错位，差距能拉到4个百分点以上。如果不提前标注，后续所有预测都会带着这个偏差跑。

脏数据不要急着删，单独放一列。这是我从一次翻车经历里学到的。当时处理一份两千多行的用户行为记录，有147行的时间戳格式不对，我顺手筛掉继续做分析。结果那份报告的结论是「周三晚间活跃度异常低」，领导反问了一句：会不会是那147行里周三的数据特别多？回去一查，果然，被删掉的行里有83行集中在周三。后来我改了个做法：原始数据旁边加一列「备注」，标上「时间格式异常」「数值缺失」「疑似重复」等标签，分析时先跑全量，再跑剔除异常后的版本，两个结果摆在一起看。多花十分钟，少犯一次方向性错误。

每周固定花十分钟做基准值核对，听起来很笨，但能拦住大部分低级错误。具体做法是：选三个关键指标——比如总量、均值、最大值——把本周数据和上周、上月同期各对一次。差异超过5%就标黄，超过15%标红。上个月核对一份物流时效数据，发现「平均签收时长」从2.1天跳到3.4天。逐条排查后确认是某个区域的数据源更换了统计口径，把「工作日」改成了「自然日」。如果没有这个核对动作，这个跳变会被当成真实的效率下滑写进趋势分析里。

关于异常值的处理，我的经验是分两步走：先判断是「真异常」还是「录入错误」，再决定保留、修正还是剔除。真异常往往有外部原因，比如某天暴雨导致线下客流骤降；录入错误则表现为数值量级明显不对，比如客单价出现个位数。有个简单的判断方法：把异常点放回时间序列里看，如果它前后几天的数据都正常，孤立出现，录入错误的概率大；如果它前后几天也有轻微同向变化，那更可能是真实波动。这个方法不精确，但比拍脑袋强。

最后说一个容易被忽略的环节：留一份「整理日志」。不用复杂，一个表格三列就够——日期、动了什么、为什么动。比如「3月12日，将A渠道的退款金额从收入中扣除，原因是该渠道退款率长期高于30%，不扣会高估净收入」。这份日志平时没人看，但换人接手或者半年后自己回头查，能省下大量回忆时间。我见过最夸张的一次，一份数据表里某列数值在三个月内被不同人改了四次口径，没有日志，最后谁也说不清当前用的是哪一版。

整理数据这件事，工具在进步，但核心没变：知道自己手里的数字是怎么来的，边界在哪里，什么情况下会失真。把这些想清楚了，再简单的表格也能做出靠谱的观察。想不清楚，再高级的工具也只是把错误算得更快。