数据整理不靠工具，靠一套笨办法

很多人把数据整理想成写脚本、跑模型。实际做过几个项目就会发现，八成时间花在更枯燥的事上：把两列日期格式统一、给缺失值打上标记、确认同一张表里“北京”和“北京市”是不是一回事。工具能帮上忙，但决定整理质量的，往往是一套固定的手工流程。

第一步是字段对齐。不同来源的数据拼在一起，第一件事不是算，而是看。比如一份月度销售表，月份写成“2024-01”，另一份写成“2024年1月”，直接合并会多出几十行错位。我的习惯是先拉一张字段对照表，左边写原始字段名，右边写目标字段名和格式，逐列确认。这个过程通常要花掉整个整理环节三成的时间，但能省掉后面反复返工的麻烦。

第二步是异常值标记，而不是直接删。曾经处理过一组日活数据，某天数值突然翻了三倍。直接删掉，走势看起来平滑，但会掩盖真实原因——那天上线了一个签到活动。我的做法是新增一列“标记”，用1表示可疑、0表示正常，保留原始数值。这样后续做走势观察时，可以分别看含异常值和剔除异常值两条线，判断结论是否稳健。

第三步是版本留存。数据整理最怕“改着改着回不去了”。每完成一个阶段，另存一个文件，文件名带上日期和操作内容，比如“用户表_20240315_去重后”。不要覆盖原始文件。有一次同事把清洗后的表覆盖了原始数据，后来发现某列单位搞错，只能重新从系统导出，多花了两天。版本留存看着笨，但它是唯一能让你随时回退的办法。

第四步是记录口径。整理完的数据，要写一段简短说明：时间范围、样本量、缺失比例、做了哪些处理。比如“2024年1月至3月，共12.4万条，删除重复0.3万条，缺失率2.1%”。这段说明不放进分析报告，但放在数据文件旁边。三个月后有人问“这个预测为什么偏低”，翻出说明就能回答，不用靠回忆。

这些步骤听起来没有技术含量，但它们的价值在于可重复。一个团队如果每个人整理数据的方式都不一样，后续的走势对比和预测就很难对齐。把笨办法固定下来，写成清单，新人照着做，出错率会明显下降。数据整理不是比谁的工具高级，而是比谁的流程稳定。

最后一点观察：整理过程中发现的异常，往往比整理完的结论更有信息量。比如某渠道转化率连续三天为0，查下去发现是埋点代码被误删。这类问题不会出现在最终报表里，但会在整理阶段暴露。所以别把整理当成分析的准备工作，它本身就是一次对数据的近距离观察。