凌晨两点，办公室的空调嗡嗡作响，我盯着屏幕上那行红色的报错信息，感觉太阳穴突突直跳。这是本月第三次因为数据质量问题被业务方打回重做。这次的问题很典型，也很隐蔽——地理坐标（geo）缺失值。
事情是这样的，上周我们接了一个电商用户的地理位置分布分析需求。按理说，用户下单时都会留下收货地址，转换成经纬度后应该是一张密密麻麻的热力图。但当我把数据导入Python环境，简单跑了一下 isnull().sum()，心里咯噔一下：接近15%的订单没有有效的经纬度数据。
如果是以前，我可能直接把这些数据删掉，或者粗暴地填充为城市中心点。但这次，我没那么做。我想起之前看过的一份行业报告，提到过不同渠道的用户行为差异。为了搞清楚这15%到底是谁，我拉取了最近三个月的数据，做了一个简单的交叉对比。
我发现，这15%的缺失主要集中在两个群体：一是通过线下扫码进入小程序的老年用户，二是部分使用旧版本APP的安卓机型。前者往往不会主动授权定位，后者则是因为接口兼容性问题导致坐标获取失败。如果直接删除，意味着我们要丢失近六分之一的样本量，这不仅会让统计结果产生偏差，更会让那些沉默的大多数用户被彻底忽视。
这时候，处理 geo 缺失值 的策略就显得尤为重要。我尝试了三种方案。第一种是“硬删除”，结果发现缺失样本的用户平均客单价比完整样本高出20%，删除会导致高价值用户被低估。第二种是“均值填充”，即用该城市所有订单的经纬度中位数来填补，但这会导致数据分布过于集中，失去了地理分析的颗粒度，画出来的图就像个黑洞。
最后，我选择了第三种方案：基于地址文本的逆向地理编码，辅以概率填充。对于有详细文本地址但无坐标的订单，我调用了高德地图的API进行批量解析。虽然API有调用次数限制，且偶尔会出现解析失败的情况，但成功率达到了85%以上。对于彻底没有地址信息的“幽灵订单”，我并没有随意填充，而是根据用户注册时的IP地址归属地，结合该区域的历史订单密度，生成一个随机但符合正态分布的坐标点，并标记为“估算值”。
经过这一番折腾，数据质量明显提升。更重要的是，通过对比处理前后的数据分布，我发现了一些有趣的洞察：那些原本缺失坐标的用户，其实更倾向于在晚间下单，且偏好生鲜品类。这说明，地理位置的缺失并非随机事件，而是与用户行为强相关的。
在处理这类问题时，切忌一刀切。每一个缺失值背后，都可能藏着一个未被满足的需求或一个技术漏洞。比如，这次发现的旧版本APP兼容性问题，反馈给研发后，他们在一周内就修复了接口bug。
数据清洗从来不是简单的数学游戏，它是对业务逻辑的深度理解。当我们面对 geo 缺失值 时，不要只想着如何让它消失，而要思考它为什么存在。只有理解了缺失的机制，才能做出更精准的决策。
这次经历让我明白，真实的数据往往是粗糙的，甚至带着瑕疵。但正是这些瑕疵，提醒我们去关注那些被忽略的细节。作为数据分析师，我们的价值不在于写出多么华丽的代码，而在于能否从这些破碎的信息中，拼凑出业务的真相。
如果你也在为数据清洗头疼，不妨多花点时间看看那些“坏”数据。也许，惊喜就藏在那些被标记为 null 的单元格里。毕竟，完美的数据只存在于教科书里，而真实的世界，总是充满变数和惊喜。
本文关键词：geo 缺失值
