用Python+Pandas搞定校园单车数据清洗：从‘200+’到精准分布表的保姆级教程

用PythonPandas搞定校园单车数据清洗从‘200’到精准分布表的保姆级教程校园单车数据清洗是数据分析实战中的经典场景。想象一下这样的情境你拿到一份包含15个停车点、7个时间段的校园单车统计表却发现数据里混杂着200这样的模糊记录、多处缺失值甚至还有不一致的时间格式。这正是我去年帮学弟处理课程设计时遇到的实际案例——当时我们用了3天手动整理而现在用PythonPandas只需30分钟就能搞定。本文将带你用代码解决以下典型问题处理200这类特殊字符串智能填充缺失值不是简单用0填充时间标准化与时段映射多维度数据透视分析生成专业级分布报表1. 环境准备与数据加载工欲善其事必先利其器。我们先配置好分析环境# 基础工具库 import pandas as pd import numpy as np from datetime import datetime # 可视化扩展非必需但推荐 import matplotlib.pyplot as plt plt.style.use(seaborn)假设原始数据存储在bike_data.csv中格式如下时间东门南门北门...备注7:304532200...早高峰时段8:5078-31...缺失值记为-12:008652102...午餐时间加载数据时需要注意几个关键参数raw_df pd.read_csv( bike_data.csv, na_values[-, NA], # 自定义缺失值标记 thousands,, # 处理千分位分隔符 parse_dates[时间], # 自动解析时间列 encodinggbk # 处理中文编码 )提示遇到编码问题时可先用chardet检测文件编码import chardetwith open(bike_data.csv, rb) as f:print(chardet.detect(f.read()))2. 特殊值处理实战技巧面对200这类数据常规的astype(float)会直接报错。我们需要更智能的处理方式2.1 正则表达式提取数值def clean_number(x): import re if isinstance(x, str): # 匹配数字部分含小数 num re.search(r(\d\.?\d*), x.replace(,, )) return float(num.group(1)) if num else np.nan return float(x) for col in raw_df.columns[1:-1]: # 排除时间和备注列 raw_df[col] raw_df[col].apply(clean_number)2.2 缺失值高级填充策略直接填充0会扭曲统计结果我们采用时空双重维度的智能填充# 按时间趋势填充 raw_df raw_df.interpolate(methodtime, limit_directionboth) # 按地点均值二次填充 location_means raw_df.iloc[:, 1:-1].mean() raw_df raw_df.fillna(location_means)处理前后对比示例处理阶段东门(7:30)北门(7:30)南门(8:50)原始数据45200-处理后45.0200.062.43. 时间维度深度处理原始时间数据往往存在格式不统一问题我们需要标准化为Pandas可识别的时间对象3.1 时间解析与标准化# 统一时间格式 def standardize_time(t): if isinstance(t, str): # 处理带中文的时间如上午7:30 t t.replace(上午, ).replace(下午, ) # 补全缺少分钟的情况如8 - 8:00 if : not in t: t :00 return pd.to_datetime(t, format%H:%M).time() raw_df[时间] raw_df[时间].apply(standardize_time)3.2 时段映射与分组将连续时间离散化为标准时段# 定义时段映射规则 time_bins [ (早高峰, 07:00, 09:00), (上午, 09:00, 12:00), (午间, 12:00, 14:00), (下午, 14:00, 18:00), (晚高峰, 18:00, 21:00), (夜间, 21:00, 23:00) ] # 创建时段标签列 def get_time_period(t): t_str t.strftime(%H:%M) for period, start, end in time_bins: if start t_str end: return period return 其他 raw_df[时段] pd.to_datetime(raw_df[时间].astype(str)).apply(get_time_period)4. 数据透视与可视化分析清洗后的数据可以生成多维度的分析视图4.1 创建时空分布表pivot_table pd.pivot_table( raw_df, index时段, columnsraw_df.columns[1:-2], # 所有地点列 aggfuncmean, fill_value0 ).round(1)4.2 热力图可视化plt.figure(figsize(12, 8)) sns.heatmap( pivot_table.T, # 转置矩阵 annotTrue, fmt.1f, cmapYlGnBu, linewidths.5 ) plt.title(校园单车时空分布热力图) plt.xticks(rotation45) plt.tight_layout()典型输出结果示例时段东门南门北门一食堂...校医院早高峰45.062.4200.012.3...8.1上午78.072.031.054.0...6.0午间86.052.0102.057.0...0.05. 高级技巧与异常处理在实际项目中你可能会遇到这些特殊情况5.1 处理极端值# 定义合理范围根据业务知识 valid_range {min: 0, max: 150} # 标记并修正异常值 for col in pivot_table.columns: pivot_table[col] pivot_table[col].clip( valid_range[min], valid_range[max] )5.2 数据一致性检查# 检查各时段总量是否合理 total_bikes pivot_table.sum(axis1) plt.plot(total_bikes.index, total_bikes.values, markero) plt.axhline(ytotal_bikes.mean(), colorr, linestyle--) plt.title(各时段单车总量波动检查)5.3 输出最终报表# 保存为Excel多页签文档 with pd.ExcelWriter(单车分布分析报告.xlsx) as writer: pivot_table.to_excel(writer, sheet_name时空分布) raw_df.describe().to_excel(writer, sheet_name数据统计) # 添加可视化图表 plt.savefig(writer, sheet_name热力图)记得在实际应用中根据具体数据特点调整参数。比如某高校的校医院点位夜间需求量突然增大就需要结合校园地图分析是否因急诊室值班制度导致。