1. 背景1.1 为什么需要 NumPyPython 是一门上手极快、生态丰富的语言但原生 Python 在数值计算上存在三个硬伤Python 的 list 是对象指针数组每个元素都是 PyObject*存 100 万个浮点数要额外承担 100 万个对象的堆分配与引用计数开销内存与速度双双不可接受。逐元素循环解释执行for i in range(n): s a[i] 每个字节码指令都要经过解释器分派比编译型语言慢 50~100 倍。缺少多维数组、向量化、广播等数值语义做矩阵运算、图像处理、信号滤波需要手写嵌套循环极易出错。NumPyNumerical Python的解法是用 C 语言实现底层的同质化多维数组ndarray把逐元素循环下沉到编译好的 C 内核里Python 侧只负责描述对整块数据做什么这就是向量化Vectorization。1.2 在技术栈中的定位底层数值内核NumPyndarray / ufunc / 广播 ↑ 科学计算层SciPy优化/线性代数/信号/统计 数据分析层pandasDataFrame基于 NumPy、Xarray 可视化层Matplotlib绘图基于 NumPy 数组 机器学习层scikit-learn / PyTorch / TensorFlowtensor 语义与 NumPy 高度一致NumPy 是 Python 数据科学栈的地基pandas 的 DataFrame 内部就是 NumPy 数组的封装PyTorch 的 torch.Tensor 与 ndarray 可以零拷贝互转.numpy() / torch.from_numpy()ONNX Runtime 的输入输出也常以 NumPy 数组作为载体。掌握 NumPy 是进入 AI / 数据分析 / 工业数据处理的前提。1.3 与工业数采项目的结合点批量数据清洗采集到的 CNC 点位原始数据电压、电流、温度、主轴转速加载为 ndarray用向量化表达式一次完成去野值、归一化、滑窗均值。IPQC 检测数据统计Cp/Cpk 计算、分布直方图、分位数统计全部可用 NumPy 一行完成。Kafka 消息体解码后的批处理批量 JSON → ndarray → 聚合统计 → 写入存储替代逐条循环。AI 质检前置图像/振动信号做标准化、reshape、dtype 转换后喂给 ONNX Runtime / PyTorch 模型。2. 核心概念与 API 说明2.1 ndarray同质化多维数组ndarray 是 NumPy 的核心数据结构与 Python list 的本质区别维度Python listNumPy ndarray元素类型可混合任意对象同质单一 dtype连续内存内存布局指针数组 分散对象C 连续内存块 shape strides逐元素运算需 for 循环内置 ufunc 向量化切片拷贝语义视图View语义零拷贝广播无有Broadcasting创建数组的常用 APIimport numpy as np a np.array([1, 2, 3]) # 从列表创建默认 int64 或按数据推断 b np.zeros((2, 3)) # 全 0shape(2,3)默认 float64 c np.ones((2, 3), dtypenp.int32) # 全 1指定 dtype d np.full((2, 2), 7.5) # 全填充 7.5 e np.arange(0, 10, 2) # [0, 2, 4, 6, 8]类似 range f np.linspace(0, 1, 5) # [0., 0.25, 0.5, 0.75, 1.]均匀 5 点含端点 g np.eye(3) # 3x3 单位阵 h np.random.rand(3, 3) # [0,1) 均匀分布 i np.random.randn(1000) # 标准正态分布 j np.empty((3, 3)) # 未初始化内存危险通常不推荐2.2 dtype数据类型系统每个 ndarray 有且仅有一个 dtype常见类型dtype说明int8/int16/int32/int64有符号整数位宽决定范围uint8/uint16/uint32/uint64无符号整数float16/float32/float64半/单/双精度浮点complex64/complex128复数bool布尔objectPython 对象指针失去性能优势str_ / unicode_字符串要点a np.array([1, 2, 3], dtypenp.float32) a.dtype # dtype(float32) a.astype(np.int32) # 显式转换返回新数组 a.itemsize # 4每元素字节数 a.nbytes # 12总字节数 size * itemsizedtype 与内存对齐直接相关工业数据采集时常用 uint16 存储 ADC 原始值、float32 存储归一化特征可大幅压缩内存相比 float64 省一半。2.3 shape / reshape / ndim / sizea np.zeros((2, 3, 4)) # 3 维数组 a.shape # (2, 3, 4) a.ndim # 3 a.size # 24 a.reshape(6, 4) # 视图重排只要内存连续即可 a.reshape(-1, 4) # -1 表示自动推断24/46 a.flatten() # 复制展平返回拷贝 a.ravel() # 展平尽可能返回视图关键区别reshape 返回视图View而非拷贝——修改 reshape 后的数组会改变原数组只要内存布局兼容。flatten() 才保证是拷贝。需要真正独立的副本时用 .copy()。2.4 索引与切片NumPy 切片与 Python list 切片语法相同但语义是视图a np.arange(12).reshape(3, 4) # array([[ 0, 1, 2, 3], # [ 4, 5, 6, 7], # [ 8, 9, 10, 11]]) a[1] # 第二行array([4, 5, 6, 7]) a[1, 2] # 6逗号分隔多维索引 a[:, 1] # 第二列array([1, 5, 9]) a[0:2, 1:3] # 子块视图 a[::-1] # 行反转负步长 a[a 5] # 布尔掩码索引array([ 6, 7, 8, 9, 10, 11])花式索引Fancy Indexingidx [0, 2] a[idx] # 取第 0、2 行返回拷贝不是视图 mask np.array([True, False, True, False]) a[:, mask] # 按布尔掩码选列注意切片 → 视图花式索引 / 布尔索引 → 拷贝。这个差异是大量隐蔽 bug 的来源。2.5 广播Broadcasting广播规则从后往前对齐维度维度相等或其一为 1 时兼容结果形状取各维度最大值。a np.zeros((3, 4)) b np.array([1, 2, 3, 4]) # shape (4,) a b # 每行加 b → (3,4) ✔ c np.array([[1], [2], [3]]) # shape (3,1) a c # 每列加 c → (3,4) ✔ d np.array([1, 2, 3]) # shape (3,) a d # 对齐(3,4) vs (3,) → (3,4) vs (3,?) 报错ValueError广播是在 C 层逻辑重复数据不产生实际拷贝性能远好于 np.tile 显式铺开。2.6 ufunc通用函数ufunc 是对数组逐元素运算的 C 内核函数语法上表现为运算符x np.array([1.0, 2.0, 3.0]) y np.array([4.0, 5.0, 6.0]) x y # np.add(x, y) x * 2 # np.multiply(x, 2) x ** 2 # np.power(x, 2) np.sqrt(x) # 逐元素开方 np.exp(x), np.log(x), np.sin(x) np.clip(x, 1.5, 2.5) # 限幅工业去野值常用 np.where(x 1.5, x, 0.0) # 条件选择ufunc 支持 out 参数原地写避免临时分配r np.empty_like(x) np.add(x, 2.0, outr) # 结果写入 r不产生中间数组2.7 聚合与统计data np.random.randn(10000) data.sum() # 求和 data.mean() # 均值 data.std(), data.var() # 标准差、方差默认总体ddof1 为样本 data.min(), data.max() data.argmin(), data.argmax() # 极值索引 data.ptp() # 峰峰值 max-min data.median() # 中位数 np.percentile(data, [25, 50, 75]) # 分位数 np.quantile(data, 0.95) # 分位点 np.cumsum(data) # 累计和 np.diff(data) # 相邻差分 np.corrcoef(x, y) # 相关系数指定轴聚合axis 参数是最常踩坑的点之一m np.random.rand(3, 4) m.mean(axis0) # 沿第 0 轴行方向求均值 → 每列一个值shape (4,) m.mean(axis1) # 沿第 1 轴列方向求均值 → 每行一个值shape (3,) m.mean() # 全数组标量记忆口诀axisk 就是把第 k 维压掉。(3,4) 沿 axis0 求均值 → (4,)。2.8 线性代数numpy.linalgimport numpy.linalg as la A np.array([[3., 1.], [1., 2.]]) b np.array([9., 8.]) la.det(A) # 行列式 la.inv(A) # 求逆 la.solve(A, b) # 解线性方程组 A x b → array([2., 3.])比 inv 快且数值稳 la.eig(A) # 特征值、特征向量 la.eigvalsh(A) # 对称矩阵特征值更快 la.svd(A) # SVD 分解 la.norm(b) # 向量/矩阵范数 la.qr(A) # QR 分解矩阵乘法A B # 矩阵乘法推荐Python 3.5 np.matmul(A, B) # 等价 np.dot(A, B) # 高维语义与 matmul 有差异 A * B # 注意这是逐元素乘Hadamard不是矩阵乘2.9 随机数np.random新版 Generator API新版推荐 default_rng()而不是旧的 np.random.rand/randn/seedrng np.random.default_rng(42) # 可复现种子 rng.random((3, 3)) # [0,1) 均匀 rng.normal(0, 1, (1000,)) # 正态 rng.integers(0, 100, 10) # 整数 rng.permutation(10) # 排列 rng.choice(10, size5, replaceFalse) # 无放回抽样 rng.shuffle(x) # 原地洗牌2.10 输入输出np.save(data.npy, arr) # 二进制推荐保留 dtype/shape arr2 np.load(data.npy) np.savez(data.npz, aarr1, barr2) # 多数组压缩打包 d np.load(data.npz); d[a] np.savetxt(data.csv, arr, delimiter,) # 文本慢仅小数据 arr3 np.genfromtxt(data.csv, delimiter,)工业采集场景大数组用 .npy 持久化与 pandas 互通pd.DataFrame(arr) / df.to_numpy()。2.11 与外部生态互转import torch, pandas as pd # pandas ↔ numpy df pd.DataFrame(arr, columns[c1, c2]) arr_back df.to_numpy() # 注意混合类型列会升为 object 或 string # PyTorch ↔ numpy零拷贝共享底层内存 t torch.from_numpy(arr) # 共享内存 arr_view t.numpy() # 共享内存 # 注意GPU tensor 需先 .cpu()修改一方影响另一方 # OpenCV ↔ numpyBGR 图像本质就是 ndarray import cv2 img cv2.imread(a.jpg) # 返回 ndarrayshape(H, W, 3)dtypeuint83. 详细使用说明3.1 环境安装# pip 安装 pip install numpy # conda推荐带 MKL/OpenBLAS 加速 conda install numpy # 验证 python -c import numpy; print(numpy.__version__)性能提示conda 分发的 NumPy 默认链接 MKL/OpenBLAS/la.solve 等大规模矩阵运算通常比 pip 自编译版本更快pip 版在纯 CPU 小数组上差异不大。3.2 示例一一维信号的滑窗均值滤波去噪工业采集的振动/温度信号常带尖峰噪声用滑动窗口均值平滑import numpy as np def moving_average(x, window5): # 用 cumsum 实现 O(n) 滑窗均值比逐窗口循环快一个数量级 c np.cumsum(np.insert(x, 0, 0)) return (c[window:] - c[:-window]) / window raw np.array([3.1, 3.2, 12.0, 3.3, 3.0, 3.4, 11.5, 3.2, 3.3]) # 含尖峰 smooth moving_average(raw, window3) print(smooth) # 期望输出[6.1 6.16666667 6.1 6.23333333 5.96666667 6.03333333 6.0]3.3 示例二批量数据标准化与野值剔除模拟 CNC 主轴电流采集10000 点做 3σ 野值剔除 z-score 标准化import numpy as np rng np.random.default_rng(2026) current rng.normal(12.5, 0.8, 10000) # 正常电流 ~ N(12.5, 0.8) current[:50] rng.uniform(30, 60, 50) # 注入 50 个野值传感器毛刺 # 1) 描述统计 print(fmean{current.mean():.3f}, std{current.std():.3f}) print(fmin{current.min():.3f}, max{current.max():.3f}) # 2) 3σ 野值剔除布尔掩码 mean, std current.mean(), current.std() mask np.abs(current - mean) 3 * std clean current[mask] print(f剔除 {current.size - clean.size} 个野值剩余 {clean.size} 点) # 3) z-score 标准化 normalized (clean - clean.mean()) / clean.std() print(f标准化后 mean{normalized.mean():.6f}, std{normalized.std():.6f}) # 4) 统计区间分桶直方图 counts, edges np.histogram(clean, bins20)3.4 示例三多元线性回归的最小二乘解IPQC 数据分析用 la.lstsq 拟合 y a0 a1x1 a2x2import numpy as np import numpy.linalg as la rng np.random.default_rng(7) n 500 x1 rng.normal(10, 2, n) x2 rng.normal(5, 1, n) true np.array([3.0, -1.2, 0.8]) # 真实系数 a0, a1, a2 y true[0] true[1]*x1 true[2]*x2 rng.normal(0, 0.1, n) # 设计矩阵首列为 1截距 X np.column_stack([np.ones(n), x1, x2]) coef, residuals, rank, s la.lstsq(X, y, rcondNone) print(拟合系数:, np.round(coef, 4)) # 应接近 [3.0, -1.2, 0.8] # 预测与 R² y_pred X coef ss_res np.sum((y - y_pred) ** 2) ss_tot np.sum((y - y.mean()) ** 2) r2 1 - ss_res / ss_tot print(fR² {r2:.4f})3.5 示例四图像预处理AI 质检前置灰度图像转 float32 并归一化到 [0,1]再补成 CHWimport numpy as np import cv2 img cv2.imread(part.jpg, cv2.IMREAD_GRAYSCALE) # (H, W) uint8 print(img.shape, img.dtype) # (480, 640) uint8 # 归一化uint8[0,255] → float32[0,1] x img.astype(np.float32) / 255.0 # 或就地归一化省一份内存 img_norm cv2.normalize(img, None, 0.0, 1.0, cv2.NORM_MINMAX) # 加 batch 与 channel 维度HWC → NCHW (1,1,H,W) x x[np.newaxis, np.newaxis, :, :] # 等价x np.expand_dims(x, axis(0, 1)) # 若模型是 RGB 三通道先复制通道 rgb np.repeat(x, 3, axis1) # (1,3,H,W)3.6 示例五高性能批量处理模式内存友好工业批量计算避免 Python 循环、避免中间大数组import numpy as np # 坏写法循环 逐元素 Python 运算慢 100 倍 def bad_sum(chunks): s 0.0 for c in chunks: for v in c: s v * 2 1 return s # 好写法一次性向量化 def good_sum(chunks): arr np.asarray(chunks) # 列表 → ndarray尽量一次转换 return (arr * 2 1).sum() # 内存友好out 复用缓冲 buf np.empty((1000, 64), dtypenp.float32) for i in range(100): batch next_batch() # 假设返回 (1000,64) np.multiply(batch, 0.5, outbuf) # 结果写 buf不产生新数组 process(buf)4. 常错点 / 坑4.1 视图 vs 拷贝混淆a np.arange(12).reshape(3, 4) b a[0:2] # 视图 b[0, 0] 999 # 修改 b 会改 a print(a[0, 0]) # 999 c a[[0, 1]] # 花式索引 → 拷贝 c[0, 0] -1 # a 不受影响规避需要独立副本时显式 .copy()不确定时可查 np.shares_memory(a, b)写代码前想清楚我要视图还是要拷贝。4.2 reshape 陷阱a np.arange(12) b a.reshape(3, 4) # 视图共享内存 b[0, 0] 100 print(a[0]) # 100a 被改了 # 非连续内存时 reshape 会触发拷贝语义安全但行为不同 t a[::2] # 步长切片非连续 r t.reshape(3, 2) # 这里实际会拷贝必要时规避reshape 后不要假设与原数组独立要独立就用 a.reshape(...).copy()。4.3 dtype 不匹配uint8 溢出 / float 精度x np.array([250, 250], dtypenp.uint8) y x 10 # uint8 溢出回绕array([4, 4])不是 260 z x.astype(np.int32) 10 # array([260, 260]) ✔ # float 精度 a np.float32(0.1) np.float32(0.2) # 0.30000001192092896 # 比较用 np.isclose 而非 np.isclose(np.float32(0.1) np.float32(0.2), np.float32(0.3)) # True规避图像/ADC 数据处理先确认 dtype浮点比较一律 np.isclose / np.allcloseNaN 判断用 np.isnan 而不是 np.nan np.nan 为 False。4.4 axis 方向搞反m np.arange(6).reshape(2, 3) # [[0 1 2] # [3 4 5]] m.sum(axis0) # array([3, 5, 7]) —— 每列和shape (3,) m.sum(axis1) # array([ 3, 12]) —— 每行和shape (2,)规避写前先打印 shape 验证口诀axisk 压掉第 k 维。4.5 广播维度不兼容报错a np.ones((3, 4)) b np.ones((3,)) a b # ValueError: operands could not be broadcast together规避手动补齐维度 b[:, np.newaxis] 或 np.expand_dims(b, axis1)报错时先打印两个 shape 对一下。4.6 * 是逐元素乘不是矩阵乘A np.array([[1., 2.], [3., 4.]]) B np.array([[5., 6.], [7., 8.]]) A * B # 逐元素[[5,12],[21,32]] A B # 矩阵乘[[19,22],[43,50]]规避矩阵运算统一用 * 只用于逐元素。4.7 负步长 / 反序切片陷阱a np.arange(10) a[::-1] # 反序OK a[9:0:-1] # 注意不含索引 0结果 9..1 a[:0:-1] # 9..1同样不含 0 a[::-2] # 隔一个取反序规避反序直接 a[::-1]要含端点用 a[9::-1]。4.8 原地修改 的共享内存爆炸a np.ones((3, 3)) b a[0:2] # 视图 b 10 # 修改了 a 的对应块这是预期的视图行为但更隐蔽的是跨库共享t torch.from_numpy(a) # 与 a 共享内存 t.add_(1) # a 也被改规避跨库转换前明确是否需要独立副本np.array(arr, copyTrue) / torch.from_numpy(a.copy())。4.9 忘记 astype 导致模型推理精度问题# 错误图像 uint8 直接喂模型 x img # uint8 [0,255]模型期望 float32 [0,1] # 正确 x img.astype(np.float32) / 255.0规避喂 AI 模型前检查 dtype 和值域x.dtype 与 x.min()/max() 是必查项。4.10 大规模数组的内存翻倍# 坏多次中间数组 y np.sqrt(x) np.square(x) * 0.5 - 1 # 临时数组峰值可达 3~4 倍 # 好out 复用 r np.empty_like(x) np.square(x, outr); r * 0.5; np.add(r, -1, outr); np.sqrt(x, outnp.add(r, np.square(x, outr), outr))规避百 MB 级以上数组用 out 与分块处理监控 np.info(x) / x.nbytes内存不足先降 dtypefloat64→float32 减半。4.11 在 Python 循环里逐元素操作 ndarray# 极慢性能自杀 for i in range(len(arr)): arr[i] arr[i] * 2 1 # 正确向量化 arr arr * 2 1规避凡是对每个元素做同样操作一律向量化循环只在索引依赖如滑窗因果处理时保留并用 numba/Cython 加速。4.12 np.random 新旧 API 混用与不可复现np.random.seed(42) # 旧全局状态影响全局多线程/库间互相污染 rng np.random.default_rng(42) # 新推荐局部 Generator互不干扰规避统一用 default_rng(seed) 并把 rng 传入函数生产代码禁用裸 np.random.* 全局函数。4.13 savetxt 存大数组慢到怀疑人生np.savetxt(big.csv, huge_arr) # 文本 IO1GB 数组可能数分钟 np.save(big.npy, huge_arr) # 二进制秒级规避中间/大数组一律 .npy只有对外交换才用文本且优先 np.savetxt 的 fmt%.4f 控制精度与文件体积。4.14 布尔索引修改的只读视图误用a np.arange(10) mask a % 2 0 a[mask] 0 # 合法可写 a[mask].sort() # 不合法预期a[mask] 返回拷贝sort 只作用在临时拷贝上a 不变规避需按掩码排序用 np.argsort 配合索引。4.15 nan 污染聚合结果data np.array([1.0, np.nan, 3.0]) data.mean() # nan一个 NaN 毁掉整个统计 np.nanmean(data) # 2.0忽略 NaN np.nan_to_num(data, nan0.0) # 显式替换规避采集数据先做 np.isnan 检查统计一律用 np.nan* 系列nanmean/nanstd/nanmin/nanmax/nansum。4.16 np.copy 与 赋值语义b a # 只是别名b 和 a 是同一个对象 b a.copy() # 深拷贝 b a[:] # 视图切片不是拷贝规避想清楚别名 / 视图 / 拷贝三种语义跨函数传参时若下游会写先 .copy()。4.17 大矩阵 la.inv 数值不稳定# 解方程用 solve 而非 inv x la.inv(A) b # 慢且数值误差大 x la.solve(A, b) # 快且稳 ✔规避解线性方程/最小二乘一律 la.solve/la.lstsq不要先求逆再乘条件数大la.cond(A)时改用正则化或 SVD。4.18 排序与 argsort 混用a np.array([3, 1, 2]) a.sort() # 原地排序返回 None b np.argsort(a) # 返回索引数组不改 a c a[np.argsort(a)] # 非原地排序的推荐方式规避要保留原数组用 np.sort(a) 或 a[np.argsort(a)]a.sort() 是原地操作且返回 None别写 x a.sort()。5. 总结5.1 核心要点速记ndarray 是同质化连续内存数组性能来自 C 内核 向量化Python 循环是性能杀手。切片视图、花式索引拷贝需要独立数据显式 .copy()。广播消除显式铺开循环从后往前对齐、维度相等或为 1 才兼容。 是矩阵乘* 是逐元素乘别混。axisk 压掉第 k 维聚合前先打印 shape 验证。dtype 决定内存与精度图像 uint8→float32、浮点比较用 np.isclose、NaN 用 np.nan* 系列。矩阵求解用 la.solve/lstsq 而非 la.inv。随机数用 np.random.default_rng(seed)保证可复现且不污染全局。大数组用 .npy 持久化、用 out 复用缓冲避免内存翻倍。跨库转换PyTorch/OpenCV/pandas共享内存一方修改会波及另一方。5.2 适用场景场景推荐中小规模数值计算、数据分析、教学NumPy 直接够用表格型数据清洗聚合pandas底层就是 NumPy机器学习建模scikit-learn / PyTorch输入输出与 NumPy 无缝深度学习推理部署ONNX Runtime / PyTorch NumPy 前后处理大规模矩阵/线性代数10⁴ 维度考虑 GPUPyTorch/CuPy或 C Eigen需要 GPU 加速的 ndarray 运算CuPyAPI 兼容 NumPy5.3 工业数采实践建议采集通道数据结构化每个通道主轴电流/进给速度/温度存为独立 float32 数组配套时间戳数组便于向量化统计。实时滑窗处理用 cumsum 滑窗均值 / np.roll 做差分避免 Python 循环50 万点/秒级别 CPU 完全可承受。异常检测组合拳3σ 阈值 分位数 滑动窗口统计全部一行 NumPy 完成可作为 Kafka 消费端的批量预处理步骤。AI 质检链路cv2.imread → astype(np.float32)/255 → np.expand_dims → ORT.run → np.argmax与 ONNX Runtime 篇无缝衔接。性能自检处理 100 万点若耗时超过几十毫秒优先怀疑 Python 循环和临时数组而不是 NumPy 本身。5.4 FAQ 速查表问题答案切片会不会拷贝不会切片是视图需要拷贝用 .copy()a.reshape(-1) 是什么意思展平为一维-1 由总元素数自动推断如何优雅地加一维np.newaxis 或 np.expand_dims(a, axisk)np.dot 和 有何区别一维/二维等价高维 np.dot 是后轴和前轴收缩 是标准矩阵乘推荐 如何判断两个数组共享内存np.shares_memory(a, b)数组里有 NaN 怎么统计用 np.nanmean/nanstd/nanmin/... 或先 np.isnan 掩码剔除如何让随机结果可复现rng np.random.default_rng(固定种子)并始终使用 rngfloat 比较为什么总是 False二进制浮点误差用 np.isclose(a, b, rtol, atol)大文件读取慢怎么办二进制 .npy/.npz 优先文本用 genfromtxt 并指定 dtype如何把列表快速变数组np.asarray(list)不拷贝已有 ndarray或 np.array(list)强制拷贝多线程里 NumPy 安全吗读操作安全写同一数组需自行加锁释放 GIL 的 ufunc 大数组并行是安全的NumPy 1.x 部分释放2.x 逐步放开