NumPy 字符串标量嵌入空字符trailing null保留行为改进StringDType 与 object 的直接转换【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址: https://gitcode.com/gh_mirrors/nu/numpy导读本文围绕 NumPy 即将发布版本中的一个行为改进展开np.copyto、np.full、np.where、np.concatenate(..., axisNone)与np.choose在处理精确的 Pythonstr标量时不再经由定宽 unicodeU/U系列中间转换而是直接按已解析的 dtype 完成转换从而保证字符串末尾的空字符\0在StringDType与object数组中不再丢失。读完本文你将掌握该改进的触发条件、受影响函数清单、验证方法以及对应的源码级实现依据与测试用例。变更背景为什么字符串末尾的\0会神秘消失在 Python 中x\0是一个合法的、以空字符结尾的字符串字面量长度len为 2。但在旧版本的 NumPy 实现路径中当把这样一个精确的 Pythonstr标量放入StringDType或object数组时转换过程会先经过定宽 unicode即U2之类的numpy.str_类型这一中间步骤。而定宽 unicode 类型的语义是固定宽度、以空字符补位null-padded其底层存储会把字符串末尾的空字符视为补位符并在读取时将其剥离。因此x\0一旦经由该中间类型末尾的\0就会被当作填充而被丢弃最终数组中得到的元素变成x数据被静默篡改。这一行为对以下两类场景影响尤甚StringDTypenumpy.dtypes.StringDType这是 NumPy 面向可变长度、UTF-8 编码字符串设计的新 dtypeNEP 55 的实现本应完整保留字符串内容却因中间转换丢失了末尾空字符object数组本应原样保存 Python 对象同样因为走了 unicode 中间路径而丢失尾部\0。从源码看这一中间路径的根源在于数组标量发现逻辑array_coercion.c 中当输入对象是PyUnicode_Check(obj)时会先映射为NPY_UNICODE定宽 unicode的 legacy descriptor再尝试向目标 dtype 转换——正是这条路径导致了尾部空字符的丢失。改进内容直接按解析出的 dtype 转换本次改进的核心策略是对于精确exact的 Pythonstr标量在np.copyto、np.full、np.where、np.concatenate(..., axisNone)与np.choose这几条路径中不再经由定宽 unicode 中间体而是直接使用调用时解析出的目标 dtype 完成转换。改进后的行为示例文档中的原始示例import numpy as np np.full(2, x\0, dtypenp.dtypes.StringDType())[0] # 改进前返回 x # 改进后返回 x\0也就是说目标数组是StringDType时末尾的\0被完整保留。同理适用于object数组。受影响函数清单根据本次变更以下 5 个函数/调用形态对精确 Pythonstr标量的处理发生了改变函数调用形态说明np.copytonp.copyto(dst, scalar)把标量复制到目标数组广播填充np.fullnp.full(shape, scalar, dtype...)用标量填充新数组np.wherenp.where(cond, scalar, arr)/np.where(cond, arr, scalar)标量与数组二选一np.concatenatenp.concatenate(..., axisNone)在axisNone展平后连接形态下标量作为元素参与np.choosenp.choose(indices, (arr, scalar))从候选列表中按索引选择标量作为候选元素注意对于np.concatenate改进仅适用于axisNone的调用形态np.choose中参与选择的是标量候选元素。源码级实现依据1. 测试用例行为契约的直接证明本次改进在 test_stringdtype.py 中配套了完整的回归测试可作为行为契约的权威依据test_pystr_scalar_full_copyto_where_preserve_nulls验证np.full、np.copyto、np.where对x\0的保留test_pystr_scalar_full_copyto_where_object_preserve_nulls验证同样的三个函数在objectdtype 下保留x\0test_pystr_scalar_concatenate_preserve_nulls验证np.concatenate(..., axisNone)含out与显式dtype形态下保留test_pystr_scalar_choose_preserve_nulls验证np.choose下保留test_pystr_scalar_concatenate_choose_object_preserve_nulls验证objectdtype 下的concatenate与choose。这些测试统一约定assert np.full(2, scalar, dtypedtype)[0] scalar、assert dst.tolist() [scalar, scalar]其中scalar x\0。2. 实现路径原样保留 Python 标量输入在 ufunc 与数组构造的解析层NumPy 明确区分了普通 Python 标量与精确 Python 字符串。例如 ufunc_object.c 中promote_and_get_ufuncimpl与resolve_descriptors在解析时会携带inputs原始输入注释明确指出其目的之一是处理exact Python strings, which must preserve trailing nulls精确的 Python 字符串必须保留尾部空字符。这说明本次改进不只是个别函数的补丁而是将精确str标量不丢失尾部空字符确立为解析层的一条通用原则由各入口函数共享。3. 定宽 unicode 与 StringDType 的语义对比定宽 unicodenumpy.str_/U在文档字符串中明确记载其数组行为是 strips trailing null bytes剥离尾部空字节见 _add_newdocs_scalars.py。这正是旧路径丢失\0的根本原因StringDType的实现位于 numpy/_core/src/multiarray/stringdtype 目录以 UTF-8 变长存储字符串语义上应完整保留内容因此绝不应对尾部空字符做剥离。验证与使用建议快速验证脚本在安装了包含该改进的 NumPy 版本后可直接运行以下脚本验证import numpy as np from numpy.dtypes import StringDType scalar x\0 # 1. np.full print(np.full(2, scalar, dtypeStringDType())[0] scalar) # True print(np.full(1, scalar, dtypeobject)[0] scalar) # True # 2. np.copyto dst np.empty(2, dtypeStringDType()) np.copyto(dst, scalar) print(dst.tolist() [scalar, scalar]) # True # 3. np.where cond np.array([True, False]) arr np.array([y, y], dtypeStringDType()) print(np.where(cond, scalar, arr)[0] scalar) # True # 4. np.concatenate(..., axisNone) print(np.concatenate(([y], scalar), axisNone, dtypeStringDType())[1] scalar) # True # 5. np.choose print(np.choose(np.array([1]), (np.array([y], dtypeStringDType()), scalar))[0] scalar) # True使用建议如果你的业务数据本身就依赖末尾空字符如 C 风格互操作、序列化协议、固定记录格式解析在从 Pythonstr标量构造StringDType或object数组时应优先使用上述改进后的入口np.full/np.copyto/np.where/np.concatenate(axisNone)/np.choose需要警惕的是经由定宽 unicodeU/str_存储的数据依然会剥离尾部空字节这是该类型的既有语义不属于本改进范围。若目标 dtype 是StringDType或object改进后的路径可避免误经该中间类型本改进适用于精确的 Pythonstr标量type(s) is str这一精确类型判断测试中亦用x\0字面量直接验证实际使用时请确认传入的是原生str而非其子类。适用范围与限制改进针对StringDType与object两类目标 dtype覆盖np.copyto、np.full、np.where、np.concatenate(axisNone)、np.choose五个入口np.concatenate仅在axisNone形态下保证该行为定宽 unicodeU数组的剥离尾部空字节语义不变该变更属于 NumPy 的改进improvement类新闻条目对应新闻片段文件为 doc/release/upcoming_changes/32356.improvement.rst实际行为请以你所用 NumPy 版本的发布说明为准。【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址: https://gitcode.com/gh_mirrors/nu/numpy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 NumPy 字符串标量嵌入空字符（trailing null）保留行为改进：StringDType 与 object 的直接转换
NumPy 字符串标量嵌入空字符trailing null保留行为改进StringDType 与 object 的直接转换【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址: https://gitcode.com/gh_mirrors/nu/numpy导读本文围绕 NumPy 即将发布版本中的一个行为改进展开np.copyto、np.full、np.where、np.concatenate(..., axisNone)与np.choose在处理精确的 Pythonstr标量时不再经由定宽 unicodeU/U系列中间转换而是直接按已解析的 dtype 完成转换从而保证字符串末尾的空字符\0在StringDType与object数组中不再丢失。读完本文你将掌握该改进的触发条件、受影响函数清单、验证方法以及对应的源码级实现依据与测试用例。变更背景为什么字符串末尾的\0会神秘消失在 Python 中x\0是一个合法的、以空字符结尾的字符串字面量长度len为 2。但在旧版本的 NumPy 实现路径中当把这样一个精确的 Pythonstr标量放入StringDType或object数组时转换过程会先经过定宽 unicode即U2之类的numpy.str_类型这一中间步骤。而定宽 unicode 类型的语义是固定宽度、以空字符补位null-padded其底层存储会把字符串末尾的空字符视为补位符并在读取时将其剥离。因此x\0一旦经由该中间类型末尾的\0就会被当作填充而被丢弃最终数组中得到的元素变成x数据被静默篡改。这一行为对以下两类场景影响尤甚StringDTypenumpy.dtypes.StringDType这是 NumPy 面向可变长度、UTF-8 编码字符串设计的新 dtypeNEP 55 的实现本应完整保留字符串内容却因中间转换丢失了末尾空字符object数组本应原样保存 Python 对象同样因为走了 unicode 中间路径而丢失尾部\0。从源码看这一中间路径的根源在于数组标量发现逻辑array_coercion.c 中当输入对象是PyUnicode_Check(obj)时会先映射为NPY_UNICODE定宽 unicode的 legacy descriptor再尝试向目标 dtype 转换——正是这条路径导致了尾部空字符的丢失。改进内容直接按解析出的 dtype 转换本次改进的核心策略是对于精确exact的 Pythonstr标量在np.copyto、np.full、np.where、np.concatenate(..., axisNone)与np.choose这几条路径中不再经由定宽 unicode 中间体而是直接使用调用时解析出的目标 dtype 完成转换。改进后的行为示例文档中的原始示例import numpy as np np.full(2, x\0, dtypenp.dtypes.StringDType())[0] # 改进前返回 x # 改进后返回 x\0也就是说目标数组是StringDType时末尾的\0被完整保留。同理适用于object数组。受影响函数清单根据本次变更以下 5 个函数/调用形态对精确 Pythonstr标量的处理发生了改变函数调用形态说明np.copytonp.copyto(dst, scalar)把标量复制到目标数组广播填充np.fullnp.full(shape, scalar, dtype...)用标量填充新数组np.wherenp.where(cond, scalar, arr)/np.where(cond, arr, scalar)标量与数组二选一np.concatenatenp.concatenate(..., axisNone)在axisNone展平后连接形态下标量作为元素参与np.choosenp.choose(indices, (arr, scalar))从候选列表中按索引选择标量作为候选元素注意对于np.concatenate改进仅适用于axisNone的调用形态np.choose中参与选择的是标量候选元素。源码级实现依据1. 测试用例行为契约的直接证明本次改进在 test_stringdtype.py 中配套了完整的回归测试可作为行为契约的权威依据test_pystr_scalar_full_copyto_where_preserve_nulls验证np.full、np.copyto、np.where对x\0的保留test_pystr_scalar_full_copyto_where_object_preserve_nulls验证同样的三个函数在objectdtype 下保留x\0test_pystr_scalar_concatenate_preserve_nulls验证np.concatenate(..., axisNone)含out与显式dtype形态下保留test_pystr_scalar_choose_preserve_nulls验证np.choose下保留test_pystr_scalar_concatenate_choose_object_preserve_nulls验证objectdtype 下的concatenate与choose。这些测试统一约定assert np.full(2, scalar, dtypedtype)[0] scalar、assert dst.tolist() [scalar, scalar]其中scalar x\0。2. 实现路径原样保留 Python 标量输入在 ufunc 与数组构造的解析层NumPy 明确区分了普通 Python 标量与精确 Python 字符串。例如 ufunc_object.c 中promote_and_get_ufuncimpl与resolve_descriptors在解析时会携带inputs原始输入注释明确指出其目的之一是处理exact Python strings, which must preserve trailing nulls精确的 Python 字符串必须保留尾部空字符。这说明本次改进不只是个别函数的补丁而是将精确str标量不丢失尾部空字符确立为解析层的一条通用原则由各入口函数共享。3. 定宽 unicode 与 StringDType 的语义对比定宽 unicodenumpy.str_/U在文档字符串中明确记载其数组行为是 strips trailing null bytes剥离尾部空字节见 _add_newdocs_scalars.py。这正是旧路径丢失\0的根本原因StringDType的实现位于 numpy/_core/src/multiarray/stringdtype 目录以 UTF-8 变长存储字符串语义上应完整保留内容因此绝不应对尾部空字符做剥离。验证与使用建议快速验证脚本在安装了包含该改进的 NumPy 版本后可直接运行以下脚本验证import numpy as np from numpy.dtypes import StringDType scalar x\0 # 1. np.full print(np.full(2, scalar, dtypeStringDType())[0] scalar) # True print(np.full(1, scalar, dtypeobject)[0] scalar) # True # 2. np.copyto dst np.empty(2, dtypeStringDType()) np.copyto(dst, scalar) print(dst.tolist() [scalar, scalar]) # True # 3. np.where cond np.array([True, False]) arr np.array([y, y], dtypeStringDType()) print(np.where(cond, scalar, arr)[0] scalar) # True # 4. np.concatenate(..., axisNone) print(np.concatenate(([y], scalar), axisNone, dtypeStringDType())[1] scalar) # True # 5. np.choose print(np.choose(np.array([1]), (np.array([y], dtypeStringDType()), scalar))[0] scalar) # True使用建议如果你的业务数据本身就依赖末尾空字符如 C 风格互操作、序列化协议、固定记录格式解析在从 Pythonstr标量构造StringDType或object数组时应优先使用上述改进后的入口np.full/np.copyto/np.where/np.concatenate(axisNone)/np.choose需要警惕的是经由定宽 unicodeU/str_存储的数据依然会剥离尾部空字节这是该类型的既有语义不属于本改进范围。若目标 dtype 是StringDType或object改进后的路径可避免误经该中间类型本改进适用于精确的 Pythonstr标量type(s) is str这一精确类型判断测试中亦用x\0字面量直接验证实际使用时请确认传入的是原生str而非其子类。适用范围与限制改进针对StringDType与object两类目标 dtype覆盖np.copyto、np.full、np.where、np.concatenate(axisNone)、np.choose五个入口np.concatenate仅在axisNone形态下保证该行为定宽 unicodeU数组的剥离尾部空字节语义不变该变更属于 NumPy 的改进improvement类新闻条目对应新闻片段文件为 doc/release/upcoming_changes/32356.improvement.rst实际行为请以你所用 NumPy 版本的发布说明为准。【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址: https://gitcode.com/gh_mirrors/nu/numpy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考