Awesome Public Datasets 快速上手10 分钟按研究方向取到一份高质量开放数据【免费下载链接】awesome-public-datasetsA topic-centric list of HQ open datasets.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-public-datasetsAwesome Public Datasets 是一个按主题组织的开放数据集清单。它由上海交通大学 OMNILab 孵化现已并入白玉兰开放 AI 社区内容通过 apd-core 工具自动更新。本文面向新手数据从业者。读完后你会掌握三件事快速定位数据、判断数据质量、参与项目贡献。三步拿到你的第一份数据最快路径只有三步克隆仓库、读状态标识、解包数据。第一步把仓库拉到本地一行命令即可git clone https://gitcode.com/GitHub_Trending/aw/awesome-public-datasets第二步学会读两种状态标识。README.rst里每个数据集条目旁都有一个标记OK 标识来源已验证可直接使用FIXME 标识来源需要修复使用先检查新手优先只用 OK 标识的数据这是最省时间的策略。第三步用仓库自带的数据。Datasets/目录内置了泰坦尼克号数据集解包后即可分析unzip Datasets/titanic.csv.zip -d Datasets/按研究方向选对数据集不要通读清单先确定研究方向再对照下表现选候选。清单覆盖农业、生物学、气候与天气、金融、政府等 30 多个领域。下表列出 5 个常用方向的入口研究方向代表条目要解决的问题可用性判断生物学CCLE 癌症细胞系百科全书基因表达与药物敏感性对比OK可直接用气候与天气NOAA Climate Datasets气温、降水长期观测OK可直接用金融St. Louis Federal (FRED)美国宏观经济指标时序OK可直接用经济世界银行开放数据跨国发展指标对比OK可直接用计算机网络CAIDA Internet Datasets互联网拓扑与流量分析OK可直接用其中三个值得多介绍两句CCLE数百种人类癌症细胞系的基因表达与药物敏感性数据。适合做不同细胞系间的药物反应对比、候选靶点初筛。Palmer 企鹅三种企鹅的形态测量数据经典教学集。适合练习数据可视化与物种分类。Open-Meteo开源天气 API提供历史与预报数据。适合不接商业服务的情况下取到某地天气时序。泰坦尼克号数据集完整示例这一节用自带的 titanic.csv 跑通一个从读取到输出的模板。数据共 891 条乘客记录、12 个字段。解包后执行下面的脚本import pandas as pd df pd.read_csv(Datasets/titanic.csv) print(f整体生还率 {df[Survived].mean():.2%}) print(df.groupby(Pclass)[Survived].mean()) print(df.groupby(Sex)[Survived].mean())输出即三个结论整体生还率、各船舱等级生还率、性别生还率。舱位等级越高生还率越高性别差异更明显。这个模板可以直接套用到任何同类表格数据上。用数据前必查的 4 件事状态标识只能说明来源是否可用数据本身还要过这 4 项。完整性查关键字段缺失比例缺失超过三成先处理再用。一致性核对数据类型与取值范围比如生存字段应只取 0 或 1。时效性确认更新时间价格、天气这类快速变化的数据过期会直接得出错误结论。许可限制多数数据免费但部分有商业使用限制或引用要求以原始来源的 LICENSE 为准。从“使用者”到“贡献者”清单的更新靠社区贡献使用者也可以成为维护方。项目提供 Slack 社区可获取数据更新通知也能和其他使用者交流。贡献入口有三个提交新的高质量数据源由维护者审核后纳入清单上报链接失效与数据质量问题参与修复 FIXME 标识的条目分享某个数据集的真实使用经验与应用案例注意清单由 apd-core 自动生成不允许直接改README.rst所有修改都走贡献流程保证条目可追溯。读完马上能做的三件事优先选 OK 标识的数据选型这一步能省掉大部分检查时间。用前过一遍 4 项检查完整性、一致性、时效性、许可逐项确认。发现问题就提修复建议每条修复都是对公共数据质量的改进。这份清单会持续自动更新新手的取数成本还会继续下降。【免费下载链接】awesome-public-datasetsA topic-centric list of HQ open datasets.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-public-datasets创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Awesome Public Datasets 快速上手：10 分钟按研究方向取到一份高质量开放数据
Awesome Public Datasets 快速上手10 分钟按研究方向取到一份高质量开放数据【免费下载链接】awesome-public-datasetsA topic-centric list of HQ open datasets.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-public-datasetsAwesome Public Datasets 是一个按主题组织的开放数据集清单。它由上海交通大学 OMNILab 孵化现已并入白玉兰开放 AI 社区内容通过 apd-core 工具自动更新。本文面向新手数据从业者。读完后你会掌握三件事快速定位数据、判断数据质量、参与项目贡献。三步拿到你的第一份数据最快路径只有三步克隆仓库、读状态标识、解包数据。第一步把仓库拉到本地一行命令即可git clone https://gitcode.com/GitHub_Trending/aw/awesome-public-datasets第二步学会读两种状态标识。README.rst里每个数据集条目旁都有一个标记OK 标识来源已验证可直接使用FIXME 标识来源需要修复使用先检查新手优先只用 OK 标识的数据这是最省时间的策略。第三步用仓库自带的数据。Datasets/目录内置了泰坦尼克号数据集解包后即可分析unzip Datasets/titanic.csv.zip -d Datasets/按研究方向选对数据集不要通读清单先确定研究方向再对照下表现选候选。清单覆盖农业、生物学、气候与天气、金融、政府等 30 多个领域。下表列出 5 个常用方向的入口研究方向代表条目要解决的问题可用性判断生物学CCLE 癌症细胞系百科全书基因表达与药物敏感性对比OK可直接用气候与天气NOAA Climate Datasets气温、降水长期观测OK可直接用金融St. Louis Federal (FRED)美国宏观经济指标时序OK可直接用经济世界银行开放数据跨国发展指标对比OK可直接用计算机网络CAIDA Internet Datasets互联网拓扑与流量分析OK可直接用其中三个值得多介绍两句CCLE数百种人类癌症细胞系的基因表达与药物敏感性数据。适合做不同细胞系间的药物反应对比、候选靶点初筛。Palmer 企鹅三种企鹅的形态测量数据经典教学集。适合练习数据可视化与物种分类。Open-Meteo开源天气 API提供历史与预报数据。适合不接商业服务的情况下取到某地天气时序。泰坦尼克号数据集完整示例这一节用自带的 titanic.csv 跑通一个从读取到输出的模板。数据共 891 条乘客记录、12 个字段。解包后执行下面的脚本import pandas as pd df pd.read_csv(Datasets/titanic.csv) print(f整体生还率 {df[Survived].mean():.2%}) print(df.groupby(Pclass)[Survived].mean()) print(df.groupby(Sex)[Survived].mean())输出即三个结论整体生还率、各船舱等级生还率、性别生还率。舱位等级越高生还率越高性别差异更明显。这个模板可以直接套用到任何同类表格数据上。用数据前必查的 4 件事状态标识只能说明来源是否可用数据本身还要过这 4 项。完整性查关键字段缺失比例缺失超过三成先处理再用。一致性核对数据类型与取值范围比如生存字段应只取 0 或 1。时效性确认更新时间价格、天气这类快速变化的数据过期会直接得出错误结论。许可限制多数数据免费但部分有商业使用限制或引用要求以原始来源的 LICENSE 为准。从“使用者”到“贡献者”清单的更新靠社区贡献使用者也可以成为维护方。项目提供 Slack 社区可获取数据更新通知也能和其他使用者交流。贡献入口有三个提交新的高质量数据源由维护者审核后纳入清单上报链接失效与数据质量问题参与修复 FIXME 标识的条目分享某个数据集的真实使用经验与应用案例注意清单由 apd-core 自动生成不允许直接改README.rst所有修改都走贡献流程保证条目可追溯。读完马上能做的三件事优先选 OK 标识的数据选型这一步能省掉大部分检查时间。用前过一遍 4 项检查完整性、一致性、时效性、许可逐项确认。发现问题就提修复建议每条修复都是对公共数据质量的改进。这份清单会持续自动更新新手的取数成本还会继续下降。【免费下载链接】awesome-public-datasetsA topic-centric list of HQ open datasets.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-public-datasets创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考