首页 / 资讯中心 / 文章详情

TeraSort 之 Metrics

📅 2026/7/27 20:28:35 👁️ 次浏览
TeraSort 之 Metrics
基本 CountersFile System Counters FILE:Number of bytes read460639246FILE:Number of bytes written461201571FILE:Number of read operations0FILE:Number of large read operations0FILE:Number of write operations0HDFS:Number of bytes read1048576122HDFS:Number of bytes written1048576000HDFS:Number of read operations8HDFS:Number of large read operations0HDFS:Number of write operations2HDFS:Number of bytes read erasure-coded0Job Counters Launched map tasks1Launched reduce tasks1Data-local map tasks1Total time spent by all maps in occupiedslots(ms)27102Total time spent by all reduces in occupiedslots(ms)7534Total time spent by all maptasks(ms)13551Total time spent by all reducetasks(ms)7534Total vcore-milliseconds taken by all map tasks13551Total vcore-milliseconds taken by all reduce tasks7534Total megabyte-milliseconds taken by all map tasks55504896Total megabyte-milliseconds taken by all reduce tasks15429632Map-Reduce Framework Map input records10485760Map output records10485760Map output bytes1048576000Map output materialized bytes460639246Input split bytes122Combine input records0Combine output records0Reduce input groups10485760Reduce shuffle bytes460639246Reduce input records10485760Reduce output records10485760Spilled Records20971520Shuffled Maps1Failed Shuffles0Merged Map outputs1GC timeelapsed(ms)91CPU timespent(ms)21280Physicalmemory(bytes)snapshot2016575488Virtualmemory(bytes)snapshot6662488064Total committed heapusage(bytes)3006529536Peak Map Physicalmemory(bytes)1909489664Peak Map Virtualmemory(bytes)4690046976Peak Reduce Physicalmemory(bytes)999567360Peak Reduce Virtualmemory(bytes)3314622464Shuffle Errors BAD_ID0CONNECTION0IO_ERROR0WRONG_LENGTH0WRONG_MAP0WRONG_REDUCE0File Input Format Counters Bytes Read1048576000File Output Format Counters Bytes Written1048576000具体metrics 研究Total time spent by all maps in occupiedslots(ms)27102Total time spent by all reduces in occupiedslots(ms)7534Total time spent by all maptasks(ms)13551Total time spent by all reducetasks(ms)7534

相关新闻

OmenSuperHub终极指南：3步掌控惠普暗影精灵笔记本性能

OmenSuperHub终极指南：3步掌控惠普暗影精灵笔记本性能

OmenSuperHub终极指南：3步掌控惠普暗影精灵笔记本性能 【免费下载链接】OmenSuperHub Control Omen laptop performance, fan speeds, and keyboard lighting, and unlock power limits. 项目地址: https://gitcode.com/gh_mirrors/om/OmenSuperHub 你是否对…

📅 2026/7/27 20:28:35
3步掌握LeagueAkari：本地化英雄联盟自动化工具实战指南

3步掌握LeagueAkari：本地化英雄联盟自动化工具实战指南

3步掌握LeagueAkari：本地化英雄联盟自动化工具实战指南 【免费下载链接】League-Toolkit An all-in-one toolkit for LeagueClient. Gathering power 🚀. 项目地址: https://gitcode.com/gh_mirrors/le/League-Toolkit LeagueAkari是一款基于LCU …

📅 2026/7/27 20:28:35
ACQ 47071570221 接口模块

ACQ 47071570221 接口模块

ACQ 47071570221 接口模块通常作为CT设备或大型成像系统中连接数据采集与主控处理单元的关键中转组件，主要承担信号匹配与协议转换的功能。中间（15条特点）适配特定型号成像系统，兼容性较强。采用高密度接插设计，确保传…

📅 2026/7/27 21:26:55
Voice 47071572029 CT 扫描板

Voice 47071572029 CT 扫描板

Voice 47071572029 CT扫描板是CT设备中负责信号采集与传输的关键组件，通常承担着连接探测器与主控系统、实现原始数据稳定传递的功能。中间（15条特点）适配特定型号CT系统，兼容性强。采用多层PCB设计，信号稳定性好。集成…

📅 2026/7/27 21:26:55
基于YOLOv8的店铺名称检测系统开发实践

基于YOLOv8的店铺名称检测系统开发实践

1. 项目概述 店铺名称检测系统是基于YOLOv8目标检测算法开发的一套完整的计算机视觉解决方案。作为一名长期从事计算机视觉开发的工程师，我在实际商业项目中经常遇到需要快速准确识别店铺招牌的需求。这套系统通过改进的YOLOv8模型，实现了对复杂街景中店…

📅 2026/7/27 21:26:55
Obsidian 插件生态怎么玩？2026 年必备插件清单与配置指南

Obsidian 插件生态怎么玩？2026 年必备插件清单与配置指南

一、插件不是越多越好，搭好骨架最重要 很多人刚用 Obsidian 时会陷入一个误区：看到别人推荐就装，一个月下来设置页里几十个插件，启动速度变慢，实际常用的没几个。 我的建议是：先搭骨架，再按需…

📅 2026/7/27 21:26:55
geo2019年5月巨蟹座运势：情绪过山车下的破局真相与逆袭指南

geo2019年5月巨蟹座运势：情绪过山车下的破局真相与逆袭指南

说实话，看到“2019年5月”这个时间点，我脑子里蹦出的第一个词就是“混乱”。如果你现在还在翻找当年的运势记录，或者是在复盘那段时期，我想告诉你：别纠结了，那个月简直是巨蟹座情绪管理的“地狱级副本”。那时候的星象配置，简直是在考验每一个巨蟹的底线。咱们得把时间拨…

📅 2026/7/27 21:25:17
WezTerm 终端 CJK 字形混乱排查与修复：从日文到简体中文

WezTerm 终端 CJK 字形混乱排查与修复：从日文到简体中文

现象在 WezTerm 终端中，包含中文路径的文本（如标签页标题、Shell 提示符、路径补全）中，某些汉字时而渲染为日文字形，时而显示为简体中文（中国大陆）字形。以「径」字为例，日文写法右侧…

📅 2026/7/27 0:00:07
“我当下的人生到底有什么意义？”

“我当下的人生到底有什么意义？”

这个问题看似在寻找一个答案，实际上是在寻找一种“值得继续投入的方向感”。很多人在问： “人生有什么意义？” 深层可能是在问： 我现在做的事情值得吗？我的努力有没有价值？我的存在是不是重要？未…

📅 2026/7/27 0:00:07
MoE架构解析：大模型参量翻倍不增推理成本的秘密

MoE架构解析：大模型参量翻倍不增推理成本的秘密

1. 为什么MoE架构让大模型参数量翻倍却不增加推理成本？去年我在部署一个千亿参数大语言模型时，首次接触到混合专家模型（Mixture of Experts，简称MoE）架构。当时最让我震惊的是，这种架构的模型参数量可以达到…

📅 2026/7/27 0:00:07
AI短剧创作系统：从剧本生成到视频合成的全流程解析

AI短剧创作系统：从剧本生成到视频合成的全流程解析

1. 项目背景与核心价值去年参与的一个短剧项目让我深刻体会到传统创作流程的痛点：编剧团队花了三周打磨剧本，角色设计反复修改了七版，最后成片时又因为演员档期问题不得不临时调整分镜。这种低效的创作模式在快节奏的内容行业越来越难以为继。…

📅 2026/7/27 1:11:21
基于Dify与DeepSeek构建私有知识库问答系统实战指南

基于Dify与DeepSeek构建私有知识库问答系统实战指南

在业务中快速构建一个能理解私有文档、准确回答专业问题的智能助手，是很多开发团队面临的共同挑战。传统方案往往需要从零开始搭建复杂的 RAG（检索增强生成）系统，涉及文档解析、向量化、检索、大模型调用等多个环节，整…

📅 2026/7/27 17:12:43
FAE放射组学分析工具：医学影像特征探索的完整解决方案

FAE放射组学分析工具：医学影像特征探索的完整解决方案

FAE放射组学分析工具：医学影像特征探索的完整解决方案 【免费下载链接】FAE FeAture Explorer 项目地址: https://gitcode.com/gh_mirrors/fae/FAE 你是否曾经面对海量医学影像数据感到无从下手？想要从CT、MRI等影像中提取有价值的定量特征&#…

📅 2026/7/27 5:11:32