Windows 下 Hadoop3.1.3 搭建踩坑全记录（小白一次成功版）

Windows 下 Hadoop3.1.3 搭建踩坑全记录小白一次成功版前言最近大数据实训要求本地部署 Hadoop 环境网上很多教程步骤残缺配置完一堆报错JAVA 路径识别失败、DataNode 启动不了、9000 端口占用、WordCount 运行报错等。本文结合我实操踩过的所有坑整理一套 Windows10/11 通用完整流程搭配 JDK8全部配置、命令可直接复制零基础学生也能一次性部署成功。一、前置准备软件清单全部开源免费jdk-8u212-windows-x64Java 运行基础环境hadoop-3.1.3.tar.gzApache 分布式计算框架重要说明文章仅提供配置教程不提供安装包软件请自行前往 Oracle、Apache 官方渠道下载规避版权问题。环境要求系统Windows10/Windows11磁盘预留 10G 以上空间安装路径全程无中文、无空格临时关闭电脑管家、防火墙避免端口被拦截二、JDK8 安装与环境变量配置安装 JDK自定义路径D:\Java\jdk1.8.0_212右键「此电脑」- 属性 - 高级系统设置 - 环境变量在系统变量新建变量名JAVA_HOME变量值D:\Java\jdk1.8.0_212编辑 Path 变量新增两条内容%JAVA_HOME%\bin%JAVA_HOME%\jre\bin验证 JDK 是否配置成功打开 cmd 输入java-version javac-version输出版本号即代表配置无误。三、Hadoop 解压与系统变量配置解压 hadoop 压缩包到路径D:\hadoop\hadoop-3.1.3下载对应版本 winutils.exe放入hadoop-3.1.3/bin文件夹Windows 运行 Hadoop 必备工具系统变量新建HADOOP_HOME值为D:\hadoop\hadoop-3.1.3Path 新增两条配置%HADOOP_HOME%\bin%HADOOP_HOME%\sbin四、五大核心 xml 配置修改文件统一路径D:\hadoop\hadoop-3.1.3\etc\hadoophadoop-env.cmd文件末尾添加 JDK 本地路径setJAVA_HOMED:\Java\jdk1.8.0_212setHDFS_OPTS-Xms512M-Xmx1024Mcore-site.xml configuration 标签内粘贴代码定义默认文件系统与临时存储目录propertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/propertypropertynamehadoop.tmp.dir/namevalueD:/hadoop/hadoop-3.1.3/data/tmp/value/propertyhdfs-site.xml副本数设置为 1单机部署无需多副本property namedfs.replication/name value1/value /propertymapred-site.xml指定运行框架为 YARNproperty namemapreduce.framework.name/name valueyarn/value /propertyyarn-site.xml配置 Shuffle 服务保证 MapReduce 任务正常执行property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.aux-services.mapreduce.shuffle.class/name valueorg.apache.hadoop.mapred.ShuffleHandler/value /property五、HDFS 格式化 启动集群⚠️警告格式化命令仅第一次搭建执行重复格式化会彻底丢失数据管理员身份打开 CMD执行格式化hdfs namenode-format出现successfully formatted代表格式化完成。启动 HDFS 与 YARN 集群start-dfs.cmdstart-yarn.cmd验证进程新开 cmd 输入 jps出现 5 个进程代表启动成功NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager可视化网页访问地址HDFS 文件管理页面http://localhost:9870YARN 任务监控页面http://localhost:8088六、WordCount 单词统计测试验证集群可用在 HDFS 创建存放测试文件的文件夹hdfs dfs-mkdir/input本地新建 test.txt 写入任意文字上传至 HDFShdfs dfs-put D:/test.txt/input运行 Hadoop 自带单词统计案例hadoop jar%HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.1.3.jar wordcount/input/output读取统计结果hdfs dfs-cat/output/part-r-00000能正常输出单词计数说明整套环境完全可用。七、高频报错解决方案文章加分重点JAVA_HOME is not set解决检查 hadoop-env.cmd 内 JDK 路径路径不能包含中文、空格9000 端口被占用解决cmd 执行netstat -ano | findstr “9000”结束占用进程后重启集群DataNode 无法启动多次格式化导致解决删除D:\hadoop\hadoop-3.1.3\data全部文件夹重新格式化提示缺少 winutils.exe解决下载适配 3.1.3 版本的 winutils 放入 bin 目录YARN 网页打不开解决核对 yarn-site.xml 配置重新执行 start-yarn.cmd 启动八、官方软件下载地址JDK8https://www.oracle.com/java/technologies/downloads/Hadoop3.1.3https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/结语本文适配大数据专业课程实训、课设作业所有命令、配置复制即可使用省去全网找资料、排查报错的时间。