鲲鹏开发套件｜沙箱实验室 基于鲲鹏应用使能套件进行Hadoop调优

实验目标与基本要求

实验摘要

1. 准备环境

2. 基础环境配置

3. 部署hadoop-3.1.1

4. hadoop DFSIO性能调试

1、准备实验环境：

1.1. 预置环境

注意：开始实验之前请首先点击手册上方“预置实验环境”按钮。

预置实验环境需要等待【1-3分钟】后预置成功。环境预置会生成弹性公网IP并与裸金属服务器绑定。

1.2. 登录华为云

进入【实验操作桌面】，打开火狐浏览器进入华为云登录页面。选择【IAM用户登录】模式，于登录对话框中输入系统为您分配的华为云实验账号和密码登录华为云，如下图所示：

统为您分配的华为云实验账号和密码登录华为云，如下图所示：

【注意】账号信息详见实验手册上方，切勿使用您自己的华为云账号登录。

2、配置开发环境：

2.1. 登录裸金属服务器BMS

2.2. 查看ip

2.3. 配置ssh免密登录

2.4. 安装openJDK-1.8.0

2.4.1. 下载安装openJDK-1.8.0

2.4.2. 配置环境变量

2.4.3. 环境变量生效

2.5. 安装dstat

2.6. 安装 sysstat

3、部署集群：

3.1. 部署zookeeper-3.4.6

3.1.1. 下载并解压zookeeper-3.4.6

3.1.2. 修改zookeeper配置文件

3.1.3. 运行验证zookeeper

3.1.4. 验证zookeeper

3.2. 部署hadoop-3.1.1

3.2.1. 获取hadoop-3.1.1软件包

3.2.2. 修改hadoop配置文件

3.2.3. 启动hadoop

3.2.4. 验证hadoop状态

4、运行与验证：

4.1. DFSIO测试

4.2. 问题分析

4.2.1. 新启xfce终端，登录BMS

4.2.2. 观察网络、cpu和磁盘的使用情况

4.2.3. 打印磁盘使用状态及IO扩展数据

4.2.4. 查看java进程

4.3. DFSIO调优

4.3.1. 停止hadoop

4.3.2. 查看本机内存总量

4.3.3. 修改hadoop的配置文件

4.3.4. 启动hadoop

4.3.5. 重新执行DFSIO测试

4.3.6. 查看YarnChild进程个数

4.3.7. 观察测试执行时间

请点击“阅读原文”直通实验室。