Spark基础环境搭建

ibatis实战之基础环境搭建(源码) 文章地址：http://blog.csdn.net/itmyhome1990/article/details/28267901

Hadoop技术-Hadoop基础环境配置.pptx

仅供学习参考，请勿用于商业用途

1 实验目的 1.了解Hadoop的运行模式，了解Hadoop的完全分布式安装完成后各节点上都运行了哪些进程，以及各自的作用 2.熟练掌握Hadoop伪分布模式、完全分布模式安装流程 3.熟练掌握Hadoop开发插件安装 2实验任务 1.linux系统JDK的安装和配置（必做） 2.linux系统下HelloWorld（选做） 3.hadoop单机分布式配置与测试（选做） 4.hadoop伪分布式配置与测试（选做） 5.Hadoop完全分布式配置与测试（必做） 3 实验环境 Centos6.5+jdk1.7.0_79 4 实验步骤 一、linux系统JDK的安装和配置 二、linux系统下HelloWorld 三、hadoop单机分布式配置与测试 四、hadoop伪分布式配置与测试 五、Hadoop完全分布式配置与测试 5 实验总结

此资源包含完整实验报告（加上你的学号姓名即可提交）

集群网络连接;3.1.1 实验环境下大数据Hadoop平台集群网络;对于实验环境下Hadoop集群网络需考虑地址规划、连通性。由于实验环境下数据负载较小、可靠性要求不高，链路一般采用单链路连接。IP地址规划在同一网络中，一般设定地址为（192.168.1.0/24）网段。具体IP地址在Centos7中配置。集群网络配置中会详细介绍IP地址配置。;;3.2 SSH无密码登录;3.2.1 SSH简介;3.2.2 SSH特点介绍;3.2.2 SSH特点介绍;3.2.3 非对称加密机制;;虽然理论上非对称加密支持以上4种场景，但在SSH的身份验证阶段，SSH只支持服务端保留公钥，客户端保留私钥的方式，所以SSH的实现方式只有两种：客户端生成密钥对，将公钥分发给服务端；服务端生成密钥对，将私钥分发给客户端。只不过出于安全性和便利性，一般都是客户端生成密钥对，并分发公钥。;3.2.4 SSH安全机制;;使用密码登录，每次都必须输入密码，操作过程比较麻烦。SSH还提供公钥登录的方式，可以省去输入密码的步骤。 所谓"公钥登录"就是用户将自己的公钥储存在远程主机上。登录时，远程主机会向用户发送一段随机字

Hadoop基础环境配置 基础环境配置 序号 任务名称 任务一 安装集群主节点 任务二 配置集群主机映射表 任务三 关闭防火墙与SELinux 任务四 安装JDK 任务五 安装时间同步服务（chrony） 任务六 克隆或复制集群从节点 任务七 新建Hadoop用户 任务八 配置SSH无密钥登录（master为主节点） 任务一 安装集群主节点 创建一台虚拟机。在虚拟机软件VMWare Workstation中创建一台服务器，作为集群主节点，服务器主要硬件配置：2CPU、2G内存、20G硬盘，网络模式：NAT。 安装CentOS操作系统。在master 主节点服务器上安装CentOS 7操作系统，设置超级用户root的密码，安装完成之后设置主机名为：master。 使用 ip 命令获得master主节点服务器的IP地址、路由、域名服务器等信息。 使用远程终端软件（如：SecureCRT等）远程登录master主节点服务器。 配置好主节点服务器的静态IP地址，如：192.168.128.128。 安装完成之后，在虚拟机软件VMWare Workstation中创建一个快照。 任务二 配置集群

信息化基础环境标准_(2).doc

信息化基础环境标准.doc