mac hadoop安装
在mac上安装hadoop伪分布式
杜伟
目录
一、下载jdk...................................................................................... 1
二、配置hadoop................................................................................ 1
三、配置ssh,无密码登录.................................................................... 2
四、启动hadoop................................................................................ 3
五、环境配置...................................................................................... 4
一、 下载jdk
选择最新版本下载,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
安装完成之后,打开终端,输入java -version ,出现类似如下说明安装成功。
java version "1.8.0"
Java(TM) SE Runtime Environment (build 1.8.0-b132)
Java HotSpot(TM) 64-Bit Server VM (build 25.0-b70, mixed mode)
二、 配置hadoop
下载hadoop,自己可到官网下载稳定版本,本次搭建用的是hadoop-2.6.0
配置hadoop 里面hadoop-2.6.0/etc/hadoop文件夹四个文件(hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml)
下载完hadoop之后,把它解压到你想存放的文件夹,然后进入hadoop的etc/hadoop目录
1. 配置hadoop-env.sh
修改为:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
export HADOOP_HEAPSIZE=2000
export HADOOP_OPTS=-server
即去掉前面的解释符#,mac的jdk安装在根目录Libray文件夹下面。
2. 配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/Users/duwei/software/hadoop-2.6.0/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
</configuration>
3. 配置mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
4. 配置hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/Users/duwei/software/hadoop-2.6.0/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/Users/duwei/software/hadoop-2.6.0/hdfs/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
三、 配置ssh,无密码登录
mac上已经ssh了,在终端输入ssh-keygen -t rsa命令,碰到需要输入密码的直接按enter健即可。出现如下成功
· Enter passphrase (empty for no passphrase):
· Enter same passphrase again:
· Your identification has been saved in /Users/jia/.ssh/id_rsa.
· Your public key has been saved in /Users/jia/.ssh/id_rsa.pub.
· The key fingerprint is:
· d4:85:aa:83:ae:db:50:48:0c:5b:dd:80:bb:fa:26:a7 jia@JIAS-MacBook-Pro.local
· The key's randomart image is:
· +--[ RSA 2048]----+
· |. .o.o .. |
· | =. . . ... |
· |. o. ... |
· | ... .. |
· | .... .S |
· | ... o |
· | ... . |
· |o oo. |
· |E*+o. |
· +-----------------+
在终端输入cd ~进入用户目录,再输入cd .ssh目录,输入命令
cp id_rsa.pub authorized_keys即可
四、 启动hadoop
1. 进入hadoop文件夹,用如下命令格式化
cd bin
./hadoop namenode –format
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = JIAS-MacBook-Pro.local/192.168.1.3
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Re-format filesystem in /tmp/hadoop-jia/dfs/name ? (Y or N) Y
14/07/14 13:55:17 INFO namenode.FSNamesystem: fsOwner=jia,staff,everyone,localaccounts,_appserverusr,admin,_appserveradm,_lpadmin,com.apple.sharepoint.group.1,_appstore,_lpoperator,_developer,com.apple.access_screensharing,com.apple.access_ssh
14/07/14 13:55:17 INFO namenode.FSNamesystem: supergroup=supergroup
14/07/14 13:55:17 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/07/14 13:55:17 INFO common.Storage: Image file of size 93 saved in 0 seconds.
14/07/14 13:55:17 INFO common.Storage: Storage directory /tmp/hadoop-jia/dfs/name has been successfully formatted.
14/07/14 13:55:17 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at JIAS-MacBook-Pro.local/192.168.1.3
************************************************************/
2. 启动hadoop守护进程
bin/start-all.sh
3. 停止hadoop守护进程
bin/stop-all.sh
五、 环境配置
~ cat .bash_profile
export JAVA_HOME=$(/usr/libexec/java_home -v 1.7)
export HADOOP_HOME=/Users/duwei/software/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
用如下命令使其生效
source ~/.bash_profile
相关推荐
hadoop_2.7.3安装包;hadoop_2.7.3源码;eclipse安装包;eclipse-hdfs插件;java 1.8 亲测可用,自己搞了半天才集齐的
macOS 下编译的hadoop-3.1.3源码所得的native库,可解决mac系统安装hadoop因缺失native库引起的报错
mac下Hadoop native library,用于解决报错:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。再次说明,本版本只适用于mac ...
mac hadoop-eclipse-plugin-2.7.7
Mac Hadoop eclipse,mac打包,自己打包的,亲测可以用
一、hadoop安装 1.安装java 见 https://blog.csdn.net/jiuweiC/article/details/104356751 2. 配置SSH (1)首先在系统里打开远程登录,位置在 System Preference -> Sharing 中,左边勾选 Remote Login,右边选择 All...
本文档是关于在mac环境下hadoop虚拟集群的搭建,文中详细写了从虚拟机安装到hadoop安装完成的步骤。
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
mac下hadoop3.1.4源码
由于课程需要和工具限制,需要在mac上安装Hadoop,参考了网上的教程,总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境,如果没...
1.解压到已经安装好的hadoop安装目录的lib目录下。 2.增加环境变量: export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 即可解决警告...
手把手教你进行mac搭建hadoop和hive环境
macOS下使用hadoop2.8.1时, 执行hadoop fs 命令(如:hadoop fs -ls /tmp/input)会提示: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
替换掉安装目录下的lib即可,不会的留言
mac 版hadoop3.2.4或其他版本 Unable to load native-hadoop library 缺失文件
macOS下使用hadoop2.8.1时, 执行hadoop fs 命令(如...解决方法是下载hadoop源代码重新编译, 但中间需要下载安装很多第三方工具, 改资源是在macOS下重新编译后得到的native, 将$HADOOP_HOME/lib/native文件夹替换掉即可.
mac环境下hadoop2.2.0的eclipse专用插件,值得拥有
环境配置是:hadoop 2.4.0+ eclipse 4.3.2+mac os+10.9.4 eclipse插件
mac版本,解决hadoop3.0.0安装后无法加载本地库的问题