Hadoopのインストール(install)とHiveのインストール(install)

Hadoopのダウンロード場所

http://ftp.kddilabs.jp/infosystems/apache//hadoop/core/stable/

Hadoopのダウンロード

wget http://ftp.kddilabs.jp/infosystems/apache//hadoop/core/stable/hadoop-0.20.2.tar.gz

解凍

tar -xvzf hadoop-0.20.2.tar.gz

Hadoopの動作確認

./bin/hadoop -version

Error: JAVA_HOME is not set.

Hadoopに使用するためのJavaを入れる。
サイトURL

https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewFilteredProducts-SingleVariationTypeFilter

wgetはできない?ので、いったんwindowsにdownloadしてからwinscpでupload。

sh jdk-6u23-linux-i586.bin

以下のファイルができる。
jdk1.6.0_23

export JAVA_HOME=/usr/local/src/jdk1.6.0_23

Hadoopのファイルを編集。

vi ./conf/hadoop-env.sh

lineの10行目を編集

export JAVA_HOME=/usr/local/src/jdk1.6.0_23

$HADOOP_HOME/bin/hadoop version

Hadoop 0.20.2

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707

Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
こう表示されたらHadoopのインストールは完了

NEXT Hive

yum -y install subversion
svn co http://svn.apache.org/repos/asf/hive/trunk hive

antのインストール

wget http://archive.apache.org/dist/ant/binaries/apache-ant-1.8.1-bin.zip
unzip apache-ant-1.8.1-bin.zip
./apache-ant-1.8.1/bin/ant -version

Apache Ant(TM) version 1.8.1 compiled on December 20 2010
PATHを通す。

export PATH=$PATH:/usr/local/src/apache-ant-1.8.1/bin
export ANT_HOME=/usr/local/src/apache-ant-1.8.1

最終確認 confirm

echo $ANT_HOME

/usr/local/src/apache-ant-1.8.1

echo $HADOOP_HOME

/usr/local/src/hadoop-0.20.2

echo JAVA_HOME

/usr/local/src/hadoop-0.20.2

pwd

/usr/local/src/hive

ant clean package

MAYBE SUCCESS !?

$HIVE_HOME/build/dist/bin/hive

ERROR

bin/hive

Missing Hive Execution Jar: /usr/local/src/hive/lib/hive-exec-*.jar