Hadoop-HDFS

HADOOP, HDFS 왠만큼 국내에서도 사용자 층이 있는것 같다.
KFS 는 아직 테스트 단계라 불안하고 지원이 미비해서 HADOOP 을 해봤다.
single cluster 설정은 금방 할수 있었다. 문제는 multi cluster.....

하루동안 흔히 말하는 삽질을 해서 경우 multi cluster 설정법을 알아냈다. ㅜㅜ

(single cluster 설정법)
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Single-Node_Cluster)

(multi cluster 설정법)
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_Cluster)

(window 상에서 eclipse 로 테스트 코드)

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HadoopTest {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource(new Path("./hadoop-default.xml"));
conf.addResource(new Path("./hadoop-site.xml"));
conf.set("hadoop.job.ugi", "skeom,skeom");
System.out.println("" + conf.get("fs.default.name"));
//URI uri = new URI("hdfs://kkoltong.seoul.hostway:54310");
FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/skeom");
FileStatus files[] = fs.listStatus(path);

for(FileStatus file: files) {
System.out.println("File: " + file.getPath());
}
}
}

1)Master Node 의 hadoop-default.xml 와 hadoop-site.xml 를 가져온다.
2)hadoop-0.17.2.1-core.jar 이거는 필수 라이브러리..
#그런데 whoami 어쩌고가 없다면서 안된다....
conf.set("hadoop.job.ugi", "skeom,skeom"); 이 핵심.... HDFS 는 아이디와 그룹으로 인증을 한단다. 왜 이런 중요한 설명을 잘보이는곳에 두질 않는가...
여하튼 연결성공해서 HDFS 상의 파일 목록을 보여준다.
생각외로 볼것이 무지 많다.
이렇게 해서 첫발을 내딧는다.