Hadoop-HDFS

HADOOP, HDFS 왠만큼 국내에서도 사용자 층이 있는것 같다.
KFS 는 아직 테스트 단계라 불안하고 지원이 미비해서 HADOOP 을 해봤다.
single cluster 설정은 금방 할수 있었다. 문제는 multi cluster.....

하루동안 흔히 말하는 삽질을 해서 경우 multi cluster 설정법을 알아냈다. ㅜㅜ

(single cluster 설정법)
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Single-Node_Cluster)

(multi cluster 설정법)
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_Cluster)

(window 상에서 eclipse 로 테스트 코드)

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HadoopTest {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource(new Path("./hadoop-default.xml"));
conf.addResource(new Path("./hadoop-site.xml"));
conf.set("hadoop.job.ugi", "skeom,skeom");
System.out.println("" + conf.get("fs.default.name"));
//URI uri = new URI("hdfs://kkoltong.seoul.hostway:54310");
FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/skeom");
FileStatus files[] = fs.listStatus(path);

for(FileStatus file: files) {
System.out.println("File: " + file.getPath());
}
}
}

1)Master Node 의 hadoop-default.xml 와 hadoop-site.xml 를 가져온다.
2)hadoop-0.17.2.1-core.jar 이거는 필수 라이브러리..
#그런데 whoami 어쩌고가 없다면서 안된다....
conf.set("hadoop.job.ugi", "skeom,skeom"); 이 핵심.... HDFS 는 아이디와 그룹으로 인증을 한단다. 왜 이런 중요한 설명을 잘보이는곳에 두질 않는가...
여하튼 연결성공해서 HDFS 상의 파일 목록을 보여준다.
생각외로 볼것이 무지 많다.
이렇게 해서 첫발을 내딧는다.

댓글

Mini님의 메시지…
Hadoop 한국 공식사이트가 만들어 졌습니다. 다음주에 세번째 모임도 있구요. http://www.hadoop.or.kr/?document_srl=255

이 블로그의 인기 게시물

ubuntu에서 samba로 파일 공유하기

화이트해커를 위한 암호와 해킹

Shell Program(1) 변수, 상수