9월, 2008의 게시물 표시

Hadoop-HDFS

HADOOP, HDFS 왠만큼 국내에서도 사용자 층이 있는것 같다.
KFS 는 아직 테스트 단계라 불안하고 지원이 미비해서 HADOOP 을 해봤다.
single cluster 설정은 금방 할수 있었다. 문제는 multi cluster.....

하루동안 흔히 말하는 삽질을 해서 경우 multi cluster 설정법을 알아냈다. ㅜㅜ

(single cluster 설정법)
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Single-Node_Cluster)

(multi cluster 설정법)
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_Cluster)

(window 상에서 eclipse 로 테스트 코드)

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HadoopTest {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource(new Path("./hadoop-default.xml"));
conf.addResource(new Path("./hadoop-site.xml"));
conf.set("hadoop.job.ugi", "skeom,skeom");
System.out.println("" + conf.get("fs.default.name"…