9월, 2008의 게시물 표시

Hadoop-HDFS

HADOOP, HDFS 왠만큼 국내에서도 사용자 층이 있는것 같다. KFS 는 아직 테스트 단계라 불안하고 지원이 미비해서 HADOOP 을 해봤다. single cluster 설정은 금방 할수 있었다. 문제는 multi cluster..... 하루동안 흔히 말하는 삽질을 해서 경우 multi cluster 설정법을 알아냈다. ㅜㅜ (single cluster 설정법) http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Single-Node_Cluster) (multi cluster 설정법) http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_Cluster) (window 상에서 eclipse 로 테스트 코드) import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HadoopTest { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.addResource(new Path("./hadoop-default.xml")); conf.addResource(new Path("./hadoop-site.xml")); conf.set("hadoop.job.ugi", "skeom,skeom"); System.out.println("" + conf.get(&