whoami

** install libpyhdfs $ sudo apt-get install libhdfs4-dev $ svn co http://libpyhdfs.googlecode.com/svn/branches/bundle/ libpyhdfs $ cd libpyhdfs/lib $ wget http://libpyhdfs.googlecode.com/files/commons-logging-1.0.4.jar $ wget http://libpyhdfs.googlecode.com/files/hadoop-0.20.1-core.jar $ wget http://libpyhdfs.googlecode.com/files/libhdfs.so.0 ==> you need to copy your own installed hadoop lib. In my case, I copyed /usr/local/hadoop-1.0.4/c++/Linux-amd64-64/lib/libhdfs.so.0 to libpyhdfs/lib $ ln -s libhdfs.so.0 libhdfs.so $ cd .. # python setup.py install --prefix="/usr/local" If you see the following error: /usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory Edit /usr/lib/jvm/java-6-sun/include/jni.h change - 27 #include "jni_md.h" into + 27 #include "linux/jni_md.h" ** Run test script $ cd test $ python pyhdfs_test.py If you see the following error: ImportError:libhdfs.so...

pom.xml 파일에 아래 내용을 추가 한다. <properties> <maven.test.skip>true</maven.test.skip> </properties>

sqoop 을 이용하여 RDBMS 로 export 시 duplicate error 가 발생할 경우가 있다. --update-key {key}  --update-mode allowinsert   이 옵션을 사용하면 {key}에 해당하는 레코드가 존재하면 update 를 진행하고 존재하지 않으면 insert 를 진행한다. --update-mode 를 updateonly 로 설정하면 insert 는 진행하지 않는다. sqoop export \ --connect jdbc:mysql://airawat-mysqlserver-node/employees \ --username  myUID  \ --password  myPWD  \ --table employees_export  \ --update-key emp_no \ --update-mode allowinsert \ --export-dir /user/airawat/sqoop-mysql/Employees 자세한것은 http://hadooped.blogspot.kr/2013/06/apache-sqoop-part-3-data-transfer.html 여기 참조

1)firefox selenium IDE 를 이용하여 실행 스크립트를 export 받는다. 2)selenium 사이트에서 server 를 다운받아 특정 위치에 풀어 놓는다 3)selenium server 실행 java -jar selenium-server-standalone-2.33.0.jar -role hub 4)selenium node 실행 java -jar selenium-server-standalone-2.33.0.jar  -role node -hub http://localhost:4444/grid/register 5)export 받은 실행 스크립트 실행 python export_script.py https://code.google.com/p/selenium/wiki/Grid2   여기 참조