6월, 2013의 게시물 표시

install python hdfs API library - libpyhdfs

** install libpyhdfs $ sudo apt-get install libhdfs4-dev $ svn co http://libpyhdfs.googlecode.com/svn/branches/bundle/ libpyhdfs$ cd libpyhdfs/lib$ wget http://libpyhdfs.googlecode.com/files/commons-logging-1.0.4.jar$ wget http://libpyhdfs.googlecode.com/files/hadoop-0.20.1-core.jar$ wget http://libpyhdfs.googlecode.com/files/libhdfs.so.0==> you need to copy your own installed hadoop lib. In my case, I copyed /usr/local/hadoop-1.0.4/c++/Linux-amd64-64/lib/libhdfs.so.0 to libpyhdfs/lib$ ln -s libhdfs.so.0 libhdfs.so$ cd ..# python setup.py install --prefix="/usr/local"If you see the following error:/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory
Edit /usr/lib/jvm/java-6-sun/include/jni.hchange - 27 #include "jni_md.h"into + 27 #include "linux/jni_md.h"


** Run test script$ cd test$ python pyhdfs_test.pyIf you see the following error: ImportError:libhdfs.so.0:cannot open shared object file:No such file o…

maven test skip 방법

pom.xml 파일에 아래 내용을 추가 한다.
<properties> <maven.test.skip>true</maven.test.skip> </properties>

sqoop insert vs update

sqoop 을 이용하여 RDBMS 로 export 시 duplicate error 가 발생할 경우가 있다.

--update-key {key}  --update-mode allowinsert   이 옵션을 사용하면 {key}에 해당하는 레코드가 존재하면 update 를 진행하고 존재하지 않으면 insert 를 진행한다.
--update-mode 를 updateonly 로 설정하면 insert 는 진행하지 않는다.

sqoop export \
--connect jdbc:mysql://airawat-mysqlserver-node/employees \ --username myUID \ --password myPWD \ --table employees_export  \ --update-key emp_no \ --update-mode allowinsert \ --export-dir /user/airawat/sqoop-mysql/Employees
자세한것은
http://hadooped.blogspot.kr/2013/06/apache-sqoop-part-3-data-transfer.html
여기 참조

Selenium server 사용법

1)firefox selenium IDE 를 이용하여 실행 스크립트를 export 받는다.
2)selenium 사이트에서 server 를 다운받아 특정 위치에 풀어 놓는다
3)selenium server 실행
java -jar selenium-server-standalone-2.33.0.jar -role hub
4)selenium node 실행
java -jar selenium-server-standalone-2.33.0.jar  -role node -hub http://localhost:4444/grid/register

5)export 받은 실행 스크립트 실행
python export_script.py










https://code.google.com/p/selenium/wiki/Grid2  여기 참조