sqoop insert vs update

sqoop 을 이용하여 RDBMS 로 export 시 duplicate error 가 발생할 경우가 있다.

--update-key {key}  --update-mode allowinsert   이 옵션을 사용하면 {key}에 해당하는 레코드가 존재하면 update 를 진행하고 존재하지 않으면 insert 를 진행한다.
--update-mode 를 updateonly 로 설정하면 insert 는 진행하지 않는다.

sqoop export \
--connect jdbc:mysql://airawat-mysqlserver-node/employees \
--username myUID \
--password myPWD \
--table employees_export  \
--update-key emp_no \
--update-mode allowinsert \
--export-dir /user/airawat/sqoop-mysql/Employees

자세한것은
http://hadooped.blogspot.kr/2013/06/apache-sqoop-part-3-data-transfer.html
여기 참조

댓글

이 블로그의 인기 게시물

ubuntu에서 samba로 파일 공유하기

화이트해커를 위한 암호와 해킹

Shell Program(1) 변수, 상수