sqoop insert vs update

sqoop 을 이용하여 RDBMS 로 export 시 duplicate error 가 발생할 경우가 있다.

--update-key {key}  --update-mode allowinsert   이 옵션을 사용하면 {key}에 해당하는 레코드가 존재하면 update 를 진행하고 존재하지 않으면 insert 를 진행한다.
--update-mode 를 updateonly 로 설정하면 insert 는 진행하지 않는다.

sqoop export \
--connect jdbc:mysql://airawat-mysqlserver-node/employees \

--username myUID \

--password myPWD \

--table employees_export  \

--update-key emp_no \

--update-mode allowinsert \

--export-dir /user/airawat/sqoop-mysql/Employees

자세한것은
http://hadooped.blogspot.kr/2013/06/apache-sqoop-part-3-data-transfer.html
여기 참조