大数据平台Sqoop访问NetSuite设置

1.下载JDBC驱动程序（Linux64）

2.安装用于Linux的JDBC驱动程序

1）下载完成后，将.zip文件的内容提取到所需的位置。

2）在提取.zip文件内容的位置中，找到NQjc.jar文件。该文件包含可通过将NQjc.jar文件添加到类路径中来在Java环境中注册的驱动程序

sudo cp NQjc.jar /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/sqoop/lib/

sudo cp NQjc.jar /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hadoop/lib/

sudo -u hdfs hadoop fs -putNQjc.jar /user/oozie/share/lib/lib_20200313175221/sqoop/

#分发到其他设备

xsync /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hadoop/lib/

xsync /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/sqoop/lib/

3.Sqoop访问NS测试

sqoop list-databases \

--driver com.netsuite.jdbc.openaccess.OpenAccessDriver \

--password Abc123456789 \

sqoop list-tables \

--driver com.netsuite.jdbc.openaccess.OpenAccessDriver \

--password Abc123456789 \

4.同步数据测试

编写脚本，通过Hue+Oozie构建工作流，运行测试

#!/bin/bash

#db_date=$2
#echo $db_date
db_name=Full_Access_Read_Only

import_data(){
sqoop import --driver com.netsuite.jdbc.openaccess.OpenAccessDriver \
--connect "jdbc:ns://xxxxx:1708;ServerDataSource=NetSuite.com;encrypted=1;NegotiateSSLClose=false;CustomProperties=(AccountID=xxx;RoleID=xxx)" \
--username xxxxxx \
--password xxxxxx \
--target-dir /origin_data/$db_name/db/$1 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query "$2"' and $CONDITIONS;'
}

import_accounts(){
import_data "accounts" "SELECT * FROM ACCOUNTS WHERE 1=1"
}

case $1 in
"accounts")
import_accounts
;;
"all")
import_accounts
;;
esac

查看HDFS目录，数据已经生成

大数据平台Sqoop访问NetSuite设置