cdh下Sqoop2的安装

大数据

本文中采用的cdh版本为5.12.0，如何部署cdh可以参考之前的博文cdh安装准备和cdh5.12.0的安装

sqoop2配置

  • cdh安装sqoop2
  • 配置Drivers
  • 配置hadoop依赖

cdh安装sqoop2

cdh5.12.0下安装sqoop2，参见官方的安装手册，直接在搭建好的cdh管理界面添加Sqoop2服务组件，然后一路选择继续安装，等待Sqoop2服务启动完毕。

配置Drivers

由于本文是采用hdfs导出数据到mysql，故需配置mysql的connector的jar依赖包，参考官方的指南，下载mysql-connector-java.jar包，然后拷贝到对应的cdh的默认sqoop2的目录/var/lin/sqoop2目录中，最终的目录结构如下：

1
2
[~]ls /var/lib/sqoop2
mysql-connector-java.jar  postgresql-9.0-801.jdbc4.jar  repository  tomcat-deployment
配置hadoop超链接
1
2
3
cd /opt/cloudera/parcels/CDH/lib/hadoop/client
sudo ln -s ../../hadoop-hdfs/lib/jackson-mapper-asl-1.8.8.jar .
sudo ln -s ../../hadoop-hdfs/lib/jackson-core-asl-1.8.8.jar .

Tips：配置完毕后在cdh管理界面重启Sqoop2组件服务，否则配置不生效

参考链接

分享到