lihy114 发表于 2015-7-31 18:06:06

sqoop同步oracle数据到hbase效率低

使用sqoop同步oracle数据到hbase，没有做什么优化，执行下面的语句
./sqoop import --connect jdbc:oracle:thin:@192.168.3.236:1521:sx --username top --password top --m 1 --table tab_a --hbase-create-table --hbase-table tab_a_FROMORACLE --hbase-row-key ID --column-family IDINFO

70多万的数据，需要5分钟才能完成

设置并行度，语句如下
./sqoop import --connect jdbc:oracle:thin:@192.168.3.236:1521:sx --username top --password top --m 10 --table tab_a --hbase-create-table --hbase-table tab_a_FROMORACLE --hbase-row-key ID --column-family IDINFO
这样我观察了一下，另外9个map并没有起到作用，很快就执行完成了，等着另外一个map执行，时间上和原来差别 不大

应该如果优化同步的速度呢？多谢

NEOGX 发表于 2015-7-31 18:12:20

楼主内存多大。线程多，内存不够也是一个现在因素。

jsjupc_geyf 发表于 2015-7-31 22:02:40

好贴，必顶，加油加油！！！！
页: [1]
查看完整版本: sqoop同步oracle数据到hbase效率低