sqoop 导入hbase时NULL 转换

sqoop 导入hbase 原来一个字段对应的是有值的，但是执行增量导入以后，原先的字段变成null值，导入hbase，改字段值并不会变成null，指定--null-string '\\N' --null-non-string '\\N' 貌似不起作用，有哪个大神可以指导一下吗

sqoop语句有问题吧，是不是都覆盖了。没有数据的地方为null

einhep 发表于 2017-6-17 18:59
sqoop语句有问题吧，是不是都覆盖了。没有数据的地方为null

没有问题的 并没有被覆盖

舒克、开飞机 发表于 2017-6-18 16:12
没有问题的 并没有被覆盖

贴出语句看下。这样才有依据

qcbb001 发表于 2017-6-18 16:21
贴出语句看下。这样才有依据

我看了下源码 源码就没有说怎么进行空值的处理 我现在想通过 sqoop 结合 --query ,--incremental 来进行增量导入
sqoop job --create c_p -- import --connect jdbc:oracle:thin:@172.18.10.7:1521:ORCL --username hudao --password hudao --query "select id,MODIFIEDDATE from NEANDS3.C_VIP where
and MODIFIEDDATE \$CONDITIONS" --hbase-table C_PROVINCE --hbase-row-key ID --column-family info --incremental lastmodified --check-column MODIFIEDDATE --last-value "2017-06-05 10:39:59.0" --split-by ID -m 5

报空指针异常

我现在想通过 sqoop 结合 --query ,--incremental 来进行增量导入
sqoop job --create c_p -- import --connect jdbc:oracle:thin:@172.18.10.7:1521:ORCL --username hudao --password hudao --query "select id,MODIFIEDDATE from NEANDS3.C_VIP where
and MODIFIEDDATE \$CONDITIONS" --hbase-table C_PROVINCE --hbase-row-key ID --column-family info --incremental lastmodified --check-column MODIFIEDDATE --last-value "2017-06-05 10:39:59.0" --split-by ID -m 5

报空指针异常

我放弃了sqoop 用datax

zj220223 发表于 2017-6-19 14:10
我放弃了sqoop 用datax

datax能解决update这个问题吗

舒克、开飞机 发表于 2017-6-19 14:14
datax能解决update这个问题吗

你指的是增量导入还是每天全表更新？2个都可以~

zj220223 发表于 2017-6-19 14:31
你指的是增量导入还是每天全表更新？2个都可以~

我之前是通过sqoop的--incremental lastmodified --check-column MODIFIEDDATE来做的增量 不知道DATAX有没有这种用法