第一种直接读取文件,然后用mapreduce的方式导入。测试数据370万,大小30G 用时284 分钟,这种方式数据丢失很严重,丢了将近60万的数据
文件大小500M,数据两80000
Current
count: 83000, row: f9acea1367b9bea8a16edee4035f65f7
Current
count: 84000, row: fcd0a4ed9891a0edc405db39f90a57ea
Current
count: 85000, row: fffff776925356a42d21bb215a6817b
用时 21分钟 执行了44个mapreduce
用HFile的方式有2种,生成HFile后,在用hbase自带的批量导入(官网推荐的方式)
第二种,生成HFile文件后,在用mapreduce的方式导入
####################
对论坛的一个提议:输入验证码后如果是验证吗错误,返回的时候,文件没有保存就没有了,这个很不好。
Normal
0
7.8 磅
0
2
false
false
false
EN-US
ZH-CN
X-NONE
/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:"Calibri","sans-serif";
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;
mso-font-kerning:1.0pt;}