立即注册 登录
About云-梭伦科技 返回首页

zhanggl的个人空间 https://aboutyun.com/?5862 [收藏] [复制] [分享] [RSS]

日志

Hbase数据导入,直接用mapreduce的方式

已有 1051 次阅读2014-8-25 22:56 |个人分类:hbase

第一种直接读取文件,然后用mapreduce的方式导入。测试数据370万,大小30G  用时284 分钟,这种方式数据丢失很严重,丢了将近60万的数据

文件大小500M,数据两80000

Current count: 83000, row: f9acea1367b9bea8a16edee4035f65f7                                                                                                                                   

Current count: 84000, row: fcd0a4ed9891a0edc405db39f90a57ea                                                                                           

Current count: 85000, row: fffff776925356a42d21bb215a6817b

用时 21分钟 执行了44mapreduce

用HFile的方式有2种,生成HFile后,在用hbase自带的批量导入(官网推荐的方式)

第二种,生成HFile文件后,在用mapreduce的方式导入

####################
对论坛的一个提议:输入验证码后如果是验证吗错误,返回的时候,文件没有保存就没有了,这个很不好。 Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:""; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:10.5pt; mso-bidi-font-size:11.0pt; font-family:"Calibri","sans-serif"; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:"Times New Roman"; mso-bidi-theme-font:minor-bidi; mso-font-kerning:1.0pt;}

路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条