用户组:游客
要做一个基于隐马尔可夫模型(HMM)的命名实体识别(NER)工作。之前没有使用过MapReduce请问HMM过程可以在MapReduce上实现?谢谢。 ...
如何一次遍历完values 然后全部存入数组后再往下进行计算???
我最近在学习hadoop 比如 我就用java编写简单的hadoop程序。我用jsp编写一个网页,能不能上传简单的一个excel货txt文件。做个简 ...
在ubuntu下搭建好hadoop,运行wordcount,按网上的教程配置好文件,在最后一步运行wordcount程序时,输入hadoop jar /usr/local/ ...
package org.apache.hadoop.examples; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException ...
我单独写程序进行append 是可以运行的 我放到多线程里往一个文件中写入也不会报错,但是放在mapreduce里之后一直报错说该文件已 ...
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.tsi.hadoop.mr.task.crosstrade.CrossAnalysi ...
2016-04-14 15:21:43,133 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemo ...
怎么把MapReduce的结果写入mysql 怎么把MapReduce的结果写入mysql 需要事先在mysql里面新建表吗?还是直接代码里面建表输入? ...
问题导读: 1.win7下如何安装hadoop2.x? 2.win7下如何执行MapReuce On Yarn? 3.linux下如何安装hadoop2.x? 4.linux下如 ...
每次map跑到一半的时候就挂掉了 16/04/06 11:48:18 INFO mapred.MapTask: Starting flush of map output 16/04/06 11:48:18 IN ...
求大神指教一下,为什么有错误 package org.apache.hadoop.examples; import java.io.DataInput; import java.io.DataO ...
如题,我需要从hadoop集群中解放一台机器,该怎么操作呢?求详细点的过程,谢谢!
在eclipse提交的作业总是在eclipse虚拟的云环境中运行,怎么样才能在eclipse中将程序提交到集群中去呢,被这个问题纠结好长时间了 ...
请教一个问题~ mapred.tasktracker.map.tasks.maximum这个参数配置的是每个tasktracker能够启动的最大mapper数 意思就是每个节 ...
http://my.oschina.net/psuyun/blog/636330
mapred.map.child.java.opts和mapreduce.map.memory.mb有什么区别?
这是我理解的hadoop函数调用过程,但还是有点疑惑,比如:每个map函数输出都调用一个partition函数(图中为此方式)还是一个part ...
请问大家数据倾斜的原因及其解决办法?
假设map要读取file1和file2的内容并进行处理,那么使用FileInputFormat.setInputPaths(job, inPath1,inPath2);的话 问题1:读 ...
jobtracker 里面的Task Failures过多,我是新手,希望大家帮看看,真诚谢谢
运行的mr程序时Wordcount(该程序没有问题,在另一个集群上试过了),提交后就卡在这里不动了 在日志中只有这个提示在重复出 ...
在看mapreduce的shuffle过程的时候,一直有几点疑问,一个partition分区的问题,还是wordcount的例子,当reduce有好几个,比如3个 ...
map对数据进行归集去重, reduce接受到数据后, public void reduce(Text key, Iterable values, Context context) t ...
各位帮忙,我没思路 mapreduce 实现 网站连续几日uv量统计 您给个示例 谢谢
我用的是伪分布式,能够正常访问节点,但就是eclipse连不上hdfs,求解
在MapReduce中使用Mongodb查询出是否存在该用户历史数据。 非常简单的操作,但是当数据达到1GB左右的时候,一天都没有运行 ...
自从MongoDB被越来越多的大型关键项目采用后,数据分析也成为了越来越重要的话题。人们似乎已经厌倦了使用不同的软件来进行分 ...
真的搞不清楚capacity,used,Non DFS used,Remaining之间的关系,used+remaining为什么不等于capacity呢?求大神解答下这些值 ...
本版积分规则 发表帖子
查看 »