跪求答案
自己做了一个很小的日志分析项目，面试问到以下问题，个人回答老露馅，没有经验，不知道怎么回答，求指导1. 集群多少台, 数据量多大, 吞吐量是多大, 每天处理多少G的数据？
2. 你们业务数据量多大？有多少行数据？
3. 你们提交的 job 任务大概有多少个？这些 job 执行完大概用多少时间？
4.使用hive做日志统计，遇到了哪些难题，是怎么解决的？
前辈们，跪求答案，
可以参考这篇文章：
大数据集群资源预估规划【适用于面试与集群规划】
https://www.aboutyun.com/forum.php?mod=viewthread&tid=29958
求答案？？？？？？？？？？？？？？？？？？？？？？ persist 发表于 2015-5-8 19:09
求答案？？？？？？？？？？？？？？？？？？？？？？
问题是多种多样的，而且是变化的。所以楼主应该是做过这方面的，既然做过就好，自己首先思考：
那么你在自己操作的时候，吞吐量是多少，自己处理过多少G的。大概有多少行
自己执行的mapreduce，有多少个map、多少个reduce.执行时间是多少
hive自己是否做过统计。
楼主自己先回答这些问题，你才能回答后面的问题。
如果自己都搞不懂自己处理过什么，别人说了，也只是别人的，只有真正转换为自己的才可以。
弄明白这些后，咱们在讨论面试官提问你的问题
jixianqiuxue 发表于 2015-5-8 19:45
问题是多种多样的，而且是变化的。所以楼主应该是做过这方面的，既然做过就好，自己首先思考：
那么你在 ...
首先谢谢你，是这样的，这个是我自己做的一个很小的项目，数据量也小，也没遇到什么大的问题，只是熟悉了项目开发各个组件的使用流程，没法拿出来说，在简历上包装成一个在公司做的项目，现在问到这些问题，我不知道怎么回答，自己估计着回答老露馅。不太清楚公司到底是怎么使用的,一问到关于公司里面的集群，业务数据量，直接无语了， 我应该怎么回答面试官不会怀疑？
persist 发表于 2015-5-8 22:45
首先谢谢你，是这样的，这个是我自己做的一个很小的项目，数据量也小，也没遇到什么大的问题，只是熟悉了 ...
你所要作的不是伪装，而是展现自己的实力建议：
1.多看面试经验
推荐：
大数据面试宝典
2.多跟有经验的人沟通，q群可以多向有经验的指导。不需要多了在几个千人群中，相信有人会帮助你的。
3.多思考
另外：
不建议自己的实际项目说日志，这个已经属于一个众所周知的网络项目了。
参考：
面试题、经验分享及新手问答整理
s060403072 发表于 2015-5-9 01:22
你所要作的不是伪装，而是展现自己的实力建议：
1.多看面试经验
推荐：
非常谢谢你，哎面试真难忽悠 persist 发表于 2015-5-9 08:21
非常谢谢你，哎面试真难忽悠
面试其实是展示自己的一个过程，如果不是特别的优秀，hr、招聘人员很难下决定，这样风险大。短短一两个小时的面试，当然也比较难了解一个人。平时可以多写博客，能够别人更加的了解你。
虽然不能解决你当下的问题，但是这个在以后的求职路上，是很有帮助的
面试经验：2.5年, 从0->阿里
persist 发表于 2015-5-8 19:09
求答案？？？？？？？？？？？？？？？？？？？？？？
集群40台，目前正在扩展，每天处理40G，多少行，可以about云日志，自己可以计算下。日志都是差不多的。hive统计日志，可以统计统计最后卡住，原因数据倾斜。
日志在这里下载：
about云分析discuz论坛apache日志hadoop大数据项目：需求分析说明书
赞啊。楼主现在怎么样了。 加油加油
页:
[1]
2