Spark处理多少数据是否需要多少内存 2019-04-30

Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs上1tb大文件为例：若每个block大 ...

(2106)次阅读|(0)个评论

恢复系统主题(win7X64) 2019-03-11

恢复系统主题(win7X64).zip 解决VirtualBox在WIN7 X64使用出现的以下问题： Unable to load R3 module D:\Program Files\Oracle\VirtualBox/VBoxDD.dll (VBoxDD ...

(1051)次阅读|(0)个评论

hadoop大数据错误总结 2016-05-13

启动CM出现 “JDBC Driver class not found: com.mysql.jdbc.Driver” 以及“Error creating bean with name 'serverLogFetcherImpl'”问题的解决方法 ...

(2525)次阅读|(0)个评论

在VMware下实现主机与虚拟主机之间的IPv6通信 2016-05-10

首先需要安装一个虚拟机，本次实验采用的是linux系统，首先需要确认Linux系统可支持IPv6地址，查询方法：输入 ifconfig，回车后，如果有类似inet6 a ...

(1793)次阅读|(0)个评论

beeline使用账号密码连接hiveserver2报错 2016-05-09

报错如下： beeline> !connect jdbc:hive2://master:10000 Connecting to jdbc:hive2://master:10000 Enter username for jdbc:hive2://master:10000: ro ...

(7997)次阅读|(0)个评论

openstack windows下远程debug调试（komodo） 2015-11-22

本文讲解openstack的两个调试工具：pycharm、komodo（以对openstack的nova api远程调试为例） 注：后续有时间再对eclipse进行讲解。 一：komod ...

(2144)次阅读|(0)个评论

查看更多