分享

开发人员该如理解Linux(ubuntu)工具及在Linux上安装hadoop、openstack配置总结

pig2 发表于 2014-6-13 11:24:42 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 10358
本帖最后由 pig2 于 2014-6-13 12:02 编辑
问题导读:
1.你对Linux的理解是什么?
2.Linux与windows在使用方面有什么不同之处?
3.安装hadoop、openstack过程中,你认为他们的共同点是什么?







刚接触大数据被软件的安装和配置给困扰,每次总是找各种安装文档,这让很多传统开发人员摸不着头脑。
Linux工具的认识
大数据与云技术的产生,使得我们重新使用Linux,但是对于惯用window我们,对于Linux很不适应。
比如我们使用工具的使用都是很直观的,我们打开word就是word界面



,我们打开txt就是,就是txt界面。


但是如果我们使用vi,vim,nano我们是什么感觉。没有感觉因为都是黑压压的,好点的,带些字体颜色。
vi界面:




nano界面


所以总结出来,大数据、云技术的火爆,导致我们不得不使用和熟悉Linux,同时也让我们回到了命令行编程的时代。记得以前我们看过的电影,黑客攻击、破解,看到屏幕上一行行的代码,很是神秘,这好,你进入了对于别人神秘的时代,同时对于惯用window的同学,也进入了痛苦的阶段,但是一旦熟悉了,其实这样对于开发软件来讲,提升了速度。

Linux软件的安装
在安装hadoop系列与openstack的过程中,window基本上是“下一步、下一步”简单明了。Linux就有点麻烦了
1.下安装安装包
下载完毕,解压到某个路径,这个路径下载,我们需要了解用户权限,看看是root权限,还是你当前用户权限,如果你是当前用户,安装软件,但是这个文件夹却是root权限,明显后面会遇到各种问题。
(root相当于windows的adminnistrator,上面所说的当前用户,是我们新建的用户,如果不会新建用户,可以参考

linux 命令adduser添加用户及查看安装软件


2.配置环境变量
上面解压完毕,我们接着配置环境变量。那么我们配置环境变量的目的是什么?
利于使用
因为大多数软件,都会把相关的指令放到bin文件夹下面,
这里同样在于window对比,windows的操作都是可以通过图形界面的,
比如我们查看一个软件的版本,一般通过‘属性’就可以查看,但是Linux如果查看那
Java -version
对于上面命令,你是否会遇到找不到命令的情况那,很简单,找不到命令,看看环境变量是否配置。

3.配置文件
配置文件的作用是什么,为程序服务。
如果你是一个传统开发人员,你一定知道数据库连接串,我们知道数据库连接串是可以放到配置文件中的,为什么,这样灵活啊,如果数据库改变了,还需要该程序,这样麻烦了。

有了配置文件,就方便了,因为这样不动程序,位置路径变了,改改配置文件就ok了。现在你是否真正明白,hadoop、openstack中配置文件的作用了。

上面明白了,hadoop的配置文件,应该不成问题了,比如hdfs-site.xml配置文件是干什么的,是为hdfs程序服务的,yarn-site.xml是干什么的,这是在yarn运行时,所需要的参数。这里对一些同学是废话,对于不理解Linux软件安装和配置起到一个点化的作用。
对于配置文件各个配置项目的说明,这里总结一下:
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
hadoop配置含义(继续更新中)



4.运行程序
上面配置完毕,我们就该运行程序了。
hadoop运行:
start-dfs.sh
start-yarn.shopenstack运行:
组件比较多,有的通过界面,最好通过命令行的方式,因为图形界面的功能还不够完善。
我们在使用openstack、hadoop的过程中:
一看坏了,怎么看不到进程了,怎么起来后,又挂掉了,为什么创建实例,创建不了
这都是上面第二步、第三步没有配置好的原因。




已有(1)人评论

跳转到指定楼层
x5136160 发表于 2014-7-16 01:08:40
很好很好,了解了解。。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条