OpenStack网络组件Neutron的研究

问题导读：
1.Neutron由哪几部分组成？
2.NeutronAPI由什么组成？
3.在不同节点上，如何配置相应的neutron配置文件？





本文将会涵盖如下几个部分：
- Openstack网络组件的发展历程
- Neutron的结构
- Neutron Server的结构
- Neutron的配置

1.1 nova-network
Openstack在2010年正式发布它的第一个版本Austin的时候，nova-network作为它的核心组件被包含其中。nova-network的功能主要有：

IP地址分配

包含为虚拟主机分配私有（固定）和浮动IP地址。

网络模型与管理

提供了虚拟网络使虚拟主机之间以及与外部网络通信。网络模型分为以下三种。这三种模型可以共存在一个云系统中，但是在一个计算节点上只能配备一种模型。

扁平网络 （FlatNetwork）：在创建虚拟主机时，nova-network会从指定子网中取一个空闲IP并将它写入此虚拟主机的配置文件。在一个子网内的虚拟主机可以通过创建Linux桥实现互通。

带DHCP功能的扁平网络 （Flat DHCPNetwork）：顾名思义，此种模式相对于扁平网络加入了DHCP功能。在创建虚拟主机时，nova-network会在指定的子网中为此虚拟主机分配IP和物理地址，并将这些信息告知DHCP服务器（默认是dnsmasq）。DHCP服务器会监听虚拟主机所在的桥。当有虚拟主机启动时，会自动从DHCP服务器获得IP。可以看到DHCP服务器只是按照nova-network给定的列表（IP和物理地址）分发IP，如何分配还是nova-network说了算。

VLAN网络 （VLANNetwork）：这是nova-network的默认模型。针对每个项目（Project，如今Openstack把项目改称租户 --Tenant），都会对应一个vlan。每个项目里的私有IP地址只能在本项目的vlan里访问。与项目对应的vlan需要子网，这个子网是由管理员动态分配给项目的。与带DHCP功能的扁平网络类似，子网内的IP地址也是通过DHCP服务器分发的。所有在一个子网内的虚拟主机都通过网桥互通。

安全控制

主要通过ebtables和iptables来实现。

1.2 Quantum

Quantum是随Openstack的Folsom版本正式发布的，其实它已经作为试用组件包含在之前的Essex版本中。在Grizzly里功能得到了增强。

为什么引入Quantum？答案非常简单，Quantum功能更强大，满足更多需求。下面列几条主要功能。

- 提供面向租户的API，以便控制2层网络和管理IP地址
- 支持插件式网络组件，像Open vSwitch，Cisco，Linux Bridge，Nicira NVP等等
- 支持位于不同的2层网络的IP地址重叠
- 支持基本的3层转发和多路由器
- 支持隧道技术（Tunneling）
- 支持3层代理和DHCP代理的多节点部署，增强了扩展性和可靠性
- 提供负载均衡API （试用版本）

1.3 Neutron

因为商标侵权的原因，Openstack在Havana版本上将Quantum更名为Neutron，所以Neutron并不是什么新的东西。在Havana版里，Neutron也只增加和增强了少数功能。

- 提供稳定的负载均衡API
- 支持端到端的IPSec VPN
- 面向租户的防火墙服务
- 提供一个新的插件ML2，这个插件可以作为一个框架同时支持不同的2层网络
现在很多已部署的Openstack云还在继续使用nova-network，因为它简单，稳定，尤其是多节点部署的可扩展性和可靠性让人不愿割舍。但是我们必须考虑往Neutron上迁移了，最新版Icehouse（还未发布）中的nova-network将会被列为过期组件，虽然系统还支持，但不建议使用了。

接下来我们一起来看看Neutron，本人精力在咨询、架构和部署，所以对源码实现我们不会涉及。

Openstack的设计理念是把所有的组件当做服务来注册的。Neutron就是网络服务。它将网络、子网、端口和路由器抽象化，之后启动的虚拟主机就可以连接到这个虚拟网络上，最大的好处是这些都可视化的在Horizon里得到了实现，部署或者改变一个SDN变得非常简单，没有专业知识的人稍经培训也可以做到。

我们先通过如下一个简单的流程来了解客户机如何连接到网络上。

- 租户创建了一个网络，比方说mynet
- 租户为此网络分配一个子网，比如192.168.122.0/24
- 租户启动一个客户机，并指明一个网口连接到mynet
- Nova通知Neutron并在mynet上创建一个端口，如port1
- Neutron选择并分配一个IP给port1
- 客户机通过port1就连接到了mynet上

Neutron主要有以下几部分组成。

Neutron Server：这一部分包含守护进程neutron-server和各种插件neutron-*-plugin，它们既可以安装在控制节点也可以安装在网络节点。neutron-server提供API接口，并把对API的调用请求传给已经配置好的插件进行后续处理。插件需要访问数据库来维护各种配置数据和对应关系，例如路由器、网络、子网、端口、浮动IP、安全组等等。

插件代理 （Plugin Agent）：虚拟网络上的数据包的处理则是由这些插件代理来完成的。名字为neutron-*-agent。在每个计算节点和网络节点上运行。一般来说你选择了什么插件，就需要选择相应的代理。代理与NeutronServer及其插件的交互就通过消息队列来支持。

DHCP代理（DHCP Agent）：名字为neutron-dhcp-agent，为各个租户网络提供DHCP服务，部署在网络节点上，各个插件也是使用这一个代理。

3层代理 （L3 Agent）： 名字为neutron-l3-agent，为客户机访问外部网络提供3层转发服务。也部署在网络节点上。
下面这张图取自官网，很好的反映了Neutron内部各部分之间的关系。（SDN服务在这里是额外的外部功能，可以暂时略过。）

下面我们来细看一下Neutron Server的结构。

这张图中我们只看Quantum-common和Quantum Plugin部分，其实就是Neutron Server。
上面我们已提到，Neutron最重要的就是两部分：API和插件。

3.1 API

API又分为两个部分。

APICore：暂且称之为API核。它可以看做是插件功能的最小集合，即每个插件都必须有的功能，也就是对网络、子网和端口的查询、加删和更新操作等。

APIExtensions：暂称之为API扩展。它们一般是针对具体插件实现的，这样租户就可以利用这些插件独特的功能，比方说访问控制（ACL)和QoS。

需要提一下的是，现在API核具备的功能还都很简单，随着Neturon的不断成熟，它可能就会纳入一些API扩展中的功能。

当然API部分也负责Neutron服务的启动、客户请求和相应回复的打包和派发以及验证数据格式及其正确性。也有一些安全和稳定机制，比方说对API请求的限制以防止DOS攻击来保证服务在大负载下的可用性。

至于验证和授权功能，相信大家都已了解，就是与Keystone结合，进行用户或租户级的使用控制。

3.2 插件

下面我们再来看一下插件。

从功能上说，插件一般有以下内容。

- 存储当前逻辑网络的配置信息，这就需要一个数据库，比方说MySQL
- 判断和存储逻辑网络和物理网络的对应关系，比方说为一个逻辑网络选择一个vlan
- 与一种或多种交换机通信来实现这种对应关系。这一般通过宿主机上的插件代理来实现这种操作，或者远程登录到交换机上来配置。

以Open vSwitch为例，下面列出了插件需要访问的数据表。
+---------------------------+
| Tables_in_neutron         |
+---------------------------+
| agents                    |
| allowedaddresspairs       |
| dnsnameservers            |
| externalnetworks          |
| extradhcpopts             |
| floatingips               |
| ipallocationpools         |
| ipallocations             |
| ipavailabilityranges      |
| networkdhcpagentbindings  |
| networks                  |
| ovs_network_bindings      |
| ovs_tunnel_allocations    |
| ovs_tunnel_endpoints      |
| ovs_vlan_allocations      |
| portbindingports          |
| ports                     |
| quotas                    |
| routerl3agentbindings     |
| routerroutes              |
| routers                   |
| securitygroupportbindings |
| securitygrouprules        |
| securitygroups            |
| subnetroutes              |
| subnets                   |
+---------------------------+
Neutron的配置应该说是比Openstack的其他组件复杂一点。

常用的配置模型有两种，

把Neutron Server放在控制节点上，DHCP和L3代理放在网络节点上，可参考一下官图。

把Neutron的所有部分放在单独的网络节点上。这种方式就是把上图部署在控制节点中的neutron-server放到网络节点上。

因为网络配置不像网络使用那么频繁，所以通常建议使用第一种方案，没有必要单独把neutron-server拿出来。因为neutron-server是可单独部署的，我们就拿第二种方案作为例子。

系统使用ubuntu12.04，软件的安装我们就不说了，这里我们采用Open vSwitch插件。（针对虚拟交换机OpenvSwitch，Neutron建议是使用ML2插件的，但这里我们为了加深对插件和插件代理的理解，还是沿用了OpenvSwitch插件）。

4.1 计算节点的配置

安装完软件包以后，计算节点应该就有OpenvSwitch的代理在运行，使用ps命令可以看到如下进程。

/usr/bin/python /usr/bin/neutron-openvswitch-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini

这里我们可以看到代理读取了2个配置文件。

neutron.conf主要需要设置如下几项：

core_plugin = neutron.plugins.openvswitch.ovs_neutron_plugin.OVSNeutronPluginV2 //插件类型
auth_strategy = keystone  // 授权方式
rabbit_host = 192.168.122.1       //处理消息队列的主机地址
[keystone_authtoken]      //keystone信息，这里只是我的例子信息
auth_host = 192.168.122.1
auth_port = 35357
auth_protocol = http
admin_tenant_name = service
admin_user = neutron
admin_password = neutron
auth_url = http://192.168.122.1:35357/v2.0
connection = mysql://neutron:neutron@192.168.122.100/neutron      //DB信息
neutron.conf会默认包含另一个配置文件api-paste.ini，对它只需添加keystone信息。
auth_host=192.168.122.1
admin_user=neutron
admin_tenant_name=service
admin_password=neutron
ovs_neutron_plugin.init主要需要设置以下几项，以vlan为例：
tenant_network_type = vlan       //网络类型，例如vlan，gre
network_vlan_ranges = physnet1:1000:2999  //vlanID
bridge_mappings = physnet1:br-int //用于计算节点上客户机内部网络的网桥
firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver

4.2 网络节点的配置

安装完软件后，网络节点应该会有如下进程在运行。

/usr/bin/python /usr/bin/neutron-dhcp-agent--config-file=/etc/neutron/neutron.conf--config-file=/etc/neutron/dhcp_agent.ini /usr/bin/python/usr/bin/neutron-metadata-agent--config-file=/etc/neutron/neutron.conf--config-file=/etc/neutron/metadata_agent.ini /usr/bin/python/usr/bin/neutron-l3-agent --config-file=/etc/neutron/neutron.conf--config-file=/etc/neutron/l3_agent.ini /usr/bin/python/usr/bin/neutron-server --config-file /etc/neutron/neutron.conf--config-file/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
/usr/bin/python /usr/bin/neutron-openvswitch-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini

你会看到每个部分会用到哪个配置文件。neutron.conf和api-paste.ini的配置与计算节点上是一样的。

dhcp_agent.ini的主要设置以下几项。看内容可理解其意义。

interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
metadata_agent.ini的设置主要是keystone相关的。
auth_url = http://192.168.122.1:5000/v2.0
auth_region = regionOne
admin_tenant_name = service
admin_user = neutron
admin_password = neutron
nova_metadata_ip = 192.168.122.1
metadata_proxy_shared_secret = meta       //proxy的密码，个人设置
l3_agent.init的设置。
interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
ovs_neutron_plugin.ini的配置和计算节点上的一样。

4.3 节点上OVS的配置

计算节点和网络节点的NIC配置非常相似，我们都是用第二个NIC（eth1）作为内部网络的通讯。以网络节点为例。eth1不能设置IP地址，而是把IP地址给虚拟桥。

auto eth1
iface eth1 inet manual
        up ifconfig $IFACE 0.0.0.0 up
        down ip link set $IFACE down
auto br-int
iface br-int inet static
        address 10.100.1.2
        netmask 255.255.255.0
OVS中把eth1放到虚拟桥上。
    Bridge br-int
        Port "eth1"
            Interface "eth1"
        Port br-int
            Interface br-int
                type: internal

Neutron是openstack的方向，我们有必要花点时间研究一下它。目前对它的担心还是有的，比方说稳定性、可用性，还有性能（以后有机会探讨），但它的灵活性、多功能性是无可比拟的。
因为工作原因，断断续续花了很长时间写这篇博客，只为抛砖引玉，内容也有不全面和错误的地方，希望与大家交流。


#####################################################
本文转自：http://www.server110.com/openstack/201403/6926.html

请教大神!  你文档里那个用PS命令怎样能显示出进程相关的配置文件信息.具体语法是怎么用的?

bjyqing 发表于 2014-12-3 16:06
请教大神!  你文档里那个用PS命令怎样能显示出进程相关的配置文件信息.具体语法是怎么用的?

查看当前系统进程的uid,pid,stat,pri, 以uid号排序.
ps -eo pid,stat,pri,uid --sort uid




网上很多这样的命令：
使用ps格式输出来查看进程状态:

ps -eo user,stat..,cmd

user          用户名 
uid           用户号 
pid           进程号 
ppid          父进程号 
'size'          内存大小, Kbytes字节. 
v'size'         总虚拟内存大小, bytes字节(包含code+data+stack) 
share         总共享页数 
nice          进程优先级(缺省为0, 最大为-20) 
priority(pri) 内核调度优先级 
pmem          进程分享的物理内存数的百分比 
trs           程序执行代码驻留大小 
rss           进程使用的总物理内存数, Kbytes字节 
time          进程执行起到现在总的CPU暂用时间 
stat          进程状态 
cmd(args)     执行命令的简单格式
复制代码

看的人多，回复的少，我来顶下，支持about

admin 发表于 2015-1-24 12:30
查看当前系统进程的uid,pid,stat,pri, 以uid号排序.
ps -eo pid,stat,pri,uid --sort uid

好久没来了,非常感谢!

总结得真不错，感谢~~~