本帖最后由 pig2 于 2014-10-15 19:04 编辑
问题导读
1.Openstack网络组件的经历了几个过程?
2.Neutron主要有哪几部分组成?各自的作用是什么?
3.虚拟网络上的数据包的处理由谁来完成?
本文将会涵盖如下几个部分:
- Openstack网络组件的发展历程
- Neutron的结构
- Neutron Server的结构
- Neutron的配置
1 Openstack网络组件的发展历程
1.1 nova-network
Openstack在2010年正式发布它的第一个版本Austin的时候,nova-network作为它的核心组件被包含其中。nova-network的功能主要有:
IP地址分配 包含为虚拟主机分配私有(固定)和浮动IP地址。
网络模型与管理 提供了虚拟网络使虚拟主机之间以及与外部网络通信。网络模型分为以下三种。这三种模型可以共存在一个云系统中,但是在一个计算节点上只能配备一种模型。
扁平网络 (Flat Network) :在创建虚拟主机时,nova-network会从指定子网中取一个空闲IP并将它写入此虚拟主机的配置文件。在一个子网内的虚拟主机可以通过创建Linux桥实现互通。
带DHCP功能的扁平网络 (Flat DHCP Network) :顾名思义,此种模式相对于扁平网络加入了DHCP功能。在创建虚拟主机时,nova-network会在指定的子网中为此虚拟主机分配IP和物理地址,并将这些信息告知DHCP服务器(默认是dnsmasq)。DHCP服务器会监听虚拟主机所在的桥。当有虚拟主机启动时,会自动从DHCP服务器获得IP。可以看到DHCP服务器只是按照nova-network给定的列表(IP和物理地址)分发IP,如何分配还是nova-network说了算。
VLAN网络 (VLAN Network) :这是nova-network的默认模型。针对每个项目(Project,如今Openstack把项目改称租户 -- Tenant),都会对应一个vlan。每个项目里的私有IP地址只能在本项目的vlan里访问。与项目对应的vlan需要子网,这个子网是由管理员动态分配给项目的。与带DHCP功能的扁平网络类似,子网内的IP地址也是通过DHCP服务器分发的。所有在一个子网内的虚拟主机都通过网桥互通。
安全控制 主要通过ebtables和iptables来实现。
1.2 Quantum
Quantum是随Openstack的Folsom版本正式发布的,其实它已经作为试用组件包含在之前的Essex版本中。在Grizzly里功能得到了增强。
为什么引入Quantum?答案非常简单,Quantum功能更强大,满足更多需求。下面列几条主要功能。
- 提供面向租户的API,以便控制2层网络和管理IP地址
- 支持插件式网络组件,像Open vSwitch,Cisco,Linux Bridge,Nicira NVP等等
- 支持位于不同的2层网络的IP地址重叠
- 支持基本的3层转发和多路由器
- 支持隧道技术(Tunneling)
- 支持3层代理和DHCP代理的多节点部署,增强了扩展性和可靠性
- 提供负载均衡API (试用版本)
1.3 Neutron
因为商标侵权的原因,Openstack在Havana版本上将Quantum更名为Neutron,所以Neutron并不是什么新的东西。在Havana版里,Neutron也只增加和增强了少数功能。
- 提供稳定的负载均衡API
- 支持端到端的IPSec VPN
- 面向租户的防火墙服务
- 提供一个新的插件ML2,这个插件可以作为一个框架同时支持不同的2层网络
现在很多已部署的Openstack云还在继续使用nova-network,因为它简单,稳定,尤其是多节点部署的可扩展性和可靠性让人不愿割舍。但是我们必须考虑往Neutron上迁移了,最新版Icehouse(还未发布)中的nova-network将会被列为过期组件,虽然系统还支持,但不建议使用了。
接下来我们一起来看看Neutron,本人精力在咨询、架构和部署,所以对源码实现我们不会涉及。
2 Neutron的结构
Openstack的设计理念是把所有的组件当做服务来注册的。 Neutron就是网络服务。它将网络、子网、端口和路由器抽象化,之后启动的虚拟主机就可以连接到这个虚拟网络上,最大的好处是这些都可视化的在Horizon里得到了实现,部署或者改变一个SDN变得非常简单,没有专业知识的人稍经培训也可以做到。
我们先通过如下一个简单的流程来了解客户机如何连接到网络上。
- 租户创建了一个网络,比方说mynet
- 租户为此网络分配一个子网,比如192.168.122.0/24
- 租户启动一个客户机,并指明一个网口连接到mynet
- Nova通知Neutron并在mynet上创建一个端口,如port1
- Neutron选择并分配一个IP给port1
- 客户机通过port1就连接到了mynet上
Neutron主要有以下几部分组成。
Neutron Server: 这一部分包含守护进程neutron-server和各种插件neutron-*-plugin,它们既可以安装在控制节点也可以安装在网络节点。neutron-server提供API接口,并把对API的调用请求传给已经配置好的插件进行后续处理。插件需要访问数据库来维护各种配置数据和对应关系,例如路由器、网络、子网、端口、浮动IP、安全组等等。
插件代理 (Plugin Agent) : 虚拟网络上的数据包的处理则是由这些插件代理来完成的。名字为neutron-*-agent。在每个计算节点和网络节点上运行。一般来说你选择了什么插件,就需要选择相应的代理。代理与Neutron Server及其插件的交互就通过消息队列来支持。
DHCP代理(DHCP Agent) : 名字为neutron-dhcp-agent,为各个租户网络提供DHCP服务,部署在网络节点上,各个插件也是使用这一个代理。
3层代理 (L3 Agent) : 名字为neutron-l3-agent, 为客户机访问外部网络提供3层转发服务。也部署在网络节点上。
下面这张图取自官网,很好的反映了Neutron内部各部分之间的关系。(SDN服务在这里是额外的外部功能,可以暂时略过。)
3 Neutron Server的结构
下面我们来细看一下Neutron Server的结构。
这张图中我们只看Quantum-common和Quantum Plugin部分,其实就是Neutron Server。
上面我们已提到,Neutron最重要的就是两部分:API和插件。
3.1 API
API又分为两个部分。
API Core:暂且称之为API核。它可以看做是插件功能的最小集合,即每个插件都必须有的功能,也就是对网络、子网和端口的查询、加删和更新操作等。
API Extensions:暂称之为API扩展。它们一般是针对具体插件实现的,这样租户就可以利用这些插件独特的功能,比方说访问控制(ACL)和QoS。
需要提一下的是,现在API核具备的功能还都很简单,随着Neturon的不断成熟,它可能就会纳入一些API扩展中的功能。
当然API部分也负责Neutron服务的启动、客户请求和相应回复的打包和派发以及验证数据格式及其正确性。也有一些安全和稳定机制,比方说对API请求的限制以防止DOS攻击来保证服务在大负载下的可用性。
至于验证和授权功能,相信大家都已了解,就是与Keystone结合,进行用户或租户级的使用控制。
3.2 插件
下面我们再来看一下插件。
从功能上说,插件一般有以下内容。
- 存储当前逻辑网络的配置信息,这就需要一个数据库,比方说MySQL
- 判断和存储逻辑网络和物理网络的对应关系,比方说为一个逻辑网络选择一个vlan
- 与一种或多种交换机通信来实现这种对应关系。这一般通过宿主机上的插件代理来实现这种操作,或者远程登录到交换机上来配置。
以Open vSwitch为例,下面列出了插件需要访问的数据表。
+---------------------------+
| Tables_in_neutron |
+---------------------------+
| agents |
| allowedaddresspairs |
| dnsnameservers |
| externalnetworks |
| extradhcpopts |
| floatingips |
| ipallocationpools |
| ipallocations |
| ipavailabilityranges |
| networkdhcpagentbindings |
| networks |
| ovs_network_bindings |
| ovs_tunnel_allocations |
| ovs_tunnel_endpoints |
| ovs_vlan_allocations |
| portbindingports |
| ports |
| quotas |
| routerl3agentbindings |
| routerroutes |
| routers |
| securitygroupportbindings |
| securitygrouprules |
| securitygroups |
| subnetroutes |
| subnets |
+---------------------------+ 复制代码
4 Neutron的配置
Neutron的配置应该说是比Openstack的其他组件复杂一点。
常用的配置模型有两种,
把Neutron Server放在控制节点上,DHCP和L3代理放在网络节点上,可参考一下官图。
把Neutron的所有部分放在单独的网络节点上。这种方式就是把上图部署在控制节点中的neutron-server放到网络节点上。
因为网络配置不像网络使用那么频繁,所以通常建议使用第一种方案,没有必要单独把neutron-server拿出来。因为neutron-server是可单独部署的,我们就拿第二种方案作为例子。
系统使用ubuntu12.04,软件的安装我们就不说了,这里我们采用Open vSwitch插件。(针对虚拟交换机Open vSwitch,Neutron建议是使用ML2插件的,但这里我们为了加深对插件和插件代理的理解,还是沿用了OpenvSwitch插件)。
4.1 计算节点的配置
安装完软件包以后,计算节点应该就有OpenvSwitch的代理在运行,使用ps命令可以看到如下进程。
/usr/bin/python /usr/bin/neutron-openvswitch-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini 复制代码
这里我们可以看到代理读取了2个配置文件。
neutron.conf主要需要设置如下几项:
core_plugin = neutron.plugins.openvswitch.ovs_neutron_plugin.OVSNeutronPluginV2 //插件类型
auth_strategy = keystone // 授权方式
rabbit_host = 192.168.122.1 //处理消息队列的主机地址
[keystone_authtoken] //keystone信息,这里只是我的例子信息
auth_host = 192.168.122.1
auth_port = 35357
auth_protocol = http
admin_tenant_name = service
admin_user = neutron
admin_password = neutron
auth_url = http://192.168.122.1:35357/v2.0
connection = mysql://neutron:neutron@192.168.122.100/neutron //DB信息 复制代码
neutron.conf会默认包含另一个配置文件api-paste.ini,对它只需添加keystone信息。
auth_host=192.168.122.1
admin_user=neutron
admin_tenant_name=service
admin_password=neutron
ovs_neutron_plugin.init主要需要设置以下几项,以vlan为例:
tenant_network_type = vlan //网络类型,例如vlan,gre
network_vlan_ranges = physnet1:1000:2999 //vlanID
bridge_mappings = physnet1:br-int //用于计算节点上客户机内部网络的网桥
firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver 复制代码
4.2 网络节点的配置
安装完软件后,网络节点应该会有如下进程在运行。
/usr/bin/python /usr/bin/neutron-dhcp-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/dhcp_agent.ini
/usr/bin/python /usr/bin/neutron-metadata-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/metadata_agent.ini
/usr/bin/python /usr/bin/neutron-l3-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/l3_agent.ini
/usr/bin/python /usr/bin/neutron-server --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
/usr/bin/python /usr/bin/neutron-openvswitch-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini 复制代码
你会看到每个部分会用到哪个配置文件。
neutron.conf和api-paste.ini的配置与计算节点上是一样的。
dhcp_agent.ini的主要设置以下几项。看内容可理解其意义。
interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq 复制代码
metadata_agent.ini的设置主要是keystone相关的。
auth_url = http://192.168.122.1:5000/v2.0
auth_region = regionOne
admin_tenant_name = service
admin_user = neutron
admin_password = neutron
nova_metadata_ip = 192.168.122.1
metadata_proxy_shared_secret = meta //proxy的密码,个人设置 复制代码
l3_agent.init的设置。
interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver 复制代码
ovs_neutron_plugin.ini的配置和计算节点上的一样。
4.3 节点上OVS的配置
计算节点和网络节点的NIC配置非常相似,我们都是用第二个NIC(eth1)作为内部网络的通讯。以网络节点为例。eth1不能设置IP地址,而是把IP地址给虚拟桥。
auto eth1
iface eth1 inet manual
up ifconfig $IFACE 0.0.0.0 up
down ip link set $IFACE down
auto br-int
iface br-int inet static
address 10.100.1.2
netmask 255.255.255.0 复制代码
OVS中把eth1放到虚拟桥上。
Bridge br-int
Port "eth1"
Interface "eth1"
Port br-int
Interface br-int
type: internal 复制代码
5 结束语
Neutron是openstack的方向,我们有必要花点时间研究一下它。目前对它的担心还是有的,比方说稳定性、可用性,还有性能(以后有机会探讨),但它的灵活性、多功能性是无可比拟的。
相关内容:
Openstack之neutron入门(一)
Openstack之neutron入门二