图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 云技术学习 › Neutron › Neutron SDN 手动实现手册
分享

Neutron SDN 手动实现手册

desehawk 发表于 2015-3-21 16:20:19 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 3 27827
About云VIP帮助找工作和提升


问题导读
1.使用libvirt需要注意什么问题？
2.如何设置允许ipforwarding？
3.如何通过 Network Namespace 实现租户私有网络互访？






安装架构介绍

本文旨在通过自己搭建类似neutron （openvswitch + gre） 实现SDN 的环境，学习了解其工作原理，模拟核心原理，比如：同一租户自定义网络 instance 互通，手动为instance 分配 floating ip 等相关内容。
mock-neutron-arch.png
虚拟网络
需要新建3个虚拟网络Net0、Net1和Net2，其在virtual box 中对应配置如下。

  1. Net0:

  2.     Network name: VirtualBox  host-only Ethernet Adapter#2

  3.     Purpose: administrator / management network

  4.     IP block: 10.20.0.0/24

  5.     DHCP: disable

  6.     Linux device: eth0

  7. 

  8. Net1:

  9.     Network name: VirtualBox  host-only Ethernet Adapter#3

  10.     Purpose: public network

  11.     DHCP: disable

  12.     IP block: 172.16.0.0/24

  13.     Linux device: eth1

  14. 

  15. Net2：

  16.     Network name: VirtualBox  host-only Ethernet Adapter#4

  17.     Purpose: Storage/private network

  18.     DHCP: disable

  19.     IP block: 192.168.4.0/24

  20.     Linux device: eth2
复制代码
虚拟机
需要新建2个虚拟机VM1和VM2，其对应配置如下。

  1. VM1：

  2.     Name : network1

  3.     vCPU:1

  4.     Memory :1G

  5.     Disk:30G

  6.     Network:net1,net2,net3

  7. 

  8. VM2：

  9.     Name: compute1

  10.     vCPU:1

  11.     Memory :1G

  12.     Disk:30G

  13.     Networks:net1,net2,net3
复制代码
Linux interface设置
  1. network1

  2.      eth0:10.20.0.201   (management network)

  3.      eht1:172.16.0.201   (public/external network)

  4.      eht2:192.168.4.201  (private network，gre tunning)

  5. 

  6. compute1

  7.      eth0:10.20.0.202   (management network)

  8.      eht1:(disabled)

  9.      eht2:192.168.4.202  (private network，gre tunning)
复制代码
模拟安装网络节点(Network1)

模拟Network 节点相关实现，比如L3、dhcp-agent实现，为了模拟多节点网络情况，这里Network同时也模拟一个计算节点，模拟M2 openvswitch 实现，上面运行instance1。

网络接口配置

  1. vi /etc/sysconfig/network-scripts/ifcfg-eth0

  2. DEVICE=eth0

  3. TYPE=Ethernet

  4. ONBOOT=yes

  5. NM_CONTROLLED=yes

  6. BOOTPROTO=static

  7. IPADDR=10.20.0.201

  8. NETMASK=255.255.255.0

  9. 

  10. vi /etc/sysconfig/network-scripts/ifcfg-eth1

  11. DEVICE=eth1

  12. TYPE=Ethernet

  13. ONBOOT=yes

  14. NM_CONTROLLED=yes

  15. BOOTPROTO=static

  16. IPADDR=172.16.0.201

  17. NETMASK=255.255.255.0

  18. 

  19. vi /etc/sysconfig/network-scripts/ifcfg-eth2

  20. DEVICE=eth2

  21. TYPE=Ethernet

  22. ONBOOT=yes

  23. NM_CONTROLLED=yes

  24. BOOTPROTO=static

  25. IPADDR=192.168.4.201

  26. NETMASK=255.255.255.0
复制代码


重启网络服务
  1. service network restart
复制代码


安装需要用到的包
  1. yum install libvirt openvswitch python-virtinst xauth tigervnc -y
复制代码
移除默认的libvirt 网络，方便清晰分析网络情况
  1. virsh net-destroy default

  2. virsh net-autostart --disable default

  3. virsh net-undefine default
复制代码


设置允许ipforwarding
  1. vi /etc/sysctl.conf 

  2. net.ipv4.ip_forward=1

  3. net.ipv4.conf.all.rp_filter=0

  4. net.ipv4.conf.default.rp_filter=0
复制代码
立即生效
  1. sysctl -p
复制代码


启动openvswitch
  1. service openvswitch start

  2. chkconfig openvswitch on
复制代码


创建一个linux bridge
  1. brctl addbr qbr01

  2. ip link set qbr01 up
复制代码
创建一个instance，并连接到qbr01 Bridge，网络接口部分配置如下

  1. <interface type='bridge'>

  2.       <source bridge='qbr01'/>

  3.       <target dev='tap01'/>

  4.       <model type='virtio'/>

  5.       <driver name='qemu'/>

  6.       <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>

  7. </interface>
复制代码


可以参考附件./gre/instance1.xml创建
  1. cp ~/gre/ /var/tmp/

  2. cd /var/tmp/gre

  3. mv cirros-0.3.0-x86_64-disk.img instance1.img

  4. virsh define instance1.xml

  5. virsh start instance1

  6. virsh vncdisplay instance1

  7. vncviewer :0
复制代码


启动console 以后,登录添加ip 地址 192.168.1.11
  1. ip addr add 192.168.1.11/24 dev eth0

  2. route add default gw 192.168.1.1
复制代码
创建一个内部bridge br-int， 模拟 OpenStack integrated bridge
  1. ovs-vsctl add-br br-int

  2. ovs-vsctl add-port br-int gre0 -- set interface gre0 type=gre options:remote_ip=192.168.4.202
复制代码
创建一个veth peer，连接Linux Bridge 'qbr01' 和 OpenvSwich Bridge 'br-ini'

  1. ip link add qvo01 type veth peer name qvb01

  2. brctl addif qbr01 qvb01

  3. ovs-vsctl add-port br-int qvo01

  4. ovs-vsctl set port qvo01 tag=100

  5. ip link set qvb01 up

  6. ip link set qvo01 up
复制代码
查看现在network1上的 br-int
  1. ovs-vsctl show
复制代码


模拟安装计算节点(compute1)


网络接口配置
  1. vi /etc/sysconfig/network-scripts/ifcfg-eth0

  2. DEVICE=eth0

  3. TYPE=Ethernet

  4. ONBOOT=yes

  5. NM_CONTROLLED=yes

  6. BOOTPROTO=static

  7. IPADDR=10.20.0.202

  8. NETMASK=255.255.255.0

  9. 

  10. vi /etc/sysconfig/network-scripts/ifcfg-eth1

  11. DEVICE=eth1

  12. TYPE=Ethernet

  13. ONBOOT=yes

  14. NM_CONTROLLED=yes

  15. BOOTPROTO=static

  16. IPADDR=172.16.0.202

  17. NETMASK=255.255.255.0

  18. 

  19. vi /etc/sysconfig/network-scripts/ifcfg-eth2

  20. DEVICE=eth2

  21. TYPE=Ethernet

  22. ONBOOT=yes

  23. NM_CONTROLLED=yes

  24. BOOTPROTO=static

  25. IPADDR=192.168.4.202

  26. NETMASK=255.255.255.0
复制代码
重启网络服务
  1. service network restart
复制代码
安装需要用到的包
  1. yum install libvirt openvswitch python-virtinst xauth tigervnc
复制代码
移除libvirt 默认的网络
  1. virsh net-destroy default

  2. virsh net-autostart --disable default

  3. virsh net-undefine default
复制代码
设置允许ipforwarding
  1. vi /etc/sysctl.conf 

  2. net.ipv4.ip_forward=1

  3. net.ipv4.conf.all.rp_filter=0

  4. net.ipv4.conf.default.rp_filter=0
复制代码
立即生效
  1. sysctl -p
复制代码


启动openvswitch
  1. service openvswitch start

  2. chkconfig openvswitch on
复制代码
创建一个linux bridge
  1. brctl addbr qbr02

  2. ip link set qbr02 up
复制代码


创建一个vm，并连接到qbr02

上gre目录到compute1 节点，可以参考附件./gre/instance2.xml创建

  1. cp ~/gre/ /var/tmp/

  2. cd /var/tmp/gre

  3. mv cirros-0.3.0-x86_64-disk.img instance2.img

  4. virsh define instance2.xml

  5. virsh start instance2

  6. virsh vncdesplay instance2

  7. vncviewer :0
复制代码


启动console 以后,登录添加ip得知 192.168.1.12
  1. ip addr add 192.168.1.12/24 dev eth0

  2. route add default gw 192.168.1.1 
复制代码
创建一个内部bridge br-int， 模拟 OpenStack integrated bridge
  1. ovs-vsctl add-br br-int

  2. ovs-vsctl add-port br-int gre0 -- set interface gre0 type=gre options:remote_ip=192.168.4.201
复制代码
创建一个veth peer，连接Linux Bridge 'qbr02' 和 OpenvSwich Bridge 'br-ini'
  1. ip link add qvo02 type veth peer name qvb02

  2. brctl addif qbr02 qvb02

  3. ovs-vsctl add-port br-int qvo02

  4. ovs-vsctl set port qvo02 tag=100

  5. ip link set qvb02 up

  6. ip link set qvo02 up
复制代码
查看现在network1 上的 br-int
  1. ovs-vsctl show
复制代码


检查是否能连通instance1，在instance2的控制台
  1. ping 192.168.1.11
复制代码
通过 Network Namespace 实现租户私有网络互访

添加一个namespace，dhcp01用于隔离租户网络。
  1. ip netns add dhcp01
复制代码
为私有网络192.168.1.0/24 ，在命名空间dhcp01 中 创建dhcp 服务
  1. ovs-vsctl add-port br-int tapdhcp01 -- set interface tapdhcp01 type=internal

  2. ovs-vsctl set port tapdhcp01 tag=100

  3. 

  4. ip link set tapdhcp01 netns dhcp01

  5. ip netns exec dhcp01 ip addr add 192.168.1.2/24 dev tapdhcp01

  6. ip netns exec dhcp01 ip link set tapdhcp01 up
复制代码


检查网络是否连通，在namespace 访问instance1 和 instance2
  1. ip netns exec dhcp01 ping 192.168.1.12

  2. ip netns exec dhcp01 ping 192.168.1.11
复制代码


通过 Network Namespace 和Iptables 实现L3 router

ovs-vsctl add-br br-ex

重新配置eth1 和 br-ex

  1. vi /etc/sysconfig/network-scripts/ifcfg-eth1

  2. 

  3. DEVICE=eth1

  4. ONBOOT=yes

  5. BOOTPROTO=none

  6. PROMISC=yes

  7. MTU=1546

  8. 

  9. vi /etc/sysconfig/network-scripts/ifcfg-br-ex

  10. 

  11. DEVICE=br-ex

  12. TYPE=Bridge

  13. ONBOOT=yes

  14. BOOTPROTO=none

  15. IPADDR0=172.16.0.201

  16. PREFIX0=24
复制代码
重启启动网络服务

  1. ovs-vsctl add-port br-ex eth1 && service network restart
复制代码
检查网络，配置后是否连通
  1. ping 172.16.0.201
复制代码


添加一个namespace，router01 用于路由和floating ip 分配
  1. ip netns add router01
复制代码
在br-int添加一个接口，作为私有网络192.168.1.0/24的网关
  1. ovs-vsctl add-port br-int qr01 -- set interface qr01 type=internal

  2. ovs-vsctl set port qr01 tag=100

  3. 

  4. ip link set qr01 netns router01

  5. ip netns exec router01 ip addr add 192.168.1.1/24 dev qr01

  6. ip netns exec router01 ip link set qr01 up

  7. ip netns exec router01 ip link set lo up
复制代码


在br-ex中添加一个接口，用于私网192.168.1.0/24设置下一跳地址
  1. ovs-vsctl add-port br-ex qg01 -- set interface qg01  type=internal

  2. ip link set qg01  netns router01

  3. ip netns exec router01 ip addr add 172.16.0.100/24 dev qg01 

  4. ip netns exec router01 ip link set qg01 up

  5. ip netns exec router01 ip link set lo up
复制代码


模拟分配floating ip 访问instance1

为instance1 192.168.1.11 分配floating ip，172.16.0.101
  1. ip netns exec router01 ip addr add 172.16.0.101/32 dev qg01 

  2. 

  3. ip netns exec router01  iptables -t nat -A OUTPUT -d 172.16.0.101/32  -j DNAT --to-destination 192.168.1.11

  4. ip netns exec router01  iptables -t nat -A PREROUTING -d 172.16.0.101/32 -j DNAT --to-destination 192.168.1.11

  5. ip netns exec router01  iptables -t nat -A POSTROUTING -s 192.168.1.11/32 -j SNAT --to-source 172.16.0.101

  6. ip netns exec router01  iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -j SNAT --to-source 172.16.0.100
复制代码


测试floating ip
  1. ping 172.16.0.101
复制代码
如果需要清除nat chain
  1. iptables -t nat -F
复制代码



作者：[罗勇] 云计算工程师、敏捷开发实践者
博客：http://yongluo2013.github.io/
微博：http://weibo.com/u/1704250760/
关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(3)人评论

跳转到指定楼层
正序浏览
lzc868266 发表于 2015-6-24 15:19:50
请问实验的环境和工具是什么
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
desehawk

实习版主

关注

  • 1058

    主题

  • 1959

    帖子

  • 191

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000