libvirt/qemu特性之numa

问题导读
1、如何查看主机node情况？
2、怎样设置guest numa topology？
3、VCPU如何绑定物理核？



Numa
查看主机node情况
使用virsh命令查看

virsh # capabilities
<topology>
      <cells num='1'>
        <cell id='0'>
          <memory unit='KiB'>8166976</memory>
          <cpus num='24'>
            <cpu id='0' socket_id='0' core_id='0' siblings='0,12'/>
            ...
          </cpus>
        </cell>
      </cells>
    </topology>
复制代码

使用numactl命令查看

# numactl --hardware
复制代码

Guest Numa
设置guest numa topology
qemu内部安装ACPI规范将node信息，topology信息防止在bios中供guest识别。
guest识别numa topology的意义在于，guest中的OS可以更好的进行进程调度和内存分配。
libvirt

<cpu>
    <topology sockets='1' cores='8' threads='1'/>
    <numa>
      <cell cpus='0-3' memory='1024000'/>
      <cell cpus='4-7' memory='1024000'/>
     </numa>
  </cpu>
复制代码

qemu

-smp 8,sockets=1,cores=4,threads=1
-numa node,nodeid=0,cpus=0-3,mem=1000 -numa node,nodeid=1,cpus=4-7,mem=1000
复制代码

可以在guest中使用numactl --hardware看到这些node节点。


CPU/内存亲和性设置
进程的处理器亲和性（Processor Affinity），即是CPU的绑定设置，是指将进程绑定到特定的一个或多个CPU上去执行，
而不允许调度到其他的CPU上。
在虚拟化环境中，qemu的vcpu是作为线程存在的，可以对线程进行亲和性设置。
多数情况下，我们无需设置亲和性。但是某些特殊场合，比如需要确保CPU资源不被其他虚拟机负载影响，
可以设置CPU的亲和性。
CPU亲和性由libvirt通过调用sched_setaffinity系统调用实现(如下以cpu热插中的代码为例），不需要在qemu层进行设置。

src/qemu/qemu_driver.c：
static int qemuDomainHotplugVcpus(virQEMUDriverPtr driver,
        |       |       |       | virDomainObjPtr vm,
        |       |       |       | unsigned int nvcpus)
{
      ...
      virProcessSetAffinity(cpupids[i],
      ...
}
src/util/virprocess.c：
int virProcessSetAffinity(pid_t pid, virBitmapPtr map)
{
      ...
      if (sched_setaffinity(pid, masklen, mask) < 0) {
      ...
}
复制代码

memory的亲和性也是由libvirt通过调用numa_set_membind函数实现（由libnuma.so提供，该so为numactl的库）。

  int
  virNumaSetupMemoryPolicy(virNumaTuneDef numatune,
          |       |       |virBitmapPtr nodemask)
  {
        ...
        numa_set_membind(&mask);
        ...
复制代码

备注：可以使用taskset工具手工对线程设置亲和性。


VCPU绑定物理核

<vcpu cpuset='1-2'>4</vcpu>
复制代码

查看CPU绑定情况（其中28863为qemu的进程IP）

#grep Cpus_allowed_list /proc/28863/task/*/status 
/proc/28863/task/28863/status:Cpus_allowed_list:    1-2
/proc/28863/task/28864/status:Cpus_allowed_list:    1-2
/proc/28863/task/28865/status:Cpus_allowed_list:    1-2
/proc/28863/task/28866/status:Cpus_allowed_list:    1-2
/proc/28863/task/28867/status:Cpus_allowed_list:    1-2
复制代码

cputune
cputune提供了精细的vcpu绑定设定，可以具体到每个vcpu设置。
而且提供vcpu能力的标准化，如quota,period,shares，可以用于实现cpu的Qos。

 <vcpu placement='static'>4</vcpu>
  <cputune>
    <shares>2048</shares>
    <period>1000000</period>
    <quota>-1</quota>
    <vcpupin vcpu='0' cpuset='8'/>
    <vcpupin vcpu='1' cpuset='16'/>
    <emulatorpin cpuset='16'/>
  </cputune>
复制代码

memtune

<numatune>
<memory mode="strict" nodeset="1"/>
</numatune>
复制代码

查看内存的设定情况：(其中18104为qemu的pid)

#grep Mems_allowed_list /proc/18104/task/*/status
/proc/18104/task/18104/status:Mems_allowed_list:    1
/proc/18104/task/18105/status:Mems_allowed_list:    1
/proc/18104/task/18106/status:Mems_allowed_list:    1
/proc/18104/task/18114/status:Mems_allowed_list:    1
复制代码

动态修改
numa
可以使用virsh numatune进行动态修改。
cpu affinity
可以使用virsh vcpupin进行修改。
设置emulator的cpu affinity
可以使用virsh emulatorpin进行修改。


Libvirt/qemu社区关于numa的最新动态
Add support for binding guest numa nodes to host numa nodes

社区review中。
提供了guest memory绑定策略的设置能力。
避免某些情况下由此导致的性能下降。 （比如PCI passthrough是设备DMA传输的情况？这点还是不太懂）
qemu配置方法范例：

-object memory-ram,size=512M,host-nodes=1,policy=membind,id=ram-node0 
-numa node,nodeid=0,cpus=0,memdev=ram-node0 
-object memory-ram,size=1024M,host-nodes=2-3,policy=interleave,id=ram-node1 
-numa node,nodeid=1,cpus=1,memdev=ram-node1 
复制代码

numa的一些缺点
如果配置不当，可能不但无法获取高性能，反而有可能导致性能恶化。
另外numa与透明页共享的冲突，即由于页合并导致的跨node访问。
vmware对此有专门优化，频繁访问的页面，在node上有页面副本，从而避免跨node访问带来的性能恶化。



本文转载自：http://blog.csdn.net/halcyonbaby/article/details/20152559

不懂，先留着