Qemu Hugepage Demo

jianchwa

已于 2023-12-08 17:22:50 修改

阅读量930

点赞数

CC 4.0 BY-SA版权

分类专栏：虚拟化收纳箱文章标签： java 服务器前端

于 2023-11-17 17:30:26 首次发布

本文链接：https://blog.csdn.net/home19900111/article/details/134275293

虚拟化收纳箱专栏收录该内容

9 篇文章

订阅专栏

本文介绍如何在QEMU中使用大页来减少TDPSize，提升性能，包括系统中预留大页、重启libvirtd和修改虚拟机XML文件，以及memfd的使用和原理。同时提及了libvirt配置中的hugetlbfs自动查找问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

让qemu使用大页可以减少tdp的size，一定程度上可以提高性能；使用大页可以用memfd或者file backend。

操作步骤如下：

在系统中reserve大页；命令参考http://t.csdnimg.cn/PPetb，例如：
```
echo 16 > /sys/kernel/mm/hugepages/hugepages-1048576kB/nr_hugepages
```
重新挂载/dev/hugepages，使其pagesize为1g，
```
mount -o remount,pagesize=1g /dev/hugepages
```
重启libvirtd，
```
systemctl restart libvirtd
```

修改虚拟机xml文件如下：

 <memory unit='KiB'>16777216</memory>
  <currentMemory unit='KiB'>16777216</currentMemory>
  <memoryBacking>
    <hugepages/>
    <source type='memfd'/>
    <access mode='shared'/>
  </memoryBacking>

启动虚拟机之后，我们会看到memfd文件；

之所以会显示deleted，是memfd创建文件的方式导致的，参考内核代码：

proc_pid_readlink()
  -> do_proc_readlink()
	-> d_path()
	   ---
		if (unlikely(d_unlinked(path->dentry)))
			prepend(&b, " (deleted)", 11);
		else
			prepend(&b, "", 1);
	   ---

static inline int d_unlinked(const struct dentry *dentry)
{
	return d_unhashed(dentry) && !IS_ROOT(dentry);
}

SYSCALL_DEFINE2(memfd_create)
  -> hugetlb_file_setup()
	-> alloc_file_pseudo()
	   ---
		path.dentry = d_alloc_pseudo(mnt->mnt_sb, &this);
		...
		path.mnt = mntget(mnt);
		d_instantiate(path.dentry, inode);
	   ---
其并没有调用d_splice_alias()、d_add()接口，所以是unhashed的

另外，初次测试时，并没有step 2，导致内存分配失败；原因是：libvirt传给qemu的hugetlbszie是2M，而我预留的是1G；追查libvirt代码，原因在于：

virQEMUDriverConfigNew()
---
    /* For privileged driver, try and find hugetlbfs mounts automatically.
     * Non-privileged driver requires admin to create a dir for the
     * user, chown it, and then let user configure it manually. */
    if (privileged &&
        virFileFindHugeTLBFS(&cfg->hugetlbfs, &cfg->nhugetlbfs) < 0) {
		...
    }
---

libvirt会参考系统中挂载的hugetlbfs的pagesize，以此作为参考。