KVM環境におけるネットワーク速度ベンチマーク
1 like4,651 views
イベント名：オープンソースカンファレンス2010 Tokyo/Fall 講師：日本仮想化技術 大内 日時：2010/9/11 アジェンダ： • KVM仮想化時の仮想マシンネットワークの パフォーマンスについて調査 • vhost_netを有効にした際のパフォーマンス の変化について調査 概要： KVM仮想化をした際の仮想マシンのネットワークパフォーマンスについて測定した結果のレポートです。10Gb Ethernetのパフォーマンスチューニング、vhost_netについても解説しています。
KVM環境におけるネットワーク速度ベンチマーク
- 3. 使用機材(1) • マシン1(仮想マシンホスト): HP DL360 G7 ‒ 6Core Intel Xeon X5650 (2.6Ghz) 2 ‒ DDR3 Registered ECC 4GB 6 (24GB) ‒ (OS) 2.5inch 146GB SAS RAID1+0 ‒ (ストレージプール) Intel X25-E 6 RAID1+0 ‒ (Onboard NIC) NC382i 1Gb Ethernet ‒ (増設NIC) Intel X520 10Gb Ethernet
- 4. 使用機材(2) • マシン2: HP DL380 G6 ‒ 4Core Intel Xeon X5520 (2.6Ghz) ‒ DDR3 Registered ECC 4GB 6 (24GB) ‒ 2.5inch 146GB SAS RAID1+0 ‒ (Onboard NIC) NC382i 1Gb Ethernet ‒ (増設NIC) Intel X520 10Gb Ethernet
- 5. 仮想マシン設定 • 仮想マシン仕様 ‒ (基本)4 vCPU ‒ 3072MB Memory • 起動方法 ‒ vhost_net未使用時 : libvirt使用 ‒ vhost_net使用時 : コマンドの手動実行(後述)
- 6. 検証OSとツール • Fedora 13 (x86_64)を使用 ‒ Kernel-2.6.33.6-147.fc13.x86_64 • ベンチマークツールは Netperf を使用 ‒ Ver.2.4.5 ‒ http://www.netperf.org/netperf/
- 7. 検証内容 • マシン1・マシン2の物理環境で、それぞれ netperfを実行(比較基準の採取) • マシン2から、マシン1上に起動した仮想マ シンに対してnetperfを実行 ‒ 1VM, 2VM ,3VM, 6VM, 9VM同時実行の場合 についてそれぞれ測定 • マシン1上に起動した1つの仮想マシンから マシン2に対してnetperfを実行
- 8. 値の採取方法 • Netperfを次のパラメータで実行 ‒ netperf -H (IPアドレス) -l 30 • スループット値を5回採取し、2回目 4回 目の値の平均を結果とする • 複数仮想マシン実行時は、すべての仮想 マシンの結果を加算した値を結果とする
- 9. 基本測定内容一覧 vCPU数 送信 受信 4vCPU 1VM 物理(380G6) 物理(380G6) 1VM 物理(380G6) 2VM 物理(380G6) 3VM 物理(380G6) 6VM 物理(380G6) 9VM 2vCPU 物理(380G6) 1VM 1vCPU 物理(380G6) 1VM 物理 物理(360G7) 物理(380G6) 物理(380G6) 物理(360G7)
- 10. 測定内容一覧 • 基本測定内容のメニューを1セットとして、次の表 の通り測定を実施 • 1GbpsではMTU1500、10GbpsではMTU9000とし た HT有効 HT無効 vhost_net On vhost_net Off vhost_net On vhost_net Off 1Gbps (MTU:1500) 10Gbps (MTU:9000)
- 11. 結果(HT 無効) vCPU数 送信 受信 1Gb Ethernet 10Gb Ethernet 4vCPU 1VM 物理(380G6) 940 6302 物理(380G6) 1VM 938 8648 物理(380G6) 2VM 941 9837 物理(380G6) 3VM 942 9873 物理(380G6) 6VM 942 9880 物理(380G6) 9VM 942 9886 2vCPU 物理(380G6) 1VM 939 6886 1vCPU 物理(380G6) 1VM 939 8901 物理 物理(360G7) 物理(380G6) 941 9890 物理(380G6) 物理(360G7) 941 9895
- 12. 結果(HT 有効) vCPU数 送信 受信 1Gb Ethernet 10Gb Ethernet 4vCPU 1VM 物理(380G6) 923 6388 物理(380G6) 1VM 939 6652 物理(380G6) 2VM 941 9827 物理(380G6) 3VM 941 9868 物理(380G6) 6VM 942 9889 物理(380G6) 9VM 943 9887 2vCPU 物理(380G6) 1VM (省略) (省略) 1vCPU 物理(380G6) 1VM (省略) (省略) 物理 物理(360G7) 物理(380G6) 941 9899 物理(380G6) 物理(360G7) 941 9895
- 13. HT無効・有効の比較グラフ 0 2000 4000 6000 8000 10000 12000 1VM to 物 理 物理 to 1VM 物理 to 2VM 物理 to 3VM 物理 to 6VM 物理 to 9VM 4vCPU 1Gigabit Ethernet HT無 効 1Gigabit Ethernet HT有 効 10Gigabit Ethernet HT無 効 10Gigabit Ethernet HT有 効
- 14. 傾向 • 10Gb Ethernet環境でVM1台(VCPU2もしく は1)にした場合、仮想マシンのCPUが飽和 する • VM1台のみの場合の値が、VM1台あたり の最大性能となる • 複数仮想マシンで実行した時の仮想マシ ン1台のスループットは、概ね均等になる • HT有効/無効で大きな差は無い ‒ 物理To1VMを除く(特異値？)
- 16. パフォーマンスチューニング概要 • デフォルトの状態では10Gb Ethernetの性 能は十分に引き出せられない ‒ 3 5Gbpsと微妙な値になる • 次のパラメータ・設定を変更することで、パ フォーマンスが改善された ‒ MTUの変更 ‒ カーネルパラメータの調整 ‒ NICの設定変更
- 18. カーネルパラメータの調整(1) • sysctlコマンドで設定 # sysctl -w net.ipv4.tcp_window_scaling=1 # sysctl -w net.ipv4.tcp_rmem="4096 873800 1747600" # sysctl -w net.ipv4.tcp_wmem="4096 873800 1747600" # sysctl -w net.ipv4.tcp_mem="2048000 2048000 2048000" # sysctl -w net.core.rmem_default=873800 # sysctl -w net.core.wmem_default=873800 # sysctl -w net.core.rmem_max=1747600 # sysctl -w net.core.wmem_max=1747600 # sysctl -w net.core.optmem_max=20480
- 20. NICに対する設定 • ethtoolコマンドで設定 ‒ コマンドがない場合、ethtoolパッケージをイン ストール 実行コマンド 備考 ethtool -A eth4 autoneg off rx off tx off ethtool -K eth4 lro off HWRSCが有効の場合、このパラメータを指 定しても無視される ethtool -K eth4 gro off
- 21. vhost_net
- 22. vhost_net概要 • vhost_netは、ネットワークのパフォーマン スを向上させる仕組み • システムコールの呼び出し回数を減らす事 によって、オーバーヘッドを低減 • Kernel 2.6.33でマージ
- 23. vhost_netの有効化手順 • 「modprobe vhost_net」を実行 • qemu-ifup / qemu-ifdownの用意 • 仮想マシン起動コマンドの準備 ‒ libvirtが実行しているパラメータをpsコマンドで 取得 ‒ いくつかの不要なパラメータを取り除く ‒ -netパラメータに「vhost=on」を追加
- 24. qemu-ifup/qemu-ifdownの用意 • /etc/qemu-ifupを作成 • /etc/qemu-ifdownを作成 • (参考元) http://lostman-worlds-end.blogspot.com/2009/05/kvm_25.html #!/bin/sh echo "Bringing up $1 for bridged mode..." ifconfig $1 0.0.0.0 promisc up echo "Adding $1 to br0..." brctl addif br0 $1 #!/bin/sh echo "Removing $1 to br0..." brctl delif br0 $1 echo "Shutting down $1..." ifconfig $1 down
- 25. vhost_net有効時のVM起動例 # /usr/bin/qemu-kvm -cpu core2duo,+x2apic -enable- kvm -m 3072 -smp 4,sockets=4,cores=1,threads=1 - nodefaults -rtc base=utc -boot c -drive file=/var/lib/ libvirt/images/fedoravm1.img,if=none,id=drive-virtio- disk0,boot=on,format=raw -device virtio-blk-pci,bus=pci. 0,addr=0x4,drive=drive-virtio-disk0,id=virtio-disk0 - device virtio-net- pci,vlan=0,id=net0,mac=52:54:00:40:19:f0,bus=pci. 0,addr=0x5 -net tap,vlan=0,vhost=on -usb -device usb- tablet,id=input0 -k ja -vga cirrus -device virtio-balloon- pci,id=balloon0,bus=pci.0,addr=0x3 -vnc 192.168.0.1:1
- 26. vhost_netの利用状況確認 • 「lsmod | grep vhost_net」を実行して確認 • VMの台数分カウントされていれば、 vhost_netが利用されている
- 27. vhost_net有効時の結果(HT 有効) vCPU数 送信 受信 1Gigabit Ethernet 10Gigabit Ethernet 4vCPU 1VM 物理(380G6) 940 6103 物理(380G6) 1VM 939 7318 物理(380G6) 2VM 941 9332 物理(380G6) 3VM 941 9875 物理(380G6) 6VM 942 9888 物理(380G6) 9VM 943 9872
- 28. vhost_net使用・未使用の比較 0 2000 4000 6000 8000 10000 12000 1VM to 物理 物理 to 1VM 物理 to 2VM 物理 to 3VM 物理 to 6VM 物理 to 9VM 4vCPU 1Gigabit Ethernet vhost_net未使用 1Gigabit Ethernet vhost_net使用 10Gigabit Ethernet vhost_net未使用 10Gigabit Ethernet vhost_net使用
- 29. TCP_RR測定時の Trans. Rate per sec 0 5000 10000 15000 20000 25000 1VM to 物理 物理 to 1VM 物理 to 2VM 物理 to 3VM 物理 to 6VM 物理 to 9VM 4vCPU 1Gigabit Ethernet vhost_net未使用 1Gigabit Ethernet vhost_net使用 10Gigabit Ethernet vhost_net未使用 10Gigabit Ethernet vhost_net使用
- 30. 傾向 • 性能に大きな差は無い ‒ まれにvhost_net未使用の方が値が上回る • 改善が見込まれるTCP_RR値も大きな変化 は見られなかった • ネットワークカードの性能が良いため？
- 31. まとめ • KVMで仮想化してもネットワークの性能は 出る • 10Gはやい • vhost_netは今回は性能差が出なかった が、NICの性能によって結果が変わる可能 性アリ(?)
- 32. 補足 • 発表時にご指摘頂いた点を補足として追 記 • vhost_netは10VM 数十VMで効果が大き く現れる ‒ 9VM実行時のグラフでやや効果が現れている のはこのためであった • ethtoolの設定で、groをon、lroをoffとすると 良い