06.12.2015, 19:09
Hallo,
ich hab ein kleines Problemchen:
Ich war heute mal ein wenig am testen gemäß "was wäre wenn", also habe ich getestet was wäre wenn mein Server swappen muss.
Naja sobald er swappt friert er ein, CPU geht auf 100%, Load schießt hoch und letztendlich startet sich der Host neu.
in der sysctl konfig habe ich folgendes angepasst:
vm.swappiness=100 #Swappen so oft wie möglich
vm.min_free_kbytes=5000000 #5GB
Die Konfig scheint auch zu Funktionieren.
Server Specs:
pve-manager/4.0-57/cc7c2b53 (running kernel: 4.2.3-2-pve)
Intel Xeon
32 GB RAM ECC DDR4
64GB SWAP
Onboard Graka + Dedizierte Graka
1x SSD
3x HDD
Swap und OS befindet sich auf der SSD, VMS ausschließlich auf der HDD.
Ich glaube weniger, dass es an der Proxmox Konfiguration liegt, irgendwo scheint der Wurm drin zu sein.
Gerade beim booten der Windows VMS kommt es zum engpass, theoretisch bräuchte ich 60 GB RAM, nach dem Start (alle nacheinander und mit pausen) liegen knapp 50 GB im KSM, das passt ja auch soweit, die Windows VMS sind ja auch leer und derzeit nur zum testen installiert.
Jemand ne Ahnung was man noch anpassen könnte?
Derzeit wartet er bis knapp 27 GB RAM voll sind, dann haut er sofort 2-4 GB in den Swap und hängt sich auf =(
ich hab ein kleines Problemchen:
Ich war heute mal ein wenig am testen gemäß "was wäre wenn", also habe ich getestet was wäre wenn mein Server swappen muss.
Naja sobald er swappt friert er ein, CPU geht auf 100%, Load schießt hoch und letztendlich startet sich der Host neu.
in der sysctl konfig habe ich folgendes angepasst:
vm.swappiness=100 #Swappen so oft wie möglich
vm.min_free_kbytes=5000000 #5GB
Die Konfig scheint auch zu Funktionieren.
Server Specs:
pve-manager/4.0-57/cc7c2b53 (running kernel: 4.2.3-2-pve)
Intel Xeon
32 GB RAM ECC DDR4
64GB SWAP
Onboard Graka + Dedizierte Graka
1x SSD
3x HDD
Swap und OS befindet sich auf der SSD, VMS ausschließlich auf der HDD.
Ich glaube weniger, dass es an der Proxmox Konfiguration liegt, irgendwo scheint der Wurm drin zu sein.
Gerade beim booten der Windows VMS kommt es zum engpass, theoretisch bräuchte ich 60 GB RAM, nach dem Start (alle nacheinander und mit pausen) liegen knapp 50 GB im KSM, das passt ja auch soweit, die Windows VMS sind ja auch leer und derzeit nur zum testen installiert.
Jemand ne Ahnung was man noch anpassen könnte?
Derzeit wartet er bis knapp 27 GB RAM voll sind, dann haut er sofort 2-4 GB in den Swap und hängt sich auf =(
Code:
vm.admin_reserve_kbytes = 8192
vm.block_dump = 0
vm.compact_unevictable_allowed = 1
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 20
vm.dirty_writeback_centisecs = 500
vm.dirtytime_expire_seconds = 43200
vm.drop_caches = 0
vm.extfrag_threshold = 500
vm.hugepages_treat_as_movable = 0
vm.hugetlb_shm_group = 0
vm.laptop_mode = 0
vm.legacy_va_layout = 0
vm.lowmem_reserve_ratio = 256 256 32
vm.max_map_count = 65530
vm.memory_failure_early_kill = 0
vm.memory_failure_recovery = 1
vm.min_free_kbytes = 5000000
vm.min_slab_ratio = 5
vm.min_unmapped_ratio = 1
vm.mmap_min_addr = 65536
vm.nr_hugepages = 0
vm.nr_hugepages_mempolicy = 0
vm.nr_overcommit_hugepages = 0
vm.nr_pdflush_threads = 0
vm.numa_zonelist_order = default
vm.oom_dump_tasks = 1
vm.oom_kill_allocating_task = 0
vm.overcommit_kbytes = 0
vm.overcommit_memory = 0
vm.overcommit_ratio = 50
vm.page-cluster = 3
vm.panic_on_oom = 0
vm.percpu_pagelist_fraction = 0
vm.stat_interval = 1
vm.swappiness = 100
vm.user_reserve_kbytes = 131072
vm.vfs_cache_pressure = 100
vm.zone_reclaim_mode = 0
Proxmox Konfig:
Code:
root@n1:~# pvecm status
Quorum information
------------------
Date: Sun Dec 6 18:00:41 2015
Quorum provider: corosync_votequorum
Nodes: 2
Node ID: 0x00000001
Ring ID: 696
Quorate: Yes
Votequorum information
----------------------
Expected votes: 2
Highest expected: 2
Total votes: 2
Quorum: 2
Flags: Quorate
Membership information
----------------------
Nodeid Votes Name
0x00000001 1 192.168.1.1 (local)
0x00000002 1 192.168.1.3
root@n1:~# service pve-cluster status
● pve-cluster.service - The Proxmox VE cluster filesystem
Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled)
Active: active (running) since Sun 2015-12-06 17:05:27 CET; 55min ago
Process: 1174 ExecStartPost=/usr/bin/pvecm updatecerts --silent (code=exited, status=0/SUCCESS)
Process: 1155 ExecStart=/usr/bin/pmxcfs $DAEMON_OPTS (code=exited, status=0/SUCCESS)
Main PID: 1171 (pmxcfs)
CGroup: /system.slice/pve-cluster.service
└─1171 /usr/bin/pmxcfs
Dec 06 17:05:32 n1 pmxcfs[1171]: [status] notice: starting data syncronisation
Dec 06 17:05:32 n1 pmxcfs[1171]: [status] notice: received sync request (epoch 1/1171/00000001)
Dec 06 17:05:32 n1 pmxcfs[1171]: [dcdb] notice: received all states
Dec 06 17:05:32 n1 pmxcfs[1171]: [dcdb] notice: leader is 2/593
Dec 06 17:05:32 n1 pmxcfs[1171]: [dcdb] notice: synced members: 2/593
Dec 06 17:05:32 n1 pmxcfs[1171]: [dcdb] notice: waiting for updates from leader
Dec 06 17:05:32 n1 pmxcfs[1171]: [dcdb] notice: update complete - trying to commit (got 2 inode updates)
Dec 06 17:05:32 n1 pmxcfs[1171]: [dcdb] notice: all data is up to date
Dec 06 17:05:32 n1 pmxcfs[1171]: [status] notice: received all states
Dec 06 17:05:32 n1 pmxcfs[1171]: [status] notice: all data is up to date
http://ixde.eu/files/pve_freeze2.JPG(!https)
http://ixde.eu/files/pve_freeze3.JPG(!https)http://ixde.eu/files/pve_freeze.JPG(!https)