| Latest revision |
Your text |
| Line 1: |
Line 1: |
| {{Host | | {{Host |
| |name=helios.chaosdorf.space | | |name=helios.chaosdorf.dn42 |
| |description=almighty server | | |description=allmighty server |
| |image=helios.jpg | | |image=helios.jpg |
| |os=Debian 12 | | |os=Debian Unstable |
| |location=Lounge | | |location=Serverraum |
| |purpose=virtualization host | | |purpose=virtualization host |
| |disk=38TB
| | |admin_toolkit=No |
| |ram=32GiB
| | |ssh_pam=No |
| |admin_toolkit=Yes | |
| |ssh_pam=Yes | |
| |ssh_userlogin=No | | |ssh_userlogin=No |
| |ownership=club | | |ownership=club |
| |use=ask | | |use=no |
| |admins=derf, byte, nomaster, uen, feuerrot, ytvwld, nik | | |admins=derf, byte, nomaster |
| |netbox_id=12
| |
| }} | | }} |
| Großer mächtiger VM-Host für Clubrauminfrastruktur und Projekte. Ein Teil der Dienste befindet sich auch auf dem [[NUC Cluster]].
| |
|
| |
|
| == Hardware ==
| | ... under construction ... |
| | |
| * Mainboard: [http://www.asrockrack.com/general/productdetail.asp?Model=C2750D4I ASRock] Mini-ITX mit 12x SATA
| |
| * CPU: [http://ark.intel.com/products/77987 Intel] Atom C2750 (Avoton) 8-Core
| |
| * Storage: 10 3,5" Festplatten, 20TB
| |
| * RAM: 4x 8GB DDR3 1600MHz ECC
| |
| * Gehäuse: [http://www.chenbro.com/en-global/products/RackmountChassis/2U_Chassis/RM23608 Chenbro] 19" 2HE mit 8 3,5" Festplatteneinschüben
| |
| * Netzteil: 400W EPS Green
| |
| | |
| == Storage ==
| |
| | |
| Das Gehäuse bietet Platz für 10 SATA-Platten, davon 2 intern (2.5") und 8 in Festplattenschächten (3.5").
| |
| | |
| Layout bei Aufsicht aufs Gehäuse:
| |
| {| class="wikitable"
| |
| |-
| |
| | System
| |
| | System
| |
| |
| |
| |
| |
| |-
| |
| | Storage
| |
| | leer
| |
| | leer
| |
| | leer
| |
| |-
| |
| | Storage
| |
| | leer
| |
| | leer
| |
| | leer
| |
| |}
| |
| | |
| === Systemplatten ===
| |
| | |
| Sind die beiden internen 2.5"-Platten (KINGSTON SEDC600M1920G und SAMSUNG MZ7L31T9HBLT-00A07).
| |
| | |
| * 1. Partition: ESP
| |
| * 2. Partition: frei
| |
| * 3. Partition: RAID 1 für /
| |
| * 4. Partition: RAID 1 für VMs (darin LUKS und LVM/VG <tt>vm</tt> welche wiederum LVs für die einzelnen VMs enthält)
| |
| | |
| === Storage ===
| |
| | |
| Zwei 16TB-Platten (TOSHIBA HDWG31G und ST16000NM000J-2TW103), auf denen sich jeweils ein LUKS-Container (<tt>/dev/mapper/storage?</tt>) befindet, die an die VM {{H|fileserver}} durchgereicht werden.
| |
| | |
| == Netzwerk ==
| |
| | |
| Von hinten betrachtet hat das Mainboard drei Netzwerkinterfaces.
| |
| | |
| * Oben links: IPMI
| |
| * Oben rechts: eth0
| |
| * Unten rechts: eth1
| |
| | |
| Das IPMI-Interface ist vom Betriebssystem aus nicht sichtbar. Die anderen beiden sind als bond0 per LACP / 802.3ad zusammengefasst. IP/IPv6 ist darauf nicht konfiguriert.
| |
| | |
| Aus bond0 fällt VLAN 1 (Management) untagged raus, die VLANs 3-5 tagged. VLAN 2 (WAN) ist nicht erreichbar.
| |
| Alle weiteren Interfaces sind Bridges auf Basis von bond0.
| |
| | |
| {| class="wikitable sortable"
| |
| |-
| |
| ! Interface !! IP !! libvirt-Name !! Beschreibung
| |
| |-
| |
| | br0 || 192.168.0.9 (statisch) || management || Direkte Verbindung zu bond0, d.h. VLAN 1
| |
| |-
| |
| | br1 || — || — || VLAN 1 auf bond0
| |
| |-
| |
| | br3 || 172.22.26.11 (DHCP) || default || VLAN 3 auf bond0
| |
| |-
| |
| | br4 || — || freifunk-mesh || VLAN 4 auf bond0
| |
| |-
| |
| | br5 || — || freifunk-client || VLAN 5 auf bond0
| |
| |-
| |
| | br21 || — || — || VLAN 21 auf bond0
| |
| |}
| |
| | |
| Die Bridges br1, br4 und br5 werden ausschließlich für VMs verwendet. IPv6 ist dort per <tt>/etc/sysctl.d/ipv6.conf</tt> aus, IPv4 per <tt>/etc/network/interfaces</tt>. Auf br3 und br21 läuft zwar IPv6, es werden aber keine Router Advertisements akzeptiert (damit alles per br3 über das normale Access-Netz rausgeht und public IPv6 überhaupt funktioniert).
| |
| | |
| == Virtuelle Maschinen ==
| |
| {{#ask: [[Has location::Host:Helios]] [[Host:+]]
| |
| | ?Hostname
| |
| | ?Operating System
| |
| | ?Disk size
| |
| | ?RAM size
| |
| | ?Has admins = Admins
| |
| }}
| |
| | |
| === VM anlegen ===
| |
| | |
| Zum Beispiel ein Debian Stretch im Access VLAN mit 1GiB RAM und 20GB Festplatte:
| |
| | |
| <nowiki>virt-install --connect qemu+ssh://helios.chaosdorf.space/system -n testvm --memory 1024 --network network=default --cpu host --boot uefi --os-variant debian12 -l http://ftp.de.debian.org/debian/dists/stable/main/installer-amd64/ --disk pool=vmstorage,size=20</nowiki>
| |
| | |
| Falls vorhanden, kann eine preseed-Konfiguration mit <tt>--initrd-inject</tt> berücksichtigt werden.
| |
| | |
| === Snapshots ===
| |
| | |
| Am Beispiel des Dockerserver
| |
| | |
| * VM herunterfahren (→ Konsistenter Dateisystemzustand)
| |
| * <tt>sudo lvcreate --snapshot --size 250g --name dockerserver-backup vmstorage/dockerserver</tt> (Größe anhand des erwarteten Schreibumfangs auf dem per Snapshot gesicherten Volume anpassen)
| |
| * VM starten, Dinge tun (z.B. komplexeres Dist-Upgrade)
| |
| * Wenn erfolgreich: <tt>sudo lvremove vmstorage/dockerserver-backup</tt>
| |
| * Andernfalls Rollback: VM herunterfahren, <tt>sudo lvconvert --merge vmstorage/dockerserver-backup</tt>, VM wieder starten
| |
| | |
| == IPMI ==
| |
| | |
| Ist das Interface links und sehr seriös. Als grundlegender Alias empfiehlt sich
| |
| helios-ipmi='ipmitool -I lanplus -H helios-ipmi.chaosdorf.dn42 -U meinnick -f datei/mit/passwort'
| |
| | |
| ipmitool benutzt wenn möglich IPv6. Nach Änderungen an der VLAN-Config ist das IPMI-Interface teils nur noch per IPv4 erreichbar, dann muss helios-ipmi.chaosdorf.dn42 durch die entsprechende IPv4-Adresse ersetzt werden. Eigentlich sollte das nicht passieren, da das IPMI-Interface an einem eigenen Switchport hängt, der von den sonstigen Änderungen unabhängig ist — Irgendwas ist da aber komisch™.
| |
| | |
| Nützliche Befehle sind unter anderem:
| |
| | |
| * Watchdogstatus auslesen: <tt>helios-ipmi bmc watchdog get</tt>
| |
| * Watchdog ausschalten (falls z.B. ein neues System installiert wird): <tt>helios-ipmi bmc watchdog off</tt>
| |
| * Serielle Konsole: <tt>helios-ipmi sol activate</tt>
| |
| * System an-/ausschalten/neustarten: <tt>helios-ipmi power on/off/cycle</tt>
| |
| | |
| === Serial over LAN ===
| |
| | |
| ttyS1 ist per IPMI nutzbar. BIOS geht darüber auch. Grub und Kernel sind vermutlich so konfiguriert, dass sie ausschließlich mit der seriellen IPMI-Konsole (und nicht mit einem angeschlossenen Monitor) reden.
| |
| | |
| === Watchdog ===
| |
| | |
| Das Mainboard hat einen IPMI (SMS/OS) Watchdog. Der Daemon '''bmc-watchdog''' setzt diesen alle 60 Sekunden zurück. Falls er nicht läuft, wird automatisch nach 15 Minuten ein hard reset ausgelöst.
| |
