Host:Helios

From Chaosdorf Wiki
Jump to: navigation, search
helios.chaosdorf.space
Helios.jpg
almighty server
Ort Serverraum
Zweck virtualization host
OS Debian 9 (stretch)
Disks 20TB
20,000 GB
20,000,000 MB
20,000,000,000 kB
RAM 32GiB
32,768 MiB
33,554,432 kiB
34,359,738,368 B
0.0313 TiB
34,359.738 MB
Admin-Toolkit Yes
PAM? Yes
SSH user login? No
Besitzstatus Club-Eigentum
Benutzung Nachfragen
Admins derfx, bytex, nomasterx, uenx, feuerrotx
NetBox ID 17

Großer mächtiger VM-Host für Clubrauminfrastruktur und Projekte. War im Juni und Juli 2017 defekt, ein Teil der Dienste befindet sich daher noch auf dem ARM Cluster.

Hardware[edit]

  • Mainboard: ASRock Mini-ITX mit 12x SATA
  • CPU: Intel Atom C2750 (Avoton) 8-Core
  • Storage: 10 3,5" Festplatten, 20TB
  • RAM: 4x 8GB DDR3 1600MHz ECC
  • Gehäuse: Chenbro 19" 2HE mit 8 3,5" Festplatteneinschüben
  • Netzteil: 400W EPS Green

Storage[edit]

Das Gehäuse bietet Platz für 10 SATA-Platten, davon 2 intern (2.5") und 8 in Festplattenschächten (3.5").

Layout bei Aufsicht aufs Gehäuse:

System System
VMs Storage Storage Storage
VMs Storage Storage Storage

Systemplatten[edit]

Sind die beiden internen 2.5"-Platten. Jeweils 1TB Western Digital Red (WDC WD10JFCX-68N6GN0). Auf beiden Platten befinden sich aus historischen Gründen™ vier Partitionen á 250GB, die wie folgt genutzt werden.

  • 1. Partition: RAID 1 für /
  • 2. Partition: RAID 1 für backup-VG
  • 3. Partition: RAID 1 für backup-VG
  • 4. Partition: RAID 1 für backup-VG

VM-Platten[edit]

  • VMs1: Hitachi Deskstar 7K2000 HDS722020ALA330 (wwn-0x5000cca222c96707)
  • VMs2: Hitachi Deskstar 7K2000 HDS722020ALA330 (wwn-0x5000cca221c5cc76)

Jeweils 2TB Hitachi Deskstar 7K2000 (HDS722020ALA330). Darauf liegt ein RAID1 für die VG vmstorage, welche wiederum LVs für die einzelnen VMS enthält.

Storage[edit]

RAID 6 aus vier 2TB- und zwei 3TB-Platten (von denen nur je 2TB genutzt werden), d.h. insgesamt 12TB brutto. Davon stehen 8TB für Nutzdaten zur Verfügung (und bis zu zwei Festplatten können ohne Datenverlust ausfallen). Auf dem RAID befindet sich ein LUKS-Container (/dev/mapper/storage), welcher an die VM fileserverx durchgereicht wird.

Netzwerk[edit]

Von hinten betrachtet hat das Mainboard drei Netzwerkinterfaces.

  • Oben links: IPMI
  • Oben rechts: eth0
  • Unten rechts: eth1

Das IPMI-Interface ist vom Betriebssystem aus nicht sichtbar. Die anderen beiden sind als bond0 per LACP / 802.3ad zusammengefasst. IP/IPv6 ist darauf nicht konfiguriert.

Aus bond0 fällt VLAN 1 (Management) untagged raus, die VLANs 3-5 tagged. VLAN 2 (WAN) ist nicht erreichbar. Alle weiteren Interfaces sind Bridges auf Basis von bond0.

Interface IP libvirt-Name Beschreibung
br0 192.168.0.9 (statisch) management Direkte Verbindung zu bond0, d.h. VLAN 1
br1 VLAN 1 auf bond0
br3 172.22.26.11 (DHCP) default VLAN 3 auf bond0
br4 freifunk-mesh VLAN 4 auf bond0
br5 freifunk-client VLAN 5 auf bond0
br21 VLAN 21 auf bond0

Die Bridges br1, br4 und br5 werden ausschließlich für VMs verwendet. IPv6 ist dort per /etc/sysctl.d/ipv6.conf aus, IPv4 per /etc/network/interfaces. Auf br3 und br21 läuft zwar IPv6, es werden aber keine Router Advertisements akzeptiert (damit alles per br3 über das normale Access-Netz rausgeht und public IPv6 überhaupt funktioniert).

Virtuelle Maschinen[edit]

 HostnameOperating SystemDisk sizeRAM sizeAdmins
DockerserverdockerserverDebian 9.5250 GB
250,000 MB
250,000,000 kB
0.25 TB
4,096 MiB
4,194,304 kiB
4,294,967,296 B
4 GiB
0.00391 TiB
4,294.967 MB
nomaster
ytvwld
Dorfmapserverdorfmapserver.chaosdorf.dn42Debian Sid48 GB
48,000 MB
48,000,000 kB
0.048 TB
1,024 MiB
1,048,576 kiB
1,073,741,824 B
1 GiB
9.765625e-4 TiB
1,073.742 MB
derf
marudor
Fileserverfileserver.chaosdorf.dn42Arch Linux8,000 GB
8,000,000 MB
8,000,000,000 kB
8 TB
1,024 MiB
1,048,576 kiB
1,073,741,824 B
1 GiB
9.765625e-4 TiB
1,073.742 MB
derf
nomaster
Mqttservermqttserver.chaosdorf.spaceDebian Testing16 GB
16,000 MB
16,000,000 kB
0.016 TB
512 MiB
524,288 kiB
536,870,912 B
0.5 GiB
4.882813e-4 TiB
536.871 MB
feuerrot
RadiusserverthalassaGentoo10 GB
10,000 MB
10,000,000 kB
0.01 TB
1,024 MiB
1,048,576 kiB
1,073,741,824 B
1 GiB
9.765625e-4 TiB
1,073.742 MB
uen
dictvm
SeekseekGentoo16 GB
16,000 MB
16,000,000 kB
0.016 TB
1,536 MiB
1,572,864 kiB
1,610,612,736 B
1.5 GiB
0.00146 TiB
1,610.613 MB
uen
SentryserverSentryserverUbuntu 16.04 LTS16 GB
16,000 MB
16,000,000 kB
0.016 TB
2,048 MiB
2,097,152 kiB
2,147,483,648 B
2 GiB
0.00195 TiB
2,147.484 MB
YtvwlD
Vpnservervpnserver.chaosdorf.dn42Debian Sid10 GB
10,000 MB
10,000,000 kB
0.01 TB
512 MiB
524,288 kiB
536,870,912 B
0.5 GiB
4.882813e-4 TiB
536.871 MB
derf
feuerrot

VM anlegen[edit]

Zum Beispiel ein Debian Stretch im Access VLAN mit 1GiB RAM und 20GB Festplatte:

   virt-install --connect qemu+ssh://helios/system -n testvm --memory 1024 --network network=default --cpu host --os-variant debian9 -l http://ftp.de.debian.org/debian/dists/stable/main/installer-amd64/ --disk pool=vmstorage,size=20

Falls vorhanden, kann eine preseed-Konfiguration mit --initrd-inject berücksichtigt werden.

IPMI[edit]

Ist das Interface links und sehr seriös. Als grundlegender Alias empfiehlt sich

   helios-ipmi='ipmitool -I lanplus -H helios-ipmi.chaosdorf.dn42 -U meinnick -f datei/mit/passwort'

ipmitool benutzt wenn möglich IPv6. Nach Änderungen an der VLAN-Config ist das IPMI-Interface teils nur noch per IPv4 erreichbar, dann muss helios-ipmi.chaosdorf.dn42 durch die entsprechende IPv4-Adresse ersetzt werden. Eigentlich sollte das nicht passieren, da das IPMI-Interface an einem eigenen Switchport hängt, der von den sonstigen Änderungen unabhängig ist — Irgendwas ist da aber komisch™.

Nützliche Befehle sind unter anderem:

  • Watchdogstatus auslesen: helios-ipmi bmc watchdog get
  • Watchdog ausschalten (falls z.B. ein neues System installiert wird): helios-ipmi bmc watchdog off
  • Serielle Konsole: helios-ipmi sol activate
  • System an-/ausschalten/neustarten: helios-ipmi power on/off/cycle

Serial over LAN[edit]

ttyS1 ist per IPMI nutzbar. BIOS geht darüber auch.

Watchdog[edit]

Das Mainboard hat einen IPMI (SMS/OS) Watchdog. Der Daemon bmc-watchdog setzt diesen alle 60 Sekunden zurück. Falls er nicht läuft, wird automatisch nach 15 Minuten ein hard reset ausgelöst.

Verstärkersteuerung[edit]

Per USB ist die Verstärkerschaltung angeschlossen. Zur Anbindung an die Lichtsteuerung läuft ein Netzwerkdienst per systemd, der auf Port 1338 Befehle an die Schaltung weiterleitet. Es handelt sich dabei um das graue USB-Kabel.

Abgesehen von der Fernsteuerung und einem munin-Graphen enthält der Host keine Steuerlogik für die Verstärker.