Host:Vm: Difference between revisions

From Chaosdorf Wiki
(update)
No edit summary
 
(16 intermediate revisions by 4 users not shown)
Line 1: Line 1:
{{Host
{{Host
|name=vm.chaosdorf.dn64
|name=vm.chaosdorf.de
|image=HP SE1220.jpg
|os=Debian 12 amd64
|os=Debian jessie amd64
|location=PlusServer
|location=OpenIT
|purpose=VM-Host
|purpose=VM-Host
|disk=146GB
|disk=1.8TB
|ram=48GiB
|ram=128GiB
|admin_toolkit=Yes
|admin_toolkit=No
|ssh_root_keys=/var/cache/ssh
|ssh_root_keys=~/.ssh
|ssh_pam=No
|ssh_pam=No
|ssh_userlogin=No
|ssh_userlogin=No
|ownership=club
|admins=byte, derf, feuerrot
|admins=byte, derf, feuerrot
}}
}}
 
Steht seit dem 6.6.2023 im PlusServer-Rechenzentrum in [https://www.openstreetmap.org/#map=18/51.18761/6.86670 Düsseldorf]. Historisch handelt es sich um ein offenes Rack für befreundete Vereine bei OpenIT, inzwischen laufen wir bei PlusServer als Legacy-Vertrag. Das Hosting ist kostenfrei, wir zahlen lediglich den Zeitaufwand für Hands-On-Termine.
Bisherige Fakten:
 
* Netzwerk kommt nicht auf die Onboardports (wegen eines Silikonunfalls), sondern auf den von hinten gesehen linken und mit "WAN" gelabelten der beiden Extraports oben rechts


== Hardware ==
== Hardware ==


* System: 2HE [https://www.servershop24.de/server/hp/se-serie/se326m1/ HP ProLiant SE326M1 (DL180G6/SE1220)]
* System: 1HE Dell R630
* CPU: [http://ark.intel.com/products/47922/Intel-Xeon-Processor-X5650-12M-Cache-2_66-GHz-6_40-GTs-Intel-QPI Intel Xeon X5650] (x2)
* CPU: 2x Intel Xeon E5-2640 v3
* RAM: 48GB DDR3-1333 ECC
* RAM: 128GB
* HDD: 146GB 10K 2.5" SFF SAS (x4)
* HDD: 4x 1,8TB SSD
* RAID Controller: HP Smart Array P410 (wird von <tt>check_raid</tt> unterstützt, Statusinformationen gibts ansonsten mit <tt>cciss_vol_status /dev/sg1</tt>)
* iDRAC: Vorhanden und mit einem Edge Router Lite verbunden → nur per SSH-Jumphost oder Wireguard erreichbar
* Ethernet: 2x1Gbit/s onboard und 2x1Gbit/s PCIe. Verwendet wird der linke Port der PCIe-Karte, dieser ist auch mit LAN gelabelt. Die onboard-Ports können/sollten wegen eines Silikonunfalls im Clubraum nicht verwendet werden
* iLOM: Vorhanden, bisher noch nicht eingerichtet. Es gibt die Option, es in ein VLAN mit Source IP-Filter zu hängen


== Festplattenaufteilung ==
== Festplattenaufteilung ==


Das System hat Platz für 25 SAS-Festplatten. (5 Spalten zu je 5 Festplatteneinschüben). Wir verwenden derzeit nur die ersten vier Einschübe. Es sind je zwei Festplatten vom Controller in Hardware zu einem RAID 1 zusammengefasst — Das Betriebssystem sieht nur <tt>sda</tt> und <tt>sdb</tt>.
Wir verwenden 4 von 8 Festplatteneinschüben. Die SSDs werden durchgereicht und einzelne Partitionen darauf mittels mdraid verwaltet.
 
Auf <tt>sda1</tt> liegt ein Physical Volume für LVM, weitere Partitionen gibt es nicht.
In der Volume Group gibt es zwei Volumes für jede VM: Einmal Swap, einmal normal. Jedes Volume ist ein eigener dm-crypt-Container. Zusätzlich gibt es ein Volume für <tt>/</tt> des VM-Hosts selbst, hier liegt ohne Crypto direkt ein ext4.
 
<tt>sdb</tt> wird derzeit nicht verwendet. Neue VMs werden darauf landen.
 
=== Keyslots ===
 
''TODO'': Updaten
 
==== /dev/mapper/vg-backend ====


2. derf
* sd[abcd]1: RAID 1 für /boot/efi
4. mxey
* sd[abcd]2: RAID 1 für /boot
5. byte
* sd[abcd]3: RAID 5 für LUKS


=== /dev/mapper/vg-extern ===
Das LUKS-Volume stellt ein LVM Physical Volume für eine Volume Group dar, die sowohl ein Logical Volume für / als auch LVs für unsere VMs enthält. Derzeit (11.6.) haben feuerrot und derf LUKS-Keys eingerichtet.
 
2. derf
4. mxey
5. byte
 
==== /dev/mapper/vg-intern ====
 
2. derf
4. mxey
5. byte
 
==== /dev/mapper/vg-shells ====
 
0. Alter Adminkey
2. derf
4. mxey
5. byte


== Virtualisierung ==
== Virtualisierung ==
Line 76: Line 43:
(`/etc/network/interfaces`) gemacht.
(`/etc/network/interfaces`) gemacht.


Zum Starten der VMs wird das Skript `/root/bin/start-vm`
Zum Starten der VMs wird eventuell noch das Skript `/root/bin/start-vm`
verwendet. Dieses öffnet die dm-crypt-Container, startet die VMs und
verwendet. Dieses öffnet die dm-crypt-Container, startet die VMs und
verbindet sich in einer screen-Sitzung mit den seriellen Konsolen.
verbindet sich in einer screen-Sitzung mit den seriellen Konsolen.
Line 84: Line 51:
Nach Update: ferm-Regeln neu einlesen.
Nach Update: ferm-Regeln neu einlesen.


= Routing und Paketfilter =
= IP =


Zu beachten ist, dass OpenIT unser Subnet nicht zu uns routet, sondern
Wir haben drei Netze aus dem IP Range von OpenIT/PlusServer
alle IPs direkt in unserem LAN-Segment erwartet. Damit die VMs von
 
außen erreichbar sind verwenden wir deswegen Proxy ARP.
* 217.69.82.240/29 (IPv4 Access)
* 2001:aa8:fff5::/64 (IPv6 Access)
* 2001:aa8:ffff:2::fff5:0/112 (IPv6 Routing)
 
217.69.82.240/29 und 2001:aa8:ffff:2::fff5:0/112 werden nicht geroutet, sondern direkt in unserem VLAN am Switchport erwartet. Damit die VMs von außen per IPv4 erreichbar sind, verwenden wir Proxy ARP.


Traffic zwischen Internet und Server sowie zwischen den VMs wird mit
Traffic zwischen Internet und Server sowie zwischen den VMs wird mit
Line 104: Line 75:
}}
}}


== Kontakt zu OpenIT ==
== Kontakt zu PlusServer ==
 
Nur per Online-Ticketsystem, die Details ändern sich mit erstaunlicher Regelmäßigkeit. derf weiß meist mehr.


{{Mailto|support@openit.de}}
[https://www.plusserver.com/kontakt https://www.plusserver.com/kontakt]


[[Category:Administration]]
[[Category:Administration]]

Latest revision as of 07:45, 11 June 2023

vm.chaosdorf.de
Ort PlusServer
Zweck VM-Host
OS Debian 12 amd64
Disks 1.8TB1,800 GB <br />1,800,000 MB <br />1,800,000,000 kB <br />
RAM 128GiB131,072 MiB <br />134,217,728 kiB <br />137,438,953,472 B <br />0.125 TiB <br />137,438.953 MB <br />
Admin-Toolkit No
ssh key path ~/.ssh
PAM? No
SSH user login? No
Besitzstatus Club-Eigentum
Admins byte, derf, feuerrot

Steht seit dem 6.6.2023 im PlusServer-Rechenzentrum in Düsseldorf. Historisch handelt es sich um ein offenes Rack für befreundete Vereine bei OpenIT, inzwischen laufen wir bei PlusServer als Legacy-Vertrag. Das Hosting ist kostenfrei, wir zahlen lediglich den Zeitaufwand für Hands-On-Termine.

Hardware[edit source]

  • System: 1HE Dell R630
  • CPU: 2x Intel Xeon E5-2640 v3
  • RAM: 128GB
  • HDD: 4x 1,8TB SSD
  • iDRAC: Vorhanden und mit einem Edge Router Lite verbunden → nur per SSH-Jumphost oder Wireguard erreichbar

Festplattenaufteilung[edit source]

Wir verwenden 4 von 8 Festplatteneinschüben. Die SSDs werden durchgereicht und einzelne Partitionen darauf mittels mdraid verwaltet.

  • sd[abcd]1: RAID 1 für /boot/efi
  • sd[abcd]2: RAID 1 für /boot
  • sd[abcd]3: RAID 5 für LUKS

Das LUKS-Volume stellt ein LVM Physical Volume für eine Volume Group dar, die sowohl ein Logical Volume für / als auch LVs für unsere VMs enthält. Derzeit (11.6.) haben feuerrot und derf LUKS-Keys eingerichtet.

Virtualisierung[edit source]

Die virtuellen Machinen werden mit QEMU/KVM betrieben und von libvirt verwaltet. Die Netzwerkanbindung ist über Point-to-Point realisiert, damit der Traffic zwischen den VMs sich bequem filtern lässt. Netz und Disk via virtio.

Auf Hostseite wird die Netzkonfiguration mit ifupdown (`/etc/network/interfaces`) gemacht.

Zum Starten der VMs wird eventuell noch das Skript `/root/bin/start-vm` verwendet. Dieses öffnet die dm-crypt-Container, startet die VMs und verbindet sich in einer screen-Sitzung mit den seriellen Konsolen.

libvirt-Update[edit source]

Nach Update: ferm-Regeln neu einlesen.

IP[edit source]

Wir haben drei Netze aus dem IP Range von OpenIT/PlusServer

  • 217.69.82.240/29 (IPv4 Access)
  • 2001:aa8:fff5::/64 (IPv6 Access)
  • 2001:aa8:ffff:2::fff5:0/112 (IPv6 Routing)

217.69.82.240/29 und 2001:aa8:ffff:2::fff5:0/112 werden nicht geroutet, sondern direkt in unserem VLAN am Switchport erwartet. Damit die VMs von außen per IPv4 erreichbar sind, verwenden wir Proxy ARP.

Traffic zwischen Internet und Server sowie zwischen den VMs wird mit Netfilter kontrolliert, wobei die Regeln durch ferm generiert werden. Wir filtern sowohl eingehend mit Rate-Limiting als auch ausgehend.


Virtuelle Maschinen[edit source]

 HostnameOperating SystemDisk sizeRAM size
Backendbackend.chaosdorf.deDebian 9 amd6440 GB40,000 MB <br />40,000,000 kB <br />0.04 TB <br />2,048 MiB2,097,152 kiB <br />2,147,483,648 B <br />2 GiB <br />0.00195 TiB <br />2,147.484 MB <br />
Dashboarddashboard.chaosdorf.deDebian 12 amd6416 GB16,000 MB <br />16,000,000 kB <br />0.016 TB <br />4,096 MiB4,194,304 kiB <br />4,294,967,296 B <br />4 GiB <br />0.00391 TiB <br />4,294.967 MB <br />
Externextern.chaosdorf.deDebian 11 amd6440 GB40,000 MB <br />40,000,000 kB <br />0.04 TB <br />4,096 MiB4,194,304 kiB <br />4,294,967,296 B <br />4 GiB <br />0.00391 TiB <br />4,294.967 MB <br />
Gitgit.chaosdorf.deDebian 12 amd6450 GB50,000 MB <br />50,000,000 kB <br />0.05 TB <br />8,192 MiB8,388,608 kiB <br />8,589,934,592 B <br />8 GiB <br />0.00781 TiB <br />8,589.935 MB <br />
Internintern.chaosdorf.deDebian 11 amd64100 GB100,000 MB <br />100,000,000 kB <br />0.1 TB <br />4,096 MiB4,194,304 kiB <br />4,294,967,296 B <br />4 GiB <br />0.00391 TiB <br />4,294.967 MB <br />
Shellsshells.chaosdorf.deDebian 12 amd64100 GB100,000 MB <br />100,000,000 kB <br />0.1 TB <br />2,048 MiB2,097,152 kiB <br />2,147,483,648 B <br />2 GiB <br />0.00195 TiB <br />2,147.484 MB <br />
Wikijswikijs.chaosdorf.deDebian 11 amd6430 GB30,000 MB <br />30,000,000 kB <br />0.03 TB <br />4,096 MiB4,194,304 kiB <br />4,294,967,296 B <br />4 GiB <br />0.00391 TiB <br />4,294.967 MB <br />

Kontakt zu PlusServer[edit source]

Nur per Online-Ticketsystem, die Details ändern sich mit erstaunlicher Regelmäßigkeit. derf weiß meist mehr.

https://www.plusserver.com/kontakt

Retrieved from "https://wiki.chaosdorf.de/index.php?title=Host:Vm&oldid=30036"