Server-Migration 2009

Einleitung

Die derzeitige Situation (Stand Juli 2009) der am IBR betriebenen Netzwerkdienste stößt zunhemend an ihre Grenzen. Dies betrifft einerseits die eingsetzte Hardware (Filesystem-Kapazitäten, I/O-Leistung während des Backups), vor allem aber den Stand der betriebenen Software (Debian "Sarge", seit einigen Monaten nicht mehr offiziell vom Debian Projekt unterstützt) und verschiedene Aspekte der Konfiguration.

In der veranstaltungsfreien Zeit zwischen Sommer- und Wintersemester 2009 (bis zum 18. Oktober) sollen nun (möglichst) sämtliche Dienste auf einen neuen Server mit besserer Hardware-Ausstattung und betrieben mit einem aktuellen Debian "Lenny" System migriert werden. Dies wird schrittweise für verschiedene Teilbereiche geschehen (Fileserver, Verzeichnisdienste, verschiedene Web-Server, DNS, Druckserver, verschiedene Maildienste, etc.). Dabei wird es einerseits zu Unterbrechungen kommen (aufwändigere Umstellungen werden nach Möglichkeit früh morgens, spät nachmittags bis abends oder an Wochenenden stattfinden). Andererseits werden zahlreiche Dienstemigrationen auch mit teils wesentlichen auch für die Benutzer bedeutsamen Veränderungen (Verbesserungen?:-)) einhergehen. Authentisierungsmechanismen werden teilweise zugunsten von sichereren oder komfortableren Techniken (Kerberos, RADIUS, ...) ersetzt. Zugriffskontrollmaßnamen werden verfeinert. Manche Veränderungen werden den Benutzern auch Anpassungsmaßnahmen abverlangen (z.B. wird die neue Trac-Version ein neues Template-Verfahren verwenden). Einzelne wesentliche Schritte werden hier nach und nach dokumentiert. Aufgund der sehr großen Menge an Diensten, Konfiguration und deren Verknüpfungen wird vielleicht nicht alles auf Anhieb so glatt laufen, wie wir uns das wünschen würden. Dafür bitte ich schon vorab um Verständnis. In solchen Fällen ist es ratsam, frühzeitig eine Mail an Frank Steinberg zu schreiben, so dass hilfreiche Informationen hier ergänzt werden können.

Geplante und durchgeführte Maßnahmen

Parallele Bereitstellung neuer Verzeichnis- und Auth-Dienste

Bereits seit einigen Wochen laufen Kerberos- und LDAP-Dienste auf dem neuen Server. Diese werden nach Abschluss der Migrationen die alten NIS- und LDAP-Dienste komplett ersetzen. Im Laufe der Zeit können noch Änderungen an den verwendeten Schemas oder andere Maßnahmen erforderlich werden. Grundlegende Idee ist es, möglichst viele (alle?) wesentlichen Informationen über Benutzer, Gruppen, Hosts und NFS-Volumes (und ggf. künftig weitere Daten) hier verfügbar zu machen und - das ist neu - hier (in unbestimmter Zukunft) auch zu verwalten, so dass beispielsweise auch Mitarbeiter in gewissen Grenzen Daten ihrer eigenen Hosts oder ihrer betreuten Studenten im LDAP verändern können und dass diese Änderungen auch sofort wirksam werden. Dazu greifen viele Dienste direkt auf LDAP zu. Für andere Dienste ohne LDAP-Anbindung sorgen LDAP-Trigger-Skripte für Ableitungen neuer Konfigurationen. Hier muss allerdings noch einiges programmiert werden. Dies soll die bisherige "XCM"-Konfiguration ablösen.

HOME-Filesysteme / Samba-Server - 15./16. August

Hier müssen knapp zwei TB bewegt und zahlreiche Clients angepasst werden. Während der Migration muss der Zugriff komplett abgeschaltet werden.

Der Samba-Server wird ebenfalls umziehen und aktualisiert.

Schon jetzt sollten insbesondere die Benutzer von y-Accounts, aber auch andere Studierende am IBR, berücksichtigen, dass irgendwann nach der Migration wieder Diskquota aktiviert werden sollen. Benutzer, die in den letzten Monaten ihre Verzeichnisse über Gebühr gefüllt haben, werden dann kräftig aufräumen müssen. Näheres zu gegebener Zeit.

Passworte

Die Zahl der Formate und Orte, in denen Passworte gespeichert werden, wird deutlich sinken: Kerberos-, Samba- und "normale" Passworte werden künftig noch gespeichert, allesamt im LDAP mit ensprechenden Schutzvorrichtungen. Als Benutzer wird man nur noch mit einem Passwort zu tun haben. Die bisherige Option, für unterschiedliche Dienste teilweise unterschiedliche Passworte verwenden zu können, entfällt. Die Web-Schnittstelle zur Änderung des persönlichen Passworts wurde bereits entsprechend umgebaut.

Backup

Backups machen seit geraumer Zeit Sorgen: Die Datenmengen sind so groß, dass das Wegschreiben auf's Band und insbesondere das Archivieren von den Filesystemen viele Stunden täglich in Anspruch nimmt. Eine gewissen Entspannungen erwarten wir von der Umstellung auf folgendes Verfahren: Künftig sollen die zu sichernden Filesystem auf andere Filesysteme synchronisiert werden. Erst von diesen wird dann (in größeren Abständen als bisher) auch regelmäßig auf Bänder gesichert.

Druck-Server

TBD (Access Control für alle Drucker, Einbindung mehrerer GITZ-Drucker)

Künftig werden alle Drucker eine Authentiserung erfordern. Dies ist per IPP möglich. Bei Windows-Clients schien es in der Vergangenheit hiermit Probleme zu geben. In diesem Fall kann auch über Samba gedruckt werden.

Einige Drucker des GITZ werden in unseren CUPS Server eingebunden, um sie bequem nutzen zu können. Dies gilt zumindest für Mitarbeiter, deren Nutzung dann über das Institut abgerechnet wird. Für Studierende muss noch geklärt werden, was hier zur korrekten Abrechnung über das Benutzerkonto des GITZ möglich ist. Auf jeden Fall ist es für Studierende möglich, PS oder PDF zu erzeugen und per SSH von einem GITZ-Host auf einem GITZ-Drucker zu drucken (per Pipe oder nach vorherigem Kopieren).

Maildienste

TBD (SMTP, IMAP, POP, Auth, Mailman, Aliases, Sieve(!), ClamAV, SA, andere Scanner?, ...)

Der künftige SMTP-Server wird für Relaying grundsätzlich eine Authentisierung erfordern. Bisher konnten interne Nutzer auch ohne Authentiserung Mails versenden. Durch zunehmend infizierte Rechner im TU Netz möchten wir aber alles unternehmen, um seltener auf SMTP-Blacklists zu landen.

Die automatisch eingefügten Header der impliziten Spam- und Viren-Untersuchung werden künftig den Debian-Defaults entsprechen (nicht mehr "X-IBRFilter-..."). Existierende SIEVE Scripte werden bei der Migration entsprechend angepasst.

Künftig wird durch Einsatz einer DNS-Blocklist wesentlich mehr Versuche der Mail-Einlieferung bereits vor der Annahme durch unseren Mailserver abgelehnt. Dadurch wird die Last und das UCE Aufkommen voraussichtlich erheblich sinken.

Wie auch der IMAP-Server wird künftig der SIEVE-Server keine Authentisierung mit einer Übertragung des Passwortes im Klartext mehr erlauben. Ggf. muss man als Benutzer daher den SIEVE Client entsprechend neu konfigurieren oder wechseln. Auf radiator (und künftig allen zentral verwalteten Linux Hosts) existiert beispielsweise sieve-connect.

[TBD: Feinheiten beim SpamAssassin: ~/.spamassassin wird berücksichtigt, aber nur für Email-Adressen, die dem Accountnamen entsprechen - nicht für Mail-Aliases!]

Web-Server

TBD (NFS-Pfade, Apache-Version, WebAuth, ...)

(/etc/apache2/*, XCM, xmlidxd, SVN, ibrpasswd Interface, CGI Skripte, smitools, Netguest Interface, VHM, alle Sites(!), DNS(?!!), Nagios (nicht so wichtig), garm(!).)
(Zu viele Sites! - Filesysteme der Sites müssen vorübergehend auf beiden Hosts verfügbar sein. Erst dann DNS-Änderungen veranlassen.)
Einige Sites scheinen gar nicht (mehr) benutzt zu werden. - Leute kontaktieren. (stadtpilot, advest, optracom, pervasive2009, ...)

SVN und Trac

TBD (Entkopplung, Trac Templates, SVN Locks, ...)

Die bisherige Kopplung von SVN und Trac bzgl. Access Control wird aufgegeben. Trac Projekte werden nach dem einmaligen Erzeugen von den entsprechenden IBR-Mitarbeitern selbst verwaltet. Es wird keine "magischen" Veränderungen an der Konfiguration mehr geben. SVN Zugriffsrechte werden aus selbst verwalteten .svnaccess Dateien innerhalb des SVN-Dateibaums abgeleitet (siehe KB-Artikel).

Die künftige SVN Version wird voraussichtlich das schon gelegentlich vermisste explizite Locking unterstützen.

Die künftige Trac Version wird ein ganz neues System für Templates haben. Dadurch wird auch die Projekt-Verwalter, die ein eigenes Template-basiertes Design für ihre Trac-Seiten realisiert haben und dies auch weiterhin haben möchten, einige Arbeit zukommen!

Wireless LAN / Ethernet

Die bisherige Möglichkeit, sich über das Wireless LAN "IBR" oder über "freie" Ethernet-Ports (teilweise mit grünen Kabeln ausgestattet) in ein "Gast-VLAN" (VLAN-ID "ibr-wlan") einzuklinken, wird entfallen! Künftig werden (fast) alle Ports in den Räumen des IBR (inkl. Büros, Labore, Pools) eine einheitliche Port-Konfiguration haben. Ein gewöhnliches einfaches Anschließen wird dann noch keinen IP-Zugang ermöglichen. "EAPOL" bzw. IEEE 802.1x wird eingesetzt werden, um angeschlossene Geräte zu authentisieren. Zentral verwaltete Geräte werden entsprechend konfiguriert. Persönliche Geräte von Studierenden und Mitarbeitern können mit der persönlichen Kennung (user@ibr.cs.tu-bs.de oder user@tu-bs.de) authentisiert werden und erhalten eine entsprechend VLAN-Zuweisung.

...

TBD

Interna (für Benutzer nicht unmittelbar von Bedeutung)

Alle HOME Directories kommen in ein gemeinsames Filesystem. Das erleichtert die NFS Automount Magie. Dann gibt's auch Quota für alle, zumindest theoretisch.

Syslog über's Netz wird zunächst abgeschafft. Insbesondere das Broadcasting ist nicht mehr sinnvoll. Später ggf. syslog-ng o.ä.

Die Nagios Konfiguration wird eigenständiger, nicht mehr vollständig aus XCM/DS abegeleitet.

Ggf. Neuerungen für die SunRay Dienste?

Und vieles mehr: Streaming Server?, Gatekeeper?, SNMP Trap Sink?, tinyproxy?, TFTP!!, FTP?!, Samba!, Nagios, DS/Kerberos für Mac Clients, Sieve!, Radius, LVM, NTP, daapd, caldavd?, Disk Quota Checks/Mails, crontabs, rsyslogd, dnotify/fam für bibitems und radius users, jabberd?, UPS Überwachung, rwhod?, SASL?, snmpd,

TBD

Logbuch

2009-07-29: Noch laufen alle Dienste in der alten Form. Einige der neuen Dienste laufen aber breits zusätzlich (Kerberos, LDAP, Web-Server, DNS-Server, etc.), erfordern jedoch noch mehr oder weniger intensive Anpassungen.

2009-07-30: Der DHCP-Server auf dem Router corona wurde heute durch ein DHCP-Relay ersetzt. Der DHCP-Server läuft nun auf dem neuen Server salvator. Er bezieht die Daten der individuell konfigurierten DHCP-Clients zur Laufzeit aus dem neuen LDAP Verzeichnis.

2009-08-05: Der neue RADIUS-Server ist in Betrieb. Er wird (wie bisher der alte) für die Authentisierung von eduroam Clients an IZ-Access-Points verwendet (sowohl lokal user@ibr.cs.tu-bs.de als auch per Relaying user@any-eduroam-domain). Außerdem sind erste Schritte gemacht, um künftig (fast?) alle Switch-Ports für alle Räume des IBR einheitlich zu konfigurieren und per EAPOL (802.1x) den Zugang zu anderen VLANs zu ermöglichen. Dies ist einerseits Mitarbeitern und Studenten möglich, andererseits zentral verwalteten PCs mit einer entsprechenden Host-Kennung.

2009-08-06: Der NTP-Server ist umgestellt.

2009-08-07: Der TFTP-Server ist umgestellt. Die Ableitung der AccessPoint-Konfigurationen aus dem LDAP ist aber noch nicht realisiert.

2009-08-10: Der CIP-Zugangsrechner garm bootet nun vom neuen Server.

2009-08-10: Der FTP-Server ist auf den neuen Server umgestellt. Auch der mirror, die dazugehörigen NFS exports und das "rfc" Kommando arbeiten nun mit dem neuen Filesystem.

2009-08-11: /ibr/tmp ist umgezogen.

2009-08-15: Die großen Filesysteme (User-Home-Verzeichnisse, /ibr und gemeinsames /usr/local der Linux-Hosts) sind umgezogen. Die zuvor zwei Filesysteme "staff" und "studs" sind nun zu einem ca. 3TB großen Filesystem zusammengelegt, was die "Automount-Magie" deutlich vereinfacht. Diskquotas werden nun für alle User unterstützt, bisher sind aber noch keine Limits konfiguriert. Das wird demnächst für Nicht-Mitarbeiter geschehen. Daten und nun auch Quota-Metadaten werden in Journals verwaltet, so dass Neustarts nach Ausfällen (hoffentlich) nicht mehr mehrere Stunden dauern werden.
Mit diesen Filesystemen ist auch der Samba Server umgezogen. Samba- und NFS-Benutzer sollten beachten, möglichst nicht die kanonischen Hostnamen sondern dienstebasierte Hostnamen zu verwenden: samba.ibr.cs.tu-bs.de und nfs.ibr.cs.tu-bs.de. Die DNS-Daten dieser Namen wurden mit dem Umzug angepasst.
Kleine Änderung im Verhalten des Samba Servers als Domain Controller: Das User Profile wird nun in $HOME/.sambaprofile gespeichert, Das HOME-Volume ist H:, und neu hinzugekommen ist das IBR-Volume I:.

2009-08-18: Die täglichen Backups der wichtigsten Filesysteme laufen nun per rsnapshot auf ein Backup-Filesystem. Dieses Backup-Filesystem kann read-only von allen Benutzern direkt unter /ibr/backup genutzt werden, z.B. wenn versehentlich Dateien gelöscht wurden.

2009-08-19: Der CUPS Server ist umgestellt. Die Liste der Drucker ist wieder auf einem aktuellen Stand. Für jeden Drucker ist nun eine Authentisierung erforderlich.

2009-08-19: Der dict(1) Server ist umgezogen und aktualisiert.