openUTM verwendet zum Verschlüsseln entweder eine Kombination aus RSA Verfahren (benannt nach den Autoren Rivest, Shamir und Adleman) und AES-CBC Verfahren (Advanced Encryption Standard Cipher Block Chaining Mode), oder eine Kombination aus Ephemeral Elliptic Curve Diffie-Hellman Verfahren (ECDHE) und AES-GCM Verfahren (Advanced Encryption Standard Gallois Counter Mode). Die zweite Kombination ist moderner und bietet eine erhöhte Sicherheit im Vergleich zu der erstgenannten Kombination, wird von openUTM z.Zt. aber nur für Unix-, Linux- und Windows-Systeme unterstützt.
RSA-AES-CBC Verfahren
Bei der Kombination RSA-AES-CBC wird der AES-Schlüssel vor der Übertragung mit dem öffentlichen RSA-Schlüssel der UTM-Anwendung verschlüsselt. Dazu erzeugt openUTM bei der Generierung ein RSA-Schlüsselpaar, das aus einem öffentlichen und einem geheimen privaten Schlüssel besteht.
Für eine UTM-Anwendung können RSA-Schlüssel mit einer Länge von 1.024 und/oder 2.048 Bits erzeugt werden.
Vom BSI wird empfohlen RSA-Schlüssel mit einer Länge von mindestens 2.000 Bits zu verwenden.
- Der öffentliche RSA-Schlüssel wird beim Aufbau der Verbindung von der UTM-Anwendung zu dem Client übertragen. Um Man-in-the-Middle (MiM) Angriffe auf die Kommunikation zu verhindern, sollte ein Anwender zusätzlich den öffentlichen RSA-Schlüssel der Anwendung per Administration auslesen, auf getrenntem Weg zu dem Client übertragen und dort in die Client-Konfiguration eintragen.
- Der Client erzeugt für jede neue Verbindung einen neuen 128 Bits langen AES-Schlüssel, verschlüsselt diesen mit dem öffentlichen RSA-Schlüssel und überträgt ihn so an die UTM-Anwendung. Der AES-Schlüssel ist verbindungsspezifisch, d.h. es wird für jede Verbindung ein eigener Schlüssel erzeugt und dieser wird nur für diese eine Verbindung verwendet.
- Die UTM-Anwendung entschlüsselt den AES-Schlüssel mit Hilfe des privaten RSA-Schlüssels.
Benutzerdaten und Passwörter werden mit dem symmetrischen AES-Schlüssel verschlüsselt, d.h. Client und UTM-Anwendung verwenden denselben AES-Schlüssel zum Verschlüsseln und Entschlüsseln der Nachrichten.
ECDHE-RSA-AES-GCM Verfahren (nur für Unix-, Linux- und Windows-Systeme)
Bei der Kombination ECDHE-RSA-AES-GCM wird zur Vereinbarung des AES-Schlüssels das auf Elliptischen Kurven basierende Diffie-Hellman Verfahren verwendet. Dabei erzeugt jede Seite ein Diffie-Hellman Schlüsselpaar, überträgt den öffentlichen Teil seines Schlüsselpaars an den Partner und erzeugt aus seinem privaten Schlüssel und dem öffentlichen Schlüssel des Partners den gemeinsamen AES-Session-Schlüssel. D.h. bei diesem Verfahren wird der AES-Schlüssel nicht auf der Datenverbindung übertragen.
Der Server signiert den von ihm erzeugten öffentlichen Diffie-Hellman-Schlüssel mit dem privaten RSA-Schlüssel der UTM-Anwendung. Auf diese Weise kann der Client überprüfen, dass der gesendete öffentliche Diffie-Hellman-Schlüssel des Servers wirklich von der UTM-Anwendung stammt. Auch hier ist es, wie schon oben beschrieben, zur Abwehr von Man-in-the-Middle Angriffen erforderlich, dass der öffentliche RSA-Schlüssel dem Client zusätzlich auf getrenntem Weg bekannt gemacht wird.
Das Ephemeral Diffie-Hellman Verfahren bietet dem Anwender Perfect Forward Secrecy; das bedeutet, dass auch aufgezeichnete Daten nicht nachträglich entschlüsselt werden können, falls der Long-Term-Schlüssel (RSA-Schlüssel) später kompromittiert werden sollte.
Zur Verschlüsselung von Benutzerdaten wird das AES-GCM Verfahren eingesetzt. Dieses Verfahren hat gegenüber AES-CBC u.a. den Vorteil, dass es Authenticated Encryption with Associated Data (AEAD) unterstützt, bei dem die verschlüsselte Benutzernachricht und die weiteren Protokollteile der Nachricht durch einen Message Authentication Code (MAC) gegen Veränderungen geschützt werden.
Passwörter werden wie bei dem oben beschriebenen Verfahren mit AES-CBC verschlüsselt.