Künstliche Intelligenz im Spiel-Modus: Wie KI das Kartenspiel «Cyber Shield» beherrscht
«Cyber Shield» ist das neue sogenannte Serious Game der Schweizer Armee zur Sensibilisierung und für den Aufbau von Grundverständnis im Bereich Cyber sowie elektromagnetische Sicherheit und Abwehr. Bislang wurde dieses Spiel ausschliesslich mit zeitaufwändigen Mensch-gegen-Mensch-Partien entwickelt und analysiert. Um diesen Prozess zu verbessern, wird aktuell bei armasuisse Wissenschaft und Technologie (W+T) eine künstliche Intelligenz entwickelt, die die Rolle eines oder mehrerer Spieler übernehmen kann.
Matthias Sommer, Operations Research und Systemanalysen bei armasuisse Wissenschaft und Technologie, Stefan Lehmann, Cyber Protection im Projekt Kommando Cyber
Einführung in das Spiel «Cyber Shield»
Cyber Shield ist ein strategisches Zwei-Spieler-Spiel, also1 gegen 1. Das Ziel lautet, den Umfang der eigenen Netzwerke sicher zu erhöhen. Umso robuster die Netzwerke eines Spielers gestaltet sind, desto mehr Punkte sind seine Netzwerke wert. Zahlreiche und heimtückische Cyber-Bedrohungen können eingesetzt werden, um die Netzwerke des Gegners zu schwächen und den Punktewert zu reduzieren. Der erste Spieler, der zu einem beliebigen Zeitpunkt einen Punktestand von 10 oder mehr Punkten erreicht, gewinnt das Spiel sofort. Ein Spieler, der keine Karte ziehen kann oder dessen Punktestand zu irgendeinem Zeitpunkt einen Gesamtwert von −10 oder weniger aufweist, verliert das Spiel sofort. Die Spieler wechseln sich als aktive und passive Spieler ab und ziehen, sobald sie am Zug sind, neue Karten vom eigenen Kartenstapel. Die Karten werden von der Hand ausgespielt und in die Tischmitte im eigenen Netzwerkbereich gespielt. Runde um Runde entstehen immer komplexere Netzwerke und die Bedrohungskulisse nimmt fortlaufend zu: ein unerbittlicher Wettlauf.
Problemstellung
Eine Schwierigkeit bei der Entwicklung von Strategiespielen ist es, das Spiel einerseits ausgeglichen und andrerseits spannend zu halten. So darf zum Beispiel keine Karte dermassen dominant sein, dass ihr Einsatz zum unvermeidbaren Sieg führen würde. In komplexen Spielen wie etwa beim «Cyber Shield» der Schweizer Armee ist es aber nicht von vornhinein klar, ob das Spiel ausbalanciert ist, das heisst ob zum Beispiel keine Karte zu dominant ist oder eine einzelne Strategie immer zum Sieg führt. Somit sind schon bei einer relativ geringen Anzahl an Karten die Kombinationen sehr zahlreich. Um dies herauszufinden, wurden bis anhin von Menschen gespielte Partien analysiert. Da allerdings jede Partie zeitintensiv ist, und die Resultate dann auch nur analog vorliegen, hat der Spielautor bei vielen Spezialfällen, die nur selten vorkommen, gar nicht die Möglichkeit, diese abschliessend zu beurteilen.
Tausend gespielte Partien in kürzester Zeit dank Digitalisierung
Daher ist es effizienter das Spiel zu digitalisieren und dann Software-Agenten zu entwickeln, die das Spiel mit strategischer Voraussicht spielen können. Eine Methodik, die genau dies zu leisten vermag, ist das sogenannte Reinforcement Learning. Diese Methode aus dem Bereich der künstlichen Intelligenz lernt durch «Trial and Error» die Gewinnstrategie eines Spiels und kann diese anschliessend in Partien gegen andere Software-Agenten oder auch gegen menschliche Spieler anwenden.
Im Fall «Cyber Shield» haben je ein Mitarbeiter von armasuisse Wissenschaft und Technologie und der Verteidigung in Zusammenarbeit mit einem externen Forschungspartner den oben beschriebenen Ablauf umgesetzt. In ersten Tests zeigte sich, dass die entwickelten «intelligenten Agenten» einem durchschnittlichen menschlichen Spieler das Wasser reichen können. So ist es nun möglich, dass in kürzester Zeit tausende Partien ausgetragen werden und gleichzeitig über jede gespielte Karte Buch geführt wird.
Erwartete Erkenntnisse
Da das Projekt erst im Herbst 2023 angelaufen ist, liegen noch keine gesicherten Erkenntnisse vor. Was sich bereits abzeichnet und gewissermassen das Hauptresultat ist, ist, dass das Spiel nicht «gebrochen» werden kann. Das heisst, dass es keine Alles dominierende Gewinnstrategie gibt. Beispiele für weitere mögliche Aussagen beziehungsweise zu berücksichtigende Merkmale könnten sein:
- Es besteht kein statistischer Zusammenhang zwischen Startspieler und Gewinnchance: Beide Spieler gewinnen gleich oft.
- Die durchschnittliche Anzahl Züge bis zum Gewinn beträgt 35, wobei es auch Spiele mit nur 6 oder bis zu 60 Zügen gibt.
- Entwicklung von Spielständen (Punkten), siehe Abbildung 1.
- Häufigkeit der gespielten Karten pro Spiel, also wie oft jede Karte gespielt wurde.
- Durchschnittlicher Punktegewinn für jede einzelne Karte, also wie sich eine gespielte Karte auf den Punktestand beider Spieler auswirkt.
Zusätzlich können die Strategien der Agenten parametrisiert werden. Zum Beispiel kann vorgegeben werden, mit welcher Aggressivität ein Agent vorgehen soll. Daraus kann dann der Zusammenhang zwischen Aggressivität und «Gewinnchance» abgeleitet werden.
Diese Erkenntnisse helfen bei der Weiterentwicklung des Spiels «Cyber Shield». So können auch komplexere Cyber-Aspekte integriert werden, wodurch die Truppe für diese Cyber-Aspekte sensibilisiert wird. Dies fördert schliesslich auch das Grundverständnis im Bereich der Cybersicherheit.
Cyber Shield – Das Serious Game zur Cyber Security (admin.ch)