„Es war brütend heiß, der See lag verlockend vor der Tür, und wir saßen drinnen, installierten, konfigurierten und diskutierten. Und würden es sofort wieder tun.“
Manche Wochenenden fühlen sich an wie Urlaub. Unseres fühlte sich an wie ein Sprung nach vorn. Das dritte AI Lab fiel auf eines der heißesten Wochenenden des Jahres. Während rundherum alle im (nicht so) kühlen Wasser lagen, saß unsere Runde über Laptops, Kabeln und Konfigurationsdateien. Verrückt? Vielleicht. Aber genau daraus entstand wieder dieser Moment, den man schwer beschreiben und noch schwerer planen kann: ein echter Erkenntnissprung.
Natürlich sind auch wir zwischendurch mal in den See gehüpft. Erfrischend war das allerdings nicht wirklich, denn das Wasser fühlte sich eher an wie eine riesige Badewanne. 🙂 Also zurück an die Rechner, wo die eigentliche Abkühlung ohnehin in Form von guten Ideen kam.
Angefangen hat alles im Mai 2025 auf dem Security-Segeln, mitten auf dem Meer, mit einer einfachen Frage: Wie können wir Künstliche Intelligenz wirklich nutzen, ohne unsere sensiblen Daten aus der Hand zu geben? Aus diesem Impuls wurde das erste AI Lab am Bodensee, dann das zweite mit acht Köpfen und fünf Sessions, und jetzt das dritte. Was mit einer Handvoll Neugieriger begann, ist längst eine feste Community geworden.
Frische Köpfe, frische Impulse
Das Schöne an unserem Format: Es bleibt in Bewegung. Auch dieses Mal sind wieder neue Gesichter dazugestoßen. Menschen mit anderem Hintergrund, anderen Fragen, anderem Blick auf dieselben Probleme. Genau das hält das AI Lab lebendig. Wer neu dazukommt, bringt frische Impulse mit, stellt die vermeintlich selbstverständlichen Dinge in Frage und schubst uns damit oft genau in die richtige Richtung. Die Runde wächst, und mit ihr die Tiefe dessen, was wir gemeinsam erreichen.
Das Prinzip ist wie immer: Jede und jeder bringt eine Idee mit, bereitet eine Session vor und leitet die anderen bei der Umsetzung an. Kein Frontalunterricht, sondern gemeinsames Tüfteln auf Augenhöhe. Hier ein Überblick über unsere fünf Sessions.
Session 1: Agent Engineering statt Vibe Coding, sichere Software von Anfang an
Die Fragestellung:
Wie setzt man ein Softwareprojekt so auf, dass am Ende wirklich sichere Software herauskommt? Der Anlass war ernüchternd: Das schnelle, intuitive Drauflos-Programmieren mit KI, oft „Vibe Coding“ genannt, ist zwar in Minuten lauffähig, aber unstrukturiert und riskant. Rund 45 Prozent des so erzeugten Codes enthält Sicherheitslücken.
Unser Ziel:
Einen strukturierten Ansatz erproben, den wir „Agent Engineering“ nennen: KI-Agenten, die nicht planlos Code produzieren, sondern entlang eines Secure Development Lifecycle arbeiten. Sicherheit wird so kein nachgelagerter Prüfschritt, sondern Teil jeder Phase.
Key Learning:
Sichere KI-Entwicklung scheitert nicht am Modell, sondern an der Disziplin und am Rahmen. Entscheidend sind zwei Dinge: mehr methodische Konsequenz und das richtige „Agent Harness“, also klare Leitplanken, automatisierte Prüfungen und definierte Verantwortlichkeiten. Und ganz wichtig: Das Deployment muss bereits bei der ersten Architekturentscheidung mitgedacht werden. Wer Betrieb und Sicherheit erst am Ende betrachtet, baut Schwachstellen strukturell ein.
Warum das wichtig ist:
Die Bedrohungslage bleibt hoch, die gesetzlichen Anforderungen steigen. Für den Mittelstand heißt das: Security-by-Design ist deutlich günstiger, als Schwachstellen nachträglich zu beheben. Wer Sicherheit erst nach Produktivsetzung nachrüstet, zahlt mehrfach.
Session 2: Das LLM-Wiki, aus losen Notizen wird ein Wissensnetz
Die Fragestellung:
Was genau ist ein „LLM-Wiki“, und wie setzt man es auf? Gemeint ist eine persönliche Wissenssammlung, die so aufbereitet ist, dass ein Sprachmodell sie nicht nur durchsuchen, sondern verstehen und verknüpfen kann.
Unser Ziel:
Jede und jeder richtet das eigene LLM-Wiki ein, vom leeren Notizordner hin zu einer strukturierten Wissensbasis, mit der sich sinnvoll arbeiten lässt.
Key Learning:
Das LLM-Wiki bringt endlich Struktur in Daten, die sich über Jahre ansammeln. Der entscheidende Unterschied: Die KI erkennt automatisch die Zusammenhänge zwischen einzelnen Notizen und setzt sinnvolle Verlinkungen. Aus einer losen Sammlung wird so nach und nach ein echtes Wissensnetz. Man findet nicht nur, wonach man sucht, sondern auch, was man zu suchen vergessen hätte.
Warum das wichtig ist:
In dieser Form ist das LLM-Wiki vor allem für Einzelpersonen ein Gewinn: Es macht persönliches Wissenskapital wieder auffindbar und nutzbar. Für Unternehmen ist es ein guter Einstieg, um im Kleinen zu erproben, wie KI-gestütztes Wissensmanagement funktioniert, bevor man über größere, geteilte Lösungen nachdenkt. Wichtig bleibt der Datenschutz: Sensible Informationen gehören in eine lokale oder kontrollierte Umgebung.
Session 3: Ein EXO-Cluster aus gemischter Hardware, und was ein Fehlschlag wert ist
Die Fragestellung:
Lässt sich aus ganz unterschiedlicher Hardware ein gemeinsames KI-Rechencluster bauen? Die Idee: Mit EXO, einer Software, die mehrere Geräte zu einem verteilten System für KI-Inferenz zusammenschaltet, ein Cluster über eine NVIDIA DGX, Mac, Windows und Linux hinweg aufbauen, dann Schritt für Schritt Geräte hinzufügen und live beobachten, wie sich Durchsatz und Latenz verändern.
Unser Ziel:
Ein funktionierendes, heterogenes Cluster, und im laufenden Betrieb sichtbar machen, wie die Leistung mit jedem zusätzlichen Gerät wächst. Ganz ohne teure Spezialanschaffungen.
Key Learning:
Das Experiment ist zunächst gescheitert, die Einrichtung mit der Software wollte nicht gelingen. Und genau das ist die ehrliche Erkenntnis: Sehr unterschiedliche Betriebssysteme und Hardware-Generationen reibungslos zu einem Cluster zu verbinden, ist in der Praxis deutlich anspruchsvoller, als es in der Theorie klingt. Solche verteilten Systeme reagieren empfindlich auf Unterschiede in Treibern, Abhängigkeiten und Netzwerkkonfiguration. Ein gescheiterter Versuch ist aber kein verlorener Versuch. Er grenzt ein, wo die eigentlichen Hürden liegen, und bereitet den nächsten, besser vorbereiteten Anlauf vor.
Warum das wichtig ist:
Gerade für den Mittelstand ist die Idee reizvoll, vorhandene Rechner statt teurer Spezialhardware für KI zu nutzen. Unser Versuch zeigt aber auch: Solche Ansätze brauchen Zeit, Geduld und realistische Erwartungen. Diese Grenzen im geschützten Rahmen eines Labors auszuloten und nicht erst im Produktivbetrieb, ist genau der Sinn der Sache. Auch das gehört zu einem seriösen Umgang mit Technologie: offen zu benennen, was noch nicht funktioniert.
Session 4: LoRA statt komplettem Finetuning, ein Modell anpassen ohne es neu zu bauen
Die Fragestellung:
Wie passt man ein KI-Modell an eigene Bedürfnisse an, ohne es von Grund auf neu zu trainieren? Klassisches Finetuning verändert die Gewichte eines Modells, bei 124 Millionen Parametern also 124 Millionen Stellschrauben. Geht das auch schlanker? Genau hier kommt LoRA ins Spiel, kurz für „Low-Rank Adaptation“.
Unser Ziel:
LoRA verstehen und selbst nachbauen. Als Beispiel diente GPT-2 mit 124 Millionen Parametern, das wir auf eine konkrete Aufgabe trainiert haben: das Erkennen von Spam. Der Kern: Statt das große Modell umzuschreiben, friert man dessen Gewichte ein und hängt zwei kleine Zusatz-Matrizen daneben. Nur diese werden trainiert.
Key Learning:
Man kann sich LoRA wie einen Farbfilter vor der Kameralinse vorstellen: Die Kamera bleibt unverändert, aber der Filter schiebt das Ergebnis in die gewünschte Richtung. In unserem Versuch mussten wir statt 124 Millionen nur rund 2,7 Millionen Parameter trainieren, also etwa ein Fünfzigstel, und erreichten trotzdem rund 97 Prozent Genauigkeit. Das liegt praktisch auf dem Niveau des vollständigen Finetunings. Der Grund: Die entscheidenden Anpassungen stecken in erstaunlich wenigen „Richtungen“. Schöner Nebeneffekt: Weil das Original unberührt bleibt, lässt sich ein Basismodell mit vielen verschiedenen LoRA-Zusätzen betreiben. Ein Grundbaustein, beliebig viele Spezialisierungen, jederzeit umschaltbar.
Warum das wichtig ist:
LoRA funktioniert nur mit Modellen, die man selbst in der Hand hat, also offenen oder lokal betriebenen, nicht mit geschlossenen Diensten wie ChatGPT. Für den Mittelstand ist das eine echte Chance: Der Trainingslauf lief in rund 15 Minuten auf einem handelsüblichen Notebook. Dazu kommen drei Vorteile: weniger Speicherbedarf, hohe Flexibilität und volle Reversibilität, weil sich LoRA jederzeit abschalten lässt. So wird aus einem allgemeinen Modell mit überschaubarem Aufwand ein maßgeschneidertes Werkzeug, ohne sensible Daten aus dem Haus zu geben.
Session 5: Lokale generative KI, Bilder aus dem Rauschen und die Sache mit den DeepFakes
Die Fragestellung:
Lässt sich generative KI, also Modelle, die Bilder, Audio und Video erzeugen, vollständig auf dem eigenen Rechner betreiben, ohne Cloud und ohne dass Daten das Haus verlassen? Und wie schafft ein Computer eigentlich aus dem Nichts ein fotorealistisches Bild?
Unser Ziel:
Lokale generative KI selbst aufsetzen und ausprobieren, für Erzeugung und Bearbeitung von Bildern, Audio und Video bis hin zu DeepFakes. Als Werkzeug diente Pinokio, eine Art Baukasten mit Ein-Klick-Installation, der die sonst komplizierte Einrichtung solcher Anwendungen enorm vereinfacht.
Key Learning:
Der Aha-Moment lag im Verständnis der Diffusionsmodelle. Vereinfacht gesagt: Das Modell startet mit reinem statistischem Rauschen, einem zufälligen Bildpunkte-Wirrwarr wie das Flimmern eines alten Fernsehers ohne Empfang. Aus diesem Chaos schält es Schritt für Schritt ein Bild heraus, indem es das Rauschen immer weiter „aufräumt“, bis ein klares Motiv übrig bleibt. Die zweite Erkenntnis war ebenso eindrücklich wie beunruhigend: Mit Werkzeugen wie Pinokio ist der Einstieg heute so einfach, dass sich überzeugende Bilder, Stimmen und sogar DeepFakes mit überschaubarem Aufwand auf gewöhnlicher Hardware erzeugen lassen.
Warum das wichtig ist:
Genau diese Zugänglichkeit macht das Thema sicherheitsrelevant. DeepFakes sind längst kein Spielzeug mehr, sondern ein ernstzunehmendes Werkzeug für Betrug und Social Engineering: die gefälschte Sprachnachricht des vermeintlichen Geschäftsführers, der manipulierte Videocall, die täuschend echte Stimme am Telefon. Wer weiß, wie einfach solche Fälschungen heute entstehen, entwickelt ein gesundes Misstrauen, und das ist die beste Verteidigung. Zugleich hat die lokale Variante einen echten Vorteil: volle Kontrolle über die eigenen Daten, weil nichts nach außen wandert.
Fazit: Kontinuität schlägt Intensität, schon wieder
Was dieses Wochenende gezeigt hat, ist im Kern dasselbe wie beim ersten Mal, und trifft doch jedes Mal aufs Neue: Man muss kein Vollzeit-AI-Engineer sein, um in kurzer Zeit echte Fortschritte zu machen. Von der ersten RAG-Pipeline bis heute zu Agent Engineering, LoRA und lokaler generativer KI: Der Weg, den diese Community in gut einem Jahr zurückgelegt hat, ist beachtlich.
Und ja, auch ein gescheitertes Cluster gehört dazu. Denn genau das ist echte Forschung: ausprobieren, scheitern, verstehen, weitermachen. Wir leben in spannenden Zeiten, und das Beste daran ist, dass wir sie gemeinsam gestalten, statt ihnen nur zuzusehen.
Das nächste AI Lab ist übrigens schon geplant. Wir freuen uns drauf, auf alte und neue Gesichter, auf den nächsten Erkenntnissprung. Und beim nächsten Mal ist der See hoffentlich etwas erfrischender. 🙂
Du willst Teil dieser Community werden?
Schreib uns, vielleicht bist du beim nächsten Security-Segeln (26. Sept. – 3. Okt. 2026) oder beim nächsten AI-Lab dabei?
Die Plätze sind limitiert. Die Wirkung bleibt nachhaltig
