Ein spezialisiertes, auf Supercomputern trainiertes Sprachmodell für Geodaten

problem Ausgangssituation

Allgemeine Large Language Models (LLMs) sind exzellent im Verständnis natürlicher Sprache. Allerdings stoßen sie an Grenzen, wenn es um geografische Daten und räumliche Zusammenhänge geht – insbesondere, weil diese Informationen in den Trainingsdaten typischer Modelle oft nicht in geeigneter textueller Form vorliegen.

Das führt dazu, dass generische LLMs relevante geografische Daten nicht zuverlässig finden, extrahieren oder interpretieren können. Im Rahmen eines EU-Forschungsprojekts sollte daher ein spezialisiertes LLM entwickelt werden, das geografische Informationen aus externen Datenquellen automatisch erkennen, extrahieren und für Analysen aufbereiten kann.

lightbulb Unsere Lösung

Wir trainierten ein proprietäres Modell auf dem CINECA Leonardo – einem der leistungsstärksten Supercomputer-Cluster Europas – im Rahmen der EuroHPC Joint Undertaking-Initiative:

• dataset

  Kuratierte & synthetische Trainingsdaten

  Identifikation und Erstellung hunderttausender hochspezifischer Trainingsdatensätze mit geografischem Fokus, teilweise synthetisch generiert.

• memory

  Supercomputer-Infrastruktur

  Training auf CINECA Leonardo (EuroHPC JU) – Optimierung für Hochleistungs-Cluster-Infrastruktur für maximale Trainingseffizienz.

• monitoring

  Eigene Evaluationskriterien

  Entwicklung spezialisierter Bewertungsmetriken kombiniert mit Weights & Biases zur Steuerung und Qualitätsmessung des Trainings.

• science

  Forschungskooperation

  Zusammenarbeit mit führenden Forschungseinrichtungen zur Verbesserung von LLM-Trainingsmethoden und Hardwareanpassungen.