Entwicklung eines ICP-LLM zur Unterstützung der Erstellung eines Intelligence Collection Plans (ICP); Development of an ICP-LLM to support the creation of an Intelligence Collection Plan (ICP) - Ralf Baur; Ole Donner; Niklas Koch; André Schulz; Richard Weiss (NBS Northern Business School, Institute for Intelligence and Security Management (I2SM), 2025)
Die Erstellung eines Intelligence Collection Plans (ICP) stellt einen zentralen Arbeitsschritt im Schnittpunkt aus der Direction-Phase (siehe Abbildung 1) und dem Intelligence Requirement Management (IRM) innerhalb des Intelligence Cycle dar. Dieser soll ermöglichen, Informationsbedarfe systematisch zu strukturieren und Recherche und Aufklärung zielgerichtet zu steuern. In der praktischen Anwendung sind jedoch zeitliche, inhaltliche und technische Herausforderungen zu beobachten, die zu Verzögerungen, Inkonsistenzen und Qualitätsverlusten führen können. Mit dem ICP-LLM wurde ein Tool entwickelt, das Large Language Models (LLMs) nutzt, um die unteren Ebenen eines ICP - Specific Intelligence Requirements (SIRs) und Essential Elements of Information (EEIs) - automatisiert zu generieren. Dadurch wird die Erstellung von ICPs beschleunigt und vereinfacht. Ziel dieses Working Papers ist es, den Entstehungshintergrund von ICP-LLM zu beleuchten. Außerdem soll ein Blick darauf geworfen werden, wie der Nutzen und die Anwendbarkeit des Tools im Rahmen eines Lehrgangs am NATO Civil-Military Cooperation Centre of Excellence (CCOE) experimentell evaluiert wird. Untersucht werden soll, inwieweit der Einsatz von ICP-LLM die Erstellung von ICPs effizienter gestaltet, die Strukturqualität verbessert und von Anwenderinnen und Anwendern als praxisrelevant bewertet wird. Die Ergebnisse sollen exemplarisch Aufschluss darüber geben, ob und in welchem Umfang LLM-gestützte Assistenzsysteme einen Mehrwert für die Anwendung im Intelligence-Kontext bieten können. In einem weiteren Schritt soll das Tool bei einem Forschungsprojekt am I2SM zur Organisierten Kriminalität im Rahmen der Kriminalitätsanalyse einem Praxistext unterzogen werden. – – The creation of an Intelligence Collection Plan (ICP) is a key step at the intersection of the direction phase (see Figure 1) and Intelligence Requirement Management (IRM) within the intelligence cycle. This is intended to enable the systematic structuring of information requirements and the targeted management of research and reconnaissance. In practical application, however, there are challenges in terms of time, content, and technology that can lead to delays, inconsistencies, and quality losses. The ICP-LLM is a tool that uses large language models (LLMs) to automatically generate the lower levels of an ICP-specific intelligence requirements (SIRs) and essential elements of information (EEIs). This speeds up and simplifies the creation of ICPs. The aim of this working paper is to shed light on the background to the development of ICP-LLM. It also takes a look at how the tool's usefulness and applicability are being experimentally evaluated as part of a course at the NATO Civil-Military Cooperation Centre of Excellence (CCOE). The aim is to investigate the extent to which the use of ICP-LLM makes the creation of ICPs more efficient, improves structural quality, and is considered relevant to practice by users. The results will provide insight into whether and to what extent LLM-supported assistance systems can offer added value for use in an intelligence context. In a further step, the tool will be put to the test in a research project at I2SM on organized crime as part of crime analysis.
Additional information: The English version of Working Paper No. 3/2025 is available here: https://hdl.handle.net/10419/330340
Keywords: 650