Nr. 60 - Cornelius Puschmann, Hendrik Meyer: Gaging LLMs’ strengths and weaknesses in political content analysis

Abstract

Die neuesten Innovationen und Fortschritte im Bereich der generativen künstlichen Intelligenz haben der Politikkommunikationsforschung neue Möglichkeiten eröffnet. Zwar bieten Large Language Models (LLMs) viel Potenzial zur Verbesserung der Arbeitsabläufe bei der Inhaltsanalyse in der Politikkommunikation, doch besteht bislang kein Konsens darüber, welche Modelle die besten Ergebnisse für dieses Forschungsgebiet liefern und sich am besten rechnerisch skalieren lassen. Dieser Beitrag untersucht die Leistung von fünf unterschiedlichen Klassifikationsmodellen bei drei Inhaltsanalyseaufgaben unterschiedlicher Komplexität: Identifizierung politischer Inhalte, Klassifizierung politischer Themen und Erkennung der Haltung gegenüber Klimapolitik und -bewegungen in Nachrichtenartikeln. Unsere automatisierte Kodierung wird durch 36.320 individuelle menschliche Kodierungsentscheidungen validiert. Wir zeigen, dass die Komplexität der (politischen) Aufgabe ein entscheidender Faktor für die Modellauswahl ist. Während einfachere, effiziente Modelle bei Aufgaben mit geringer bis mittlerer Komplexität gute Ergebnisse erzielen, zeigen sowohl proprietäre als auch kommerzielle LLMs bei der nuancierten Erkennung von Standpunkten eine überlegene Leistung, wenn sie entsprechend angeleitet werden. Diese Ergebnisse unterstreichen die Notwendigkeit, Leistungsgewinne gegen Rechenkosten und CO2-Emissionen abzuwägen, und sprechen für einen „sparsamen Ansatz“ bei der automatisierten Kodierung.

Weiterlesen.

Über die Autoren

Cornelius Puschmann ist Professor für Kommunikations- und Medienwissenschaft mit Schwerpunkt digitale Kommunikation am ZeMKI und Leiter des Labs für digitale Kommunikation und Informationsvielfalt (DCID). Von 2012 bis 2016 leitete er am Institut für Bibliotheks- und Informationswissenschaft der Humboldt-Universität zu Berlin das DFG-Projekt “Networking, Visibility, Information? Usage motives of informal digital communication genres among scientists” . Zwischen 2014 und 2015 hielt er eine Professur für Kommunikationswissenschaft mit Schwerpunkt digitale Kommunikation an der Zeppelin-Universität Friedrichshafen. Nachdem er von März bis September 2016 am Alexander von Humboldt-Institut für Internet und Gesellschaft im Rahmen des Projekts „Networks of Outrage: Mapping the emergence of new extremism in Europe“ forschte, wechselte er 2016 an das Leibniz-Institut für Medienforschung / Hans-Bredow-Institut an der Universität Hamburg. Cornelius Puschmann war unter anderem Gastwissenschaftler am Oxford Internet Institute der Universität Oxford, am Berkman Klein Center for Internet and Society der Harvard University und am Institut für Medienwissenschaft der Universität Amsterdam.

Hendrik Meyer ist seit Mai 2021 wissenschaftlicher Mitarbeiter an der Fakultät für Wirtschafts- und Sozialwissenschaften. Seine Forschungsinteressen liegen vor allem in der Untersuchung von Strukturen und Verstärkungseffekten medienvernetzter politischer Diskurse – insbesondere ihrer vermeintlichen „Polarisierung“. Darüber hinaus interessiert er sich dafür, wie die Gesellschaft mit der Regulierung von sozialen Medien und Plattformen sowie mit öffentlichen Diskursen über medientechnologische Entwicklungen auf der Grundlage von Algorithmen und sogenannter „künstlicher Intelligenz“ umgeht. Derzeit arbeitet er zudem an der Datenverarbeitung und -analyse des Projekts „Climate Futures“ im Exzellenzcluster CLICCS und erforscht potenzielle Polarisationsdynamiken in (klima-)politischen Online-Diskursen. In seiner Dissertation analysiert und klassifiziert er die aus dieser Forschung gewonnenen Erkenntnisse unter den Gesichtspunkten der Kommunikationswissenschaft und der Netzwerksoziologie.