Zwischen manueller Annotation und generativer KI. Hybride Workflows für audiovisuelle Analysen mit VIAN & TIB-AV-A
Zwischen manueller Annotation und generativer KI. Hybride Workflows für audiovisuelle Analysen mit VIAN & TIB-AV-A
Authors :
Abstract
Audiovisuelle Daten gehören zu den methodisch anspruchsvollsten Gegenständen forschungs- und sammlungsbezogener Arbeit. Ihre Multimodalität aus Bild, Ton, Sprache und Text verlangt einen interpretativen Zugriff, der zugleich systematisch und skalierbar bleiben muss und damit Herausforderungen birgt, die Archive, Bibliotheken und GLAM-Einrichtungen ebenso betreffen wie die Geistes- und Sozialwissenschaften. Bestehende Werkzeuge bieten meist entweder manuelle Annotation oder eine Selektion vollautomatisierter Verfahren zur audiovisuellen Analyse, die interpretative Einsicht und domänenspezifisches Wissen in den Hintergrund drängen. Darüber hinaus sind existierende Videoanalysetools häufig nicht interoperabel, was die Erstellung von Videoanalyse-Pipelines für die hohe Diversität an Anwendungsfällen erschwert. Der Vortrag stellt einen hybriden Analyseansatz vor, der zwei komplementäre Open-Source-Tools zusammenführt. VIAN bietet eine niedrigschwellige Annotationsumgebung zur Erkennung von Einstellungswechseln und zur manuellen Annotation mit Freitext und kontrollierten, fachspezifisch erweiterbaren Vokabularen. TIB AV-Analytics (TIB-AV-A) ist eine webbasierte Plattform zur KI-gestützten Videoanalyse, die Forschenden – unabhängig von technischen Vorkenntnissen oder eigener Hardware – Zugang zu aktuellen KI-Verfahren (darunter auch generative KI) beispielsweise zur automatischen Spracherkennung, Personenidentifikation sowie Szenen- und Konzepterkennung mit Bild-Sprach-Modellen bietet. Über gemeinsame Datenformate, sowie Import- und Exportfunktionen lassen sich beide Werkzeuge zu iterativen Workflows verbinden, die manuelle und (semi-)automatische Verfahren produktiv verschränken und annotierte Metadaten in verschiedenen Umgebungen interoperabel austauschbar halten. Interpretative Schritte, Unschärfen und Unsicherheiten werden dadurch erfahr- und erfassbar, wodurch die Tools dazu einladen, Methoden und Workflows an epistemischen Zielen statt an Tool-Beschränkungen auszurichten. Dieserart unterläuft der vorgestellte Ansatz die verbreitete Annahme, dass zwischen hermeneutischer Tiefe und computationeller Breite gewählt werden müsse und ist folglich fachübergreifend anschlussfähig.
Citation
Copy Citation
BibTex
Datafiles
Except where otherwise noted, this item's license is described as:
Namensnennung-Nicht kommerziell 4.0 International
Namensnennung-Nicht kommerziell 4.0 International
Keywords:
FilmanalyseVIANManuelle AnnotationDigitale Methoden