#tib-av-portal — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #tib-av-portal, aggregated by home.social.

fetched live

Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

Das TIB AV-Portal im Jahr 2025: neue Infrastruktur, KI-gestützte Medienanalyse und Audio-Only
read this article in English
Wie in den vergangenen Jahren möchten wir auch diesmal einen Überblick über die wichtigsten technischen und funktionalen Erweiterungen des TIB AV-Portals geben. Das Scrum-Team hat 2025 erneut zahlreiche Verbesserungen umgesetzt, die sowohl die infrastrukturelle Basis als auch die Nutzungsmöglichkeiten des Portals ausgebaut haben.
Einige dieser Entwicklungen gehen direkt auf Rückmeldungen und konkrete Anforderungen aus der Nutzerschaft zurück. Für manche Leserinnen und Leser dürfte dieser Rückblick daher nicht nur informativ, sondern auch persönlich interessant sein – vielleicht entdecken Sie an der einen oder anderen Stelle eine Funktion, deren Umsetzung Sie selbst angeregt haben.
Vom externen Hosting zur eigenen Infrastruktur
Mit der vollständigen Migration der Video- und Audioauslieferung auf Server der TIB im Januar 2025 hat das AV-Portal einen bedeutenden infrastrukturellen Entwicklungsschritt vollzogen. Wo zuvor einzelne Komponenten für Streaming, Download und Bereitstellung über externe Drittsysteme liefen, erfolgen diese Prozesse nun vollständig über die Infrastruktur der TIB. Auch die Begleitmaterialien – etwa Präsentationen, Skripte, Forschungsdaten oder zusätzliches Lehrmaterial – werden mittlerweile direkt an der TIB gehostet.
Durch den Betrieb auf eigenen Servern kontrolliert die TIB nicht nur die technischen Abläufe, sondern auch die damit verbundenen Datenﬂüsse, Speicherorte und Sicherheitsstandards. Externe Abhängigkeiten, etwa in Bezug auf Verfügbarkeiten oder Service Levels, konnten damit weiter reduziert werden. Frei nach der Devise: Wissenschaftliche Daten gehören in wissenschaftliche Infrastruktur – und zwar unter Bedingungen, die den Anforderungen von Forschung, Lehre und Open Science gerecht werden.
Adaptives Streaming mit MPEG-DASH
Ebenfalls seit Januar 2025 erzeugen wir adaptive Derivate im MPEG-DASH-Format. Dadurch lässt sich die Qualität eines Videos während der Wiedergabe dynamisch an die verfügbare Internetbandbreite der Nutzerin anpassen. Statt ein einziges, statisch kodiertes Video auszuliefern, stellt das AV-Portal mehrere Qualitätsstufen bereit, zwischen denen der Player automatisch wechselt.
Das Ergebnis ist ein deutlich stabileres Streaming-Erlebnis: Verzögerungen, Ruckler oder Bildabbrüche werden reduziert, während gleichzeitig stets die bestmögliche Auﬂösung genutzt wird. Zugleich sinkt die Datenlast, da nicht mehr unnötig große Dateien übertragen werden, wenn die individuelle Verbindung dies gar nicht zulässt. MPEG-DASH bildet damit einen wichtigen Schritt in Richtung einer modernen, skalierbaren Streaming-Infrastruktur.
Diverse Qualitätsstufen für adaptives Streaming
Höhere Auﬂösungen für wissenschaftliche Inhalte
Seit April 2025 erzeugen wir auch Auﬂösungen jenseits von Full HD. Dazu gehören unter anderem hochwertige Neuabtastungen aus einem Digitalisierungsprojekt, die mit einer Auﬂösung von 2048×1536 Pixeln vorliegen und damit sichtbar mehr Details bieten als herkömmliche HD-Formate.
Darüber hinaus stehen inzwischen zahlreiche Videos in 4K-Qualität zur Verfügung, die besonders bei visuellen Darstellungen, Animationen und komplexen wissenschaftlichen Inhalten ihre Stärken ausspielen.
Unterstützung für reine Audiodateien
Seit der Live-Schaltung von MPEG-DASH können im AV-Portal nicht nur Audiostreams als Teil von Video-Derivaten erzeugt werden, sondern erstmals auch echte Audioformate. Damit erweitert sich das Nutzungsspektrum des Portals deutlich: Neben klassischen Videoinhalten lassen sich nun auch reine Audioquellen – etwa Interviews, Podcasts, Vorträge oder Tonaufzeichnungen aus Forschungsprojekten – hochladen, analysieren und als separate Medienressourcen bereitstellen.
Audiobeitrag mit durchsuchbarem Transkript
Um reine Audiodateien zuverlässig verarbeiten zu können, nutzt das AV-Portal ein einheitliches technisches Verfahren. Dabei wird aus einer hochgeladenen Datei der Audioteil automatisch extrahiert und in das Format M4A umgewandelt – ein weit verbreiteter Standard, der auf vielen Geräten problemlos abgespielt werden kann.
Mit dieser Erweiterung unterstützt das AV-Portal nun nicht mehr nur Videos, sondern auch Audioformate – und wird damit zu einer Plattform für wissenschaftliche Ton- und Bildinhalte.
Flexibler und erweiterter Upload-Prozess
Mit der jüngsten Weiterentwicklung der Upload-Funktion können nun deutlich größere Dateien direkt über das Upload-Formular des AV-Portals hochgeladen werden. Möglich wird dies durch einen neuen Übertragungsprozess, der große Dateien automatisch in kleinere Datenpakete aufteilt und schrittweise überträgt. Dank dieses sogenannten „Chunked-Uploads“ lassen sich Videodateien mit einer Größe von bis zu 10 GB zuverlässig hochladen.
Zudem wurde der Ablauf ﬂexibler gestaltet: Nutzer können nun zunächst ihre Videodatei auswählen und parallel dazu die Metadaten im Formular eintragen. Auf diese Weise lassen sich mögliche Wartezeiten während des Upload-Prozesses sinnvoll nutzen.
Abgerundet wird die Erweiterung durch zusätzliche Upload-Optionen: Neben dem Video oder Audio können jetzt auch eigene Transkripte sowie Vorschaubilder mitgeliefert werden.
OpenCLIP für präzise Bildinhaltsanalyse
Um visuelle Inhalte in wissenschaftlichen Videos gezielter auﬃnden zu können, haben wir im TIB AV-Portal eine neue Generation der bildbasierten Suche implementiert. Als technologisches Fundament dienen OpenCLIP-Vektoren, die wir für sämtliche Videoframes berechnet haben.
Auf dieser Basis entstand ein Prototyp für Zero-Shot-Suchanfragen, der beliebige Texteingaben – auch in verschiedenen Sprachen – direkt mit den Bildinhalten abgleicht. Bereits dieser erste Prototyp zeigte eindrucksvoll, dass selbst komplex formulierte Suchbegriﬀe geeignete Bildinhalte zurückliefern können.
Im Anschluss daran haben wir das VCD-Labelling grundlegend erneuert. Hierfür wurde eine kuratierte Liste visueller Konzepte erstellt, die sowohl bestehende als auch neu deﬁnierte Kategorien umfasst – etwa „chemisches Experiment“, „Mikrophotographie“ oder „Roboter“. Für jedes der derzeit 86 Konzepte formulierten wir speziﬁsche Prompts und generierten daraus Textvektoren. Anhand von Schwellwerten, die mit Hilfe einer manuellen Ground Truth festgelegt wurden, ließ sich bestimmen, ab wann ein Konzept im Bildmaterial als erkannt gilt. Zusätzlich wurden die visuellen Konzepte mit Sachbegriﬀen aus der Gemeinsamen Normdatei (GND) verknüpft.
Für die Nutzung des Portals bedeutet dies: Der gesamte Videobestand kann mithilfe dieser visuellen Konzepte geﬁltert werden. Außerdem lassen sich auf den Detailseiten die erkannten Konzepte über Sprungmarken punktgenau ansteuern.
Suche im Bildinhalt mit Sprungmarken
Der vielleicht größte Fortschritt besteht jedoch darin, dass das Scrum-Team nun selbst jederzeit neue VCD-Konzepte bestimmen und unmittelbar ins Portal integrieren kann. Da die zugrunde liegende Open-Source-Software OpenCLIP vollständig auf TIB-Servern betrieben wird, verbleiben sämtliche Daten und Prozesse unter unserer Kontrolle. Damit ist ein erster Meilenstein erreicht; weitere OpenCLIP-basierte Funktionen sind bereits in Vorbereitung.
Verbesserte Anzeige der GND-Annotationen
Im AV-Portal werden Sprache, eingeblendete Texte und visuelle Inhalte automatisch mit Sachbegriffen der GND angereichert. Diese Annotationen präsentieren wir auf den Detailseiten nun deutlich übersichtlicher: Statt einer verstreuten Darstellung erscheint dort eine alphabetisch sortierte Liste aller erkannten Entitäten, die sich zudem gezielt durchsuchen und nach Sprache, Text oder Bild ﬁltern lässt.
Annotationen von Sprache, Text und Bild
Mit einem Klick auf einen Eintrag lässt sich direkt nachvollziehen, an welchen Stellen im Video der entsprechende Begriﬀ vorkommt – die Treﬀer werden übersichtlich in der Zeitleiste hervorgehoben. Auf diese Weise können Nutzer unmittelbar zu den relevanten Szenen springen, ohne mühsam durch das gesamte Video navigieren zu müssen.
Neue Untertitel-Segmentierung für bessere Lesbarkeit
Um die Qualität der Untertitel im AV-Portal weiter zu verbessern, haben wir eine neue Segmentierung der Whisper-Transkripte eingeführt. Diese basiert auf OpenNLP, einem Open-Source-Toolkit für die automatische Verarbeitung natürlicher Sprache, und berücksichtigt nicht nur Satzzeichen, sondern auch Wortarten und natürliche Sprachpausen.
Ergänzend dazu kommt ein Look-Ahead-Algorithmus zum Einsatz, der innerhalb eines Vorschaufensters von 150 Zeichen den optimalen Trennpunkt für den nächsten Cue, eine zeitlich abgegrenzte Untertitel-Einheit, ermittelt.
Im Unterschied zu einfachen heuristischen Verfahren bewertet der Algorithmus nicht nur die aktuelle, sondern alle nachfolgenden möglichen Trennstellen und maximiert so die Gesamtqualität des Untertitelumbruchs. Auf diese Weise lassen sich unnatürlich kurze Segmente – etwa einzelne Wörter am Ende einer Untertitelzeile – zuverlässig vermeiden. Damit verbessern wir die Lesbarkeit der Untertitel für eine barrierefreie Nutzung und schaﬀen zugleich die Grundlage für eine mögliche Text-to-Speech-Funktionalität.
Präziseres Teilen und Zitieren von Videoinhalten
Mit den jüngsten Releases haben wir die Funktionen zum Teilen und Zitieren von Videos erweitert und ﬂexibler gestaltet. Im Teilen-Dialog lässt sich nun ein optionaler Startzeitstempel hinzufügen, sodass sich Videoinhalte gezielt ab einer bestimmten Stelle wiedergeben lassen; dieselbe Möglichkeit steht auch für den Embed-Code zur Verfügung. Zudem wurde der Zitieren-Dialog erweitert: Der Zeitstempel eines Segments kann dort je nach Bedarf ein- oder ausgeblendet werden. Im Zuge dieser Neuerungen haben wir den Teilen-Dialog überarbeitet und seine Struktur so angepasst, dass sich die Funktionen insgesamt intuitiver nutzen lassen.
Teilendialog mit Startzeitstempel für den Embed Code
Bereitstellung von Metadaten als Open Data
Die TIB fördert die Nutzung und Sichtbarkeit ihrer audiovisuellen Bestände, indem sie die Metadaten des AV-Portals als Open Data veröﬀentlicht. Einmal pro Woche werden die Metadaten und Vorschaubilder all jener Videos automatisch bereitgestellt, für die dies rechtlich möglich ist. Auf unserer Open-Data-Seite stehen die Daten in zwei Formaten zur Verfügung: JSONL für die performante Verarbeitung großer Datenmengen sowie Turtle als RDF-Format für den Einsatz in semantischen Anwendungen und Linked-Data-Umgebungen.
Integration ausgewählter Metadaten in die MP4-Datei
Metadaten wie Titel, Autor und der Link zur Detailseite wurden in die herunterladbare MP4-Datei integriert. Die Informationen bleiben damit auch dann erhalten, wenn das Video lokal gespeichert, weitergegeben oder in anderen Anwendungen geöﬀnet wird. So lässt sich jederzeit nachvollziehen, woher das Video stammt und welche Quelle zitiert werden sollte – ganz ohne zusätzliche Notizen oder manuelle Recherche.
Einblendung der in den Download integrierten Metadaten im VLC-Player
Ausblick für 2026
Stella als Evaluierungsrahmen für Videoempfehlungen
Stella ist eine Living-Lab-Infrastruktur zur Evaluation experimenteller Retrieval- und Empfehlungssysteme mit echten Nutzern; das TIB AV-Portal dient in diesem Projekt als Produktpartner. 2025 haben wir die technischen Grundlagen für den Einsatz von Stella im Portal geschaﬀen, die Liveschaltung ist für das kommende Jahr geplant.
Mit Hilfe von Stella können verschiedene Empfehlungsalgorithmen per Interleaved-A/B-Tests direkt im Portal verglichen werden: Nutzer sehen abwechselnd Videoempfehlungen aus unserem bisherigen Ansatz (Solr MoreLikeThis) und aus experimentellen Recommendern. Die daraus resultierenden Klicks dienen als anonymisiertes Feedback. So lässt sich empirisch ermitteln, welcher Algorithmus im realen Nutzungskontext bessere Empfehlungen liefert.
Die Forschungsgruppe Visual Analytics der TIB wird in Zukunft weitere Recommender-Experimente entwickeln und bereitstellen, sodass wir alle notwendigen Komponenten im Haus haben, um das Empfehlungssystem kontinuierlich zu evaluieren und weiterzuentwickeln.
Promptbasierte Bildsuche im AV-Portal
Aufbauend auf den OpenCLIP-Entwicklungen des Jahres 2025 arbeiten wir daran, 2026 eine vollwertige Bildsuche im AV-Portal zu realisieren. Künftig sollen Nutzer nicht mehr nur nach vordeﬁnierten visuellen Konzepten ﬁltern, sondern mit frei formulierten Texteingaben (Zero-Shot-Suchen) direkt im Bildinhalt unserer Videos recherchieren können. Unsere aktuellen Überlegungen zielen darauf ab, diese promptbasierte Suche sowohl portalweit als auch auf den Detailseiten der Videos anzubieten. Auf diese Weise würde ein neuartiger Zugang zu wissenschaftlichen Videos entstehen, bei dem visuelle Inhalte ebenso intuitiv und präzise durchsuchbar wären wie Text.
#LizenzCCBY40INT #TIBAVPortal #wissenschaftlicheFilme #wissenschaftlicheVideos

#lizenzccby40int #tibavportal #wissenschaftlichefilme #wissenschaftlichevideos
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

Das TIB AV-Portal im Jahr 2025: neue Infrastruktur, KI-gestützte Medienanalyse und Audio-Only
read this article in English
Wie in den vergangenen Jahren möchten wir auch diesmal einen Überblick über die wichtigsten technischen und funktionalen Erweiterungen des TIB AV-Portals geben. Das Scrum-Team hat 2025 erneut zahlreiche Verbesserungen umgesetzt, die sowohl die infrastrukturelle Basis als auch die Nutzungsmöglichkeiten des Portals ausgebaut haben.
Einige dieser Entwicklungen gehen direkt auf Rückmeldungen und konkrete Anforderungen aus der Nutzerschaft zurück. Für manche Leserinnen und Leser dürfte dieser Rückblick daher nicht nur informativ, sondern auch persönlich interessant sein – vielleicht entdecken Sie an der einen oder anderen Stelle eine Funktion, deren Umsetzung Sie selbst angeregt haben.
Vom externen Hosting zur eigenen Infrastruktur
Mit der vollständigen Migration der Video- und Audioauslieferung auf Server der TIB im Januar 2025 hat das AV-Portal einen bedeutenden infrastrukturellen Entwicklungsschritt vollzogen. Wo zuvor einzelne Komponenten für Streaming, Download und Bereitstellung über externe Drittsysteme liefen, erfolgen diese Prozesse nun vollständig über die Infrastruktur der TIB. Auch die Begleitmaterialien – etwa Präsentationen, Skripte, Forschungsdaten oder zusätzliches Lehrmaterial – werden mittlerweile direkt an der TIB gehostet.
Durch den Betrieb auf eigenen Servern kontrolliert die TIB nicht nur die technischen Abläufe, sondern auch die damit verbundenen Datenﬂüsse, Speicherorte und Sicherheitsstandards. Externe Abhängigkeiten, etwa in Bezug auf Verfügbarkeiten oder Service Levels, konnten damit weiter reduziert werden. Frei nach der Devise: Wissenschaftliche Daten gehören in wissenschaftliche Infrastruktur – und zwar unter Bedingungen, die den Anforderungen von Forschung, Lehre und Open Science gerecht werden.
Adaptives Streaming mit MPEG-DASH
Ebenfalls seit Januar 2025 erzeugen wir adaptive Derivate im MPEG-DASH-Format. Dadurch lässt sich die Qualität eines Videos während der Wiedergabe dynamisch an die verfügbare Internetbandbreite der Nutzerin anpassen. Statt ein einziges, statisch kodiertes Video auszuliefern, stellt das AV-Portal mehrere Qualitätsstufen bereit, zwischen denen der Player automatisch wechselt.
Das Ergebnis ist ein deutlich stabileres Streaming-Erlebnis: Verzögerungen, Ruckler oder Bildabbrüche werden reduziert, während gleichzeitig stets die bestmögliche Auﬂösung genutzt wird. Zugleich sinkt die Datenlast, da nicht mehr unnötig große Dateien übertragen werden, wenn die individuelle Verbindung dies gar nicht zulässt. MPEG-DASH bildet damit einen wichtigen Schritt in Richtung einer modernen, skalierbaren Streaming-Infrastruktur.
Diverse Qualitätsstufen für adaptives Streaming
Höhere Auﬂösungen für wissenschaftliche Inhalte
Seit April 2025 erzeugen wir auch Auﬂösungen jenseits von Full HD. Dazu gehören unter anderem hochwertige Neuabtastungen aus einem Digitalisierungsprojekt, die mit einer Auﬂösung von 2048×1536 Pixeln vorliegen und damit sichtbar mehr Details bieten als herkömmliche HD-Formate.
Darüber hinaus stehen inzwischen zahlreiche Videos in 4K-Qualität zur Verfügung, die besonders bei visuellen Darstellungen, Animationen und komplexen wissenschaftlichen Inhalten ihre Stärken ausspielen.
Unterstützung für reine Audiodateien
Seit der Live-Schaltung von MPEG-DASH können im AV-Portal nicht nur Audiostreams als Teil von Video-Derivaten erzeugt werden, sondern erstmals auch echte Audioformate. Damit erweitert sich das Nutzungsspektrum des Portals deutlich: Neben klassischen Videoinhalten lassen sich nun auch reine Audioquellen – etwa Interviews, Podcasts, Vorträge oder Tonaufzeichnungen aus Forschungsprojekten – hochladen, analysieren und als separate Medienressourcen bereitstellen.
Audiobeitrag mit durchsuchbarem Transkript
Um reine Audiodateien zuverlässig verarbeiten zu können, nutzt das AV-Portal ein einheitliches technisches Verfahren. Dabei wird aus einer hochgeladenen Datei der Audioteil automatisch extrahiert und in das Format M4A umgewandelt – ein weit verbreiteter Standard, der auf vielen Geräten problemlos abgespielt werden kann.
Mit dieser Erweiterung unterstützt das AV-Portal nun nicht mehr nur Videos, sondern auch Audioformate – und wird damit zu einer Plattform für wissenschaftliche Ton- und Bildinhalte.
Flexibler und erweiterter Upload-Prozess
Mit der jüngsten Weiterentwicklung der Upload-Funktion können nun deutlich größere Dateien direkt über das Upload-Formular des AV-Portals hochgeladen werden. Möglich wird dies durch einen neuen Übertragungsprozess, der große Dateien automatisch in kleinere Datenpakete aufteilt und schrittweise überträgt. Dank dieses sogenannten „Chunked-Uploads“ lassen sich Videodateien mit einer Größe von bis zu 10 GB zuverlässig hochladen.
Zudem wurde der Ablauf ﬂexibler gestaltet: Nutzer können nun zunächst ihre Videodatei auswählen und parallel dazu die Metadaten im Formular eintragen. Auf diese Weise lassen sich mögliche Wartezeiten während des Upload-Prozesses sinnvoll nutzen.
Abgerundet wird die Erweiterung durch zusätzliche Upload-Optionen: Neben dem Video oder Audio können jetzt auch eigene Transkripte sowie Vorschaubilder mitgeliefert werden.
OpenCLIP für präzise Bildinhaltsanalyse
Um visuelle Inhalte in wissenschaftlichen Videos gezielter auﬃnden zu können, haben wir im TIB AV-Portal eine neue Generation der bildbasierten Suche implementiert. Als technologisches Fundament dienen OpenCLIP-Vektoren, die wir für sämtliche Videoframes berechnet haben.
Auf dieser Basis entstand ein Prototyp für Zero-Shot-Suchanfragen, der beliebige Texteingaben – auch in verschiedenen Sprachen – direkt mit den Bildinhalten abgleicht. Bereits dieser erste Prototyp zeigte eindrucksvoll, dass selbst komplex formulierte Suchbegriﬀe geeignete Bildinhalte zurückliefern können.
Im Anschluss daran haben wir das VCD-Labelling grundlegend erneuert. Hierfür wurde eine kuratierte Liste visueller Konzepte erstellt, die sowohl bestehende als auch neu deﬁnierte Kategorien umfasst – etwa „chemisches Experiment“, „Mikrophotographie“ oder „Roboter“. Für jedes der derzeit 86 Konzepte formulierten wir speziﬁsche Prompts und generierten daraus Textvektoren. Anhand von Schwellwerten, die mit Hilfe einer manuellen Ground Truth festgelegt wurden, ließ sich bestimmen, ab wann ein Konzept im Bildmaterial als erkannt gilt. Zusätzlich wurden die visuellen Konzepte mit Sachbegriﬀen aus der Gemeinsamen Normdatei (GND) verknüpft.
Für die Nutzung des Portals bedeutet dies: Der gesamte Videobestand kann mithilfe dieser visuellen Konzepte geﬁltert werden. Außerdem lassen sich auf den Detailseiten die erkannten Konzepte über Sprungmarken punktgenau ansteuern.
Suche im Bildinhalt mit Sprungmarken
Der vielleicht größte Fortschritt besteht jedoch darin, dass das Scrum-Team nun selbst jederzeit neue VCD-Konzepte bestimmen und unmittelbar ins Portal integrieren kann. Da die zugrunde liegende Open-Source-Software OpenCLIP vollständig auf TIB-Servern betrieben wird, verbleiben sämtliche Daten und Prozesse unter unserer Kontrolle. Damit ist ein erster Meilenstein erreicht; weitere OpenCLIP-basierte Funktionen sind bereits in Vorbereitung.
Verbesserte Anzeige der GND-Annotationen
Im AV-Portal werden Sprache, eingeblendete Texte und visuelle Inhalte automatisch mit Sachbegriffen der GND angereichert. Diese Annotationen präsentieren wir auf den Detailseiten nun deutlich übersichtlicher: Statt einer verstreuten Darstellung erscheint dort eine alphabetisch sortierte Liste aller erkannten Entitäten, die sich zudem gezielt durchsuchen und nach Sprache, Text oder Bild ﬁltern lässt.
Annotationen von Sprache, Text und Bild
Mit einem Klick auf einen Eintrag lässt sich direkt nachvollziehen, an welchen Stellen im Video der entsprechende Begriﬀ vorkommt – die Treﬀer werden übersichtlich in der Zeitleiste hervorgehoben. Auf diese Weise können Nutzer unmittelbar zu den relevanten Szenen springen, ohne mühsam durch das gesamte Video navigieren zu müssen.
Neue Untertitel-Segmentierung für bessere Lesbarkeit
Um die Qualität der Untertitel im AV-Portal weiter zu verbessern, haben wir eine neue Segmentierung der Whisper-Transkripte eingeführt. Diese basiert auf OpenNLP, einem Open-Source-Toolkit für die automatische Verarbeitung natürlicher Sprache, und berücksichtigt nicht nur Satzzeichen, sondern auch Wortarten und natürliche Sprachpausen.
Ergänzend dazu kommt ein Look-Ahead-Algorithmus zum Einsatz, der innerhalb eines Vorschaufensters von 150 Zeichen den optimalen Trennpunkt für den nächsten Cue, eine zeitlich abgegrenzte Untertitel-Einheit, ermittelt.
Im Unterschied zu einfachen heuristischen Verfahren bewertet der Algorithmus nicht nur die aktuelle, sondern alle nachfolgenden möglichen Trennstellen und maximiert so die Gesamtqualität des Untertitelumbruchs. Auf diese Weise lassen sich unnatürlich kurze Segmente – etwa einzelne Wörter am Ende einer Untertitelzeile – zuverlässig vermeiden. Damit verbessern wir die Lesbarkeit der Untertitel für eine barrierefreie Nutzung und schaﬀen zugleich die Grundlage für eine mögliche Text-to-Speech-Funktionalität.
Präziseres Teilen und Zitieren von Videoinhalten
Mit den jüngsten Releases haben wir die Funktionen zum Teilen und Zitieren von Videos erweitert und ﬂexibler gestaltet. Im Teilen-Dialog lässt sich nun ein optionaler Startzeitstempel hinzufügen, sodass sich Videoinhalte gezielt ab einer bestimmten Stelle wiedergeben lassen; dieselbe Möglichkeit steht auch für den Embed-Code zur Verfügung. Zudem wurde der Zitieren-Dialog erweitert: Der Zeitstempel eines Segments kann dort je nach Bedarf ein- oder ausgeblendet werden. Im Zuge dieser Neuerungen haben wir den Teilen-Dialog überarbeitet und seine Struktur so angepasst, dass sich die Funktionen insgesamt intuitiver nutzen lassen.
Teilendialog mit Startzeitstempel für den Embed Code
Bereitstellung von Metadaten als Open Data
Die TIB fördert die Nutzung und Sichtbarkeit ihrer audiovisuellen Bestände, indem sie die Metadaten des AV-Portals als Open Data veröﬀentlicht. Einmal pro Woche werden die Metadaten und Vorschaubilder all jener Videos automatisch bereitgestellt, für die dies rechtlich möglich ist. Auf unserer Open-Data-Seite stehen die Daten in zwei Formaten zur Verfügung: JSONL für die performante Verarbeitung großer Datenmengen sowie Turtle als RDF-Format für den Einsatz in semantischen Anwendungen und Linked-Data-Umgebungen.
Integration ausgewählter Metadaten in die MP4-Datei
Metadaten wie Titel, Autor und der Link zur Detailseite wurden in die herunterladbare MP4-Datei integriert. Die Informationen bleiben damit auch dann erhalten, wenn das Video lokal gespeichert, weitergegeben oder in anderen Anwendungen geöﬀnet wird. So lässt sich jederzeit nachvollziehen, woher das Video stammt und welche Quelle zitiert werden sollte – ganz ohne zusätzliche Notizen oder manuelle Recherche.
Einblendung der in den Download integrierten Metadaten im VLC-Player
Ausblick für 2026
Stella als Evaluierungsrahmen für Videoempfehlungen
Stella ist eine Living-Lab-Infrastruktur zur Evaluation experimenteller Retrieval- und Empfehlungssysteme mit echten Nutzern; das TIB AV-Portal dient in diesem Projekt als Produktpartner. 2025 haben wir die technischen Grundlagen für den Einsatz von Stella im Portal geschaﬀen, die Liveschaltung ist für das kommende Jahr geplant.
Mit Hilfe von Stella können verschiedene Empfehlungsalgorithmen per Interleaved-A/B-Tests direkt im Portal verglichen werden: Nutzer sehen abwechselnd Videoempfehlungen aus unserem bisherigen Ansatz (Solr MoreLikeThis) und aus experimentellen Recommendern. Die daraus resultierenden Klicks dienen als anonymisiertes Feedback. So lässt sich empirisch ermitteln, welcher Algorithmus im realen Nutzungskontext bessere Empfehlungen liefert.
Die Forschungsgruppe Visual Analytics der TIB wird in Zukunft weitere Recommender-Experimente entwickeln und bereitstellen, sodass wir alle notwendigen Komponenten im Haus haben, um das Empfehlungssystem kontinuierlich zu evaluieren und weiterzuentwickeln.
Promptbasierte Bildsuche im AV-Portal
Aufbauend auf den OpenCLIP-Entwicklungen des Jahres 2025 arbeiten wir daran, 2026 eine vollwertige Bildsuche im AV-Portal zu realisieren. Künftig sollen Nutzer nicht mehr nur nach vordeﬁnierten visuellen Konzepten ﬁltern, sondern mit frei formulierten Texteingaben (Zero-Shot-Suchen) direkt im Bildinhalt unserer Videos recherchieren können. Unsere aktuellen Überlegungen zielen darauf ab, diese promptbasierte Suche sowohl portalweit als auch auf den Detailseiten der Videos anzubieten. Auf diese Weise würde ein neuartiger Zugang zu wissenschaftlichen Videos entstehen, bei dem visuelle Inhalte ebenso intuitiv und präzise durchsuchbar wären wie Text.
#LizenzCCBY40INT #TIBAVPortal #wissenschaftlicheFilme #wissenschaftlicheVideos

#lizenzccby40int #tibavportal #wissenschaftlichefilme #wissenschaftlichevideos
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

Das TIB AV-Portal im Jahr 2025: neue Infrastruktur, KI-gestützte Medienanalyse und Audio-Only
read this article in English
Wie in den vergangenen Jahren möchten wir auch diesmal einen Überblick über die wichtigsten technischen und funktionalen Erweiterungen des TIB AV-Portals geben. Das Scrum-Team hat 2025 erneut zahlreiche Verbesserungen umgesetzt, die sowohl die infrastrukturelle Basis als auch die Nutzungsmöglichkeiten des Portals ausgebaut haben.
Einige dieser Entwicklungen gehen direkt auf Rückmeldungen und konkrete Anforderungen aus der Nutzerschaft zurück. Für manche Leserinnen und Leser dürfte dieser Rückblick daher nicht nur informativ, sondern auch persönlich interessant sein – vielleicht entdecken Sie an der einen oder anderen Stelle eine Funktion, deren Umsetzung Sie selbst angeregt haben.
Vom externen Hosting zur eigenen Infrastruktur
Mit der vollständigen Migration der Video- und Audioauslieferung auf Server der TIB im Januar 2025 hat das AV-Portal einen bedeutenden infrastrukturellen Entwicklungsschritt vollzogen. Wo zuvor einzelne Komponenten für Streaming, Download und Bereitstellung über externe Drittsysteme liefen, erfolgen diese Prozesse nun vollständig über die Infrastruktur der TIB. Auch die Begleitmaterialien – etwa Präsentationen, Skripte, Forschungsdaten oder zusätzliches Lehrmaterial – werden mittlerweile direkt an der TIB gehostet.
Durch den Betrieb auf eigenen Servern kontrolliert die TIB nicht nur die technischen Abläufe, sondern auch die damit verbundenen Datenﬂüsse, Speicherorte und Sicherheitsstandards. Externe Abhängigkeiten, etwa in Bezug auf Verfügbarkeiten oder Service Levels, konnten damit weiter reduziert werden. Frei nach der Devise: Wissenschaftliche Daten gehören in wissenschaftliche Infrastruktur – und zwar unter Bedingungen, die den Anforderungen von Forschung, Lehre und Open Science gerecht werden.
Adaptives Streaming mit MPEG-DASH
Ebenfalls seit Januar 2025 erzeugen wir adaptive Derivate im MPEG-DASH-Format. Dadurch lässt sich die Qualität eines Videos während der Wiedergabe dynamisch an die verfügbare Internetbandbreite der Nutzerin anpassen. Statt ein einziges, statisch kodiertes Video auszuliefern, stellt das AV-Portal mehrere Qualitätsstufen bereit, zwischen denen der Player automatisch wechselt.
Das Ergebnis ist ein deutlich stabileres Streaming-Erlebnis: Verzögerungen, Ruckler oder Bildabbrüche werden reduziert, während gleichzeitig stets die bestmögliche Auﬂösung genutzt wird. Zugleich sinkt die Datenlast, da nicht mehr unnötig große Dateien übertragen werden, wenn die individuelle Verbindung dies gar nicht zulässt. MPEG-DASH bildet damit einen wichtigen Schritt in Richtung einer modernen, skalierbaren Streaming-Infrastruktur.
Diverse Qualitätsstufen für adaptives Streaming
Höhere Auﬂösungen für wissenschaftliche Inhalte
Seit April 2025 erzeugen wir auch Auﬂösungen jenseits von Full HD. Dazu gehören unter anderem hochwertige Neuabtastungen aus einem Digitalisierungsprojekt, die mit einer Auﬂösung von 2048×1536 Pixeln vorliegen und damit sichtbar mehr Details bieten als herkömmliche HD-Formate.
Darüber hinaus stehen inzwischen zahlreiche Videos in 4K-Qualität zur Verfügung, die besonders bei visuellen Darstellungen, Animationen und komplexen wissenschaftlichen Inhalten ihre Stärken ausspielen.
Unterstützung für reine Audiodateien
Seit der Live-Schaltung von MPEG-DASH können im AV-Portal nicht nur Audiostreams als Teil von Video-Derivaten erzeugt werden, sondern erstmals auch echte Audioformate. Damit erweitert sich das Nutzungsspektrum des Portals deutlich: Neben klassischen Videoinhalten lassen sich nun auch reine Audioquellen – etwa Interviews, Podcasts, Vorträge oder Tonaufzeichnungen aus Forschungsprojekten – hochladen, analysieren und als separate Medienressourcen bereitstellen.
Audiobeitrag mit durchsuchbarem Transkript
Um reine Audiodateien zuverlässig verarbeiten zu können, nutzt das AV-Portal ein einheitliches technisches Verfahren. Dabei wird aus einer hochgeladenen Datei der Audioteil automatisch extrahiert und in das Format M4A umgewandelt – ein weit verbreiteter Standard, der auf vielen Geräten problemlos abgespielt werden kann.
Mit dieser Erweiterung unterstützt das AV-Portal nun nicht mehr nur Videos, sondern auch Audioformate – und wird damit zu einer Plattform für wissenschaftliche Ton- und Bildinhalte.
Flexibler und erweiterter Upload-Prozess
Mit der jüngsten Weiterentwicklung der Upload-Funktion können nun deutlich größere Dateien direkt über das Upload-Formular des AV-Portals hochgeladen werden. Möglich wird dies durch einen neuen Übertragungsprozess, der große Dateien automatisch in kleinere Datenpakete aufteilt und schrittweise überträgt. Dank dieses sogenannten „Chunked-Uploads“ lassen sich Videodateien mit einer Größe von bis zu 10 GB zuverlässig hochladen.
Zudem wurde der Ablauf ﬂexibler gestaltet: Nutzer können nun zunächst ihre Videodatei auswählen und parallel dazu die Metadaten im Formular eintragen. Auf diese Weise lassen sich mögliche Wartezeiten während des Upload-Prozesses sinnvoll nutzen.
Abgerundet wird die Erweiterung durch zusätzliche Upload-Optionen: Neben dem Video oder Audio können jetzt auch eigene Transkripte sowie Vorschaubilder mitgeliefert werden.
OpenCLIP für präzise Bildinhaltsanalyse
Um visuelle Inhalte in wissenschaftlichen Videos gezielter auﬃnden zu können, haben wir im TIB AV-Portal eine neue Generation der bildbasierten Suche implementiert. Als technologisches Fundament dienen OpenCLIP-Vektoren, die wir für sämtliche Videoframes berechnet haben.
Auf dieser Basis entstand ein Prototyp für Zero-Shot-Suchanfragen, der beliebige Texteingaben – auch in verschiedenen Sprachen – direkt mit den Bildinhalten abgleicht. Bereits dieser erste Prototyp zeigte eindrucksvoll, dass selbst komplex formulierte Suchbegriﬀe geeignete Bildinhalte zurückliefern können.
Im Anschluss daran haben wir das VCD-Labelling grundlegend erneuert. Hierfür wurde eine kuratierte Liste visueller Konzepte erstellt, die sowohl bestehende als auch neu deﬁnierte Kategorien umfasst – etwa „chemisches Experiment“, „Mikrophotographie“ oder „Roboter“. Für jedes der derzeit 86 Konzepte formulierten wir speziﬁsche Prompts und generierten daraus Textvektoren. Anhand von Schwellwerten, die mit Hilfe einer manuellen Ground Truth festgelegt wurden, ließ sich bestimmen, ab wann ein Konzept im Bildmaterial als erkannt gilt. Zusätzlich wurden die visuellen Konzepte mit Sachbegriﬀen aus der Gemeinsamen Normdatei (GND) verknüpft.
Für die Nutzung des Portals bedeutet dies: Der gesamte Videobestand kann mithilfe dieser visuellen Konzepte geﬁltert werden. Außerdem lassen sich auf den Detailseiten die erkannten Konzepte über Sprungmarken punktgenau ansteuern.
Suche im Bildinhalt mit Sprungmarken
Der vielleicht größte Fortschritt besteht jedoch darin, dass das Scrum-Team nun selbst jederzeit neue VCD-Konzepte bestimmen und unmittelbar ins Portal integrieren kann. Da die zugrunde liegende Open-Source-Software OpenCLIP vollständig auf TIB-Servern betrieben wird, verbleiben sämtliche Daten und Prozesse unter unserer Kontrolle. Damit ist ein erster Meilenstein erreicht; weitere OpenCLIP-basierte Funktionen sind bereits in Vorbereitung.
Verbesserte Anzeige der GND-Annotationen
Im AV-Portal werden Sprache, eingeblendete Texte und visuelle Inhalte automatisch mit Sachbegriffen der GND angereichert. Diese Annotationen präsentieren wir auf den Detailseiten nun deutlich übersichtlicher: Statt einer verstreuten Darstellung erscheint dort eine alphabetisch sortierte Liste aller erkannten Entitäten, die sich zudem gezielt durchsuchen und nach Sprache, Text oder Bild ﬁltern lässt.
Annotationen von Sprache, Text und Bild
Mit einem Klick auf einen Eintrag lässt sich direkt nachvollziehen, an welchen Stellen im Video der entsprechende Begriﬀ vorkommt – die Treﬀer werden übersichtlich in der Zeitleiste hervorgehoben. Auf diese Weise können Nutzer unmittelbar zu den relevanten Szenen springen, ohne mühsam durch das gesamte Video navigieren zu müssen.
Neue Untertitel-Segmentierung für bessere Lesbarkeit
Um die Qualität der Untertitel im AV-Portal weiter zu verbessern, haben wir eine neue Segmentierung der Whisper-Transkripte eingeführt. Diese basiert auf OpenNLP, einem Open-Source-Toolkit für die automatische Verarbeitung natürlicher Sprache, und berücksichtigt nicht nur Satzzeichen, sondern auch Wortarten und natürliche Sprachpausen.
Ergänzend dazu kommt ein Look-Ahead-Algorithmus zum Einsatz, der innerhalb eines Vorschaufensters von 150 Zeichen den optimalen Trennpunkt für den nächsten Cue, eine zeitlich abgegrenzte Untertitel-Einheit, ermittelt.
Im Unterschied zu einfachen heuristischen Verfahren bewertet der Algorithmus nicht nur die aktuelle, sondern alle nachfolgenden möglichen Trennstellen und maximiert so die Gesamtqualität des Untertitelumbruchs. Auf diese Weise lassen sich unnatürlich kurze Segmente – etwa einzelne Wörter am Ende einer Untertitelzeile – zuverlässig vermeiden. Damit verbessern wir die Lesbarkeit der Untertitel für eine barrierefreie Nutzung und schaﬀen zugleich die Grundlage für eine mögliche Text-to-Speech-Funktionalität.
Präziseres Teilen und Zitieren von Videoinhalten
Mit den jüngsten Releases haben wir die Funktionen zum Teilen und Zitieren von Videos erweitert und ﬂexibler gestaltet. Im Teilen-Dialog lässt sich nun ein optionaler Startzeitstempel hinzufügen, sodass sich Videoinhalte gezielt ab einer bestimmten Stelle wiedergeben lassen; dieselbe Möglichkeit steht auch für den Embed-Code zur Verfügung. Zudem wurde der Zitieren-Dialog erweitert: Der Zeitstempel eines Segments kann dort je nach Bedarf ein- oder ausgeblendet werden. Im Zuge dieser Neuerungen haben wir den Teilen-Dialog überarbeitet und seine Struktur so angepasst, dass sich die Funktionen insgesamt intuitiver nutzen lassen.
Teilendialog mit Startzeitstempel für den Embed Code
Bereitstellung von Metadaten als Open Data
Die TIB fördert die Nutzung und Sichtbarkeit ihrer audiovisuellen Bestände, indem sie die Metadaten des AV-Portals als Open Data veröﬀentlicht. Einmal pro Woche werden die Metadaten und Vorschaubilder all jener Videos automatisch bereitgestellt, für die dies rechtlich möglich ist. Auf unserer Open-Data-Seite stehen die Daten in zwei Formaten zur Verfügung: JSONL für die performante Verarbeitung großer Datenmengen sowie Turtle als RDF-Format für den Einsatz in semantischen Anwendungen und Linked-Data-Umgebungen.
Integration ausgewählter Metadaten in die MP4-Datei
Metadaten wie Titel, Autor und der Link zur Detailseite wurden in die herunterladbare MP4-Datei integriert. Die Informationen bleiben damit auch dann erhalten, wenn das Video lokal gespeichert, weitergegeben oder in anderen Anwendungen geöﬀnet wird. So lässt sich jederzeit nachvollziehen, woher das Video stammt und welche Quelle zitiert werden sollte – ganz ohne zusätzliche Notizen oder manuelle Recherche.
Einblendung der in den Download integrierten Metadaten im VLC-Player
Ausblick für 2026
Stella als Evaluierungsrahmen für Videoempfehlungen
Stella ist eine Living-Lab-Infrastruktur zur Evaluation experimenteller Retrieval- und Empfehlungssysteme mit echten Nutzern; das TIB AV-Portal dient in diesem Projekt als Produktpartner. 2025 haben wir die technischen Grundlagen für den Einsatz von Stella im Portal geschaﬀen, die Liveschaltung ist für das kommende Jahr geplant.
Mit Hilfe von Stella können verschiedene Empfehlungsalgorithmen per Interleaved-A/B-Tests direkt im Portal verglichen werden: Nutzer sehen abwechselnd Videoempfehlungen aus unserem bisherigen Ansatz (Solr MoreLikeThis) und aus experimentellen Recommendern. Die daraus resultierenden Klicks dienen als anonymisiertes Feedback. So lässt sich empirisch ermitteln, welcher Algorithmus im realen Nutzungskontext bessere Empfehlungen liefert.
Die Forschungsgruppe Visual Analytics der TIB wird in Zukunft weitere Recommender-Experimente entwickeln und bereitstellen, sodass wir alle notwendigen Komponenten im Haus haben, um das Empfehlungssystem kontinuierlich zu evaluieren und weiterzuentwickeln.
Promptbasierte Bildsuche im AV-Portal
Aufbauend auf den OpenCLIP-Entwicklungen des Jahres 2025 arbeiten wir daran, 2026 eine vollwertige Bildsuche im AV-Portal zu realisieren. Künftig sollen Nutzer nicht mehr nur nach vordeﬁnierten visuellen Konzepten ﬁltern, sondern mit frei formulierten Texteingaben (Zero-Shot-Suchen) direkt im Bildinhalt unserer Videos recherchieren können. Unsere aktuellen Überlegungen zielen darauf ab, diese promptbasierte Suche sowohl portalweit als auch auf den Detailseiten der Videos anzubieten. Auf diese Weise würde ein neuartiger Zugang zu wissenschaftlichen Videos entstehen, bei dem visuelle Inhalte ebenso intuitiv und präzise durchsuchbar wären wie Text.
#LizenzCCBY40INT #TIBAVPortal #wissenschaftlicheFilme #wissenschaftlicheVideos

#lizenzccby40int #tibavportal #wissenschaftlichefilme #wissenschaftlichevideos
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

Das TIB AV-Portal im Jahr 2025: neue Infrastruktur, KI-gestützte Medienanalyse und Audio-Only
read this article in English
Wie in den vergangenen Jahren möchten wir auch diesmal einen Überblick über die wichtigsten technischen und funktionalen Erweiterungen des TIB AV-Portals geben. Das Scrum-Team hat 2025 erneut zahlreiche Verbesserungen umgesetzt, die sowohl die infrastrukturelle Basis als auch die Nutzungsmöglichkeiten des Portals ausgebaut haben.
Einige dieser Entwicklungen gehen direkt auf Rückmeldungen und konkrete Anforderungen aus der Nutzerschaft zurück. Für manche Leserinnen und Leser dürfte dieser Rückblick daher nicht nur informativ, sondern auch persönlich interessant sein – vielleicht entdecken Sie an der einen oder anderen Stelle eine Funktion, deren Umsetzung Sie selbst angeregt haben.
Vom externen Hosting zur eigenen Infrastruktur
Mit der vollständigen Migration der Video- und Audioauslieferung auf Server der TIB im Januar 2025 hat das AV-Portal einen bedeutenden infrastrukturellen Entwicklungsschritt vollzogen. Wo zuvor einzelne Komponenten für Streaming, Download und Bereitstellung über externe Drittsysteme liefen, erfolgen diese Prozesse nun vollständig über die Infrastruktur der TIB. Auch die Begleitmaterialien – etwa Präsentationen, Skripte, Forschungsdaten oder zusätzliches Lehrmaterial – werden mittlerweile direkt an der TIB gehostet.
Durch den Betrieb auf eigenen Servern kontrolliert die TIB nicht nur die technischen Abläufe, sondern auch die damit verbundenen Datenﬂüsse, Speicherorte und Sicherheitsstandards. Externe Abhängigkeiten, etwa in Bezug auf Verfügbarkeiten oder Service Levels, konnten damit weiter reduziert werden. Frei nach der Devise: Wissenschaftliche Daten gehören in wissenschaftliche Infrastruktur – und zwar unter Bedingungen, die den Anforderungen von Forschung, Lehre und Open Science gerecht werden.
Adaptives Streaming mit MPEG-DASH
Ebenfalls seit Januar 2025 erzeugen wir adaptive Derivate im MPEG-DASH-Format. Dadurch lässt sich die Qualität eines Videos während der Wiedergabe dynamisch an die verfügbare Internetbandbreite der Nutzerin anpassen. Statt ein einziges, statisch kodiertes Video auszuliefern, stellt das AV-Portal mehrere Qualitätsstufen bereit, zwischen denen der Player automatisch wechselt.
Das Ergebnis ist ein deutlich stabileres Streaming-Erlebnis: Verzögerungen, Ruckler oder Bildabbrüche werden reduziert, während gleichzeitig stets die bestmögliche Auﬂösung genutzt wird. Zugleich sinkt die Datenlast, da nicht mehr unnötig große Dateien übertragen werden, wenn die individuelle Verbindung dies gar nicht zulässt. MPEG-DASH bildet damit einen wichtigen Schritt in Richtung einer modernen, skalierbaren Streaming-Infrastruktur.
Diverse Qualitätsstufen für adaptives Streaming
Höhere Auﬂösungen für wissenschaftliche Inhalte
Seit April 2025 erzeugen wir auch Auﬂösungen jenseits von Full HD. Dazu gehören unter anderem hochwertige Neuabtastungen aus einem Digitalisierungsprojekt, die mit einer Auﬂösung von 2048×1536 Pixeln vorliegen und damit sichtbar mehr Details bieten als herkömmliche HD-Formate.
Darüber hinaus stehen inzwischen zahlreiche Videos in 4K-Qualität zur Verfügung, die besonders bei visuellen Darstellungen, Animationen und komplexen wissenschaftlichen Inhalten ihre Stärken ausspielen.
Unterstützung für reine Audiodateien
Seit der Live-Schaltung von MPEG-DASH können im AV-Portal nicht nur Audiostreams als Teil von Video-Derivaten erzeugt werden, sondern erstmals auch echte Audioformate. Damit erweitert sich das Nutzungsspektrum des Portals deutlich: Neben klassischen Videoinhalten lassen sich nun auch reine Audioquellen – etwa Interviews, Podcasts, Vorträge oder Tonaufzeichnungen aus Forschungsprojekten – hochladen, analysieren und als separate Medienressourcen bereitstellen.
Audiobeitrag mit durchsuchbarem Transkript
Um reine Audiodateien zuverlässig verarbeiten zu können, nutzt das AV-Portal ein einheitliches technisches Verfahren. Dabei wird aus einer hochgeladenen Datei der Audioteil automatisch extrahiert und in das Format M4A umgewandelt – ein weit verbreiteter Standard, der auf vielen Geräten problemlos abgespielt werden kann.
Mit dieser Erweiterung unterstützt das AV-Portal nun nicht mehr nur Videos, sondern auch Audioformate – und wird damit zu einer Plattform für wissenschaftliche Ton- und Bildinhalte.
Flexibler und erweiterter Upload-Prozess
Mit der jüngsten Weiterentwicklung der Upload-Funktion können nun deutlich größere Dateien direkt über das Upload-Formular des AV-Portals hochgeladen werden. Möglich wird dies durch einen neuen Übertragungsprozess, der große Dateien automatisch in kleinere Datenpakete aufteilt und schrittweise überträgt. Dank dieses sogenannten „Chunked-Uploads“ lassen sich Videodateien mit einer Größe von bis zu 10 GB zuverlässig hochladen.
Zudem wurde der Ablauf ﬂexibler gestaltet: Nutzer können nun zunächst ihre Videodatei auswählen und parallel dazu die Metadaten im Formular eintragen. Auf diese Weise lassen sich mögliche Wartezeiten während des Upload-Prozesses sinnvoll nutzen.
Abgerundet wird die Erweiterung durch zusätzliche Upload-Optionen: Neben dem Video oder Audio können jetzt auch eigene Transkripte sowie Vorschaubilder mitgeliefert werden.
OpenCLIP für präzise Bildinhaltsanalyse
Um visuelle Inhalte in wissenschaftlichen Videos gezielter auﬃnden zu können, haben wir im TIB AV-Portal eine neue Generation der bildbasierten Suche implementiert. Als technologisches Fundament dienen OpenCLIP-Vektoren, die wir für sämtliche Videoframes berechnet haben.
Auf dieser Basis entstand ein Prototyp für Zero-Shot-Suchanfragen, der beliebige Texteingaben – auch in verschiedenen Sprachen – direkt mit den Bildinhalten abgleicht. Bereits dieser erste Prototyp zeigte eindrucksvoll, dass selbst komplex formulierte Suchbegriﬀe geeignete Bildinhalte zurückliefern können.
Im Anschluss daran haben wir das VCD-Labelling grundlegend erneuert. Hierfür wurde eine kuratierte Liste visueller Konzepte erstellt, die sowohl bestehende als auch neu deﬁnierte Kategorien umfasst – etwa „chemisches Experiment“, „Mikrophotographie“ oder „Roboter“. Für jedes der derzeit 86 Konzepte formulierten wir speziﬁsche Prompts und generierten daraus Textvektoren. Anhand von Schwellwerten, die mit Hilfe einer manuellen Ground Truth festgelegt wurden, ließ sich bestimmen, ab wann ein Konzept im Bildmaterial als erkannt gilt. Zusätzlich wurden die visuellen Konzepte mit Sachbegriﬀen aus der Gemeinsamen Normdatei (GND) verknüpft.
Für die Nutzung des Portals bedeutet dies: Der gesamte Videobestand kann mithilfe dieser visuellen Konzepte geﬁltert werden. Außerdem lassen sich auf den Detailseiten die erkannten Konzepte über Sprungmarken punktgenau ansteuern.
Suche im Bildinhalt mit Sprungmarken
Der vielleicht größte Fortschritt besteht jedoch darin, dass das Scrum-Team nun selbst jederzeit neue VCD-Konzepte bestimmen und unmittelbar ins Portal integrieren kann. Da die zugrunde liegende Open-Source-Software OpenCLIP vollständig auf TIB-Servern betrieben wird, verbleiben sämtliche Daten und Prozesse unter unserer Kontrolle. Damit ist ein erster Meilenstein erreicht; weitere OpenCLIP-basierte Funktionen sind bereits in Vorbereitung.
Verbesserte Anzeige der GND-Annotationen
Im AV-Portal werden Sprache, eingeblendete Texte und visuelle Inhalte automatisch mit Sachbegriffen der GND angereichert. Diese Annotationen präsentieren wir auf den Detailseiten nun deutlich übersichtlicher: Statt einer verstreuten Darstellung erscheint dort eine alphabetisch sortierte Liste aller erkannten Entitäten, die sich zudem gezielt durchsuchen und nach Sprache, Text oder Bild ﬁltern lässt.
Annotationen von Sprache, Text und Bild
Mit einem Klick auf einen Eintrag lässt sich direkt nachvollziehen, an welchen Stellen im Video der entsprechende Begriﬀ vorkommt – die Treﬀer werden übersichtlich in der Zeitleiste hervorgehoben. Auf diese Weise können Nutzer unmittelbar zu den relevanten Szenen springen, ohne mühsam durch das gesamte Video navigieren zu müssen.
Neue Untertitel-Segmentierung für bessere Lesbarkeit
Um die Qualität der Untertitel im AV-Portal weiter zu verbessern, haben wir eine neue Segmentierung der Whisper-Transkripte eingeführt. Diese basiert auf OpenNLP, einem Open-Source-Toolkit für die automatische Verarbeitung natürlicher Sprache, und berücksichtigt nicht nur Satzzeichen, sondern auch Wortarten und natürliche Sprachpausen.
Ergänzend dazu kommt ein Look-Ahead-Algorithmus zum Einsatz, der innerhalb eines Vorschaufensters von 150 Zeichen den optimalen Trennpunkt für den nächsten Cue, eine zeitlich abgegrenzte Untertitel-Einheit, ermittelt.
Im Unterschied zu einfachen heuristischen Verfahren bewertet der Algorithmus nicht nur die aktuelle, sondern alle nachfolgenden möglichen Trennstellen und maximiert so die Gesamtqualität des Untertitelumbruchs. Auf diese Weise lassen sich unnatürlich kurze Segmente – etwa einzelne Wörter am Ende einer Untertitelzeile – zuverlässig vermeiden. Damit verbessern wir die Lesbarkeit der Untertitel für eine barrierefreie Nutzung und schaﬀen zugleich die Grundlage für eine mögliche Text-to-Speech-Funktionalität.
Präziseres Teilen und Zitieren von Videoinhalten
Mit den jüngsten Releases haben wir die Funktionen zum Teilen und Zitieren von Videos erweitert und ﬂexibler gestaltet. Im Teilen-Dialog lässt sich nun ein optionaler Startzeitstempel hinzufügen, sodass sich Videoinhalte gezielt ab einer bestimmten Stelle wiedergeben lassen; dieselbe Möglichkeit steht auch für den Embed-Code zur Verfügung. Zudem wurde der Zitieren-Dialog erweitert: Der Zeitstempel eines Segments kann dort je nach Bedarf ein- oder ausgeblendet werden. Im Zuge dieser Neuerungen haben wir den Teilen-Dialog überarbeitet und seine Struktur so angepasst, dass sich die Funktionen insgesamt intuitiver nutzen lassen.
Teilendialog mit Startzeitstempel für den Embed Code
Bereitstellung von Metadaten als Open Data
Die TIB fördert die Nutzung und Sichtbarkeit ihrer audiovisuellen Bestände, indem sie die Metadaten des AV-Portals als Open Data veröﬀentlicht. Einmal pro Woche werden die Metadaten und Vorschaubilder all jener Videos automatisch bereitgestellt, für die dies rechtlich möglich ist. Auf unserer Open-Data-Seite stehen die Daten in zwei Formaten zur Verfügung: JSONL für die performante Verarbeitung großer Datenmengen sowie Turtle als RDF-Format für den Einsatz in semantischen Anwendungen und Linked-Data-Umgebungen.
Integration ausgewählter Metadaten in die MP4-Datei
Metadaten wie Titel, Autor und der Link zur Detailseite wurden in die herunterladbare MP4-Datei integriert. Die Informationen bleiben damit auch dann erhalten, wenn das Video lokal gespeichert, weitergegeben oder in anderen Anwendungen geöﬀnet wird. So lässt sich jederzeit nachvollziehen, woher das Video stammt und welche Quelle zitiert werden sollte – ganz ohne zusätzliche Notizen oder manuelle Recherche.
Einblendung der in den Download integrierten Metadaten im VLC-Player
Ausblick für 2026
Stella als Evaluierungsrahmen für Videoempfehlungen
Stella ist eine Living-Lab-Infrastruktur zur Evaluation experimenteller Retrieval- und Empfehlungssysteme mit echten Nutzern; das TIB AV-Portal dient in diesem Projekt als Produktpartner. 2025 haben wir die technischen Grundlagen für den Einsatz von Stella im Portal geschaﬀen, die Liveschaltung ist für das kommende Jahr geplant.
Mit Hilfe von Stella können verschiedene Empfehlungsalgorithmen per Interleaved-A/B-Tests direkt im Portal verglichen werden: Nutzer sehen abwechselnd Videoempfehlungen aus unserem bisherigen Ansatz (Solr MoreLikeThis) und aus experimentellen Recommendern. Die daraus resultierenden Klicks dienen als anonymisiertes Feedback. So lässt sich empirisch ermitteln, welcher Algorithmus im realen Nutzungskontext bessere Empfehlungen liefert.
Die Forschungsgruppe Visual Analytics der TIB wird in Zukunft weitere Recommender-Experimente entwickeln und bereitstellen, sodass wir alle notwendigen Komponenten im Haus haben, um das Empfehlungssystem kontinuierlich zu evaluieren und weiterzuentwickeln.
Promptbasierte Bildsuche im AV-Portal
Aufbauend auf den OpenCLIP-Entwicklungen des Jahres 2025 arbeiten wir daran, 2026 eine vollwertige Bildsuche im AV-Portal zu realisieren. Künftig sollen Nutzer nicht mehr nur nach vordeﬁnierten visuellen Konzepten ﬁltern, sondern mit frei formulierten Texteingaben (Zero-Shot-Suchen) direkt im Bildinhalt unserer Videos recherchieren können. Unsere aktuellen Überlegungen zielen darauf ab, diese promptbasierte Suche sowohl portalweit als auch auf den Detailseiten der Videos anzubieten. Auf diese Weise würde ein neuartiger Zugang zu wissenschaftlichen Videos entstehen, bei dem visuelle Inhalte ebenso intuitiv und präzise durchsuchbar wären wie Text.
#LizenzCCBY40INT #TIBAVPortal #wissenschaftlicheFilme #wissenschaftlicheVideos

#wissenschaftlichevideos #wissenschaftlichefilme #tibavportal #lizenzccby40int
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

Das TIB AV-Portal im Jahr 2025: neue Infrastruktur, KI-gestützte Medienanalyse und Audio-Only
read this article in English
Wie in den vergangenen Jahren möchten wir auch diesmal einen Überblick über die wichtigsten technischen und funktionalen Erweiterungen des TIB AV-Portals geben. Das Scrum-Team hat 2025 erneut zahlreiche Verbesserungen umgesetzt, die sowohl die infrastrukturelle Basis als auch die Nutzungsmöglichkeiten des Portals ausgebaut haben.
Einige dieser Entwicklungen gehen direkt auf Rückmeldungen und konkrete Anforderungen aus der Nutzerschaft zurück. Für manche Leserinnen und Leser dürfte dieser Rückblick daher nicht nur informativ, sondern auch persönlich interessant sein – vielleicht entdecken Sie an der einen oder anderen Stelle eine Funktion, deren Umsetzung Sie selbst angeregt haben.
Vom externen Hosting zur eigenen Infrastruktur
Mit der vollständigen Migration der Video- und Audioauslieferung auf Server der TIB im Januar 2025 hat das AV-Portal einen bedeutenden infrastrukturellen Entwicklungsschritt vollzogen. Wo zuvor einzelne Komponenten für Streaming, Download und Bereitstellung über externe Drittsysteme liefen, erfolgen diese Prozesse nun vollständig über die Infrastruktur der TIB. Auch die Begleitmaterialien – etwa Präsentationen, Skripte, Forschungsdaten oder zusätzliches Lehrmaterial – werden mittlerweile direkt an der TIB gehostet.
Durch den Betrieb auf eigenen Servern kontrolliert die TIB nicht nur die technischen Abläufe, sondern auch die damit verbundenen Datenﬂüsse, Speicherorte und Sicherheitsstandards. Externe Abhängigkeiten, etwa in Bezug auf Verfügbarkeiten oder Service Levels, konnten damit weiter reduziert werden. Frei nach der Devise: Wissenschaftliche Daten gehören in wissenschaftliche Infrastruktur – und zwar unter Bedingungen, die den Anforderungen von Forschung, Lehre und Open Science gerecht werden.
Adaptives Streaming mit MPEG-DASH
Ebenfalls seit Januar 2025 erzeugen wir adaptive Derivate im MPEG-DASH-Format. Dadurch lässt sich die Qualität eines Videos während der Wiedergabe dynamisch an die verfügbare Internetbandbreite der Nutzerin anpassen. Statt ein einziges, statisch kodiertes Video auszuliefern, stellt das AV-Portal mehrere Qualitätsstufen bereit, zwischen denen der Player automatisch wechselt.
Das Ergebnis ist ein deutlich stabileres Streaming-Erlebnis: Verzögerungen, Ruckler oder Bildabbrüche werden reduziert, während gleichzeitig stets die bestmögliche Auﬂösung genutzt wird. Zugleich sinkt die Datenlast, da nicht mehr unnötig große Dateien übertragen werden, wenn die individuelle Verbindung dies gar nicht zulässt. MPEG-DASH bildet damit einen wichtigen Schritt in Richtung einer modernen, skalierbaren Streaming-Infrastruktur.
Diverse Qualitätsstufen für adaptives Streaming
Höhere Auﬂösungen für wissenschaftliche Inhalte
Seit April 2025 erzeugen wir auch Auﬂösungen jenseits von Full HD. Dazu gehören unter anderem hochwertige Neuabtastungen aus einem Digitalisierungsprojekt, die mit einer Auﬂösung von 2048×1536 Pixeln vorliegen und damit sichtbar mehr Details bieten als herkömmliche HD-Formate.
Darüber hinaus stehen inzwischen zahlreiche Videos in 4K-Qualität zur Verfügung, die besonders bei visuellen Darstellungen, Animationen und komplexen wissenschaftlichen Inhalten ihre Stärken ausspielen.
Unterstützung für reine Audiodateien
Seit der Live-Schaltung von MPEG-DASH können im AV-Portal nicht nur Audiostreams als Teil von Video-Derivaten erzeugt werden, sondern erstmals auch echte Audioformate. Damit erweitert sich das Nutzungsspektrum des Portals deutlich: Neben klassischen Videoinhalten lassen sich nun auch reine Audioquellen – etwa Interviews, Podcasts, Vorträge oder Tonaufzeichnungen aus Forschungsprojekten – hochladen, analysieren und als separate Medienressourcen bereitstellen.
Audiobeitrag mit durchsuchbarem Transkript
Um reine Audiodateien zuverlässig verarbeiten zu können, nutzt das AV-Portal ein einheitliches technisches Verfahren. Dabei wird aus einer hochgeladenen Datei der Audioteil automatisch extrahiert und in das Format M4A umgewandelt – ein weit verbreiteter Standard, der auf vielen Geräten problemlos abgespielt werden kann.
Mit dieser Erweiterung unterstützt das AV-Portal nun nicht mehr nur Videos, sondern auch Audioformate – und wird damit zu einer Plattform für wissenschaftliche Ton- und Bildinhalte.
Flexibler und erweiterter Upload-Prozess
Mit der jüngsten Weiterentwicklung der Upload-Funktion können nun deutlich größere Dateien direkt über das Upload-Formular des AV-Portals hochgeladen werden. Möglich wird dies durch einen neuen Übertragungsprozess, der große Dateien automatisch in kleinere Datenpakete aufteilt und schrittweise überträgt. Dank dieses sogenannten „Chunked-Uploads“ lassen sich Videodateien mit einer Größe von bis zu 10 GB zuverlässig hochladen.
Zudem wurde der Ablauf ﬂexibler gestaltet: Nutzer können nun zunächst ihre Videodatei auswählen und parallel dazu die Metadaten im Formular eintragen. Auf diese Weise lassen sich mögliche Wartezeiten während des Upload-Prozesses sinnvoll nutzen.
Abgerundet wird die Erweiterung durch zusätzliche Upload-Optionen: Neben dem Video oder Audio können jetzt auch eigene Transkripte sowie Vorschaubilder mitgeliefert werden.
OpenCLIP für präzise Bildinhaltsanalyse
Um visuelle Inhalte in wissenschaftlichen Videos gezielter auﬃnden zu können, haben wir im TIB AV-Portal eine neue Generation der bildbasierten Suche implementiert. Als technologisches Fundament dienen OpenCLIP-Vektoren, die wir für sämtliche Videoframes berechnet haben.
Auf dieser Basis entstand ein Prototyp für Zero-Shot-Suchanfragen, der beliebige Texteingaben – auch in verschiedenen Sprachen – direkt mit den Bildinhalten abgleicht. Bereits dieser erste Prototyp zeigte eindrucksvoll, dass selbst komplex formulierte Suchbegriﬀe geeignete Bildinhalte zurückliefern können.
Im Anschluss daran haben wir das VCD-Labelling grundlegend erneuert. Hierfür wurde eine kuratierte Liste visueller Konzepte erstellt, die sowohl bestehende als auch neu deﬁnierte Kategorien umfasst – etwa „chemisches Experiment“, „Mikrophotographie“ oder „Roboter“. Für jedes der derzeit 86 Konzepte formulierten wir speziﬁsche Prompts und generierten daraus Textvektoren. Anhand von Schwellwerten, die mit Hilfe einer manuellen Ground Truth festgelegt wurden, ließ sich bestimmen, ab wann ein Konzept im Bildmaterial als erkannt gilt. Zusätzlich wurden die visuellen Konzepte mit Sachbegriﬀen aus der Gemeinsamen Normdatei (GND) verknüpft.
Für die Nutzung des Portals bedeutet dies: Der gesamte Videobestand kann mithilfe dieser visuellen Konzepte geﬁltert werden. Außerdem lassen sich auf den Detailseiten die erkannten Konzepte über Sprungmarken punktgenau ansteuern.
Suche im Bildinhalt mit Sprungmarken
Der vielleicht größte Fortschritt besteht jedoch darin, dass das Scrum-Team nun selbst jederzeit neue VCD-Konzepte bestimmen und unmittelbar ins Portal integrieren kann. Da die zugrunde liegende Open-Source-Software OpenCLIP vollständig auf TIB-Servern betrieben wird, verbleiben sämtliche Daten und Prozesse unter unserer Kontrolle. Damit ist ein erster Meilenstein erreicht; weitere OpenCLIP-basierte Funktionen sind bereits in Vorbereitung.
Verbesserte Anzeige der GND-Annotationen
Im AV-Portal werden Sprache, eingeblendete Texte und visuelle Inhalte automatisch mit Sachbegriffen der GND angereichert. Diese Annotationen präsentieren wir auf den Detailseiten nun deutlich übersichtlicher: Statt einer verstreuten Darstellung erscheint dort eine alphabetisch sortierte Liste aller erkannten Entitäten, die sich zudem gezielt durchsuchen und nach Sprache, Text oder Bild ﬁltern lässt.
Annotationen von Sprache, Text und Bild
Mit einem Klick auf einen Eintrag lässt sich direkt nachvollziehen, an welchen Stellen im Video der entsprechende Begriﬀ vorkommt – die Treﬀer werden übersichtlich in der Zeitleiste hervorgehoben. Auf diese Weise können Nutzer unmittelbar zu den relevanten Szenen springen, ohne mühsam durch das gesamte Video navigieren zu müssen.
Neue Untertitel-Segmentierung für bessere Lesbarkeit
Um die Qualität der Untertitel im AV-Portal weiter zu verbessern, haben wir eine neue Segmentierung der Whisper-Transkripte eingeführt. Diese basiert auf OpenNLP, einem Open-Source-Toolkit für die automatische Verarbeitung natürlicher Sprache, und berücksichtigt nicht nur Satzzeichen, sondern auch Wortarten und natürliche Sprachpausen.
Ergänzend dazu kommt ein Look-Ahead-Algorithmus zum Einsatz, der innerhalb eines Vorschaufensters von 150 Zeichen den optimalen Trennpunkt für den nächsten Cue, eine zeitlich abgegrenzte Untertitel-Einheit, ermittelt.
Im Unterschied zu einfachen heuristischen Verfahren bewertet der Algorithmus nicht nur die aktuelle, sondern alle nachfolgenden möglichen Trennstellen und maximiert so die Gesamtqualität des Untertitelumbruchs. Auf diese Weise lassen sich unnatürlich kurze Segmente – etwa einzelne Wörter am Ende einer Untertitelzeile – zuverlässig vermeiden. Damit verbessern wir die Lesbarkeit der Untertitel für eine barrierefreie Nutzung und schaﬀen zugleich die Grundlage für eine mögliche Text-to-Speech-Funktionalität.
Präziseres Teilen und Zitieren von Videoinhalten
Mit den jüngsten Releases haben wir die Funktionen zum Teilen und Zitieren von Videos erweitert und ﬂexibler gestaltet. Im Teilen-Dialog lässt sich nun ein optionaler Startzeitstempel hinzufügen, sodass sich Videoinhalte gezielt ab einer bestimmten Stelle wiedergeben lassen; dieselbe Möglichkeit steht auch für den Embed-Code zur Verfügung. Zudem wurde der Zitieren-Dialog erweitert: Der Zeitstempel eines Segments kann dort je nach Bedarf ein- oder ausgeblendet werden. Im Zuge dieser Neuerungen haben wir den Teilen-Dialog überarbeitet und seine Struktur so angepasst, dass sich die Funktionen insgesamt intuitiver nutzen lassen.
Teilendialog mit Startzeitstempel für den Embed Code
Bereitstellung von Metadaten als Open Data
Die TIB fördert die Nutzung und Sichtbarkeit ihrer audiovisuellen Bestände, indem sie die Metadaten des AV-Portals als Open Data veröﬀentlicht. Einmal pro Woche werden die Metadaten und Vorschaubilder all jener Videos automatisch bereitgestellt, für die dies rechtlich möglich ist. Auf unserer Open-Data-Seite stehen die Daten in zwei Formaten zur Verfügung: JSONL für die performante Verarbeitung großer Datenmengen sowie Turtle als RDF-Format für den Einsatz in semantischen Anwendungen und Linked-Data-Umgebungen.
Integration ausgewählter Metadaten in die MP4-Datei
Metadaten wie Titel, Autor und der Link zur Detailseite wurden in die herunterladbare MP4-Datei integriert. Die Informationen bleiben damit auch dann erhalten, wenn das Video lokal gespeichert, weitergegeben oder in anderen Anwendungen geöﬀnet wird. So lässt sich jederzeit nachvollziehen, woher das Video stammt und welche Quelle zitiert werden sollte – ganz ohne zusätzliche Notizen oder manuelle Recherche.
Einblendung der in den Download integrierten Metadaten im VLC-Player
Ausblick für 2026
Stella als Evaluierungsrahmen für Videoempfehlungen
Stella ist eine Living-Lab-Infrastruktur zur Evaluation experimenteller Retrieval- und Empfehlungssysteme mit echten Nutzern; das TIB AV-Portal dient in diesem Projekt als Produktpartner. 2025 haben wir die technischen Grundlagen für den Einsatz von Stella im Portal geschaﬀen, die Liveschaltung ist für das kommende Jahr geplant.
Mit Hilfe von Stella können verschiedene Empfehlungsalgorithmen per Interleaved-A/B-Tests direkt im Portal verglichen werden: Nutzer sehen abwechselnd Videoempfehlungen aus unserem bisherigen Ansatz (Solr MoreLikeThis) und aus experimentellen Recommendern. Die daraus resultierenden Klicks dienen als anonymisiertes Feedback. So lässt sich empirisch ermitteln, welcher Algorithmus im realen Nutzungskontext bessere Empfehlungen liefert.
Die Forschungsgruppe Visual Analytics der TIB wird in Zukunft weitere Recommender-Experimente entwickeln und bereitstellen, sodass wir alle notwendigen Komponenten im Haus haben, um das Empfehlungssystem kontinuierlich zu evaluieren und weiterzuentwickeln.
Promptbasierte Bildsuche im AV-Portal
Aufbauend auf den OpenCLIP-Entwicklungen des Jahres 2025 arbeiten wir daran, 2026 eine vollwertige Bildsuche im AV-Portal zu realisieren. Künftig sollen Nutzer nicht mehr nur nach vordeﬁnierten visuellen Konzepten ﬁltern, sondern mit frei formulierten Texteingaben (Zero-Shot-Suchen) direkt im Bildinhalt unserer Videos recherchieren können. Unsere aktuellen Überlegungen zielen darauf ab, diese promptbasierte Suche sowohl portalweit als auch auf den Detailseiten der Videos anzubieten. Auf diese Weise würde ein neuartiger Zugang zu wissenschaftlichen Videos entstehen, bei dem visuelle Inhalte ebenso intuitiv und präzise durchsuchbar wären wie Text.
#LizenzCCBY40INT #TIBAVPortal #wissenschaftlicheFilme #wissenschaftlicheVideos

#lizenzccby40int #tibavportal #wissenschaftlichefilme #wissenschaftlichevideos
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

The TIB AV-Portal in 2025: New Infrastructure, AI-Based Media Analysis, and Audio-Only
diesen Beitrag auf Deutsch lesen
As in previous years, we would once again like to provide an overview of the most important technical and functional enhancements of the TIB AV-Portal. In 2025, the Scrum team implemented a wide range of improvements that strengthened both the infrastructural foundation and the functional capabilities of the portal.
Several of these developments directly respond to feedback and concrete requirements raised by users. For some readers, this review may therefore be not only informative but also personally relevant – perhaps you will spot a feature that you yourself helped inspire.
From External Hosting to TIB-Owned Infrastructure
With the complete migration of video and audio delivery to servers operated by TIB in January 2025, the AV-Portal has taken a signiﬁcant step forward in its infrastructural development. Previously, individual components for streaming, download, and delivery operated on external third-party systems; these processes are now conducted entirely within TIB infrastructure. Supplementary materials – such as presentations, scripts, research data, or additional teaching resources – are likewise hosted directly at TIB.
By running these services on its own servers, TIB not only controls all technical processes but also governs data ﬂows, storage locations, and security standards. External dependencies – such as those related to availability or service levels – have been further reduced. Following the principle: Scientiﬁc data belongs in scientiﬁc infrastructure – under conditions that meet the requirements of research, teaching, and Open Science.
Adaptive Streaming with MPEG-DASH
Since January 2025, we have been generating adaptive derivatives in the MPEG-DASH format. This enables video quality to adjust dynamically to the user’s available bandwidth during playback.
Instead of delivering a single, statically encoded video, the AV-Portal provides multiple quality levels between which the player switches automatically.
The result is a signiﬁcantly more stable streaming experience: delays, stutters, and playback interruptions are reduced, while always delivering the best possible resolution. At the same time, bandwidth usage decreases, as unnecessarily large ﬁles are no longer transmitted when a user’s connection cannot support them. MPEG-DASH thus represents an important step toward a modern, scalable streaming infrastructure.
Various quality levels for adaptive streaming
Higher Resolutions for Scientiﬁc Content
Since April 2025, we have been generating resolutions beyond Full HD. These include high-quality rescans from a digitization project, available at 2048×1536 pixels and oﬀering visibly more detail than standard HD formats. In addition, numerous videos are now available in 4K, which is particularly beneﬁcial for visual material, animations, and complex scientiﬁc content.
Support for Audio-Only Files
Since the introduction of MPEG-DASH, the AV-Portal can not only generate audio streams as part of video derivatives but also produce real audio formats for the ﬁrst time. This signiﬁcantly broadens the portal’s scope: in addition to traditional video content, users can now upload, analyze, and publish standalone audio sources – such as interviews, podcasts, lectures, or audio recordings from research projects.
Audio with searchable transcript
To ensure reliable processing of audio-only ﬁles, the AV-Portal uses a uniﬁed technical procedure. The audio track is automatically extracted from an uploaded ﬁle and converted into M4A – a widely supported format that can be played on most devices.
With this enhancement, the AV-Portal now supports not only videos but also audio formats, becoming a platform for scientiﬁc sound and image media alike.
More Flexible and Extended Upload Process
With the latest enhancement of the upload function, signiﬁcantly larger ﬁles can now be uploaded directly via the AV-Portal’s upload form. This is made possible by a new transfer process that automatically divides large ﬁles into smaller data chunks and uploads them incrementally. With this so-called “chunked upload”, video ﬁles up to 10 GB can be uploaded reliably.
The workﬂow has also become more ﬂexible: users can now select their video ﬁle and simultaneously enter the metadata in the form. This allows any waiting time during the upload to be used productively.
The expansion is rounded oﬀ by additional upload options: alongside the video or audio ﬁle, users may now supply their own transcripts and preview images.
OpenCLIP for Precise Image Content Analysis
To improve the discoverability of visual content in scientiﬁc videos, we have implemented a new generation of image-based search within the TIB AV-Portal. The technological foundation consists of OpenCLIP vectors, which we computed for every video frame in the portal.
On this basis, we developed a prototype for zero-shot queries that matches free-form textual input – across multiple languages – directly with the visual content. Even this initial prototype demonstrated that highly complex search phrases can return suitable image results.
Subsequently, we fundamentally renewed VCD labeling. A curated list of visual concepts was created, covering both established and newly deﬁned categories – such as “chemical experiment”, “microphotography”, or “robot”. For each of the current 86 concepts, we formulated speciﬁc prompts and generated corresponding text vectors. Using thresholds derived from a manually created ground truth, we determined at which point a concept can be considered present in the video material. Additionally, these visual concepts were linked to subject headings from the Integrated Authority File (GND).
For users, this means: the entire video collection can now be ﬁltered using visual concepts, and the detail pages allow direct navigation to the exact timestamps where these concepts occur.
Image-content search with jump markers
Perhaps the most signiﬁcant progress is that the Scrum team can now deﬁne new VCD concepts at any time and integrate them directly into the portal. Since the underlying open-source software OpenCLIP is operated entirely on TIB servers, all data and processes remain fully under our control. This represents a major milestone, and additional OpenCLIP-based features are already under development.
Improved Display of GND Annotations
In the AV-Portal, speech, on-screen text, and visual content are automatically enriched with GND subject headings. These annotations are now displayed far more clearly on the detail pages: instead of appearing in a scattered layout, users now see an alphabetically sorted list of all detected entities, which can be searched and ﬁltered by language, text, or image.
Annotations from speech, text, and image
A single click reveals where in the video the term appears – the matches are highlighted clearly in the timeline. Users can therefore jump directly to relevant scenes without having to navigate through the entire video.
New Subtitle Segmentation for Improved Readability
To further enhance subtitle quality, we introduced a new segmentation method for Whisper transcripts. This method is based on OpenNLP, an open-source toolkit for natural language processing, and considers not only punctuation but also part-of-speech information and natural speech pauses.
Additionally, a look-ahead algorithm evaluates all possible breakpoints within a preview window of 150 characters to determine the optimal cue boundary. Unlike simple heuristic approaches, the algorithm considers upcoming options to maximize overall subtitle quality. This reliably prevents unnaturally short segments – such as single words at the end of a subtitle line.
This improvement enhances readability for accessibility purposes and establishes the technical ground-work for potential text-to-speech functionality.
More Precise Sharing and Citing of Video Content
With recent releases, we have expanded and reﬁned the functions for sharing and citing videos. The share dialog now includes an optional start timestamp, enabling video playback to begin at a speciﬁc point; the same option is available for the embed code. The citation dialog was likewise enhanced: the timestamp of a segment can now be displayed or removed as needed. As part of these improvements, we redesigned the share dialog to make the overall structure more intuitive.
Share dialog with start timestamp for the embed code
Providing Metadata as Open Data
TIB promotes the use and visibility of its audiovisual holdings by publishing the AV-Portal’s meta-data as Open Data. Once per week, the metadata and preview images of all legally eligible videos are automatically made available. On our Open Data page, the data is oﬀered in two formats:
JSONL for eﬃcient processing of large volumes, and Turtle as an RDF format suitable for semantic applications and Linked Data environments.
Embedding Selected Metadata into the MP4 File
Metadata such as title, author, and the link to the detail page are now embedded directly into the downloadable MP4 ﬁle. These details remain available even when the video is saved locally, shared, or opened in other applications. This ensures that the origin of the video and the appropriate citation source can always be identiﬁed – without additional notes or manual research.
Display of embedded metadata in the downloaded MP4 ﬁle (VLC Player)
Outlook for 2026
Stella as an Evaluation Framework for Video Recommendations
Stella is a living-lab infrastructure for evaluating experimental retrieval and recommendation systems with real users; the TIB AV-Portal is a product partner in this project. In 2025, we created the technical foundations for integrating Stella into the portal; the live deployment is planned for the coming year.
With Stella, various recommendation algorithms can be compared directly within the portal using interleaved A/B tests: users are shown recommendations alternating between our existing approach (Solr MoreLikeThis) and experimental recommenders. The resulting clicks serve as anonymized feedback. This enables an empirical determination of which algorithm performs better in real-world use.
The Visual Analytics research group at TIB will continue to develop and provide additional recommender experiments, ensuring that all required components are available in-house to continuously evaluate and improve the recommendation system.
Prompt-Based Image Search in the AV-Portal
Building on the OpenCLIP developments of 2025, we aim to implement a full-ﬂedged image search in the AV-Portal in 2026. In future, users will not be limited to ﬁltering by predeﬁned visual concepts but will be able to search the visual content of our videos directly using freely formulated text queries (zero-shot search). Our current considerations involve oﬀering this prompt-based search both across the entire portal and on the detail pages of videos. This would create a novel way of accessing scientiﬁc videos, making visual content as intuitively and precisely searchable as textual content.
#LizenzCCBY40INT #TIBAVPortal #scientificVideos

#lizenzccby40int #tibavportal #scientificvideos
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

The TIB AV-Portal in 2025: New Infrastructure, AI-Based Media Analysis, and Audio-Only
diesen Beitrag auf Deutsch lesen
As in previous years, we would once again like to provide an overview of the most important technical and functional enhancements of the TIB AV-Portal. In 2025, the Scrum team implemented a wide range of improvements that strengthened both the infrastructural foundation and the functional capabilities of the portal.
Several of these developments directly respond to feedback and concrete requirements raised by users. For some readers, this review may therefore be not only informative but also personally relevant – perhaps you will spot a feature that you yourself helped inspire.
From External Hosting to TIB-Owned Infrastructure
With the complete migration of video and audio delivery to servers operated by TIB in January 2025, the AV-Portal has taken a signiﬁcant step forward in its infrastructural development. Previously, individual components for streaming, download, and delivery operated on external third-party systems; these processes are now conducted entirely within TIB infrastructure. Supplementary materials – such as presentations, scripts, research data, or additional teaching resources – are likewise hosted directly at TIB.
By running these services on its own servers, TIB not only controls all technical processes but also governs data ﬂows, storage locations, and security standards. External dependencies – such as those related to availability or service levels – have been further reduced. Following the principle: Scientiﬁc data belongs in scientiﬁc infrastructure – under conditions that meet the requirements of research, teaching, and Open Science.
Adaptive Streaming with MPEG-DASH
Since January 2025, we have been generating adaptive derivatives in the MPEG-DASH format. This enables video quality to adjust dynamically to the user’s available bandwidth during playback.
Instead of delivering a single, statically encoded video, the AV-Portal provides multiple quality levels between which the player switches automatically.
The result is a signiﬁcantly more stable streaming experience: delays, stutters, and playback interruptions are reduced, while always delivering the best possible resolution. At the same time, bandwidth usage decreases, as unnecessarily large ﬁles are no longer transmitted when a user’s connection cannot support them. MPEG-DASH thus represents an important step toward a modern, scalable streaming infrastructure.
Various quality levels for adaptive streaming
Higher Resolutions for Scientiﬁc Content
Since April 2025, we have been generating resolutions beyond Full HD. These include high-quality rescans from a digitization project, available at 2048×1536 pixels and oﬀering visibly more detail than standard HD formats. In addition, numerous videos are now available in 4K, which is particularly beneﬁcial for visual material, animations, and complex scientiﬁc content.
Support for Audio-Only Files
Since the introduction of MPEG-DASH, the AV-Portal can not only generate audio streams as part of video derivatives but also produce real audio formats for the ﬁrst time. This signiﬁcantly broadens the portal’s scope: in addition to traditional video content, users can now upload, analyze, and publish standalone audio sources – such as interviews, podcasts, lectures, or audio recordings from research projects.
Audio with searchable transcript
To ensure reliable processing of audio-only ﬁles, the AV-Portal uses a uniﬁed technical procedure. The audio track is automatically extracted from an uploaded ﬁle and converted into M4A – a widely supported format that can be played on most devices.
With this enhancement, the AV-Portal now supports not only videos but also audio formats, becoming a platform for scientiﬁc sound and image media alike.
More Flexible and Extended Upload Process
With the latest enhancement of the upload function, signiﬁcantly larger ﬁles can now be uploaded directly via the AV-Portal’s upload form. This is made possible by a new transfer process that automatically divides large ﬁles into smaller data chunks and uploads them incrementally. With this so-called “chunked upload”, video ﬁles up to 10 GB can be uploaded reliably.
The workﬂow has also become more ﬂexible: users can now select their video ﬁle and simultaneously enter the metadata in the form. This allows any waiting time during the upload to be used productively.
The expansion is rounded oﬀ by additional upload options: alongside the video or audio ﬁle, users may now supply their own transcripts and preview images.
OpenCLIP for Precise Image Content Analysis
To improve the discoverability of visual content in scientiﬁc videos, we have implemented a new generation of image-based search within the TIB AV-Portal. The technological foundation consists of OpenCLIP vectors, which we computed for every video frame in the portal.
On this basis, we developed a prototype for zero-shot queries that matches free-form textual input – across multiple languages – directly with the visual content. Even this initial prototype demonstrated that highly complex search phrases can return suitable image results.
Subsequently, we fundamentally renewed VCD labeling. A curated list of visual concepts was created, covering both established and newly deﬁned categories – such as “chemical experiment”, “microphotography”, or “robot”. For each of the current 86 concepts, we formulated speciﬁc prompts and generated corresponding text vectors. Using thresholds derived from a manually created ground truth, we determined at which point a concept can be considered present in the video material. Additionally, these visual concepts were linked to subject headings from the Integrated Authority File (GND).
For users, this means: the entire video collection can now be ﬁltered using visual concepts, and the detail pages allow direct navigation to the exact timestamps where these concepts occur.
Image-content search with jump markers
Perhaps the most signiﬁcant progress is that the Scrum team can now deﬁne new VCD concepts at any time and integrate them directly into the portal. Since the underlying open-source software OpenCLIP is operated entirely on TIB servers, all data and processes remain fully under our control. This represents a major milestone, and additional OpenCLIP-based features are already under development.
Improved Display of GND Annotations
In the AV-Portal, speech, on-screen text, and visual content are automatically enriched with GND subject headings. These annotations are now displayed far more clearly on the detail pages: instead of appearing in a scattered layout, users now see an alphabetically sorted list of all detected entities, which can be searched and ﬁltered by language, text, or image.
Annotations from speech, text, and image
A single click reveals where in the video the term appears – the matches are highlighted clearly in the timeline. Users can therefore jump directly to relevant scenes without having to navigate through the entire video.
New Subtitle Segmentation for Improved Readability
To further enhance subtitle quality, we introduced a new segmentation method for Whisper transcripts. This method is based on OpenNLP, an open-source toolkit for natural language processing, and considers not only punctuation but also part-of-speech information and natural speech pauses.
Additionally, a look-ahead algorithm evaluates all possible breakpoints within a preview window of 150 characters to determine the optimal cue boundary. Unlike simple heuristic approaches, the algorithm considers upcoming options to maximize overall subtitle quality. This reliably prevents unnaturally short segments – such as single words at the end of a subtitle line.
This improvement enhances readability for accessibility purposes and establishes the technical ground-work for potential text-to-speech functionality.
More Precise Sharing and Citing of Video Content
With recent releases, we have expanded and reﬁned the functions for sharing and citing videos. The share dialog now includes an optional start timestamp, enabling video playback to begin at a speciﬁc point; the same option is available for the embed code. The citation dialog was likewise enhanced: the timestamp of a segment can now be displayed or removed as needed. As part of these improvements, we redesigned the share dialog to make the overall structure more intuitive.
Share dialog with start timestamp for the embed code
Providing Metadata as Open Data
TIB promotes the use and visibility of its audiovisual holdings by publishing the AV-Portal’s meta-data as Open Data. Once per week, the metadata and preview images of all legally eligible videos are automatically made available. On our Open Data page, the data is oﬀered in two formats:
JSONL for eﬃcient processing of large volumes, and Turtle as an RDF format suitable for semantic applications and Linked Data environments.
Embedding Selected Metadata into the MP4 File
Metadata such as title, author, and the link to the detail page are now embedded directly into the downloadable MP4 ﬁle. These details remain available even when the video is saved locally, shared, or opened in other applications. This ensures that the origin of the video and the appropriate citation source can always be identiﬁed – without additional notes or manual research.
Display of embedded metadata in the downloaded MP4 ﬁle (VLC Player)
Outlook for 2026
Stella as an Evaluation Framework for Video Recommendations
Stella is a living-lab infrastructure for evaluating experimental retrieval and recommendation systems with real users; the TIB AV-Portal is a product partner in this project. In 2025, we created the technical foundations for integrating Stella into the portal; the live deployment is planned for the coming year.
With Stella, various recommendation algorithms can be compared directly within the portal using interleaved A/B tests: users are shown recommendations alternating between our existing approach (Solr MoreLikeThis) and experimental recommenders. The resulting clicks serve as anonymized feedback. This enables an empirical determination of which algorithm performs better in real-world use.
The Visual Analytics research group at TIB will continue to develop and provide additional recommender experiments, ensuring that all required components are available in-house to continuously evaluate and improve the recommendation system.
Prompt-Based Image Search in the AV-Portal
Building on the OpenCLIP developments of 2025, we aim to implement a full-ﬂedged image search in the AV-Portal in 2026. In future, users will not be limited to ﬁltering by predeﬁned visual concepts but will be able to search the visual content of our videos directly using freely formulated text queries (zero-shot search). Our current considerations involve oﬀering this prompt-based search both across the entire portal and on the detail pages of videos. This would create a novel way of accessing scientiﬁc videos, making visual content as intuitively and precisely searchable as textual content.
#LizenzCCBY40INT #TIBAVPortal #scientificVideos

#lizenzccby40int #tibavportal #scientificvideos
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

The TIB AV-Portal in 2025: New Infrastructure, AI-Based Media Analysis, and Audio-Only
diesen Beitrag auf Deutsch lesen
As in previous years, we would once again like to provide an overview of the most important technical and functional enhancements of the TIB AV-Portal. In 2025, the Scrum team implemented a wide range of improvements that strengthened both the infrastructural foundation and the functional capabilities of the portal.
Several of these developments directly respond to feedback and concrete requirements raised by users. For some readers, this review may therefore be not only informative but also personally relevant – perhaps you will spot a feature that you yourself helped inspire.
From External Hosting to TIB-Owned Infrastructure
With the complete migration of video and audio delivery to servers operated by TIB in January 2025, the AV-Portal has taken a signiﬁcant step forward in its infrastructural development. Previously, individual components for streaming, download, and delivery operated on external third-party systems; these processes are now conducted entirely within TIB infrastructure. Supplementary materials – such as presentations, scripts, research data, or additional teaching resources – are likewise hosted directly at TIB.
By running these services on its own servers, TIB not only controls all technical processes but also governs data ﬂows, storage locations, and security standards. External dependencies – such as those related to availability or service levels – have been further reduced. Following the principle: Scientiﬁc data belongs in scientiﬁc infrastructure – under conditions that meet the requirements of research, teaching, and Open Science.
Adaptive Streaming with MPEG-DASH
Since January 2025, we have been generating adaptive derivatives in the MPEG-DASH format. This enables video quality to adjust dynamically to the user’s available bandwidth during playback.
Instead of delivering a single, statically encoded video, the AV-Portal provides multiple quality levels between which the player switches automatically.
The result is a signiﬁcantly more stable streaming experience: delays, stutters, and playback interruptions are reduced, while always delivering the best possible resolution. At the same time, bandwidth usage decreases, as unnecessarily large ﬁles are no longer transmitted when a user’s connection cannot support them. MPEG-DASH thus represents an important step toward a modern, scalable streaming infrastructure.
Various quality levels for adaptive streaming
Higher Resolutions for Scientiﬁc Content
Since April 2025, we have been generating resolutions beyond Full HD. These include high-quality rescans from a digitization project, available at 2048×1536 pixels and oﬀering visibly more detail than standard HD formats. In addition, numerous videos are now available in 4K, which is particularly beneﬁcial for visual material, animations, and complex scientiﬁc content.
Support for Audio-Only Files
Since the introduction of MPEG-DASH, the AV-Portal can not only generate audio streams as part of video derivatives but also produce real audio formats for the ﬁrst time. This signiﬁcantly broadens the portal’s scope: in addition to traditional video content, users can now upload, analyze, and publish standalone audio sources – such as interviews, podcasts, lectures, or audio recordings from research projects.
Audio with searchable transcript
To ensure reliable processing of audio-only ﬁles, the AV-Portal uses a uniﬁed technical procedure. The audio track is automatically extracted from an uploaded ﬁle and converted into M4A – a widely supported format that can be played on most devices.
With this enhancement, the AV-Portal now supports not only videos but also audio formats, becoming a platform for scientiﬁc sound and image media alike.
More Flexible and Extended Upload Process
With the latest enhancement of the upload function, signiﬁcantly larger ﬁles can now be uploaded directly via the AV-Portal’s upload form. This is made possible by a new transfer process that automatically divides large ﬁles into smaller data chunks and uploads them incrementally. With this so-called “chunked upload”, video ﬁles up to 10 GB can be uploaded reliably.
The workﬂow has also become more ﬂexible: users can now select their video ﬁle and simultaneously enter the metadata in the form. This allows any waiting time during the upload to be used productively.
The expansion is rounded oﬀ by additional upload options: alongside the video or audio ﬁle, users may now supply their own transcripts and preview images.
OpenCLIP for Precise Image Content Analysis
To improve the discoverability of visual content in scientiﬁc videos, we have implemented a new generation of image-based search within the TIB AV-Portal. The technological foundation consists of OpenCLIP vectors, which we computed for every video frame in the portal.
On this basis, we developed a prototype for zero-shot queries that matches free-form textual input – across multiple languages – directly with the visual content. Even this initial prototype demonstrated that highly complex search phrases can return suitable image results.
Subsequently, we fundamentally renewed VCD labeling. A curated list of visual concepts was created, covering both established and newly deﬁned categories – such as “chemical experiment”, “microphotography”, or “robot”. For each of the current 86 concepts, we formulated speciﬁc prompts and generated corresponding text vectors. Using thresholds derived from a manually created ground truth, we determined at which point a concept can be considered present in the video material. Additionally, these visual concepts were linked to subject headings from the Integrated Authority File (GND).
For users, this means: the entire video collection can now be ﬁltered using visual concepts, and the detail pages allow direct navigation to the exact timestamps where these concepts occur.
Image-content search with jump markers
Perhaps the most signiﬁcant progress is that the Scrum team can now deﬁne new VCD concepts at any time and integrate them directly into the portal. Since the underlying open-source software OpenCLIP is operated entirely on TIB servers, all data and processes remain fully under our control. This represents a major milestone, and additional OpenCLIP-based features are already under development.
Improved Display of GND Annotations
In the AV-Portal, speech, on-screen text, and visual content are automatically enriched with GND subject headings. These annotations are now displayed far more clearly on the detail pages: instead of appearing in a scattered layout, users now see an alphabetically sorted list of all detected entities, which can be searched and ﬁltered by language, text, or image.
Annotations from speech, text, and image
A single click reveals where in the video the term appears – the matches are highlighted clearly in the timeline. Users can therefore jump directly to relevant scenes without having to navigate through the entire video.
New Subtitle Segmentation for Improved Readability
To further enhance subtitle quality, we introduced a new segmentation method for Whisper transcripts. This method is based on OpenNLP, an open-source toolkit for natural language processing, and considers not only punctuation but also part-of-speech information and natural speech pauses.
Additionally, a look-ahead algorithm evaluates all possible breakpoints within a preview window of 150 characters to determine the optimal cue boundary. Unlike simple heuristic approaches, the algorithm considers upcoming options to maximize overall subtitle quality. This reliably prevents unnaturally short segments – such as single words at the end of a subtitle line.
This improvement enhances readability for accessibility purposes and establishes the technical ground-work for potential text-to-speech functionality.
More Precise Sharing and Citing of Video Content
With recent releases, we have expanded and reﬁned the functions for sharing and citing videos. The share dialog now includes an optional start timestamp, enabling video playback to begin at a speciﬁc point; the same option is available for the embed code. The citation dialog was likewise enhanced: the timestamp of a segment can now be displayed or removed as needed. As part of these improvements, we redesigned the share dialog to make the overall structure more intuitive.
Share dialog with start timestamp for the embed code
Providing Metadata as Open Data
TIB promotes the use and visibility of its audiovisual holdings by publishing the AV-Portal’s meta-data as Open Data. Once per week, the metadata and preview images of all legally eligible videos are automatically made available. On our Open Data page, the data is oﬀered in two formats:
JSONL for eﬃcient processing of large volumes, and Turtle as an RDF format suitable for semantic applications and Linked Data environments.
Embedding Selected Metadata into the MP4 File
Metadata such as title, author, and the link to the detail page are now embedded directly into the downloadable MP4 ﬁle. These details remain available even when the video is saved locally, shared, or opened in other applications. This ensures that the origin of the video and the appropriate citation source can always be identiﬁed – without additional notes or manual research.
Display of embedded metadata in the downloaded MP4 ﬁle (VLC Player)
Outlook for 2026
Stella as an Evaluation Framework for Video Recommendations
Stella is a living-lab infrastructure for evaluating experimental retrieval and recommendation systems with real users; the TIB AV-Portal is a product partner in this project. In 2025, we created the technical foundations for integrating Stella into the portal; the live deployment is planned for the coming year.
With Stella, various recommendation algorithms can be compared directly within the portal using interleaved A/B tests: users are shown recommendations alternating between our existing approach (Solr MoreLikeThis) and experimental recommenders. The resulting clicks serve as anonymized feedback. This enables an empirical determination of which algorithm performs better in real-world use.
The Visual Analytics research group at TIB will continue to develop and provide additional recommender experiments, ensuring that all required components are available in-house to continuously evaluate and improve the recommendation system.
Prompt-Based Image Search in the AV-Portal
Building on the OpenCLIP developments of 2025, we aim to implement a full-ﬂedged image search in the AV-Portal in 2026. In future, users will not be limited to ﬁltering by predeﬁned visual concepts but will be able to search the visual content of our videos directly using freely formulated text queries (zero-shot search). Our current considerations involve oﬀering this prompt-based search both across the entire portal and on the detail pages of videos. This would create a novel way of accessing scientiﬁc videos, making visual content as intuitively and precisely searchable as textual content.
#LizenzCCBY40INT #TIBAVPortal #scientificVideos

#lizenzccby40int #tibavportal #scientificvideos
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

The TIB AV-Portal in 2025: New Infrastructure, AI-Based Media Analysis, and Audio-Only
diesen Beitrag auf Deutsch lesen
As in previous years, we would once again like to provide an overview of the most important technical and functional enhancements of the TIB AV-Portal. In 2025, the Scrum team implemented a wide range of improvements that strengthened both the infrastructural foundation and the functional capabilities of the portal.
Several of these developments directly respond to feedback and concrete requirements raised by users. For some readers, this review may therefore be not only informative but also personally relevant – perhaps you will spot a feature that you yourself helped inspire.
From External Hosting to TIB-Owned Infrastructure
With the complete migration of video and audio delivery to servers operated by TIB in January 2025, the AV-Portal has taken a signiﬁcant step forward in its infrastructural development. Previously, individual components for streaming, download, and delivery operated on external third-party systems; these processes are now conducted entirely within TIB infrastructure. Supplementary materials – such as presentations, scripts, research data, or additional teaching resources – are likewise hosted directly at TIB.
By running these services on its own servers, TIB not only controls all technical processes but also governs data ﬂows, storage locations, and security standards. External dependencies – such as those related to availability or service levels – have been further reduced. Following the principle: Scientiﬁc data belongs in scientiﬁc infrastructure – under conditions that meet the requirements of research, teaching, and Open Science.
Adaptive Streaming with MPEG-DASH
Since January 2025, we have been generating adaptive derivatives in the MPEG-DASH format. This enables video quality to adjust dynamically to the user’s available bandwidth during playback.
Instead of delivering a single, statically encoded video, the AV-Portal provides multiple quality levels between which the player switches automatically.
The result is a signiﬁcantly more stable streaming experience: delays, stutters, and playback interruptions are reduced, while always delivering the best possible resolution. At the same time, bandwidth usage decreases, as unnecessarily large ﬁles are no longer transmitted when a user’s connection cannot support them. MPEG-DASH thus represents an important step toward a modern, scalable streaming infrastructure.
Various quality levels for adaptive streaming
Higher Resolutions for Scientiﬁc Content
Since April 2025, we have been generating resolutions beyond Full HD. These include high-quality rescans from a digitization project, available at 2048×1536 pixels and oﬀering visibly more detail than standard HD formats. In addition, numerous videos are now available in 4K, which is particularly beneﬁcial for visual material, animations, and complex scientiﬁc content.
Support for Audio-Only Files
Since the introduction of MPEG-DASH, the AV-Portal can not only generate audio streams as part of video derivatives but also produce real audio formats for the ﬁrst time. This signiﬁcantly broadens the portal’s scope: in addition to traditional video content, users can now upload, analyze, and publish standalone audio sources – such as interviews, podcasts, lectures, or audio recordings from research projects.
Audio with searchable transcript
To ensure reliable processing of audio-only ﬁles, the AV-Portal uses a uniﬁed technical procedure. The audio track is automatically extracted from an uploaded ﬁle and converted into M4A – a widely supported format that can be played on most devices.
With this enhancement, the AV-Portal now supports not only videos but also audio formats, becoming a platform for scientiﬁc sound and image media alike.
More Flexible and Extended Upload Process
With the latest enhancement of the upload function, signiﬁcantly larger ﬁles can now be uploaded directly via the AV-Portal’s upload form. This is made possible by a new transfer process that automatically divides large ﬁles into smaller data chunks and uploads them incrementally. With this so-called “chunked upload”, video ﬁles up to 10 GB can be uploaded reliably.
The workﬂow has also become more ﬂexible: users can now select their video ﬁle and simultaneously enter the metadata in the form. This allows any waiting time during the upload to be used productively.
The expansion is rounded oﬀ by additional upload options: alongside the video or audio ﬁle, users may now supply their own transcripts and preview images.
OpenCLIP for Precise Image Content Analysis
To improve the discoverability of visual content in scientiﬁc videos, we have implemented a new generation of image-based search within the TIB AV-Portal. The technological foundation consists of OpenCLIP vectors, which we computed for every video frame in the portal.
On this basis, we developed a prototype for zero-shot queries that matches free-form textual input – across multiple languages – directly with the visual content. Even this initial prototype demonstrated that highly complex search phrases can return suitable image results.
Subsequently, we fundamentally renewed VCD labeling. A curated list of visual concepts was created, covering both established and newly deﬁned categories – such as “chemical experiment”, “microphotography”, or “robot”. For each of the current 86 concepts, we formulated speciﬁc prompts and generated corresponding text vectors. Using thresholds derived from a manually created ground truth, we determined at which point a concept can be considered present in the video material. Additionally, these visual concepts were linked to subject headings from the Integrated Authority File (GND).
For users, this means: the entire video collection can now be ﬁltered using visual concepts, and the detail pages allow direct navigation to the exact timestamps where these concepts occur.
Image-content search with jump markers
Perhaps the most signiﬁcant progress is that the Scrum team can now deﬁne new VCD concepts at any time and integrate them directly into the portal. Since the underlying open-source software OpenCLIP is operated entirely on TIB servers, all data and processes remain fully under our control. This represents a major milestone, and additional OpenCLIP-based features are already under development.
Improved Display of GND Annotations
In the AV-Portal, speech, on-screen text, and visual content are automatically enriched with GND subject headings. These annotations are now displayed far more clearly on the detail pages: instead of appearing in a scattered layout, users now see an alphabetically sorted list of all detected entities, which can be searched and ﬁltered by language, text, or image.
Annotations from speech, text, and image
A single click reveals where in the video the term appears – the matches are highlighted clearly in the timeline. Users can therefore jump directly to relevant scenes without having to navigate through the entire video.
New Subtitle Segmentation for Improved Readability
To further enhance subtitle quality, we introduced a new segmentation method for Whisper transcripts. This method is based on OpenNLP, an open-source toolkit for natural language processing, and considers not only punctuation but also part-of-speech information and natural speech pauses.
Additionally, a look-ahead algorithm evaluates all possible breakpoints within a preview window of 150 characters to determine the optimal cue boundary. Unlike simple heuristic approaches, the algorithm considers upcoming options to maximize overall subtitle quality. This reliably prevents unnaturally short segments – such as single words at the end of a subtitle line.
This improvement enhances readability for accessibility purposes and establishes the technical ground-work for potential text-to-speech functionality.
More Precise Sharing and Citing of Video Content
With recent releases, we have expanded and reﬁned the functions for sharing and citing videos. The share dialog now includes an optional start timestamp, enabling video playback to begin at a speciﬁc point; the same option is available for the embed code. The citation dialog was likewise enhanced: the timestamp of a segment can now be displayed or removed as needed. As part of these improvements, we redesigned the share dialog to make the overall structure more intuitive.
Share dialog with start timestamp for the embed code
Providing Metadata as Open Data
TIB promotes the use and visibility of its audiovisual holdings by publishing the AV-Portal’s meta-data as Open Data. Once per week, the metadata and preview images of all legally eligible videos are automatically made available. On our Open Data page, the data is oﬀered in two formats:
JSONL for eﬃcient processing of large volumes, and Turtle as an RDF format suitable for semantic applications and Linked Data environments.
Embedding Selected Metadata into the MP4 File
Metadata such as title, author, and the link to the detail page are now embedded directly into the downloadable MP4 ﬁle. These details remain available even when the video is saved locally, shared, or opened in other applications. This ensures that the origin of the video and the appropriate citation source can always be identiﬁed – without additional notes or manual research.
Display of embedded metadata in the downloaded MP4 ﬁle (VLC Player)
Outlook for 2026
Stella as an Evaluation Framework for Video Recommendations
Stella is a living-lab infrastructure for evaluating experimental retrieval and recommendation systems with real users; the TIB AV-Portal is a product partner in this project. In 2025, we created the technical foundations for integrating Stella into the portal; the live deployment is planned for the coming year.
With Stella, various recommendation algorithms can be compared directly within the portal using interleaved A/B tests: users are shown recommendations alternating between our existing approach (Solr MoreLikeThis) and experimental recommenders. The resulting clicks serve as anonymized feedback. This enables an empirical determination of which algorithm performs better in real-world use.
The Visual Analytics research group at TIB will continue to develop and provide additional recommender experiments, ensuring that all required components are available in-house to continuously evaluate and improve the recommendation system.
Prompt-Based Image Search in the AV-Portal
Building on the OpenCLIP developments of 2025, we aim to implement a full-ﬂedged image search in the AV-Portal in 2026. In future, users will not be limited to ﬁltering by predeﬁned visual concepts but will be able to search the visual content of our videos directly using freely formulated text queries (zero-shot search). Our current considerations involve oﬀering this prompt-based search both across the entire portal and on the detail pages of videos. This would create a novel way of accessing scientiﬁc videos, making visual content as intuitively and precisely searchable as textual content.
#LizenzCCBY40INT #TIBAVPortal #scientificVideos

#scientificvideos #tibavportal #lizenzccby40int
Dr. Sven Strobel @[email protected] · 2025-12-16 · 13:32 UTC

The TIB AV-Portal in 2025: New Infrastructure, AI-Based Media Analysis, and Audio-Only
diesen Beitrag auf Deutsch lesen
As in previous years, we would once again like to provide an overview of the most important technical and functional enhancements of the TIB AV-Portal. In 2025, the Scrum team implemented a wide range of improvements that strengthened both the infrastructural foundation and the functional capabilities of the portal.
Several of these developments directly respond to feedback and concrete requirements raised by users. For some readers, this review may therefore be not only informative but also personally relevant – perhaps you will spot a feature that you yourself helped inspire.
From External Hosting to TIB-Owned Infrastructure
With the complete migration of video and audio delivery to servers operated by TIB in January 2025, the AV-Portal has taken a signiﬁcant step forward in its infrastructural development. Previously, individual components for streaming, download, and delivery operated on external third-party systems; these processes are now conducted entirely within TIB infrastructure. Supplementary materials – such as presentations, scripts, research data, or additional teaching resources – are likewise hosted directly at TIB.
By running these services on its own servers, TIB not only controls all technical processes but also governs data ﬂows, storage locations, and security standards. External dependencies – such as those related to availability or service levels – have been further reduced. Following the principle: Scientiﬁc data belongs in scientiﬁc infrastructure – under conditions that meet the requirements of research, teaching, and Open Science.
Adaptive Streaming with MPEG-DASH
Since January 2025, we have been generating adaptive derivatives in the MPEG-DASH format. This enables video quality to adjust dynamically to the user’s available bandwidth during playback.
Instead of delivering a single, statically encoded video, the AV-Portal provides multiple quality levels between which the player switches automatically.
The result is a signiﬁcantly more stable streaming experience: delays, stutters, and playback interruptions are reduced, while always delivering the best possible resolution. At the same time, bandwidth usage decreases, as unnecessarily large ﬁles are no longer transmitted when a user’s connection cannot support them. MPEG-DASH thus represents an important step toward a modern, scalable streaming infrastructure.
Various quality levels for adaptive streaming
Higher Resolutions for Scientiﬁc Content
Since April 2025, we have been generating resolutions beyond Full HD. These include high-quality rescans from a digitization project, available at 2048×1536 pixels and oﬀering visibly more detail than standard HD formats. In addition, numerous videos are now available in 4K, which is particularly beneﬁcial for visual material, animations, and complex scientiﬁc content.
Support for Audio-Only Files
Since the introduction of MPEG-DASH, the AV-Portal can not only generate audio streams as part of video derivatives but also produce real audio formats for the ﬁrst time. This signiﬁcantly broadens the portal’s scope: in addition to traditional video content, users can now upload, analyze, and publish standalone audio sources – such as interviews, podcasts, lectures, or audio recordings from research projects.
Audio with searchable transcript
To ensure reliable processing of audio-only ﬁles, the AV-Portal uses a uniﬁed technical procedure. The audio track is automatically extracted from an uploaded ﬁle and converted into M4A – a widely supported format that can be played on most devices.
With this enhancement, the AV-Portal now supports not only videos but also audio formats, becoming a platform for scientiﬁc sound and image media alike.
More Flexible and Extended Upload Process
With the latest enhancement of the upload function, signiﬁcantly larger ﬁles can now be uploaded directly via the AV-Portal’s upload form. This is made possible by a new transfer process that automatically divides large ﬁles into smaller data chunks and uploads them incrementally. With this so-called “chunked upload”, video ﬁles up to 10 GB can be uploaded reliably.
The workﬂow has also become more ﬂexible: users can now select their video ﬁle and simultaneously enter the metadata in the form. This allows any waiting time during the upload to be used productively.
The expansion is rounded oﬀ by additional upload options: alongside the video or audio ﬁle, users may now supply their own transcripts and preview images.
OpenCLIP for Precise Image Content Analysis
To improve the discoverability of visual content in scientiﬁc videos, we have implemented a new generation of image-based search within the TIB AV-Portal. The technological foundation consists of OpenCLIP vectors, which we computed for every video frame in the portal.
On this basis, we developed a prototype for zero-shot queries that matches free-form textual input – across multiple languages – directly with the visual content. Even this initial prototype demonstrated that highly complex search phrases can return suitable image results.
Subsequently, we fundamentally renewed VCD labeling. A curated list of visual concepts was created, covering both established and newly deﬁned categories – such as “chemical experiment”, “microphotography”, or “robot”. For each of the current 86 concepts, we formulated speciﬁc prompts and generated corresponding text vectors. Using thresholds derived from a manually created ground truth, we determined at which point a concept can be considered present in the video material. Additionally, these visual concepts were linked to subject headings from the Integrated Authority File (GND).
For users, this means: the entire video collection can now be ﬁltered using visual concepts, and the detail pages allow direct navigation to the exact timestamps where these concepts occur.
Image-content search with jump markers
Perhaps the most signiﬁcant progress is that the Scrum team can now deﬁne new VCD concepts at any time and integrate them directly into the portal. Since the underlying open-source software OpenCLIP is operated entirely on TIB servers, all data and processes remain fully under our control. This represents a major milestone, and additional OpenCLIP-based features are already under development.
Improved Display of GND Annotations
In the AV-Portal, speech, on-screen text, and visual content are automatically enriched with GND subject headings. These annotations are now displayed far more clearly on the detail pages: instead of appearing in a scattered layout, users now see an alphabetically sorted list of all detected entities, which can be searched and ﬁltered by language, text, or image.
Annotations from speech, text, and image
A single click reveals where in the video the term appears – the matches are highlighted clearly in the timeline. Users can therefore jump directly to relevant scenes without having to navigate through the entire video.
New Subtitle Segmentation for Improved Readability
To further enhance subtitle quality, we introduced a new segmentation method for Whisper transcripts. This method is based on OpenNLP, an open-source toolkit for natural language processing, and considers not only punctuation but also part-of-speech information and natural speech pauses.
Additionally, a look-ahead algorithm evaluates all possible breakpoints within a preview window of 150 characters to determine the optimal cue boundary. Unlike simple heuristic approaches, the algorithm considers upcoming options to maximize overall subtitle quality. This reliably prevents unnaturally short segments – such as single words at the end of a subtitle line.
This improvement enhances readability for accessibility purposes and establishes the technical ground-work for potential text-to-speech functionality.
More Precise Sharing and Citing of Video Content
With recent releases, we have expanded and reﬁned the functions for sharing and citing videos. The share dialog now includes an optional start timestamp, enabling video playback to begin at a speciﬁc point; the same option is available for the embed code. The citation dialog was likewise enhanced: the timestamp of a segment can now be displayed or removed as needed. As part of these improvements, we redesigned the share dialog to make the overall structure more intuitive.
Share dialog with start timestamp for the embed code
Providing Metadata as Open Data
TIB promotes the use and visibility of its audiovisual holdings by publishing the AV-Portal’s meta-data as Open Data. Once per week, the metadata and preview images of all legally eligible videos are automatically made available. On our Open Data page, the data is oﬀered in two formats:
JSONL for eﬃcient processing of large volumes, and Turtle as an RDF format suitable for semantic applications and Linked Data environments.
Embedding Selected Metadata into the MP4 File
Metadata such as title, author, and the link to the detail page are now embedded directly into the downloadable MP4 ﬁle. These details remain available even when the video is saved locally, shared, or opened in other applications. This ensures that the origin of the video and the appropriate citation source can always be identiﬁed – without additional notes or manual research.
Display of embedded metadata in the downloaded MP4 ﬁle (VLC Player)
Outlook for 2026
Stella as an Evaluation Framework for Video Recommendations
Stella is a living-lab infrastructure for evaluating experimental retrieval and recommendation systems with real users; the TIB AV-Portal is a product partner in this project. In 2025, we created the technical foundations for integrating Stella into the portal; the live deployment is planned for the coming year.
With Stella, various recommendation algorithms can be compared directly within the portal using interleaved A/B tests: users are shown recommendations alternating between our existing approach (Solr MoreLikeThis) and experimental recommenders. The resulting clicks serve as anonymized feedback. This enables an empirical determination of which algorithm performs better in real-world use.
The Visual Analytics research group at TIB will continue to develop and provide additional recommender experiments, ensuring that all required components are available in-house to continuously evaluate and improve the recommendation system.
Prompt-Based Image Search in the AV-Portal
Building on the OpenCLIP developments of 2025, we aim to implement a full-ﬂedged image search in the AV-Portal in 2026. In future, users will not be limited to ﬁltering by predeﬁned visual concepts but will be able to search the visual content of our videos directly using freely formulated text queries (zero-shot search). Our current considerations involve oﬀering this prompt-based search both across the entire portal and on the detail pages of videos. This would create a novel way of accessing scientiﬁc videos, making visual content as intuitively and precisely searchable as textual content.
#LizenzCCBY40INT #TIBAVPortal #scientificVideos

#lizenzccby40int #tibavportal #scientificvideos
Deborah Sielert @[email protected] · 2025-03-11 · 10:58 UTC

Activities of TIB in the European university alliance “EULiST”
diesen Beitrag auf Deutsch lesen
Since 2023, Leibniz University Hannover (LUH) has joined forces with 9 partner universities in the European University Alliance “EULiST – European Universities Linking Society and Technology”. The aim of the funding line announced by the European Commission is to strengthen the European bond through closer institutional cooperation and various exchange programs for the mobility of students, scientists and other university members as well as to improve the competitiveness of European universities. In addition to these goals, the alliance offers the opportunity to develop forms of education and research that are committed to the ideas of the Open Science movement and thus to transparency, accessibility and cooperation in research.
The participating universities are located in Austria, the Czech Republic, Finland, France, Greece, Italy, Spain, Sweden and Slovakia. Aiming toward finding solutions to societal challenges by employing an integrative approach to social, natural and technical sciences, many of them have a focus on the technical and natural sciences and are thus at the core of TIB’s tasks.
The TIB is involved in several processes within the alliance. It contributes its expertise in open software development and open access publishing and thus its many years of experience in the strategic development of open science. It has long been our belief that openness is a key building block for infrastructural and cultural collaboration, as well as for the unification of European campuses. Openness is a prerequisite for the production and distribution of knowledge without access barriers in a democratic manner. Moreover, it also offers practical opportunities for institutional cooperation and for innovative and flexible learning formats.
Development of open digital infrastructures and advice on publishing open access
The first step in bringing together digital offerings was to collect the services of the partner universities in order to develop a joint offering in the form of a Knowledge Hub. In terms of content, the Knowledge Hub thus offers the possibility of making open educational resources (OER), research data, publications and course offerings, among other things, findable across institutions via a central search entry point. As a technical basis, the TIB can build on the results of the Open Educational Resources Search Index OERSI. The subsequent use of the underlying technology has already been successfully tested using the example of research data with the search index for Research Software, Data and Terminologies with ReSoDaTe.
On this basis, work is currently underway on a central course catalog that brings together the courses offered by the partner institutions in one central location and makes them jointly searchable. In addition to specially developed search environments, other platforms such as Open Alex also play an important role, as they already have numerous integrations, particularly in the area of open access, and could potentially make up further components of the Knowledge Hub.
Other services developed at the TIB, such as the “Open Research Knowledge Graph (ORKG)” and the TIB AV-Portal, are also offered to the alliance. For example, there was an introductory webinar in using the AV portal in April 2024 at the Universidad Rey Juan Carlos in Spain. Also in 2024, the TIB organized the one-week online workshop “How is a scientific journal created?” for EULiST students and doctoral candidates. Participants got hands-on experience with all the players, roles, and important topics in the scientific publication process through simulating the founding of an open access journal. All steps were played through and then discussed.
Openness in international university teaching
Openness in teaching is the TIB’s topic in Work Package 3 “Learning and Teaching”. With the “EULiST compatibility check”, a concrete pilot project is in the starting blocks that focuses on and supports teachers as central actors in EULiST teaching cooperation. The offer of the project is a consultation process largely controlled by the teachers, in which the TIB offers support in developing course syllabi according to the principle of openness.
This means, we check the rights of use of teaching materials, including course literature, research open alternatives to content that is currently not freely licensed or check secondary publication rights of materials such as the journal articles. According to the LUH Open Access Policy, LUH members are generally required to upload copies of their publications to the LUH Open Access repository. This therefore applies not only to literature used in courses. Advice on the creation and use of Open Educational Resources (OER) and the integration of Open Science training courses into seminars are also part of the portfolio.
Further plans include networking events for open access officers and counselors from the partner universities as part of a staff exchange to, for example, pool resources in the area of open access advice through training courses developed and offered in cooperation between universities. The first concrete steps in this direction have already been taken through participation in the working meeting of Work Packages 2 and 3 at TU Wien in February 2025.
We hope that these activities will strengthen Open Science in and with the participating institutions.
#AVPortal #UniversityLibrary #EULiST #OERSI #LizenzCCBY40INT #TIBAVPortal #ORKG

#avportal #universitylibrary #eulist #oersi #lizenzccby40int #tibavportal
Deborah Sielert @[email protected] · 2025-03-11 · 10:58 UTC

Activities of TIB in the European university alliance “EULiST”
diesen Beitrag auf Deutsch lesen
Since 2023, Leibniz University Hannover (LUH) has joined forces with 9 partner universities in the European University Alliance “EULiST – European Universities Linking Society and Technology”. The aim of the funding line announced by the European Commission is to strengthen the European bond through closer institutional cooperation and various exchange programs for the mobility of students, scientists and other university members as well as to improve the competitiveness of European universities. In addition to these goals, the alliance offers the opportunity to develop forms of education and research that are committed to the ideas of the Open Science movement and thus to transparency, accessibility and cooperation in research.
The participating universities are located in Austria, the Czech Republic, Finland, France, Greece, Italy, Spain, Sweden and Slovakia. Aiming toward finding solutions to societal challenges by employing an integrative approach to social, natural and technical sciences, many of them have a focus on the technical and natural sciences and are thus at the core of TIB’s tasks.
The TIB is involved in several processes within the alliance. It contributes its expertise in open software development and open access publishing and thus its many years of experience in the strategic development of open science. It has long been our belief that openness is a key building block for infrastructural and cultural collaboration, as well as for the unification of European campuses. Openness is a prerequisite for the production and distribution of knowledge without access barriers in a democratic manner. Moreover, it also offers practical opportunities for institutional cooperation and for innovative and flexible learning formats.
Development of open digital infrastructures and advice on publishing open access
The first step in bringing together digital offerings was to collect the services of the partner universities in order to develop a joint offering in the form of a Knowledge Hub. In terms of content, the Knowledge Hub thus offers the possibility of making open educational resources (OER), research data, publications and course offerings, among other things, findable across institutions via a central search entry point. As a technical basis, the TIB can build on the results of the Open Educational Resources Search Index OERSI. The subsequent use of the underlying technology has already been successfully tested using the example of research data with the search index for Research Software, Data and Terminologies with ReSoDaTe.
On this basis, work is currently underway on a central course catalog that brings together the courses offered by the partner institutions in one central location and makes them jointly searchable. In addition to specially developed search environments, other platforms such as Open Alex also play an important role, as they already have numerous integrations, particularly in the area of open access, and could potentially make up further components of the Knowledge Hub.
Other services developed at the TIB, such as the “Open Research Knowledge Graph (ORKG)” and the TIB AV-Portal, are also offered to the alliance. For example, there was an introductory webinar in using the AV portal in April 2024 at the Universidad Rey Juan Carlos in Spain. Also in 2024, the TIB organized the one-week online workshop “How is a scientific journal created?” for EULiST students and doctoral candidates. Participants got hands-on experience with all the players, roles, and important topics in the scientific publication process through simulating the founding of an open access journal. All steps were played through and then discussed.
Openness in international university teaching
Openness in teaching is the TIB’s topic in Work Package 3 “Learning and Teaching”. With the “EULiST compatibility check”, a concrete pilot project is in the starting blocks that focuses on and supports teachers as central actors in EULiST teaching cooperation. The offer of the project is a consultation process largely controlled by the teachers, in which the TIB offers support in developing course syllabi according to the principle of openness.
This means, we check the rights of use of teaching materials, including course literature, research open alternatives to content that is currently not freely licensed or check secondary publication rights of materials such as the journal articles. According to the LUH Open Access Policy, LUH members are generally required to upload copies of their publications to the LUH Open Access repository. This therefore applies not only to literature used in courses. Advice on the creation and use of Open Educational Resources (OER) and the integration of Open Science training courses into seminars are also part of the portfolio.
Further plans include networking events for open access officers and counselors from the partner universities as part of a staff exchange to, for example, pool resources in the area of open access advice through training courses developed and offered in cooperation between universities. The first concrete steps in this direction have already been taken through participation in the working meeting of Work Packages 2 and 3 at TU Wien in February 2025.
We hope that these activities will strengthen Open Science in and with the participating institutions.
#ORKG #AVPortal #UniversityLibrary #EULiST #OERSI #LizenzCCBY40INT #TIBAVPortal

#orkg #avportal #universitylibrary #eulist #oersi #lizenzccby40int
Deborah Sielert @[email protected] · 2025-03-11 · 10:58 UTC

Activities of TIB in the European university alliance “EULiST”
diesen Beitrag auf Deutsch lesen
Since 2023, Leibniz University Hannover (LUH) has joined forces with 9 partner universities in the European University Alliance “EULiST – European Universities Linking Society and Technology”. The aim of the funding line announced by the European Commission is to strengthen the European bond through closer institutional cooperation and various exchange programs for the mobility of students, scientists and other university members as well as to improve the competitiveness of European universities. In addition to these goals, the alliance offers the opportunity to develop forms of education and research that are committed to the ideas of the Open Science movement and thus to transparency, accessibility and cooperation in research.
The participating universities are located in Austria, the Czech Republic, Finland, France, Greece, Italy, Spain, Sweden and Slovakia. Aiming toward finding solutions to societal challenges by employing an integrative approach to social, natural and technical sciences, many of them have a focus on the technical and natural sciences and are thus at the core of TIB’s tasks.
The TIB is involved in several processes within the alliance. It contributes its expertise in open software development and open access publishing and thus its many years of experience in the strategic development of open science. It has long been our belief that openness is a key building block for infrastructural and cultural collaboration, as well as for the unification of European campuses. Openness is a prerequisite for the production and distribution of knowledge without access barriers in a democratic manner. Moreover, it also offers practical opportunities for institutional cooperation and for innovative and flexible learning formats.
Development of open digital infrastructures and advice on publishing open access
The first step in bringing together digital offerings was to collect the services of the partner universities in order to develop a joint offering in the form of a Knowledge Hub. In terms of content, the Knowledge Hub thus offers the possibility of making open educational resources (OER), research data, publications and course offerings, among other things, findable across institutions via a central search entry point. As a technical basis, the TIB can build on the results of the Open Educational Resources Search Index OERSI. The subsequent use of the underlying technology has already been successfully tested using the example of research data with the search index for Research Software, Data and Terminologies with ReSoDaTe.
On this basis, work is currently underway on a central course catalog that brings together the courses offered by the partner institutions in one central location and makes them jointly searchable. In addition to specially developed search environments, other platforms such as Open Alex also play an important role, as they already have numerous integrations, particularly in the area of open access, and could potentially make up further components of the Knowledge Hub.
Other services developed at the TIB, such as the “Open Research Knowledge Graph (ORKG)” and the TIB AV-Portal, are also offered to the alliance. For example, there was an introductory webinar in using the AV portal in April 2024 at the Universidad Rey Juan Carlos in Spain. Also in 2024, the TIB organized the one-week online workshop “How is a scientific journal created?” for EULiST students and doctoral candidates. Participants got hands-on experience with all the players, roles, and important topics in the scientific publication process through simulating the founding of an open access journal. All steps were played through and then discussed.
Openness in international university teaching
Openness in teaching is the TIB’s topic in Work Package 3 “Learning and Teaching”. With the “EULiST compatibility check”, a concrete pilot project is in the starting blocks that focuses on and supports teachers as central actors in EULiST teaching cooperation. The offer of the project is a consultation process largely controlled by the teachers, in which the TIB offers support in developing course syllabi according to the principle of openness.
This means, we check the rights of use of teaching materials, including course literature, research open alternatives to content that is currently not freely licensed or check secondary publication rights of materials such as the journal articles. According to the LUH Open Access Policy, LUH members are generally required to upload copies of their publications to the LUH Open Access repository. This therefore applies not only to literature used in courses. Advice on the creation and use of Open Educational Resources (OER) and the integration of Open Science training courses into seminars are also part of the portfolio.
Further plans include networking events for open access officers and counselors from the partner universities as part of a staff exchange to, for example, pool resources in the area of open access advice through training courses developed and offered in cooperation between universities. The first concrete steps in this direction have already been taken through participation in the working meeting of Work Packages 2 and 3 at TU Wien in February 2025.
We hope that these activities will strengthen Open Science in and with the participating institutions.
#LizenzCCBY40INT #TIBAVPortal #ORKG #AVPortal #UniversityLibrary #EULiST #OERSI

#lizenzccby40int #tibavportal #orkg #avportal #universitylibrary #eulist
Deborah Sielert @[email protected] · 2025-03-11 · 10:58 UTC

Activities of TIB in the European university alliance “EULiST”
diesen Beitrag auf Deutsch lesen
Since 2023, Leibniz University Hannover (LUH) has joined forces with 9 partner universities in the European University Alliance “EULiST – European Universities Linking Society and Technology”. The aim of the funding line announced by the European Commission is to strengthen the European bond through closer institutional cooperation and various exchange programs for the mobility of students, scientists and other university members as well as to improve the competitiveness of European universities. In addition to these goals, the alliance offers the opportunity to develop forms of education and research that are committed to the ideas of the Open Science movement and thus to transparency, accessibility and cooperation in research.
The participating universities are located in Austria, the Czech Republic, Finland, France, Greece, Italy, Spain, Sweden and Slovakia. Aiming toward finding solutions to societal challenges by employing an integrative approach to social, natural and technical sciences, many of them have a focus on the technical and natural sciences and are thus at the core of TIB’s tasks.
The TIB is involved in several processes within the alliance. It contributes its expertise in open software development and open access publishing and thus its many years of experience in the strategic development of open science. It has long been our belief that openness is a key building block for infrastructural and cultural collaboration, as well as for the unification of European campuses. Openness is a prerequisite for the production and distribution of knowledge without access barriers in a democratic manner. Moreover, it also offers practical opportunities for institutional cooperation and for innovative and flexible learning formats.
Development of open digital infrastructures and advice on publishing open access
The first step in bringing together digital offerings was to collect the services of the partner universities in order to develop a joint offering in the form of a Knowledge Hub. In terms of content, the Knowledge Hub thus offers the possibility of making open educational resources (OER), research data, publications and course offerings, among other things, findable across institutions via a central search entry point. As a technical basis, the TIB can build on the results of the Open Educational Resources Search Index OERSI. The subsequent use of the underlying technology has already been successfully tested using the example of research data with the search index for Research Software, Data and Terminologies with ReSoDaTe.
On this basis, work is currently underway on a central course catalog that brings together the courses offered by the partner institutions in one central location and makes them jointly searchable. In addition to specially developed search environments, other platforms such as Open Alex also play an important role, as they already have numerous integrations, particularly in the area of open access, and could potentially make up further components of the Knowledge Hub.
Other services developed at the TIB, such as the “Open Research Knowledge Graph (ORKG)” and the TIB AV-Portal, are also offered to the alliance. For example, there was an introductory webinar in using the AV portal in April 2024 at the Universidad Rey Juan Carlos in Spain. Also in 2024, the TIB organized the one-week online workshop “How is a scientific journal created?” for EULiST students and doctoral candidates. Participants got hands-on experience with all the players, roles, and important topics in the scientific publication process through simulating the founding of an open access journal. All steps were played through and then discussed.
Openness in international university teaching
Openness in teaching is the TIB’s topic in Work Package 3 “Learning and Teaching”. With the “EULiST compatibility check”, a concrete pilot project is in the starting blocks that focuses on and supports teachers as central actors in EULiST teaching cooperation. The offer of the project is a consultation process largely controlled by the teachers, in which the TIB offers support in developing course syllabi according to the principle of openness.
This means, we check the rights of use of teaching materials, including course literature, research open alternatives to content that is currently not freely licensed or check secondary publication rights of materials such as the journal articles. According to the LUH Open Access Policy, LUH members are generally required to upload copies of their publications to the LUH Open Access repository. This therefore applies not only to literature used in courses. Advice on the creation and use of Open Educational Resources (OER) and the integration of Open Science training courses into seminars are also part of the portfolio.
Further plans include networking events for open access officers and counselors from the partner universities as part of a staff exchange to, for example, pool resources in the area of open access advice through training courses developed and offered in cooperation between universities. The first concrete steps in this direction have already been taken through participation in the working meeting of Work Packages 2 and 3 at TU Wien in February 2025.
We hope that these activities will strengthen Open Science in and with the participating institutions.
#LizenzCCBY40INT #TIBAVPortal #ORKG #AVPortal #UniversityLibrary #EULiST #OERSI

#oersi #eulist #universitylibrary #avportal #orkg #tibavportal
Simon Worthington @[email protected] · 2023-02-21 · 09:08 UTC

during the workshop participants found some facinating videos on #tibavportal - here's a #Tarkovsky-esk vision 🛰️ - https://av.tib.eu/media/60729

#tibavportal #tarkovsky
Simon Worthington @[email protected] · 2023-02-21 · 09:08 UTC

during the workshop participants found some facinating videos on #tibavportal - here's a #Tarkovsky-esk vision 🛰️ - https://av.tib.eu/media/60729

#tibavportal #tarkovsky
Simon Worthington @[email protected] · 2023-02-21 · 09:08 UTC

during the workshop participants found some facinating videos on #tibavportal - here's a #Tarkovsky-esk vision 🛰️ - https://av.tib.eu/media/60729

#tibavportal #tarkovsky
Simon Worthington @[email protected] · 2023-02-21 · 09:08 UTC

during the workshop participants found some facinating videos on #tibavportal - here's a #Tarkovsky-esk vision 🛰️ - https://av.tib.eu/media/60729

#tarkovsky #tibavportal
Simon Worthington @[email protected] · 2023-02-21 · 09:08 UTC

during the workshop participants found some facinating videos on #tibavportal - here's a #Tarkovsky-esk vision 🛰️ - https://av.tib.eu/media/60729

#tibavportal #tarkovsky