Brainfloat und andere Datentypen für maschinelles Lernen

Typ Seminar
Dozent Torsten Bosse, Alexander Breuer, H. Martin Bücker, Johannes Schoder
Credit points 3 ECTS = 2 SWS
Friedolin Search in Friedolin

Beschreibung

Unter dem Begriff «Deep Learning» fasst man einen Teilbereich des maschinellen Lernens zusammen, bei dem die zugrundeliegenden Algorithmen durch die Struktur von neuronalen Netzen inspiriert sind. In letzter Zeit sind Deep-Learning-Verfahren besonders stark in den Mittelpunkt des Interesses getreten, da sie maschinelles Lernen im Vergleich zu anderen Verfahren nicht nur besonders einfach benutzbar machen, sondern auch verbesserte Ergebnisse erzielen können. In diesem Anwendungsbereich hat man festgestellt, dass neuronale Netze bei weitem sensitiver bezüglich der Größe des Wertebereichs der Exponenten sind als bezüglich der Genauigkeit der Mantisse. Rechnerhersteller wie Intel, NVIDIA und Google sind daher dazu übergegangen, neue Zahlenformate einzuführen, die den Wertebereich von Exponenten zu Lasten der Mantisse vergrößern. Bfloat16 ist beispielsweise eine Format zur Darstellung von Fließkommazahlen, das von Google vorgeschlagen wurde. Der Name steht für «Brain Floating Point Format». Im Vergleich zu dem eher traditionellen Format IEEE fp16 erhöht bfloat16 die Anzahl der Bits zur Darstellung des Exponenten von 5 auf 8. (Dabei wird gleichzeitig die Bitanzahl zur Darstellung der Mantisse von 10 auf 7 Bits reduziert.) Diese Änderungen besitzen starke Auswirkungen auf Algorithmik und Performance, die in diesem Seminar genauer untersucht werden.

Organisation

Das Seminar findet als wöchentliche Veranstaltung statt. (Derzeit ist ein wiederkehrender Termin montags um 11:00 Uhr geplant.)

Vorbesprechung: In der letzten Woche des Wintersemesters 2020/21 am 11.2.2021 um 11:00 Uhr.

Kick-off: In der ersten Woche des Sommersemesters 2021 am 12.4.2021 um 11:00 Uhr.

Aufgrund der Corona-Krise finden alle Veranstaltungen (Vorbesprechung, Kick-off und wöchentliche Treffen) per Videokonferenz statt unter: https://bbb.fmi.uni-jena.de/b/han-adm-ttx

Es sind noch Plätze frei. Wer noch teilnehmen möchte, wendet sich bitte an einen der Dozenten.

Studiengänge

Es handelt sich um ein Seminar für interessierte Studierende im Masterbereich von Informatik, Computational und Data Science, Mathematik und naturwissenschaftlichen Studiengängen. Seminar Technische Informatik (FMI-IN0093) sowie Seminar Computational and Data Science (FMI-IN0142).

Master Computational and Data Science Wahlpflichtbereich Informatik
Master Informatik Wahlpflichtbereich Informatik und Vertiefung Technische Informatik

Die Veranstaltung ist auch geeignet für Studierende aus Mathematik und anderen naturwissenschaftlichen Fachrichtungen.