Einleitung

Während für viele einfachere Probleme mit strukturierten Datensätzen auch einfache Algorithmen im Einsatz sind, sind künstliche neuronale Netze die zurzeit populärste Gruppe von Algorithmen für eine Vielzahl von Problemen. Die Spannweite der Anwendungen, und damit auch der konkreten Architekturen, ist dabei sehr groß. Sie reicht von kleinen Modellen, die beispielsweise auf strukturierten Daten in Sekunden auf einem handelsüblichen Laptop trainiert werden, bis zu sehr großen Modellen wie GPT-4, die z. T. auf spezialisierter Hardware mit tausenden GPUs (Graphics Processing Unit) oder TPUs (Tensor Processing Units) für Tage und Wochen trainiert werden.