Datenstromsysteme (DSSmUe)5 ECTS
(englische Bezeichnung: Datastream Systems)

Lehrveranstaltungen:

• • Datenstromsysteme
    (Vorlesung, 2 SWS, Klaus Meyer-Wegener, Mi, 8:30 - 10:00, 00.152-113)
  • Übungen zu Datenstromsysteme
    (Übung, 2 SWS, Sebastian Herbst, Mi, 14:15 - 15:45, 00.151-113)

Inhalt:

Datenströme gibt es schon lange. Sie fließen als Nachrichten durch Netze, werden in Protokolldateien abgelegt (und dort oft vergessen oder nur bei Problemen im nachhinein konsultiert), werden zur Anzeige gebracht, gefiltert, ausgewertet, transformiert usw. Beispiele sind die unterschiedlichsten Arten von Messwerten (Temperatur, Helligkeit, Feuchtigkeit, Druck, chemische Zusammensetzung), Börsen- und Wirtschaftsnachrichten (Preise), Gebote in Online-Auktionen, Aktionen in Rechnersystemen (Anmeldungen, Zugriffe, Programmausführungen), um nur ein paar zu nennen.

Bislang wurden die Systeme zur Verarbeitung dieser Datenströme als Individuallösungen erstellt, oft sogar auf sehr speziellen Plattformen (SPS). Um das Jahr 2000 herum begann sich auch die Datenbank-Forschung mit diesem Problem zu befassen, weil man erkannt hatte, dass sich eine Reihe von Techniken dieses Gebiets auch auf Datenströme anwenden lassen, vor allem die Anfrageverarbeitung und -optimierung, aber auch Verteilung und Datenunabhängigkeit. Damit lassen sich auch für die Verarbeitung von Datenströmen generische Lösungen erstellen - so wie Datenbanksysteme eine generische Lösung für die Auswertung gespeicherter Daten sind.

Die nun entstehenden Datenstromsysteme werden in dieser Vorlesung vorgestellt. Diskutiert werden dabei u.a.

• Anfragesprachen

• Schemastrukturen

• Sensornetze als eine der wichtigsten Datenquellen

• Anfrageauswertung und -optimierung

• Architekturen

• Anwendungsszenarien

Diese Lehrveranstaltung wurde von Prof. Meyer-Wegener und Dr. Daum erstellt und im Sommersemester 2007 erstmalig angeboten.

Lernziele und Kompetenzen:

DSS:
Die Studierenden:

• beschreiben Datenstromsysteme als neues Systemkonzept;

• grenzen Datenstromsysteme von Datenbanksystemen ab;

• erklären ein Datenstrommanagementsystem;

• grenzen Datenstromverarbeitung von Complex-Event Processing ab;

• charakterisieren Datenstromquellen und ihre Anbindung an das System;

• unterscheiden Zeitmodelle für Datenströme;

• zählen die wichtigsten Datenstrom-Operatoren auf;

• trennen blockierende von nicht blockierenden Operatoren;

• unterscheiden die verschiedenen Arten von Fensterdefinitionen;

• benennen den Ansatz und die Vorgehensweise des DSAM-Projekts;

• charakterisieren kurz die Datenstromsysteme Aurora, STREAM, Cayuga, Esper und PIPES;

• erläutern den Umgang mit Abweichungen von der Ordnung in Aurora;

• erklären die Operatoren NEXT und FOLD in Cayuga;

• verstehen die drei Datenstrommodelle von PIPES;

• erklären den Begriff "Schnappschuss-Reduzierbarkeit";

• beschreiben die unterschiedlichen Semantiken von zeitbasierten Fenstern anhand des SECRET-Modells;

• können Techniken der lokalen und verteilten Optimierung von Datenstromanfragen nen-nen;

• erklären Eddies als Mittel der dynamischen Optimierung;

• zählen verschiedene Anwendungsszenarien von Datenstromsystemen auf;

• formulieren Anfragen in einer Anfragesprache für Datenstromsysteme;

• überprüfen Aufgabenstellungen bei der Auswertung von Daten daraufhin, ob sie mit Hilfe eines Datenstromsystems gelöst werden können.
  

bei DSSmUeb zusätzlich:
Die Studierenden

• kennen die Vor- und Nachteile der Techniken zur Tupelinvalidierung;

• kennen das Problem, das bei der Kombination von Anwendungszeit und tupelbasierten Fenstern entsteht;

• erstellen eine SQL-Anfrage, die aus einem Einzelmessungsstrom einen Turnstile-Strom erzeugt;

• erklären die Bedeutung der beiden Funktionen "windows" und "wids", die Dave Maier eingeführt hat;

• diskutieren den Resample-Operator von Aurora.

Literatur:

Die Literatur zu Datenstromsystemen ist derzeit noch sehr forschungsorientiert; es sind einzelne Aspekte in Artikeln dargestellt, aber es gibt nur wenige Übersichtsarbeiten und schon gar kein Standardwerk. Insofern ist die folgende Liste zwangsläufig unvollständig und laufenden Änderungen unterworfen.

• GOLAB, Lukasz ; ÖZSU, M. Tamer: Data Stream Management. Milton Keynes UK : Morgan & Claypool Publishers, 2010 (Synthesis Lectures on Data Management 5). - ISBN 9781608452729. - 14GI mat 17.6.5-126

• Aggarwal, Charu C. (Hrsg.): Data Streams : Models and Algorithms. Boston/Dordrecht/London : Kluwer Academic Publishers, 2006

• Motwani, Rajeev ; Widom, Jennifer, u.a.: Query Processing, Resource Management, and Approximation in a Data Stream Management System. In: Proc. 1st Biennial Conf. on Innovative Data Systems Research (CIDR, Asilomar, CA, USA, January 5-8, 2003). - Online Proceedings

• Golab, Lukasz ; Özsu, M. Tamer: Data Stream Management Issues - A Survey. Technical Report CS-2003-08, Waterloo 2003

• Golab, Lukasz ; Özsu, M. Tamer: Issues in Data Stream Management. ACM SIGMOD Record 32 (June 2003) issue 2, pp. 5-14

• Arasu, Arvind ; Babu, Shivnath ; Widom, Jennifer: The CQL Continuous Query Language : Semantic Foundations and Query Execution. VLDB Journal 15 (June 2006) no. 2, pp. 121-142

• Bry, Francois ; Furche, Tim ; Olteanu, Dan: Datenströme. Technical Report PMS-FB-2004-2, München 2004

• Koudas, Nick ; Srivastava, Divesh: Data Stream Query Processing. In: Proc. VLDB 2003

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:
Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:

1. Informatik (Master of Science)
   (Po-Vers. 2010 | Wahlpflichtbereich | Säule der softwareorientierten Vertiefungsrichtungen | Vertiefungsmodul Datenbanksysteme)
2. Informations- und Kommunikationstechnik (Master of Science)
   (Po-Vers. 2010 | Schwerpunkt Eingebettete Systeme | Wahlpflichtmodule | Wahlpflichtmodul aus INF im Schwerpunkt Eingebettete Systeme)
3. Informations- und Kommunikationstechnik (Master of Science)
   (Po-Vers. 2010 | Schwerpunkt Übertragung und Mobilkommunikation | Wahlpflichtmodule | Wahlpflichtmodul aus INF im Schwerpunkt Übertragung und Mobilkommunikation)
4. Mathematik (Bachelor of Science): 5-. Semester
   (Po-Vers. 2009 | Nebenfach Informatik | Module im 2. und 3. Studienjahr | Vertiefungsmodule Mathematik (Nebenfach Informatik))
5. Medizintechnik (Master of Science)
   (Po-Vers. 2013 | Studienrichtung Medizinische Bild- und Datenverarbeitung | M5 Medizintechnische Vertiefungsmodule (BDV))

Studien-/Prüfungsleistungen:

Datenstromsysteme mit Übungen (Prüfungsnummer: 139414)

(englischer Titel: Datastream Systems with Exercises)

(diese Prüfung gilt nur im Kontext der Studienfächer/Vertiefungsrichtungen [1], [2], [3], [5])

Prüfungsleistung, Klausur, Dauer (in Minuten): 60, benotet

Anteil an der Berechnung der Modulnote: 100.0 %

Erstablegung: SS 2014, 1. Wdh.: WS 2014/2015

1. Prüfer:

Klaus Meyer-Wegener

Datenstromsysteme mit Übungen (Prüfungsnummer: 129473)

(englischer Titel: Datastream Systems with Exercises)

(diese Prüfung gilt nur im Kontext der Studienfächer/Vertiefungsrichtungen [4])

Prüfungsleistung, Klausur, Dauer (in Minuten): 60, benotet

Anteil an der Berechnung der Modulnote: 100.0 %

Erstablegung: SS 2014, 1. Wdh.: WS 2014/2015

1. Prüfer:

Klaus Meyer-Wegener