Multimedia Gateway Architecture for Adaptive Content Distribution

Einleitung

Bei verteilten multimedialen Anwendungen müssen Ströme audiovisueller Medien mit hohen Datenraten über Kommunikationsnetze übertragen werden. Die sich hieraus ergebenden hohen Anforderungen können jedoch gerade bei der Nutzung von mobilen, drahtlos angebundenen Endgeräten aufgrund von Ressourcenlimitierungen (CPU, Speicher, Netz, Display) nicht immer erfüllt werden. Ein Ansatz zum Umgang mit derartigen Problemen ist die Anpassung der Medienströme an die Bedürfnisse des mobilen Endgerätes durch eine Umcodierung der Daten während der Übertragung an das Endgerät.

Im Rahmen dieses Projekts sollen Mechanismen und Protokolle zur Unterstützung mobiler Geräte bei Multimediaübetragungen untersucht und entwickelt werden. Hierzu soll ein Multimedia-System, bestehend aus mehreren Gateways, entwickelt werden, das Medienströme (Audio- und Video) in Echtzeit in ein gewünschtes Format umwandeln bzw. die Qualität und somit die Datenrate eines Stromes verringern kann. Aufgrund der Mobilität der Clients soll während einer Medienübertragung ein Wechsel von einem Gateway zu einem anderen möglich sein.

Ziele

Das übergreifende Ziel dieses Projektes ist es, ein auf RTSP und RTP basierendes Gesamtsystem zu entwickeln, das Benutzern mobiler Geräte einen flexiblen sowie an deren Bedürfnisse und Möglichkeiten angepassten Zugang zu multimedialen Inhalten bietet. Realisiert werden soll dieses System mit Hilfe von Multimedia-Gateways, die jeweils als Proxy zwischen Medienserver und Client agieren. Die Anforderungen, die an das System gestellt werden lassen sich wie folgt zusammenfassen:

1. Das System soll verschiedene Transcodingtechniken unterstützen, die dynamisch zur Laufzeit geladen werden können.
2. Aus Sicht der Endbenutzer soll eine hohe Transparenz des Systems erreicht werden. Das heißt, dass die Existenz des Multimedia-Gateways dem Benutzer eines mobilen Gerätes im Idealfall vollständig verborgen bleibt.
3. Die Auswahl des einzusetzenden Transcodingverfahrens findet auf dem benutzten Gateway anhand von Ausstattungsmerkmalen des Clients sowie weiterer Informationen über den gewünschten Medienstrom und den aktuellen Zustand des Gesamtsystems statt.
4. Die Mobilität der Benutzer muss berücksichtigt und durch geeignete Maßnahmen unterstützt werden.
5. Zwischen den einzelnen Gateways innerhalb des Systems soll ein Lastausgleich zur besseren Unterstützung mehrerer Clients stattfinden.
6. Die Netzlast sollte durch den Einsatz geeigneter Cachingstrategien in den Gateways möglichst reduziert werden.
7. Die Multimediaübertragung soll auf den Internet Standardprotokollen RTP und RTSP basieren.
8. Es sollen möglichst geringe Anforderungen an den Client gestellt werden. Für eine Nutzung des Systems sollte ein standardkonformer RTP/RTSP-Client ausreichen wobei optimaler Komfort für den Benutzer nur mit angepassten Clients erreicht werden kann.

Durch die geplante Gateway-Architektur wird eine sehr hohe Flexibilität und Unabhängigkeit von den verschiedenen Implementationen der Medienserver erreicht. Ein alternativer Ansatz wäre die Integration der Transcodingtechniken in die verschiedenen Medienserver. Dadurch würde das Transcoding jedoch nur für Ströme solcher Server zur Verfügung stehen, die auf genau solch einer Implementation basieren. Zusätzlich würde die Umwandlung der Daten bei einer hohen Nachfrage sehr schnell zum Flaschenhals der Multimediaübertragung von diesem Server werden. Bei der Benutzung von Gateways hingegen stehen den Nutzern die Transcodingtechniken für Multimediaströme aller erreichbaren Server zur Verfügung und durch den Einsatz mehrere Gateways in einem Netz ist es möglich, eine Lastverteilung auch bei hohen Nachfragen zu erreichen.

Zur Realisierung dieses Systems müssen die Architektur des Proxy-Systems sowie die Mechanismen und Protokolle für die folgenden Teilbereiche erforscht werden.

1. Service Location
   Für die Initialisierungsphase vor einer Multimediaübertragung ist es notwendig, dass das Clientprogramm auf einem mobilen Gerät den durch das System bereitgestellten Dienst finden und nutzen kann. Da das System aus mehreren Gateways besteht, muss also ein geeignetes Gateway gefunden werden. Falls mehrere Gateways prinzipiell zur Verfügung stehen, so muss eine Auswahl erfolgen, wofür ebenfalls geeignete Verfahren zu untersuchen sind.
2. Capability Exchange
   Aus Sicht der Nutzer sollte die Benutzung der Multimedia-Gateways so einfach und transparent wie möglich sein. Das bedeutet, dass der Konfigurationsaufwand auf der Seite des Clients minimiert werden und im Idealfall vollständig entfallen sollte. An das Clientprogramm sollten hierbei jedoch möglichst geringe Anforderungen bzgl. des Ressourcenbedarfs gestellt werden. Aus diesem Grund ist auch die Entscheidung über das Ausgabeformat sowie das einzusetzende Verfahren des Transcodingprozesses im Gateway zu treffen. Dies ist auch deshalb sinnvoll und notwendig, da nur das Gateway selbst über die von ihm unterstützten Formate Kenntnis hat und seine eigene Ressourcenkapazität und -auslastung kennt. Um nun solche Entscheidung auf dem Gateway treffen zu können, muss dieses jedoch Informationen darüber erhalten, welche technische Ausstattung das Endgerät besitzt. Insbesondere die Größe des Displays bzw. die gewünschte Anzeigegröße, die Leistungsfähigkeit des Prozessors, die unterstützten Medienformate sowie die verfügbare Bandbreite der Netzanbindung sind für die Entscheidung relevant. Der Austausch dieser Informationen sollte vollständig automatisiert werden, wobei eine manuelle Konfiguration für Clientprogramme, die diese automatische Konfiguration nicht beherrschen, ebenfalls vorgesehen sein sollte.
3. Mobile Clients
   Für eine einfache Handhabung durch den Endbenutzer ist es notwendig, ein optimiertes Clientprogramm zu entwickeln, das die Möglichkeiten des Systems optimal ausnutzen kann. Dieses Programm soll auf verschiedene Plattformen portiert werden, damit die Eigenschaften verschiedener mobiler Geräten, wie z.B. PDAs, untersucht und berücksichtigt werden können.
4. Load Balancing and Gateway Handover
   Damit das System mehreren Benutzern zur Verfügung steht und die Mobilität der Geräte unterstützt werden kann, ist es notwendig, Verfahren zu entwickeln, die eine Migration einer aktiven Übertragung auf ein anderes Gateway erlauben. Bewegt sich ein Client z.B. und eröffnet sich dadurch eine günstigere Verbindung zu einem anderen Gateway, so sollte eine Migration in Betracht gezogen werden. Hierbei ist jedoch zu beachten, dass durch die Migration bei der Darstellung des Multimediastroms auf dem Endgerät keine erkennbaren Störungen auftreten dürfen, damit dieser Vorgang vor dem Benutzer verborgen bleibt.
5. Cachingstrategien
   Für eine Reduktion der Netzlast zwischen Medienserver und Gateway, ist es sinnvoll, während einer Multimediaübertragung, den Datenstrom auf dem Gateway abzuspeichern, damit dieser bei einer erneuten Anforderung direkt vom Gateway übertragen werden kann. Hierbei gilt es insbesondere, über klassische Caching-Fragestellungen wie Ersetzungsstrategien hinaus, Caching-Strategien zu entwickeln, die sich mit dem Einsatz von Transcodingtechniken vereinbaren lassen. So ist beispielsweise die Frage zu klären, in welchem Format und welcher Qualität die Speicherung erfolgen soll (in der Originalversion, einer transcodierten eines bestimmten Formats, etc.)
6. Transcodingmodule
   Für eine hohe Flexibilität des geplanten Systems sowie resultierend aus der Feststellung, dass kein optimales Transcodingverfahren für alle Situationen existiert ist es notwendig, verschiedene Transcodingmodule zu implementieren. Darüber hinaus sind die verschiedenen Module auch für eine sinnvolle Evaluation des Gesamtsystems notwendig. Die einzelnen Module kön"-nen von den Gateways zur Laufzeit, in Abhängigkeit der durch das Capability Exchange erhaltenen Informationen, geladen werden.

Projektmitglieder

Bei Fragen zu diesem Projekt wenden Sie sich bitte an Dr. Jens Brandt.

Veröffentlichungen und Vorträge

• Jens Brandt, Martin Gutbrod, Oliver Wellnitz and Lars Wolf: Plagiarism Detection in Open Access Publications, in Proceedings of the 4th International Plagiarism Conference, Newcastle Upon Tyne, UK, Juni 2010 (BGWW10, BibTeX, Folien)
• Jens Brandt and Lars Wolf: Impact of Adaptation Dimensions on Video Quality, in Proceedings of the 14th IEEE International Symposium on Consumer Electronics (ISCE2010), Braunschweig, Germany, Juni 2010 (BrWo10, BibTeX, Folien)
• Jens Brandt, Jens Trotzky and Lars Wolf: Fast Frame-Based Scene Change Detection in the Compressed Domain for MPEG-4 Video, in 1st International Workshop on Future Multimedia Networking (IEEE FMN'08), Cardiff, Wales, GB, September 2008 (BTW08, DOI, BibTeX, Folien)
• Jens Brandt and Lars Wolf: Adaptive Video Streaming for Mobile Clients, in Proceedings of the 18th International workshop on Network and Operating Systems Support for Digital Audio and Video (NOSSDAV'08), Braunschweig, Germany, Mai 2008 (BW08, BibTeX, Folien, Poster)
• Jens Brandt and Lars Wolf: Multidimensional Transcoding for Adaptive Video Streaming, in Proceedings of the 17th International workshop on Network and Operating Systems Support for Digital Audio and Video (NOSSDAV'07), Urbana, Illinois, Juni 2007 (BW07, BibTeX, Folien)
• Verena Kahmann, Jens Brandt and Lars Wolf: Collaborative Streaming in Heterogeneous and Dynamic Scenarios, in Communications of the ACM, Special Section on Entertainment Networking - Recreational Use of IP Networks, November 2006 (KBW06, BibTeX)
• Jens Brandt and Lars Wolf: A Gateway Architecture for Mobile Multimedia Streaming, in European Symposium on Mobile Media Delivery (EuMob06), Alghero, Italy, September 2006 (BW06, BibTeX, Poster)
• M. Dick, J. Brandt, V. Kahmann and L. Wolf: Adaptive Transcoding Proxy Architecture for Video Streaming in Mobile Networks, in Proceedings of the IEEE International Conference on Image Processing (ICIP 2005), Genova, Italy, Seite 700-703, September 2005 (DBKW05, BibTeX)
• V. Kahmann, J. Brandt and L. Wolf: Flexible Media Reflection for Collaborative Streaming Scenarios, in Proceedings of the IEEE Tenth International Workshop on Web Content Caching and Distribution, Sophia Antipolis, France, Seite 71-76, September 2005 (KBW05, BibTeX)
• Jens Brandt, Verena Kahmann and Lars Wolf: A Flexible Reflector for Media Streams, in Kommunikation in Verteilten Systemen, Kurzbeiträge und Workshop der 14. GI/ITG-Fachtagung, Lecture Notes in Informatics, Seite 41-48, Gesellschaft für Informatik, Bonn, März 2005 (BKW05, BibTeX)

• Jens Brandt, Presentation about ongoing PhD work at Dagstuhl-Seminar "Content Distribution Infrastructures", May 2004; Slides

Studien- und Diplomarbeiten zu diesem Projekt