🚀 go-pugleaf

From: ak@sol.cs.uni-sb.de (Alfred Kobsa)
To: mod-ki@unido.informatik.uni-dortmund.de
Date: Wed, 4 Sep 91 21:16:37 +0200
Subject: <mod-ki 0758> AAAI-91 Workshop Intellig. Multimedia Interfaces
Keywords: Berichte, human-computer interaction

mod-ki message 0758
************************************************************************
                   Bericht ueber den AAAI-91 Workshop
                  
                   INTELLIGENT MULTIMEDIA INTERFACES

 Elisabeth Andr'e (1), Winfried Graf(1), Alfred Kobsa(2), Thomas Rist(1)

      (1) Deutsches Forschungszentrum fuer Kuenstliche Intelligenz,
          Standort Saarbruecken
      (2) SFB 314, Fachbereich Informatik, Universitaet Saarbruecken

Multimediale Ein- und Ausgabe wird in der KI zwar  schon  seit  geraumer
Zeit untersucht, die Forschung in diesem Bereich hat aber gerade in  den
letzten Jahren einen grossen Aufschwung erfahren. Ziel  des  von  Steven
Feiner (Columbia University),  Alfred Kobsa  (Univ. Saarbruecken),  Mark
Maybury (MITRE; Chairman) und Bonnie Webber  (Univ. of Pennsylvania)  im
Rahmen der AAAI-91 in Anaheim, CA veranstalteten Workshops  "Intelligent
Multimedia Interfaces" war es, Vertreter der neueren (und zum Teil  noch
unpublizierten) Forschungsprojekte im Bereich Multimodalitaet  zu  einem
Erfahrungsaustausch zusammenzubringen und die wissensbasierten  Ansaetze
auf diesem Gebiet zu diskutieren. Der Workshop wurde von  *Mark Maybury*
geleitet,  der  in  seiner   Eroeffnungsrede   den   interdisziplinaeren
Charakter dieser Veranstaltung betonte.

1. Generierung multimedialer Praesentationen

Die  ersten  drei  Vortraege  befassten  sich  mit   der   koordinierten
Generierung von Text und Graphik. Als erster  Beitrag  des  eigentlichen
Workshop-Programms wurde das  an  der  Columbia  University  entwickelte
System COMET praesentiert, das  illustrierte  Gebrauchsanleitungen  fuer
technische  Geraete  generiert   (derzeit:   Bedienungsanleitung   eines
Funkgeraetes).   Mit   einem   Demonstrationsvideo   wurden    zunaechst
Zielsetzung und Arbeitsweise von COMET vorgestellt und anschliessend  in
je  fuenfminuetigen  Kurzvortraegen   auf   aktuelle   und   zukuenftige
Forschungsschwerpunkte hingewiesen,  insbesondere  auf  die  Generierung
simultan kommentierter animierter Darstellungen von  Handlungsablaeufen.
Als Voraussetzung  hierfuer  wird  eine  explizite  Repraesentation  der
zeitlichen  Relationen  zwischen  Aktionen  benoetigt.  Der   in   COMET
verfolgte Ansatz wurde von *Diane Litman* skizziert. Sie entwickelt eine
Plansprache,   die   neben   den    Allenschen    Zeitrelationen    auch
Ausdrucksmittel  fuer  Iteration  und  Alternativen  umfasst.  *Kathleen
McKeown* riss einige Probleme der Textgenerierung an,  die  speziell  im
Falle der simultanen Kommentierung auftreten. So wies  sie  u.a.  darauf
hin, dass Schlussfolgerungen ueber Zeitrelationen  unerlaesslich  seien,
sowohl fuer die Wortwahl als auch fuer die Steuerung des  linguistischen
Fokus. Schliesslich sprach *Steven Feiner* die automatische  Generierung
animierter Darstellungen an. Der Schwerpunkt seiner Arbeit wird auf  der
Entwicklung  spezieller  Animationstechniken  liegen,   wie   z.B.   der
Visualisierung von Zustandsaenderungen oder Play-Back.

Im daran anschliessenden Vortrag gab *Elisabeth Andr'e* zunaechst  einen
kurzen Ueberblick ueber das multimodale  Praesentationssystem  WIP,  das
derzeit am DFKI Saarbruecken entwickelt wird. In WIP wird, wie in COMET,
die automatische Generierung illustrierter Dokumente  thematisiert.  Die
Koordination  von   Text   und   Graphik   ist   einer   der   zentralen
Forschungsschwerpunkte dieses Projektes. In  ihrem  Vortrag  erlaeuterte
Elisabeth Andr'e ihren zusammen mit  *Thomas Rist*  entwickelten  Ansatz
zur  Behandlung  der  Koordinationsproblematik  im  Hinblick   auf   die
Generierung   bimodaler   Referenzausdruecke.   Anhand    exemplarischer
Text-Bild-Kombinationen  zeigte  sie  auf,  unter   welchen   Umstaenden
Referenzhandlungen mit Text und Bild erfolgreich sind  bzw.  misslingen.
Abschliessend skizzierte sie einen Algorithmus zur Generierung bimodaler
Referenzausdruecke und erlaeuterte, wie dieser Ansatz in das  WIP System
integriert werden soll. Im Vortrag von *Winfried Graf* wurde der in  WIP
verfolgte constraintbasierte Ansatz zur  automatischen  Layoutgestaltung
vorgestellt. Designprinzipien, aesthetische Kriterien, Lesbarkeitsregeln
sowie Wissen ueber semantische  und  pragmatische  Beziehungen  zwischen
Dokumentteilen  werden  in  diesem  Ansatz  deklarativ  als  Constraints
repraesentiert.

*John Burger* und *Ralph Marschall* von MITRE Corporation  stellten  das
System  AIMI,   ein   portables   multimodales   Interface,   vor.   Zur
Informationspraesentation wird  in  AIMI  auf  vordefinierte  Schablonen
(templates) zurueckgegriffen.  Sogenannte  Metatemplates  spezifizieren,
wie elementare Schablonen kombiniert werden koennen. Im Gegensatz zu den
Informationspraesentationssystemen  COMET   und   WIP   ist   AIMI   als
Dialogsystem  konzipiert.  Dadurch,   dass   praesentierte   Information
explizit repraesentiert wird, kann ein Benutzer insbesondere  auf  Teile
der Praesentation im Dialog bezug  nehmen  (vorwiegend  durch  Anklicken
maussensitiver Praesentationsteile). Als Besonderheit von AIMI wurde die
Integration  eines  Audiokanals  genannt.  Die   Vortragenden   raeumten
allerdings  ein,  dass  die  Frage  der  akustischen   Encodierung   von
Information noch weitgehend ungeklaert sei.

2. Medienunabhaengige Kommunikationsmodelle

Die naechsten drei  Vortraege  wurden  im  Workshop-Programm  unter  den
Begriff "Medienunabhaengige Kommunikationsmodelle" eingeordnet.

*Joe Marks* (Harvard Univ.) befasste sich  in  seinem  Vortrag  mit  dem
Problem, wie man innerhalb eines multimedialen Dokuments die  Konsistenz
von  Graphiken  sicherstellt,  wobei  er   zwischen   semantischer   und
pragmatischer Konsistenz unterschied. Der Begriff semantische Konsistenz
bezieht  sich  auf  alle  Designentscheidungen,  die   die   semantische
Interpretation einer  Graphik  betreffen.  Darunter  fallen  sowohl  die
Zuordnung von Informationstypen  zu  graphischen  Merkmalen  (expressive
mapping) als auch die  Zuordnung  von  Daten  zu  Instanzen  graphischer
Merkmale  (value mapping).  Semantisch  inkonsistent  ist  eine  Graphik
beispielsweise dann, wenn fuer dasselbe Objekt innerhalb eines Diagramms
unterschiedliche Symbole  verwendet  werden.  Der  Begriff  pragmatische
Konsistenz bezieht sich  auf  Faktoren,  die  die  Interpretation  einer
Graphik erleichtern. Beispielsweise sollte fuer aehnliche Diagramme eine
aehnliche Skalierung verwendet werden. Als ersten  Schritt  zur  Loesung
des Konsistenzproblems schlug Marks sogenannte Designhistories  vor,  in
denen alle Designentscheidungen waehrend des Dialogs abgelegt werden.

*Angel Puerta* (Stanford Univ.) stellte ein Modell eines selbstadaptiven
Interfaces vor, das Schnittstellenentwicklern die  Moeglichkeit  bietet,
verschiedene   Lerntechniken   zu   testen.   Die    Besonderheit    von
selbstadaptiven  Interfaces  besteht  darin,  dass  sie  nicht  nur  ihr
Verhalten an die Beduerfnisse des jeweiligen Benutzers anpassen, sondern
dass auch der Anpassungsprozess selbst waehrend der Laufzeit Aenderungen
unterworfen ist. Anhand eines Beispiels zeigte Puerta, wie  ein  solches
Interface dazu verwendet werden kann,  um  mit  Lerntechniken  fuer  die
Auswahl von Praesentationsmodi zu experimentieren.

*Yigal Arens*  und  *Ed Hovy*  (ISI)   beschaeftigten   sich   mit   der
Kategorisierung  des  Wissens,   das  bei  der  Gestaltung  multimodaler
Praesentationen einfliesst. Um herauszufinden, welche Phaenomene bei der
Generierung auftreten, wurden unterschiedliche Handbuecher studiert. Das
Ergebnis dieser Studie waren Netzwerke, in denen Knoten  Phaenomene  und
Kanten moegliche  Werte  repraesentieren.  Um  Abhaengigkeiten  zwischen
diesen  Werten  darzustellen,  werden  die   Kanten   in   Analogie   zu
systemischen  Grammatiken  mit  And-  oder   Or-Operatoren   miteinander
verbunden. Anhand eines Beispiels aus einer Benutzeranleitung fuer einen
Personenkraftwagen wurde der vorgestellte Ansatz  illustriert.  Vorteile
der Netzwerkrepraesentation sahen die  Autoren  vor  allem  darin,  dass
diese unabhaengig von der Art der Verarbeitung ist.

3. Diskussion: Generierung von Text und Graphik

In  der  von  Steven  Feiner  moderierten  Diskussionsrunde  zum   Thema
"Koordiniertes Design von Text und Graphik" wurden zunaechst noch einmal
die wichtigsten Aspekte der in der vorausgehenden Sitzung  vorgestellten
Systeme COMET, WIP und AIMI besprochen. Es galt  dabei,  Gemeinsamkeiten
und Unterschiede dieser Ansaetze  herauszuarbeiten  und  in  Form  eines
Brainstormings offene Fragestellungen und richtungsweisende Empfehlungen
fuer zukuenftige Entwicklungen vorzugeben.

Im Mittelpunkt  der  Diskussion  stand  die  Frage  nach  dem  Grad  der
Automatisierung von multimedialen Praesentationsystemen bzw.  der  Rolle
des Benutzers in solchen Systemen (d.h. vollautomatische Generierung vs.
Kombinationen  aus  rein  generierter  und  vom  Benutzer   eingegebener
Information). Insbesondere in diesem Punkt unterschieden sich  auch  die
vorgestellten Ansaetze.  Waehrend  in  WIP  basierend  auf  vorgegebenen
Generierungsparametern eine Praesentation vollautomatisch erzeugt  wird,
bieten  andere  Systeme  (AIMI,  COMET  und  IKIT)  verschieden   starke
Moeglichkeiten der Einflussnahme durch den Benutzer,  wie  etwa  Eingabe
von Information (z.B. Videos) oder das Nacheditieren der  Praesentation.
Entscheidend ist hier auch  die  Frage,  ob  eine  Repraesentation  oder
History  der  generierten  Praesentation  angelegt  wird.  Ein  weiteres
Unterscheidungskriterium wird durch die  eigentliche  Intention  der  zu
generierenden  Praesentation  bestimmt.  Einige   Systeme   wollen   nur
Information multimedial ausgeben,  andere  haben  zum  Ziel,  Wissen  zu
vermitteln (z.B. Hilfesysteme). Am Beispiel der Kaskadenarchitektur  von
WIP  wurde  die  Frage  des  Kontrollflusses   bei   der   koordinierten
Generierung von Text  und  Graphik  eroertert.  WIP  benutzt  hier  zwei
Rueckkopplungsschleifen, eine  nach  dem  Design  sowie  eine  nach  der
Realisierung eines Dokuments.

Zum  Schluss  der  Diskussion  wurde  noch  fuer   den   Fall   mehrerer
Alternativen  die   Moeglichkeit   der   Bewertung   von   multimedialen
Praesentationen bzgl. Konsistenz und Kohaerenz eroertert. Die Diskussion
konnte im allgemeinen einige komplexe Probleme beim Design multimedialer
Praesentationen insbesondere bei der Medienkoordination  aufzeigen,  wie
u.a. die temporale  Koordination  mehrerer  Medien,  Ausgewogenheit  der
Praesentation, wechselseitige Referenz und Interaktion zwischen Text und
Graphik,  sowie  Beziehungen  zwischen  den   Charakteristika   der   zu
praesentierenden Information und den verfuegbaren Ausgabegeraeten.

4. Multimedia-Architekturen

Die erste Sektion des Nachmittags stand unter dem  Thema  "Architekturen
fuer multimediale Schnittstellen  bzw.  Informationssysteme".  Zunaechst
fuehrte   *Thomas  Hemmann*   das   im    Rahmen    des    Leitvorhabens
"Assistenz-Computer" bei der GMD entwickelte System MediaAssistant  vor.
Dieser Medienassistent ist als  multimediale  Schnittstelle  zu  grossen
weltweiten    Datenbanken    konzipiert     und     unterstuetzt     die
Buerokommunikation, wie Telefon, Fax, Teletex, Mail, etc. Das System ist
auf Macintosh unter Supercard implementiert.

Anschliessend stellte *Juergen Krause* die von ihm an  der  Universitaet
Regensburg geleiteten Projekte WING-IIR und  DICOS  vor.  Er  plaedierte
fuer eine empirische Validierung von  multimedialen  Schnittstellen  zur
Untersuchung  der  Frage,   wann,   wie   und   warum   ein   bestimmtes
Kommunikationsmedium gewaehlt wird. *Matthew Cornell*,  *Daniel Suthers*
und *Beverly Woolf* (Univ. of Massachussetts) zeigten  ein  Video  einer
hypermedia-basierten interaktiven Lernumgebung. Es  wurde  demonstriert,
wie ein Student, der eine Anfrage an das System  gestellt  hatte,  durch
die Variation  des  Ausgabemediums  neue  Aspekte  aus  der  vom  System
praesentierten Antwort gewinnen konnte.  *Tetsuro Muranaga*  und  *Rajiv
Trehan*     beschrieben     eine     integrierte     Multimedia-     und
Software-Architektur, basierend auf einer objekt-orientierten  Datenbank
und parallelem objekt-orientiertem C.

5. Speicherung und Retrieval

Eine weitere Sektion mit zwei Vortraegen befasste sich  mit  Speicherung
und Retrieval von multimedialer Information. Zunaechst  beschrieb  *Marc
Davis* eine am MIT Media Lab entwickelte  ikonen-basierte  Schnittstelle
zu einem domaenenunabhaengigen Archiv fuer  multimediale  Informationen.
Dieser sog. Director's Workshop erlaubt die  "semantische Zerschneidung"
eines Videobandes mit  dem  Ziel  der  automatischen  Komposition  neuer
Videoclips aus der so gewonnen Information. Das System benutzt dazu eine
temporal-indizierte,  semantisch   strukturierte   Repraesentation   von
multimedialer Information.

Anschliessend  demonstrierte  *Guy Boy*  (NASA Ames)  das  zusammen  mit
*Cecile  Paris*  (ISI)  entwickelte  System  CID   (Computer  Integrated
Documentation).  Es  handelt   sich   dabei   um   einen   intelligenten
hypertext-basierten  Browser  zur   effizienteren   Suche   in   grossen
technischen Dokumenten. Der Ansatz benutzt sog. "contextual links", eine
Technik zur  kontext-sensitiven  Indizierung  von  Hypertext-Links.  Das
System verwendet hierbei Online-Benutzerinformation, um  die  derzeitige
Indizierung zu verstaerken bzw. eine neue zu generieren.

6. Anwendungen

Die drei letzten Vortraege praesentierten anwendungsorientierte Vorhaben
im  Bereich  wissensbasierter  multimodaler  Systeme.  *Andrea Bonarini*
(Politecnico  di  Milano)  berichtete  ueber  Arbeiten  im  Rahmen   des
Projektes PROMETHEUS, die eine multimodale  Interaktion  zwischen  einem
Bordcomputer im Auto und dem Fahrer des Wagens zum Ziel haben. Mit Hilfe
des geplanten Systems soll eine interaktive Routenplanung und  -fuehrung
moeglich  werden.  Eine  zentrale  Komponente  des   Systems   ist   das
Fahrermodell, das  Annahmen  ueber  Aufmerksamkeit,  Erregtheit,  Ziele,
Vorlieben und auch das Wissen des Fahrers enthalten soll.

*James Ragusa*  (Univ. of Central  Florida)  und  *Astrid Heard*  (NASA)
berichteten ueber Probleme bei der Klassifikation und beim Retrieval von
Videobildern.  Waehrend  bisher  beides  hauptsaechlich  mit  Hilfe  von
Schlagwoertern und Suchausdruecken durchgefuehrt wird, moechte Ragusa in
Zukunft verstaerkt objektorientierte und  deduktive  Datenbanken  dafuer
einsetzen, um mit dieser Hilfe Kontrollbilder vom Zusammenbau der  Space
Shuttle (etwa 100.000 Bilder pro Start) besser abspeichern  zu  koennen.

*Mark Guzdial* und *Eliot Soloway*  (Univ. of  Michigan)  praesentierten
MediaText, ein Multimedia-Autorensystem, das insbesondere das  Schreiben
von Schulaufsaetzen unterstuetzen soll.  Das  System  wurde  bereits  in
mehreren Klassen einer amerikanischen High School mit Erfolg eingesetzt.

7. Zusammenfassung und Ausblick

Zum Schluss der  Tagung  arbeitete  *Alfred Kobsa*  (Univ. Saarbruecken)
nochmals eine Reihe von noch ungeklaerten Forschungsfragen  heraus,  die
im Laufe des Workshops aufgetaucht waren und die in  Zukunft  verstaerkt
untersucht werden sollten:

 - Wie sollen die Einflusskriterien auf  Modalitaetsselektion  ermittelt
   werden: durch theoretische Ueberlegungen  (dzt.  WIP,  COMET,  Hovy &
   Arens, Marks), durch Lernverfahren  (Puerta)  oder  durch  empirische
   Untersuchungen (Krause; Sekundaerliteratur: WIP)?

 - Gibt  es  Wohlgeformtheitskriterien  fuer   visuelle   Darstellungen,
   aehnlich   den   syntaktischen,   semantischen   und    pragmatischen
   Restriktionen fuer Sprache? Beispiele fuer syntaktische Restriktionen
   waeren  etwa  Regeln  zur  Design-Konsistenz  (Marks),   perzeptuelle
   Gruppenbildung (WIP) und Kontrastregeln (Arens, Feiner). Pragmatische
   Kriterien waeren Referenzrestriktionen (Andr'e) und  Persistenzregeln
   (WIP).

 - Wie soll sich die Forschung zur multimodalen  Generierung  angesichts
   der Tatsache verhalten, dass auf  absehbare  Zeit  keine  ausreichend
   maechtigen Repraesentationssysteme als Grundlage fuer die Generierung

 - Sind fuer  multimodale  Dokumente  die  in  der  Dokumentations-  und
   Informationswissenschaft    entwickelten     Klassifikations-     und
   Retrievalmethoden anwendbar und ausreichend?

 - Ist der positive ergonomische oder paedagogische Effekt  multimodaler
   Interaktion ausreichend belegt? Koennen zu  diesem  Zweck  Ergebnisse
   aus dem  Bereich  der  Mensch-Maschine-Interaktion,  der  technischen
   Dokumentation,  der  Psycholinguistik  oder  des  Computergestuetzten
   Unterrichts herangezogen werden?

 - In  welchem  Ausmass  ist  die  Modalitaetsselektion  abhaengig   von
   individuellen Benutzerbeduerfnissen und  -praeferenzen?  Koennen  zur
   individuellen Anpassung  Forschungsergebnisse  aus  dem  Bereich  der
   Leser-Anpassung von technischen Dokumenten, der  Benutzermodellierung
   in Dialogsystemen, der Psycholinguistik oder des  Computergestuetzten
   Unterrichts herangezogen werden?
************************************************************************