🚀 go-pugleaf

From: umuai@cs.uni-sb.de (Alfred Kobsa)
To: mod-ki@unido.informatik.uni-dortmund.de
Date: Thu May 23 13:07:24 1991
Subject: <mod-ki 0715> Bericht AAAI Implemented KR and Reasoning Systems
Keywords: Berichte

mod-ki message 0715
************************************************************************
             Bericht ueber das AAAI-91 Spring Symposium on
       IMPLEMENTED KNOWLEDGE REPRESENTATION AND REASONING SYSTEMS

                            Franz Baader
                  DFKI GmbH, Standort Kaiserslautern   
              
                            Alfred Kobsa 
               Universitaet Saarbruecken, FB Informatik   
 
                       Hans-Juergen Profitlich
                  DFKI GmbH, Standort Saarbruecken


"Sind implementierte Wissensrepraesentations- und Inferenzsysteme vom
Aussterben bedroht?" lautete die provokative Frage im Call for Papers
des AAAI-91 Spring Symposium on Implemented Knowledge Representation and
Reasoning Systems, das vom 26. - 28. 3. 1991 an der Stanford University
stattfand. Der Workshop zeigte, dass diese Gefahr sicher noch nicht
droht; Systementwickler sehen sich aber mit einer Vielzahl von
methodologischen und "wissenschaftssoziologischen" Problemen
konfrontiert, ueber die im Laufe der Veranstaltung ausfuehrlich und sehr
offen diskutiert wurde.

Die Liste der eingeladenen Teilnehmer umfasste Repraesentanten der
wichtigsten implementierte Systeme, naemlich ALGERNON (J. Crawford),
BACK (C. Peltason), CAKE (C. Rich), CLASSIC (D. McGuinness), CYCL
(D. Lenat), EPIKIT (N. Singh), IMMORTAL (T. Chou), ITL (N. Guarino),
JOSHUA (H. Shrobe), JOSIE (R. Nado), KING KONG (M. Vilain), K-REP
(E. Mays), KRIS (F. Baader), KRS (B. Gaines), LILOG (T. Bollinger),
LOOM (B. Mac Gregor), MVL (M. Ginsberg), ONTIC (D. McAllester),
SB-ONE (A. Kobsa), SNePS (S. Shapiro) und TELOS (B. Kramer).
Zusaetzlich waren noch einige weitere Teilnehmer aus allen Bereichen
der Wissensrepraesentation eingeladen worden.

Die Architektur und die Faehigkeiten dieser Systeme sollten bei der
Tagung *nicht* besprochen werden. Thema waren ausschliesslich
methodologische und wissenschaftspolitische Probleme. Dazu war an die
Vertreter der 22 Wissensrepraesentationssysteme vorher Frageboegen
verschickt worden. Diese Fragen betrafen insbesondere die Motivation
fuer die Systementwicklung, die Vorgangsweise und Erfahrungen dabei,
den derzeitigen Zielerreichungsgrad, die Art der Evaluierung, die
Interaktion mit Benutzern, die Verwendung von formalen Modellen, sowie
die Publikation von Ergebnissen und die Erfahrungen dabei. Die
Vortragenden waren gehalten, sich bei ihren Praesentationen auf die
Beantwortung (einiger) dieser Fragen zu konzentrieren. Im folgenden soll
auf die interessantesten Problemkreise naeher eingegangen werden.

1. Systemevaluierung

Fast alle praesentierten Systeme wurden lediglich durch Bestimmung der
Benutzerakzeptanz evaluiert (falls sie ueberhaupt externe Benutzer
besitzen). Eine Systemvalidierung ist wegen der haeufig nur sehr vage
definierten Benutzeranforderungen nur schwer moeglich. Oftmals wird die
Problemklasse, fuer die ein Wissensrepraesentationssystem nuetzlich ist,
erst nachtraeglich durch Analyse der bei Benutzern tatsaechlich
beobachteten Verwendungsarten bestimmt. Laufzeitanalysen werden
durchgefuehrt, allerdings findet (insbesondere bei halbwegs vertretbaren
Ergebnissen) nur selten ein Vergleich mit alternativen
Loesungsmoeglichkeiten statt. Paul Cohen schlug fuer die
Wissensrepraesentation eine staerker problemorientierte Vorgangsweise
vor, die sich an die im Bereich der empirischen Wissenschaften uebliche
Methodik anlehnt.

2. Vergleich mit anderen Systemen

Eine der Fragen auf dem zu beantwortenden Fragebogen lautete: "Mit
welchen anderen Systemen wuerden Sie Ihr eigenes am ehesten
vergleichen?". Interessanterweise war das Vergleichskriterium *vor* dem
Workshop in allen Antworten die "Ahnlichkeit bezueglich Syntax und
Semantik. Ron Brachman fiel dieser Umstand bei seinem eigenen Vergleich
von CLASSIC auf; gegen Ende des Workshops stellte er fest, dass unter
dem Aspekt der Problemstellung ein voellig anderes System am ehesten mit
CLASSIC zu vergleichen waere (naemlich K-REP). Auch dies spricht fuer
die von Paul Cohen vorgetragene Methodologiekritik. Waere der
Ausgangspunkt fuer ein neues System naemlich das *Problem*, das man
damit handzuhaben versucht, und nicht das *Design* eines weiteren
Repraesentationssystems, dann wuerde entsprechend auch der Vergleich der
Systeme auf Basis der Problemstellung stattfinden.

Im Zusammenhang mit dem Testen einzelner Systeme wurde auch der
Vergleich zwischen mehreren Systemen angesprochen. Dieses Thema stiess
bei den meisten Teilnehmern auf reges Interesse. Dabei stellt sich die
Frage, unter welchem Aspekt der Vergleich stattfinden soll. Ein direkter
Performanzvergleich mit Hilfe von Benchmarks schien wenig angebracht, da
dies aufgrund der verschiedenen Anforderungen an die Systeme und deren
unterschiedlichen Rahmenbedingungen (z.B. Rechner) ein falsches Bild
liefern wuerde. Ausserdem besteht die Gefahr, dass Systeme bei einer
fest vorgegebenen Menge von Benchmarks in diese Richtung hin optimiert
werden (wie es ja im Bereich der KI schon des oefteren vorgekommen ist).
Interessanter waeren sogenannte "harte Nuesse", die die
Ausdrucksfaehigkeit und die Inferenzmechanismen auf die Probe stellen,
sowie Debugging Tools, die pruefen, ob auch alle ueblicherweise
auftretenden Probleme vom System beruecksichtigt werden.

Hans-Juergen Profitlich berichtete ueber die am DFKI Saarbruecken
durchgefuehrten Systemvergleiche. Die meisten Teilnehmer zeigten sich
ueberrascht ueber die Schwierigkeiten, die beim Austausch von
Wissensbasen aufgetreten waren. Dieser Umstand spricht sehr fuer die
Notwendigkeit der zur Zeit laufenden Bemuehungen um eine
Standardisierung von Syntax und Semantik terminologischer
Repraesentationssysteme. Ein zweites Ergebnis, das der Vergleich als
"Nebenprodukt" herausbrachte, war die offensichtliche Sensibilitaet
vieler Systeme bzgl. des syntaktischen Aufbaus der Wissensbasen. Durch
die Notwendigkeit der Uebersetzung der Wissensbasen in die verschiedenen

Systemsprachen wurde der syntaktische Aufbau, bei gleichem
"semantischem Inhalt", veraendert (insbesondere wurden viele "anonyme"
Konzepte angelegt). Dies fuehrte zumindest bei einem System zu einer
tausendfach hoeheren Antwortzeit. Die Ursache fuer diesen
ueberraschenden Effekt sollte noch naeher untersucht werden. Kritik an
dieser Uebersetzung, und damit an der Vorgangsweise insgesamt, uebte
Christof Peltason. In ihrem System BACK etwa gaebe es Optimierungen, die
bei solchen kuenstlich uebersetzten Wissensbasen nicht greifen wuerden
und deshalb zu den angesprochenen Effekten fuehren koennten. Dieser
Einwand scheint jedoch nicht gerechtfertigt zu sein, solange es keine
"Vorschriften" bzgl. des syntaktischen Aufbaus von Wissensbasen gibt.

Um Vergleiche zwischen Systemen zu erleichtern wird Peter Karp eine
Bibliothek mit Test-Wissensbasen anlegen, zu der jeder mit seinen Tests
beitragen kann. Sie soll als Grundlage fuer Entwickler dienen, die ihre
Systeme austesten wollen.


3. Theorie vs. Praxis

Das Verhaeltnis zwischen theoretischer Forschung im Bereich der
Wissensrepraesentation und der auf Systementwicklung ausgerichteten
Forschung schaut derzeit nach Auffassung der meisten
Workshop-Teilnehmer wie folgt aus: (a) die Anzahl der theoretischen
Arbeiten ueberwiegt bei weitem die der "praktischen" Arbeiten; (b) kaum
ein Forscher ist auf beiden Gebieten taetig; und (c) es ist haeufig
unklar, welche Konsequenzen die theoretischen Ergebnisse fuer die Praxis
haben (vermutlich trifft auch in umgekehrter Richtung zu, dass
"Praktiker" nur selten ihre Probleme so praezise formulieren, dass eine
formale Untersuchung moeglich ist; darueber wurde aber auf dem Workshop
nicht diskutiert).

Diese harten Aussagen wurden von den Teilnehmern durch eine Reihe von
Fakten untermauert. Paul Cohen etwa praesentierte in seinem Vortrag eine
Analyse von 150 bei der AAAI-90 akzeptierten Papieren (eine
Zusammenfassung dieser Studie ist soeben im AI Magazine erschienen).
Auch bleiben die in den letzten Jahren durchgefuehrten
Worst-Case-Komplexitaetsanalysen, die einen sehr wichtigen Teil der
bisherigen theoretischen Forschung ausmachen, in der Praxis unbeachtet.
Auf Vollstaendigkeit von Algorithmen wird oft verzichtet (etwa wegen
kombinatorischer Probleme).

4. Wissenschaftliche Anerkennung

Konferenzpapiere ueber Systementwicklungen weisen sehr hohe
Ablehnungsraten auf (selbst in ihren Gebieten anerkannte Gruppen
berichteten ueber mehrfache Ablehnung ihrer Papiere durch
"Theoretiker"). Die Autoren unterwerfen sich daher in vielfacher
Hinsicht einer Selbstzensur, die manchmal bereits an Irrefuehrung
grenzt. ("Gestaendnis" eines Teilnehmers: "Der Algorithmus, dessen
polynomiale Komplexitaet ich in diesem Papier bewies, war in der Praxis
voellig unbrauchbar. In Wirklichkeit verwende ich einen ganz anderen,
auf Heuristiken beruhenden Algorithmus; das wollte ich aber in diesem
Papier lieber nicht erwaehnen.") Wegen der Seitenbeschraenkungen bei
Konferenzpapieren und wegen des Zwangs, auch "theoretisch fundiert" sein
zu muessen, beschreiben die meisten Teilnehmer nur mehr Teilaspekte
ihrer Systeme in entsprechend interessanter Verpackung (Kommentar:
"Je wirklichkeitsnaeher ein Papier ist, desto geringer sind seine
Akzeptanzchancen").

Der "Vorschlag", dann auf Publikationen doch ganz zu verzichten und nur
mehr auf Software-Messen vorzufuehren, wurde nicht aufgegriffen, nicht
zuletzt wegen des Publikationsdrucks insbesondere an den amerikanischen
Universitaeten. Es wurde auf den Bereich der Ingenieurswissenschaften
verwiesen (etwa das Gebiet des Schaltungsentwurfs), wo Zeitschriften
ganz selbstverstaendlich rein ingenieurswissenschaftliche Arbeiten auch
ohne grosse Theorie-Umrahmung veroeffentlichen. Charles Rich schlug die
Aufstellung von Anforderungskriterien fuer Systembeschreibungen im
Bereich der Wissensrepraesentation vor. Eine erste kurze Liste wurde
auf der Tagung erarbeitet und soll weiter verbessert werden. Wichtig
erschien unter anderem, dass vom Problem ausgegangen wird, weniger
Gewicht auf Systemsyntax gelegt wird, verschiedene Experimente
beschrieben werden, neuartige Algorithmen identifiziert werden, und der
Einfluss theoretischer Resultate praezisiert wird. Erwogen wird, diese
Kriterien nach Fertigstellung an moegliche Konferenzgutachter zu
versenden.

5. Resume

Die Tagung war insgesamt sowohl interessant als auch unbefriedigend.
Interessant vor allem durch die ungewohnte Offenheit, mit der ueber
Forschungsprobleme diskutiert wurde (diese Offenheit war insbesondere
der ausgezeichneten Tagungsleitung von Charles Rich zu verdanken, der
stark darauf achtete, dass nicht wieder die ueblichen
"Hochglanzvortraege" gehalten wurden). Leider wurden aber die
ansatzweise erarbeiteten Verbesserungsvorschlaege nicht weiter
ausgearbeitet. Es ist aber, wie erwaehnt, die Einrichtung einer
Bibliothek von Testwissensbasen, die Aufstellung einer Anforderungsliste
an wissenschaftliche Publikationen ueber implementierte Systeme, sowie
die Verbreitung von System-Kurzbeschreibungen in der Newsgruppe comp.ai
beabsichtigt. Es ist zu hoffen, dass diese Vorhaben auch wirklich
durchgefuehrt werden. Die Beschreibungen der 22 Systeme werden in einem
Sonderband des SIGART Newsletters erscheinen. Ausserdem haelt Charles
Rich einen eingeladenen Vortrag ueber die Ergebnisse dieses Workshops
auf der KR '91. Da sich gezeigt hat, dass bei den Teilnehmern auch
starkes Interesse an mehr technisch orientierten Diskussionen bestand,
wurde beschlossen, dass auf einem Nachfolge-Workshop im Rahmen der AAAI
1992 Spring Symposia auf einige Repraesentationsprobleme eingegangen
werden soll, die von den diesjaehrigen Teilnehmern als besonders
wichtig empfunden wurden.
************************************************************************