🚀 go-pugleaf

--------------------------------------------------------------------------

F O R S C H U N G S K O L L O Q U I U M             
KUENSTLICHE INTELLIGENZ
                                                    
im Sommersemester 2000                               
                                                    
Dienstag, den 6.6. 2000
16.00 - 18.00 Uhr
Raum  FR 0513
Franklinstr. 28/29
D-10587 Berlin

--------------------------------------------------------------------------

Lernen von Steuerfähigkeiten am Beispiel des Flugroboters MARVIN

André Paus, Dirk Wahrheit, Bernhard Wolf, Tim Ehlers, Hans-Peter Jacobs,
Frank Neumann 

Technische Universität Berlin

Im studentischen Projekt "Moderne Methoden des Maschinellen Lernens I"
(WS99/00) sollte eine Steuerung für den in der Forschungsgruppe PDV gebauten, 
autonom operierenden Flugroboters MARVIN entwickelt werden.

Ziel der Arbeiten war es, mit Hilfe eines Simulators für den Hubschrauber
MARVIN durch Anwendung von Verfahren des explorativen Lernens eine
Steuereinheit zu konstruieren, die das automatische Anfliegen von
Zielpunkten erlaubt. Dabei wurden zwei Ansätze untersucht:

1. Lernen von Steuerfertigkeiten durch Kopplung von Problemlöse- und
Lernverfahren (Stichworte: A*, CAL5, DIPOL): Hier werden durch Anwendung
eines Problemlöseverfahrens die optimalen Steueraktionen für
eine Reihe von Beispielzuständen des zu steuernden Systems generiert.
Die Beispielzustände bilden eine Trainingsmenge, aus der mit Hilfe
eines konnektionistischen Lernverfahrens (DIPOL) ein Klassifikator
mit generalisierenden Eigenschaften erzeugt wird, der jedem Prozesszustand
eine optimale Steueraktion zuordnet.

2. Erwerb von Steuerfertigkeiten mit Ansätzen des Reinforcement Learnings
(Stichworte: Q-Learning, Backpropagation): Hier
erhält der lernende Agent in Abhängigkeit des Erfolgs seiner
Aktionen eine "Belohnung" bzw. eine "Bestrafung" (sog. Reward) mit deren
Hilfe er seine Strategie zur Steuerung des Systems optimiert. Die Strategie
wird mit Hilfe der sog. Q-Funktion bestimmt, die eine zu erlernende Bewertung
für Paare aus Systemzustand und möglichen Aktionen darstellt.
Die Q-Funktion kann mit Hilfe eines Backpropagation-Netzes repräsentiert 
und gelernt werden.

In den Vorträgen werden die Ergebnisse des Projekts vorgestellt.

------------------------------------------------------------------------

TU Berlin
FG Methoden der Künstlichen Intelligenz
Franklinstr. 28/29, FR 5-8
10587 Berlin

--------------------------------------------------------------------------
--------------------------------------------------------------------------
  Das aktuelle Kolloquiumsprogramm finden Sie im WWW unter 

                http://ki.cs.tu-berlin.de/col.html 
--------------------------------------------------------------------------
--------------------------------------------------------------------------


-- 
### Peter Geibel 
### TU Berlin, KI, Sekr. FR 5-8, Franklinstr. 28/29, D-10587 Berlin
### Tel. +49-30-314-25491, Fax +49-30-314-24913
### http://www.cs.tu-berlin.de/~geibel, mailto:geibel@cs.tu-berlin.de