Die Defense Advanced Research Projects Agency (DARPA) hat einen 5,8 Millionen Dollar Auftrag an das Unternehmen der Xerox Holdings Corporation PARC vergeben. In Zusammenarbeit mit der Universität Rostock, University of California in Santa Barbara und Patched Reality soll ein System mit künstlicher Intelligenz entwickelt werden.
Die Nutzer sollen bei komplexen physischen Aufgaben unterstützt werden, die über ihre Expertise hinausgehen. Dafür wandelt das neue System text- und videobasierte Anleitungen in ein Format um, das dann vom Computer verarbeitet werden kann. Weiterhin unterstützt es mittels AR-Anleitungen bei der Erbringung von Aufgaben und wird die Ausführung der Aufgaben überwachen.
PARC wir die Leitung des Projekts «Autonomous Multimodal Ingestion for Goal-Oriented Support» (AMIGOS) übernehmen. Das Projekt führt neue Methoden ein, um Verfahrensweisen aus Inhalten zu gewinnen, die Umgebung zu analysieren, Schlussfolgerungen über physische Aufgaben zu ziehen und Konversations- und AR-Anleitungen zu ermöglichen.
Ziel des Projektes ist es, Spezialisten die Möglichkeit zu geben, Aufgaben auszuführen, indem sie just-in-time Feedback und Anweisungen für physische Aufgaben erhalten.
Die DARPA wird mit dem Projekt zwei wichtige Systeme erhalten. Einerseits wird es ein Offline-Teil geben, der von Modalitäten wie Sprache oder Sehen lernt, um Anleitungs-schritte aus ungekennzeichneten Inhalten zu extrahieren, um eine Aufgabe ausführen zu können. Das zweite System ist eine Online-Komponente, die einen hybriden KI-Ansatz verwendet, der interaktive AR-Anleitungen auf Grundlage der aus der Offline-Komponente extrahierten Informationen erstellt.
