Erklärbare Suche
KI und datengesteuerte Plattformen haben inzwischen erhebliche Auswirkungen, z. B. auf die Beeinflussung demokratischer Wahlen, Fake News und die Bearbeitung automatisierter Kreditanträge. Dies ist auf das Wachstum und die Nutzung von KI-Systemen wie Smartphones, Suchmaschinen, Entscheidungshilfesystemen und die Verfügbarkeit von Daten und Rechenleistung zurückzuführen. Um das Vertrauen der Nutzer zu gewinnen, ist es wichtig, ihnen zu erklären, wie KI-Systeme zu einem Ergebnis kommen. Moderne KI-Systeme wie Suchmaschinen (IR-Systeme) stützen sich häufig auf ein komplexes Ranking-Modell. Wie kann beispielsweise ein Jurist verstehen, wie einige Dokumente für eine bestimmte Anfrage gefunden werden? Warum wird Dokument X viel niedriger eingestuft, obwohl es für die Suchbegriffe relevant zu sein scheint? Liegt es am Prozentsatz der übereinstimmenden Schlüsselwörter? Oder liegt es an den Themen, die sich in den Stichworten manifestieren? Wurden die Suchbegriffe richtig formuliert, um den Informationsbedarf zu erfassen? Um einem solchen "Blackbox"-Verhalten entgegenzuwirken, hat sich in jüngster Zeit ein interdisziplinäres Forschungsgebiet herausgebildet, das sich diesem Transparenzfaktor widmet und oft als Explanable AI (XAI) bezeichnet wird.
In Bezug auf IR-Systeme konzentrieren wir uns auf die Herausforderung, zu erklären, wie eine Rang- oder Relevanzliste entsteht. Die Idee der Relevanz im IR komplex. Relevanzkonzepte hängen oftmals von mehreren Faktoren ab, wie z.B. dem Kontext und dem Anwendungsszenario, und sind subjektiv, wenn sie auf den Informationsbedürfnissen des Benutzers basieren. Im Kontext von IR versucht unsere Forschung zu "Explainable Search" zu erklären, wie ein Element anderen Elementen einer Rang- oder Relevanzliste ähnlich ist. Solche Erklärungen versuchen, dem Benutzer Relevanzkonzepte näherzubringen. Unsere Forschung untersucht textuelle Erklärungen, die Fragen wie "Warum ist Dokument X für eine bestimmte Suchanfrage auf Rang Y?" beantworten. Zudem untersuchen wir visuelle Erklärungen, die Bilder vergleichen und kontrastieren und Regionen von Interesse zeigen, die das Modell bei der Erstellung relativer Ranglisten berücksichtigt. In unseren Beiträgen untersuchen wir die Zweckdienlichkeit interpretierbarer Merkmale und neuartiger Methoden zum Re-Ranking, die verschiedene Facetten der Evidenz belohnen und bestrafen.
Ausgewählte Publikationen
- S. Polley, S. Mondal, V. S. Mannam, K. Kumar, S. Patra, A. Nürnberger: X-Vision: Explainable Image Retrieval by Re-Ranking in Semantic Space. CIKM 2022. pp. 4955-4959. https://doi.org/10.1145/3511808.3557187.
- S. Polley: Towards Explainable Search in Legal Text. ECIR (2) 2022. pp. 528-536. https://doi.org/10.1007/978-3-030-99739-7\_65.
- S. Polley, R. R. Koparde, A. B. Gowri, M. Perera, A. Nürnberger: Towards Trustworthiness in the Context of Explainable Search. SIGIR 2021. pp. 2580-2584. https://doi.org/10.1145/3404835.3462799
- S. Polley, A. Janki, M. Thiel, J. Höbel-Müller, A. Nürnberger: ExDocS: Evidence based Explainable Document Search, 44th ACM SIGIR Workshop on Causality in Search and Recommendation 2021.
- A. Dey, C. Radhakrishna, N. N. Lima, S. Shashidhar, S. Polley, M. Thiel, A. Nürnberger: Evaluating Reliability in Explainable Search, ICHMS 2021. pp. 1-4. https://doi.org/10.1109/ICHMS53169.2021.9582653