Retrieval Benchmark

Hongjin Su, Howard Yen, Mengzhou Xia, Weijia Shi, Niklas Muennighoff, Han-yu Wang, Haisu Liu, Quan Shi, Zachary S. Siegel, Michael Tang, Ruoxi Sun, Jinsung Yoon, Sercan O. Arik, Danqi Chen, Tao Yu: BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval
Abstract: „Bestehende Retrieval-Benchmarks bestehen in erster Linie aus informationssuchenden Abfragen (z.B. aggregierte Fragen von Suchmaschinen), bei denen ein Keyword- oder semantisch-basiertes Retrieval in der Regel ausreichend ist. Viele komplexe Abfragen in der Praxis erfordern jedoch eine gründliche Argumentation, um relevante Dokumente zu identifizieren, die über den Abgleich von Oberflächenformen hinausgehen. Um beispielsweise eine Dokumentation für eine Codierungsfrage zu finden, müssen Sie die Logik und Syntax der beteiligten Funktionen verstehen. Um das Retrieval bei solch anspruchsvollen Abfragen besser zu vergleichen, führen wir BRIGHT ein, den ersten Text-Retrieval-Benchmark, der intensives Denken erfordert, um relevante Dokumente abzurufen. Unser Datensatz besteht aus 1.384 realen Abfragen aus verschiedenen Bereichen wie Wirtschaft, Psychologie, Mathematik und Programmierung. Diese Abfragen basieren auf natürlich vorkommenden und sorgfältig kuratierten menschlichen Daten. Eine umfangreiche Evaluierung zeigt, dass selbst moderne Retrieval-Modelle auf BRIGHT schlecht abschneiden. Das führende Modell auf der MTEB-Bestenliste (Muennighoff et al., 2023) SFR-Embedding-Mistral (Meng et al., 2024), das eine Punktzahl von 59,0 nDCG@10,1 erreicht, erzeugt eine Punktzahl von nDCG@10 von 18,3 auf BRIGHT. Wir zeigen, dass die Einbeziehung expliziter Argumentation für die Abfrage die Abrufleistung um bis zu 12,2 Punkte verbessert. Darüber hinaus steigert die Einbeziehung von abgerufenen Dokumenten aus dem leistungsstärksten Retriever die Leistung bei der Beantwortung von Fragen. Wir glauben, dass BRIGHT den Weg für zukünftige Forschungen zu Rückholsystemen in realistischeren und anspruchsvolleren Umgebungen ebnet.“

Information Retrieval Vorlesung

Ghislain Fourny, senior scientist in the Department of Computer Science at ETH Zurich, hat Folge von 30 Vorlesungen zu Information Retrieval gehalten: Ghislain Fourny’s lectures:
Introduction (1/2) – Information Retrieval – ETH Zurich – Spring 2024
Introduction (2/2) – Information Retrieval – ETH Zurich – Spring 2024
Boolean retrieval (1/2) – Information Retrieval – ETH Zurich – Spring 2024
Boolean retrieval (2/2) – Information Retrieval – ETH Zurich – Spring 2024
Term vocabulary (1/3) – Information Retrieval – ETH Zurich – Spring 2024
Term vocabulary (2/3) – Information Retrieval – ETH Zurich – Spring 2024
Term vocabulary (3/3) – Information Retrieval – ETH Zurich – Spring 2024
Tolerant retrieval (1/4) – Information Retrieval – ETH Zurich – Spring 2024
Tolerant retrieval (2/4) – Information Retrieval – ETH Zurich – Spring 2024
Tolerant retrieval (3/4) – Information Retrieval – ETH Zurich – Spring 2024
Tolerant retrieval (4/4) – Information Retrieval – ETH Zurich – Spring 2024
Index construction (1/3) – Information Retrieval – ETH Zurich – Spring 2024
Index construction (2/3) – Information Retrieval – ETH Zurich – Spring 2024
Index construction (3/3) – Information Retrieval – ETH Zurich – Spring 2024
Index compression (1/3) – Information Retrieval – ETH Zurich – Spring 2024
Index compression (2/3) – Information Retrieval – ETH Zurich – Spring 2024
Index compression (3/3) – Information Retrieval – ETH Zurich – Spring 2024
Vector space model (1/2) – Information Retrieval – ETH Zurich – Spring 2024
Vector space model (2/2) – Information Retrieval – ETH Zurich – Spring 2024
Vector databases (1/1) – Information Retrieval – ETH Zurich – Spring 2024
Evaluation (1/1) – Information Retrieval – ETH Zurich – Spring 2024
Probabilistic information retrieval (1/4) – Information Retrieval – ETH Zurich – Spring 2024
Probabilistic information retrieval (2/4) – Information Retrieval – ETH Zurich – Spring 2024
Probabilistic information retrieval (3/4) – Information Retrieval – ETH Zurich – Spring 2024
Probabilistic information retrieval (4/4) – Information Retrieval – ETH Zurich – Spring 2024
Language models (1/3) – Information Retrieval – ETH Zurich – Spring 2024
Language models (2/3) – Information Retrieval – ETH Zurich – Spring 2024
Language models (3/3) – Information Retrieval – ETH Zurich – Spring 2024
Wrap up (1/2) – Information Retrieval – ETH Zurich – Spring 2024
Wrap up (2/2) – Information Retrieval – ETH Zurich – Spring 2024

Kritik an Google Scholar

Aaron Tay: Why EXACTLY is Google Scholar bad for evidence synthesis, systematic reviews?, in: Aaron Tay’s Musings about librarianship 12.05.2024
1. Google Scholar ranks at most 1,000 results.
2. Google Scholar has no official bulk export function
3. Google Scholar lacks features needed for high recall, high precision searching.
4. Google Scholar is not a database?!?! or Google Scholar crawls the web so it’s index is unstable
5. Google Scholar is a black box, the algorithm is not transparent or known
6. We do not understand how Google Scholar works, results are not interpretable or explainable
7. Google Scholar is just not reproducible

Grenzen der KI bei Profi-Suche

Heike Baller: Warum ich KI bei der Recherche nicht empfehlen kann. Profi-Wissen beschreibt die Grenzen der KI-Suche. „Doch die Sache hat bei den Tools rund um Recherche in der Regel einen Haken. Sie zeigen zwar, wie das Vorgehen und auch das Ergebnis aussehen, doch eine inhaltliche Auseinandersetzung mit den Ergebnissen findet in der knappen Zeit nicht statt. Mit anderen Worten, sie schauen nicht, ob die Treffer, die solche KI-gestützten Recherche-Tools auswerfen, auch tatsächlich den Anforderungen der Anfrage entsprechen. Das ist jedoch für mich ein ganz wichtiger Aspekt, der darüber entscheidet, ob ich ein Tool nutze oder nicht. Bei meinen eigenen Versuchen sehe ich häufig Ergebnisse, die mit der Anfrage nur sehr wenig zu tun haben.“

Buchseite 1 von 3
1 2 3