Meilisearch
AllgemeinSchnelle Open-Source-Such- und KI-Retrieval-Engine
LLMs 4
Diese Kategorie umfasst Tools rund um große Sprachmodelle: Infrastruktur für den Einsatz, das Fine-Tuning, die Evaluierung und das Monitoring von LLMs im Produktionsbetrieb. Mit 369 gelisteten Tools gehört sie zu den technisch anspruchsvolleren Kategorien auf der Website – sie richtet sich in erster Linie an Entwickler und ML-Ingenieure, nicht an Endanwender.
LLM-Tooling ist parallel zu den Modellen selbst stark gewachsen, und die Kategorie umspannt mittlerweile mehrere klar abgegrenzte Problembereiche. Deployment- und Serving-Tools wie PeriFlow und Dstack helfen Teams, Modelle effizient im großen Maßstab zu betreiben. Evaluierungs- und Observability-Tools wie UpTrain und AIWatch verfolgen Modellqualität, Drift und Kosten über die Zeit. Gedächtnis- und Retrieval-Tools wie Cognee ergänzen LLM-Anwendungen um persistenten Kontext oder RAG-Fähigkeiten. Bei der Auswahl sind die entscheidenden Fragen: Infrastrukturpassung (Cloud, On-Premises oder hybrid), Modellkompatibilität (nur OpenAI oder auch Open-Source-Gewichte) und ob das Tool den tatsächlichen Engpass adressiert – sei es Latenz, Kosten, Genauigkeit oder Entwicklergeschwindigkeit. Preisstrukturen variieren: Manche Tools berechnen pro verarbeitetem Token, andere pro Nutzer oder API-Aufruf. Open-Source-Optionen existieren in den meisten Unterkategorien, was für Teams mit ausreichend technischer Kapazität zur Selbsthoste eine ernstzunehmende Alternative darstellt.