Allgemein 23

Dies ist eine technisch ausgerichtete Kategorie, die sich in erster Linie an Entwickler und ML-Ingenieure wendet. Tools wie Cognee und UpTrain befassen sich mit RAG-Pipelines und Modellauswertung, während Plattformen wie Dstack und PeriFlow die Recheninfrastruktur für Training und Inferenz bereitstellen. Der Embedding Similarity Calculator und ähnliche Hilfsprogramme füllen enge, aber nützliche Lücken in LLM-Entwicklungsworkflows. OpenAssistant und Cerebras-GPT sind Open-Source- bzw. Open-Weight-Modelle, die Entwickler direkt betreiben oder per Fine-Tuning anpassen können. Beim Vergleich von Optionen sollte man prüfen, ob ein Tool modellunabhängig ist oder an einen bestimmten Anbieter gebunden, und ob es die bereits genutzten Modelle unterstützt. Latenz, Durchsatz und Kosten pro Token sind die entscheidenden Metriken für Produktionsworkloads. Auswertungstools werden in frühen Projekten oft vernachlässigt, sind aber kritisch, sobald man an Nutzer ausliefert. Viele Tools hier sind Open Source mit kostenpflichtigen verwalteten Versionen, andere sind geschlossene SaaS-Produkte mit nutzungsbasierter Abrechnung.