PeriFlow
일반비용과 속도를 최적화한 LLM 추론 서비스
일반 369
일반 LLM 도구는 대규모 언어 모델을 중심으로 구축된 프레임워크, API, 평가 유틸리티, 인프라를 포함합니다. 이 카테고리는 임베딩 계산기부터 본격적인 모델 서빙 플랫폼까지, LLM 위에서 애플리케이션을 구축·테스트·파인튜닝하고 실행하는 데 도움이 되는 369개 도구를 다룹니다.
Dstack
일반클라우드와 클러스터 전반의 GPU 프로비저닝 컨트롤 플레인
Cognee
일반기업 데이터를 기반으로 자기조직화하는 지식 그래프 플랫폼
UpTrain
일반LLM 애플리케이션 평가 및 모니터링
Gestell
일반비정형 데이터를 AI가 검색 가능한 데이터베이스로 변환
LochBot
일반LLM 프롬프트를 31가지 탈옥 및 인젝션 패턴으로 점검
AIWatch
일반30개 이상 AI 서비스의 실시간 상태 대시보드
Embedding Similarity Calculator
일반여러 거리 메트릭으로 벡터 임베딩을 비교 계산
Credyt
일반AI 제품을 위한 사용량 기반 수익화 및 청구 플랫폼
이 카테고리는 주로 개발자와 ML 엔지니어를 위한 기술 중심 카테고리입니다. Cognee와 UpTrain은 RAG 파이프라인과 모델 평가를 다루고, Dstack과 PeriFlow는 학습 및 추론을 위한 컴퓨트 인프라를 처리합니다. Embedding Similarity Calculator 같은 유틸리티는 LLM 개발 워크플로우에서 좁지만 유용한 빈틈을 채워줍니다. OpenAssistant와 Cerebras-GPT는 개발자가 직접 실행하거나 파인튜닝할 수 있는 오픈소스 또는 오픈 웨이트 모델입니다. 도구를 비교할 때는 특정 프로바이더에 종속되어 있는지 아니면 모델 비종속적인지, 그리고 현재 사용 중인 모델을 지원하는지 확인하세요. 레이턴시, 처리량, 토큰당 비용은 프로덕션 워크로드에서 가장 중요한 지표입니다. 평가 도구는 초기 프로젝트에서 소홀히 다뤄지기 쉽지만, 사용자에게 배포를 시작하는 시점이 되면 매우 중요해집니다. 이 카테고리의 많은 도구는 오픈소스이면서 유료 매니지드 버전도 제공하며, 일부는 사용량 기반 요금제를 적용하는 클로즈드 SaaS 제품입니다.