AI & Agentische Systeme
AI-Entwicklung umfasst für mich Model Serving, Inferenzoptimierung und agentische Systeme. Ich betreibe lokale LLMs, vergleiche ihre Performance und entwickle Anwendungsintegrationen mit Agenten, Bildgenerierung und Sprachverarbeitung.
Lokale LLMs & Model Serving
Bereitstellung kleiner und mittelgroßer Sprachmodelle mit vLLM und Ollama auf eigener Infrastruktur.
- vLLM
- Ollama
Benchmarks & Inferenzoptimierung
Benchmarking kleiner und mittelgroßer LLMs sowie Einsatz von Multi-Token Prediction (MTP) und Draft-Modellen zur Inferenzbeschleunigung.
- LLM-Benchmarks
- MTP
- Draft-Modelle
LLM Proxy & Anbindung
Einrichtung eines LLM-Proxys mit LiteLLM als zentrale Schnittstelle zwischen Anwendungen und Sprachmodellen.
- LiteLLM
Agenten & Subagents
Entwicklung agentischer Anwendungsintegrationen mit Mastra und Aufteilung von Aufgaben auf spezialisierte Subagents.
- Mastra
- Subagents
Agentische Systeme
Praktische Arbeit mit Hermes und OpenClaw für agentische Aufgaben und automatisierte Abläufe.
- Hermes
- OpenClaw
AI-gestützte Entwicklung
Arbeit mit Codex und Claude als Werkzeuge für Softwareentwicklung und agentisches Arbeiten.
- Codex
- Claude
Bildgenerierung
Integration von AI-Bildgenerierung in Anwendungen und bestehende Arbeitsabläufe.
- Bildgenerierung
Spracheingabe & Sprachausgabe
Integration von Voice to Text und Text to Speech für sprachbasierte Ein- und Ausgabe in Anwendungen.
- Voice to Text
- TTS