Zum Inhalt
canales-solutions · IT-Servicemanagement nach ITIL 4

Servicekatalog › KI-Zugang › litellm

litellm

LLM-Gateway mit Schlüssel und Budget je Dienst (K-05: in Lauf 3).

Status: geplant · 14 CIs · braucht keycloak, vaultwarden

Relationen

Gestrichelt: CIs anderer Anwendungen (Klick führt zu deren Seite). Klick auf ein eigenes CI zeigt seine Karte.

Relationen-Diagramm der Anwendung litellmzeigt_aufeingetragen_inzeigt_aufeingetragen_inzeigt_aufeingetragen_inveroeffentlichtgeschuetzt_durchveroeffentlichtgeschuetzt_durchliegt_inlaeuft_aufangeschlossen_annutztnutztlaeuft_aufangeschlossen_anangeschlossen_annutztnutztnutztroute/apiRoute für Endpunkt apiroute/uiRoute für Endpunkt uidns-eintrag/a-llmDNS-Eintrag A für Endpunkt uisecret/dienst-keysLiteLLM – Schlüssel je Dienst (K-17)secret/providerLiteLLM – Anbieter-API-Schlüsselsecret/datenbankLiteLLM – Datenbanksecret/masterLiteLLM – Master-Keyendpunkt/uiAdmin-Oberflächeendpunkt/apiLLM-APInetz/internLiteLLM interndatenpfad/postgresDatenbankdateiendatenbank/litellmSchlüssel, Budgets, Nutzungcontainer/postgresLiteLLM-Datenbankservercontainer/appLiteLLM-Proxytraefik/container/appTraefiktechnitium/container/appDNS-Servertraefik/zertifikat/wildcardWildcard-Zertifikatmaschine/vps2vps2 (infra)traefik/netz/proxyOverlay proxy

Configuration Items

Container

  • LiteLLM-Datenbankserver
    litellm/container/postgres · geplant
    • laeuft_auf → maschine/vps2
    • angeschlossen_an → litellm/netz/intern
    • nutzt → litellm/datenpfad/postgres
    • nutzt → litellm/secret/datenbank
  • LiteLLM-Proxy
    litellm/container/app · geplant
    • laeuft_auf → maschine/vps2
    • angeschlossen_an → litellm/netz/intern
    • angeschlossen_an → traefik/netz/proxy
    • nutzt → litellm/secret/master
    • nutzt → litellm/secret/provider
    • nutzt → litellm/secret/dienst-keys

Datenbanken

  • Schlüssel, Budgets, Nutzung
    litellm/datenbank/litellm · geplant
    • liegt_in → litellm/container/postgres

Datenpfade

  • Datenbankdateien
    litellm/datenpfad/postgres · geplant

Netze

  • LiteLLM intern
    litellm/netz/intern · geplant

Endpunkte

  • Admin-Oberfläche
    litellm/endpunkt/ui · geplant
    • veroeffentlicht → litellm/container/app
    • geschuetzt_durch → traefik/zertifikat/wildcard
  • LLM-API
    litellm/endpunkt/api · geplant
    • veroeffentlicht → litellm/container/app
    • geschuetzt_durch → traefik/zertifikat/wildcard

Secrets

  • LiteLLM – Schlüssel je Dienst (K-17)
    litellm/secret/dienst-keys · geplant
  • LiteLLM – Anbieter-API-Schlüssel
    litellm/secret/provider · geplant
  • LiteLLM – Datenbank
    litellm/secret/datenbank · geplant
  • LiteLLM – Master-Key
    litellm/secret/master · geplant

DNS-Einträge

  • DNS-Eintrag A für Endpunkt ui
    litellm/dns-eintrag/a-llm · geplant
    • zeigt_auf → litellm/endpunkt/ui
    • eingetragen_in → technitium/container/app

route

  • Route für Endpunkt api
    litellm/route/api · geplant
    • zeigt_auf → litellm/endpunkt/api
    • eingetragen_in → traefik/container/app
  • Route für Endpunkt ui
    litellm/route/ui · geplant
    • zeigt_auf → litellm/endpunkt/ui
    • eingetragen_in → traefik/container/app