Training Your Own GPT-4o Assistant on Company Docs (Beginner Friendly)

TL;DR Mit OpenAI's Assistants API v2 können Sie Ihre Firmen-PDFs direkt an GPT-4o "verfüttern". Kosten: $0.20 pro GB täglich. Aufbau: 30 Minuten. Perfekt für interne Wikis, Handbücher und Prozessdokumentation.

"Kann GPT unsere 200-seitige Betriebsanleitung lesen?" Diese Frage stellte mir letzte Woche der Produktionsleiter eines Maschinenbauers aus Winterthur.

Die Antwort: Ja, und zwar erstaunlich gut. Hier zeige ich Ihnen Schritt-für-Schritt, wie Sie Ihren eigenen "Firmen-GPT" aufbauen.

What's an "Assistant" vs Classic Chat Completion?

Classic Chat (wie ChatGPT):

• Stateless: Jede Anfrage beginnt neu
• Kontext-Limit: Ca. 128k Tokens (≈ 200 Seiten)
• Upload: Nur während der Unterhaltung

OpenAI Assistant (neu seit März 2025):

• Persistent: Behält Kontext über Gespräche hinweg
• Dateien: Bis 512 MB pro File, unbegrenzte Vector-Suche
• Tools: Kann auf Internet, Code-Execution, Functions zugreifen

Der Vorteil: Ihr Assistant "kennt" dauerhaft alle Ihre Dokumente.

Cost Model & Break-Even Calculator

Preisstruktur OpenAI Assistants API v2

Vector Storage: $0.20 pro GB pro Tag

• Erste 1 GB kostenlos
• Beispiel: 5 GB Dokumente = $0.80/Tag = $24/Monat

API-Calls: Standard GPT-4o Preise

• Input: $2.50 per 1M Tokens
• Output: $10.00 per 1M Tokens

Realistisches Beispiel (KMU mit 2 GB Dokumenten):

• Vector Storage: $0.20/Tag = $6/Monat
• Typische Nutzung: 100 Fragen/Monat = $15/Monat
• Total: ~$21/Monat

Break-Even-Punkt

Manuelle Alternative: Mitarbeiter suchen Informationen

• Durchschnitt: 15 Minuten pro Suchanfrage
• Kostensatz: CHF 60/Stunde (Vollkosten)
• Kosten pro Suche: CHF 15

Assistant-Suche: 30 Sekunden + $0.15 API-Kosten

• Break-Even: Bereits ab 2 Suchanfragen pro Monat!

Break-Even-Rechner (Excel) verfügbar auf Anfrage

Step-by-Step Tutorial: Company Knowledge Assistant

Vorbereitung: Dokumente sammeln

Für dieses Tutorial verwenden wir den kostenlosen Geschäftsbericht der Swisscom als Beispiel:

# Beispiel-PDF herunterladen
curl -o swisscom-2024.pdf "https://www.swisscom.ch/content/dam/swisscom/de/about/medien/medienmitteilungen/2025/gb-2024-de.pdf"

Unterstützte Formate:

• PDF (bis 512 MB)
• Word (.docx)
• Text (.txt, .md)
• Excel (.xlsx) – wird als CSV interpretiert

Schritt 1: OpenAI API Setup

# API-Key setzen (erhalten auf platform.openai.com)
export OPENAI_API_KEY="sk-..."

Schritt 2: Vector Store erstellen

# Vector Store für Dokumente erstellen
curl -X POST "https://api.openai.com/v1/vector_stores" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "Firmendokumentation",
    "metadata": {
      "created_by": "PeakProcess",
      "department": "IT"
    }
  }'

Response:

{
  "id": "vs_abc123",
  "object": "vector_store",
  "name": "Firmendokumentation"
}

Schritt 3: Dokumente hochladen

# Datei zu Vector Store hinzufügen
curl -X POST "https://api.openai.com/v1/vector_stores/vs_abc123/files" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "file=@swisscom-2024.pdf"

JavaScript-Version (für Web-Integration):

const file = document.getElementById('fileInput').files[0];
const formData = new FormData();
formData.append('file', file);

const response = await fetch(`https://api.openai.com/v1/vector_stores/${vectorStoreId}/files`, {
  method: 'POST',
  headers: {
    'Authorization': `Bearer ${apiKey}`
  },
  body: formData
});

Schritt 4: Assistant mit Retrieval-Tool erstellen

{
  "model": "gpt-4o",
  "name": "Swisscom Geschäftsbericht Assistent",
  "instructions": "Du bist ein Experte für Swisscom's Geschäftsstrategie. Beantworte Fragen basierend auf den hochgeladenen Geschäftsberichten. Antworte auf Deutsch und zitiere konkrete Seitenzahlen wo möglich.",
  "tools": [
    {
      "type": "file_search",
      "file_search": {
        "vector_store_ids": ["vs_abc123"]
      }
    }
  ],
  "metadata": {
    "company": "PeakProcess",
    "use_case": "Geschäftsbericht-Analyse"
  }
}

cURL-Command:

curl -X POST "https://api.openai.com/v1/assistants" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d @assistant-config.json

Schritt 5: Query-Flow testen

# Thread für Unterhaltung erstellen
curl -X POST "https://api.openai.com/v1/threads" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{}'

# Frage stellen
curl -X POST "https://api.openai.com/v1/threads/thread_abc123/messages" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "role": "user",
    "content": "Wie entwickelte sich der Umsatz von Swisscom 2024?"
  }'

# Assistant ausführen
curl -X POST "https://api.openai.com/v1/threads/thread_abc123/runs" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "assistant_id": "asst_abc123"
  }'

RAG-Flow Visualisierung

graph TD
    A[User Query] --> B[Thread Creation]
    B --> C[Vector Search]
    C --> D[Retrieve Relevant Chunks]
    D --> E[Context + Query to GPT-4o]
    E --> F[Generated Response]
    F --> G[Response with Citations]
    
    H[PDF Upload] --> I[Text Extraction]
    I --> J[Chunking & Embedding]
    J --> K[Vector Store]
    K --> C

Privacy Safeguards & Swiss Data-Storage Workaround

Problem: OpenAI = US-Server

Ihre Dokumente landen auf amerikanischen Servern. Für sensible Schweizer Firmendaten problematisch.

Lösung: Azure OpenAI in CH North

// Azure OpenAI statt api.openai.com
const endpoint = "https://ihr-service.openai.azure.com/";
const deployment = "gpt-4o";

const client = new OpenAIClient(
  endpoint, 
  new AzureKeyCredential(apiKey),
  { region: "Switzerland North" }  // Rechenzentrum Zürich
);

Vorteile:

• Daten bleiben in der Schweiz
• Gleiche API, gleiche Features
• FADP-konform

Nachteile:

• Separate Azure-Subscription nötig
• Etwas höhere Latenz
• Nicht alle Features sofort verfügbar

Alternative: Lokale RAG mit Ollama

Für maximale Datensicherheit:

# Ollama mit lokalem LLM
docker run -d -v ollama:/root/.ollama -p 11434:11434 ollama/ollama
ollama pull llama3.1:8b

# Mit lokaler Vector-DB (Chroma)
pip install chromadb sentence-transformers

When to Graduate to OSS Vector DB (e.g. Milvus)

OpenAI Assistants API ist perfekt für:

• Proof-of-Concepts
• Bis 10 GB Dokumente
• Standard-RAG ohne Custom Logic

Wechsel zu Milvus/Pinecone wenn:

• 100 GB Dokumente

• Custom Embedding-Models nötig
• Komplexe Filter und Metadata-Suche
• Costs >$200/Monat

Migration-Strategie:

1. Prototype mit OpenAI Assistants
2. Validate Use Case & ROI
3. Bei Skalierung: Migrate zu OSS-Stack

FAQ

Wie genau sind die Antworten? Bei gut strukturierten Dokumenten 85-95% Genauigkeit. Halluzinationen sind selten, aber prüfen Sie kritische Informationen.

Kann der Assistant rechnen? Ja, mit dem Code Interpreter Tool kann er Excel-Dateien analysieren und Berechnungen durchführen.

Was passiert bei Dokument-Updates? Neue Versionen einfach hochladen. Der Assistant nutzt automatisch die neueste Version.

Fazit: Ein firmenspezifischer GPT-Assistant ist technisch simpel und finanziell attraktiv. Der ROI stimmt bereits ab 2 Suchanfragen pro Monat.

Möchten Sie Ihren eigenen Firmen-GPT aufbauen? Postman-Collection verfügbar auf Anfrage – starten Sie in 30 Minuten.