• STAGING
  • TRANSFORM
  • STRUCTURE
  • CLEANUP

Data Lake Partitioning mit Ihrer KI automatisieren

Verbinden Sie Ihren Agenten einmal mit S3. Danach übernimmt er die gesamte Arbeit und organisiert Ihre Rohdateien in strukturierte Partitionen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich die S3-Datenpartitionierung mit einer KI automatisieren?

Ihr Agent liest die Rohdateien aus einem Quell-Bucket, ermittelt den richtigen Partitionspfad und schreibt die Daten an das neue Ziel. Danach löscht er die ursprünglichen Dateien, damit Ihr Staging-Bereich sauber bleibt. So erhalten Sie einen strukturierten Data Lake ohne manuelles Verschieben.

Datenverlauf

Wohin Ihre Daten gelangen.

Der Agent durchläuft diese vier Phasen.

STAGING

Rohdateien identifiziert

Der Agent findet die Dateien, die verarbeitet werden müssen. Sie erhalten eine klare Liste aller bereitstehenden Daten.

TRANSFORM

Daten werden gelesen

Der Agent ruft den Inhalt der Rohobjekte ab. So kann er die Daten für die Partitionierungslogik analysieren.

STRUCTURE

Partitionen erstellt

Der Agent schreibt die verarbeiteten Daten in die von Ihnen definierten Ordnerpfade. Ihr Data Lake bleibt so perfekt organisiert.

CLEANUP

Manuelle Prüfung nötig

Der Agent kann alte Dateien löschen, aber Sie sollten die neuen Partitionen vorher prüfen. Das verhindert versehentlichen Datenverlust.

Der Ablauf

Was Ihre KI tut, wenn neue Rohdaten eintreffen.

Der Agent folgt einem Kreislauf aus Prüfung, Verschiebung und Bereinigung.

  1. Bucket scannen

    Der Agent durchsucht Ihren Quell-Bucket nach Dateien, die verschoben werden müssen.

    list_objects

  2. Dateiinhalt lesen

    Er liest die Rohdaten aus jedem Objekt, um die richtige Partition zu bestimmen.

    get_object_data

  3. In Partition schreiben

    Der Agent speichert die Daten in der neuen, organisierten Verzeichnisstruktur.

    put_object

  4. Alte Dateien entfernen

    Sobald der Vorgang erfolgreich war, löscht der Agent die temporären Staging-Dateien.

    delete_object

Probieren Sie es

Kopieren Sie diese Befehle zum Start.

Nutzen Sie diese Prompts, um den Partitionierungsprozess zu starten.

Startpunkte

Passen Sie die Bucket-Namen und Dateiendungen an Ihr tatsächliches Setup an.

Amazon S3 Bucket Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_Svnxbobq9VkWodwXtyUaG8rqsIyf195UGarUTTHJ/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Amazon S3 Bucket capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "amazon-s3-bucket-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_Svnxbobq9VkWodwXtyUaG8rqsIyf195UGarUTTHJ/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste alle .csv Dateien im Bucket 'raw-data-landing' auf.

  • Lies die Daten aus 's3://incoming/logs/file_01.json' und nenne mir den Zeitstempel.

  • Verschiebe die Dateien vom Bucket 'temp-staging' in die Partition 'processed/year=2023/'.

  • Nachdem du die Dateien von 'raw-uploads' nach 'data-lake' verschoben hast, lösche die Originaldateien in 'raw-uploads'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Amazon S3 Bucket einmal verbinden, dann Befehle geben.

Verknüpfen Sie einfach Ihren Bucket. Ihre Zugangsdaten bleiben verschlüsselt und Sie können sofort mit der Arbeit beginnen.

Amazon S3 Bucket mit Ihrer KI verbinden

FAQ

Verhalten dieser Aufgabe.

  • 01

    Kann die KI neue S3-Buckets erstellen?

    Nein. Der Agent kann nur mit Objekten und Ordnern innerhalb der Buckets interagieren, die Sie bereits verbunden haben.

  • 02

    Löscht die KI meine Quelldaten automatisch?

    Nur, wenn Sie ihr explizit den Befehl geben, die Dateien nach dem Verschieben zu löschen. Ohne Ihren Befehl wird nichts gelöscht.

  • 03

    Kann der Agent meine Bucket-Berechtigungen ändern?

    Nein. Der Agent kann weder Bucket-Policies noch IAM-Rollen modifizieren.

  • 04

    Woher weiß der Agent, welche Partition er nutzen soll?

    Sie geben die Logik in Ihrem Prompt an, zum Beispiel eine Partitionierung nach Datum oder Kategorie basierend auf dem Dateiinhalt.

  • 05

    Verarbeitet der Agent auch große Dateiübertragungen?

    Der Agent verarbeitet Dateien mit den verfügbaren Tools. Er handhabt alle Daten, die er über die Verbindung lesen und schreiben kann.

  • Weitere Fragen zu Amazon S3 Bucket? Die Connector-Seite liefert Antworten. Alle Funktionen des Amazon S3 Bucket Connectors ansehen

Verbinde Amazon S3 Bucket mit Claude, Cursor, ChatGPT & mehr