• PROPRE
  • CONSERVÉ
  • HUMAIN
  • LOG

Supprimer les doublons de vos données avec votre IA

Connectez ce MCP à votre client IA une seule fois. Ensuite, indiquez-lui simplement le jeu de données et les clés qui définissent un doublon.

Demandez à l'IA à propos de cette page

Réponse rapide

Comment utiliser mon IA pour supprimer les doublons d'un JSON ?

Votre IA utilise l'outil remove_duplicates pour analyser vos objets et supprimer ceux qui partagent le même identifiant unique. Vous obtenez un jeu de données propre et sans doublons. Voici comment cela fonctionne.

Les résultats d'un jeu de données nettoyé.

Où arrivent vos données.

Une fois l'exécution terminée par l'IA, vos données se présentent sous l'un de ces états.

PROPRE

Objets uniques uniquement

L'IA identifie et supprime chaque entrée redondante. Vous obtenez un fichier JSON léger où chaque objet est distinct selon les clés choisies.

CONSERVÉ

Données originales préservées

L'outil conserve la première occurrence trouvée pour chaque clé unique. Cela garantit que vous ne perdez pas l'enregistrement principal.

HUMAIN

Révision requise

Si l'IA détecte des données contradictoires au sein de ce qu'elle considère comme un doublon, elle le signale. C'est à vous de choisir la version à garder.

LOG

Audit de suppression

Vous recevez un résumé des objets exactement supprimés. Cela vous permet de vérifier qu'aucune information critique n'a été perdue lors du nettoyage.

Le flux

Ce que fait votre IA à l'arrivée des données.

L'IA gère la partie complexe de l'analyse et de la comparaison des structures imbriquées.

  1. Identifier les clés

    L'IA analyse la structure de votre JSON pour trouver les champs spécifiques qui rendent une entrée unique, comme un ID ou un email.

    remove_duplicates

  2. Rechercher les correspondances

    Elle parcourt chaque objet de votre jeu de données pour trouver des valeurs identiques sur les clés uniques sélectionnées.

    remove_duplicates

  3. Éliminer la redondance

    L'IA supprime les objets superflus pour ne laisser que les entrées originales correspondant à vos critères.

    remove_duplicates

  4. Générer le JSON propre

    Le jeu de données final, dédoublé, est prêt à être renvoyé vers votre flux de travail ou votre fichier.

    remove_duplicates

Essayez

Copiez ces commandes pour commencer.

Utilisez ces prompts pour lancer immédiatement le processus de nettoyage.

Points de départ

Remplacez le texte entre crochets par vos noms de fichiers ou vos noms de clés spécifiques.

JavaScript Data Processing Connector

Tout est prêt. Choisissez votre client MCP et suivez les instructions de configuration.

Lien du connecteurhttps://edge.vinkius.com/vk_preview_f4hxpjeMV6aVZPRsB8l1XU8EiFxBCen3eRdrm3sq/mcp

Claude Desktop

Suivez les étapes ci-dessous pour vous connecter en quelques secondes.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — JavaScript Data Processing capabilities are ready to use.
Configuration · claude_desktop_config.jsonCopier
{
  "mcpServers": {
    "data-sorting-filtering-engine-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_f4hxpjeMV6aVZPRsB8l1XU8EiFxBCen3eRdrm3sq/mcp"
    }
  }
}
Copiez dans le chat04

  • Supprime tous les objets en double dans mon fichier user_list.json en te basant sur la clé 'email'.

  • Nettoie le fichier product_catalog.json en supprimant toutes les entrées ayant le même 'sku'.

  • J'ai un jeu de données désordonné dans orders.json : trouve et supprime les doublons via le champ 'transaction_id'.

  • Analyse le fichier customer_data.json et ne garde qu'une seule entrée par 'phone_number'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Commencez ici

Connectez Data Sorting & Filtering Engine une fois, puis demandez.

Cliquez simplement sur le lien de connexion. Vos identifiants restent cryptés et vous pouvez utiliser les outils dans votre client IA habituel immédiatement.

Connecter Data Sorting & Filtering Engine à votre IA

FAQ

Fonctionnement de la tâche.

  • 01

    L'IA va-t-elle supprimer mon fichier original ?

    Non. L'IA traite les données et fournit une version nettoyée ; elle ne modifie ni ne supprime vos fichiers sources.

  • 02

    L'IA peut-elle fusionner deux objets différents en un seul ?

    Non. L'outil est conçu pour supprimer les objets redondants, pas pour effectuer des fusions de données complexes ou des agrégations de champs.

  • 03

    Comment sait-elle quel doublon conserver ?

    Par défaut, elle conserve la première occurrence rencontrée dans le jeu de données. Vous pouvez spécifier une logique différente dans votre prompt.

  • 04

    Puis-je utiliser cela sur des fichiers CSV aussi ?

    Cet outil spécifique est conçu pour les jeux de données JSON. Vous devez convertir vos données CSV en JSON avant de lancer cette tâche.

  • 05

    Est-ce l'IA qui décide quelles clés sont uniques ?

    Vous devez indiquer à l'IA quelles clés utiliser. Bien qu'elle puisse suggérer des clés, vous gardez le contrôle sur la logique de dédoublonnage.

  • D'autres questions sur Data Sorting & Filtering Engine ? La page du connecteur y répond. Voir toutes les capacités du connecteur Data Sorting & Filtering Engine

Connectez JavaScript Data Processing à Claude, Cursor, ChatGPT et d'autres