Description: A study by UpGuard reports that misconfigured llama.cpp servers publicly exposed user prompts, including hundreds of interactive roleplay scenarios. Some prompts explicitly described fictional sexual abuse of children aged 7–12. While no real children were involved, the findings demonstrate how open-source LLMs can be exploited to generate AI-enabled child sexual abuse material (CSAM).
Entités
Voir toutes les entitésAlleged: Users of llama.cpp servers et Meta developed an AI system deployed by Users of llama.cpp servers, which harmed Users of llama.cpp servers et General public.
Systèmes d'IA présumés impliqués: llama.cpp , LLaMA et public-facing HTTP API servers with insecure /slots configuration
Statistiques d'incidents
ID
1020
Nombre de rapports
2
Date de l'incident
2025-04-11
Editeurs
Daniel Atherton
Rapports d'incidents
Chronologie du rapport
%20(1).png)
Plusieurs chatbots IA (https://www.wired.com/tag/chatbots/) conçus pour des conversations fantasmatiques et des jeux de rôle sexuels divulguent des messages d'invite sur le web en temps quasi réel, selon une nouvelle étude consultée par WIR…
%20(1).png)
La prolifération de l'IA a rapidement introduit de nombreuses nouvelles technologies logicielles, chacune présentant des erreurs de configuration potentielles pouvant compromettre la sécurité des informations. D'où la mission d'UpGuard Rese…
Variantes
Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Incidents similaires
Did our AI mess up? Flag the unrelated incidents