Mit diesen Daten, werden Chatbots, wie ChatGPT trainiert

Aktualisiert am 1. Mai 2023 |  Nicole Werner  | Technologie

Im April 2023 hat die Washington Post den Artikel Inside the secret list of websites that make AI like ChatGPT sound smart veröffentlicht, indem sie ihre Recherche zu Trainingsdaten für Chatbots mit uns teilen.

Sie konnten die Trainingsdaten, mit denen speziell ChatGPT trainiert wurde, nicht analysieren, da sie bis dato noch nicht von Open.ai (dem Hersteller von ChatGPT) selbst veröffentlicht wurden.

Was sie aber machen konnten, war eine Analyse der Trainingsdaten, die sie in Googles C4 Trainingsdaten gefunden haben. Diese Trainingsdaten wurden zur Entwicklung Googles T5 und Facebooks LLaMA verwendet. C4 steht für Colossal Clean Crawled Corpus, also in etwa einer intensiv gefilterten Datenbasis. Dabei wurde versucht Duplikate und Nonsense zu entfernen, sowie unanständige, obszöne und andere ungewünschte Wörter herauszufiltern.

Die C4-Trainingsdaten beinhalten rund 15 Millionen Websites.

Um diese Größe an Daten zu analysieren haben sich die Autoren der Washington Post mit dem Allen Institut for AI zusammengetan. Außerdem wurde für die Analyse der Websites ein weiteres Unternehmen Similarweb hinzugezogen, um die Websites der Trainingsdaten kategorisieren zu können.

Anzumerken ist, dass diese Ergebnisse reine Spekulationen in Bezug auf ChatGPTs Trainingsgrundlage sind. Niemand außer Open.ai kann sagen, ob diese Daten von Googles C4 den Daten von ChatGPT ähneln.

Spannend ist es trotzdem und daher die Keyfacts zu den verwendeten Websites, die es in die C4-Trainingsdaten geschafft haben:

  • Ein Drittel der Websites, also rund 5 Millionen, konnten nicht kategorisiert und analysiert werden. Hauptsächlich, weil sie nicht mehr online sind.
  • Die restlichen Websites kommen überwiegend aus den Bereichen Journalismus, Unterhaltung, Software Entwicklung, Medizin und Content Erstellung.
  • Die drei am häufigsten vorkommenden Websites sind: patents.google.com (Patente), wikipedia.org (Wissensplattform) und scribd.com (das Netflix für Bücher).
  • Mindestens 27 Websites, auf denen Inhalte illegal heruntergeladen werden können bzw. konnten, sind ebenfalls mit dabei.
  • Zwei Websites der 100 größten Trainingswebsites beinhalten auch Daten von Wählern.
  • Inhalte von Kickstarter (Crowdfunding, #25 der größten Trainingswebsites) und Patreon (für Content Ersteller eine mögliche Einnahmequelle für exklusiven Content, #2.398) wurden ebenfalls miteinbezogen.
  • Inhalte von Newsmagazinen in den Top 10: NYTimes (#4), The Guardian (#7), Forbes (#8), HuffPost (#9).
  • Die Trainingsdaten beinhalten auch rund 5% religiöse Websites. Von diesen 5% sind in den Top 20 der religiösen Websites: 14 christliche, zwei jüdische und eine muslimische, eine mormonische, eine von den Zeugen Jehovas und eine für alle Religionen.
  • Mehr als eine halbe Million persönliche Blogs dienen ebenso als Trainingsgrundlage. Dies beinhalten unter anderem Plattformen, wie Medium (#46), WordPress, Tumblr, Blogspot und Live Journal.
  • An einigen Stellen befanden sind rechtsextreme, transfeindliche und regierungsfeindliche Websites.

Im Artikel der Washington Post kannst du dir die Websites genauer anschauen, die als Trainingsgrundlage verwendet wurden. Du kannst auch speziell nach Websites suchen und dir anzeigen lassen, an welcher Stelle die Websites erscheinen und daraus ableiten, wie viele Inhalte der Sites in die Trainingsdaten mit eingeflossen sind.

Die 15 Top Websites, deren Inhalte in den C4-Trainingsdaten vorkommen.
Die 15 Top Websites, deren Inhalte in den C4-Trainingsdaten vorkommen (Bild: Washington Posts Artikel Inside the secret list of websites that make AI like ChatGPT sound smart).

Nach dem Artikel der Washington Post ist anzunehmen, dass die Trainingsdaten, für GPT-3 (auf der ChatGPT basiert) die 40-fache Menge der C4-Daten beinhaltet. Interessant auch die Aussage (bei der sie sich auf Experten im Feld stützen): Scheuen sich KI-Unternehmen die Quellen der Trainingsdaten zu dokumentieren. Aus Angst, personenbezogene Daten, urheberrechtlich geschütztes Material und andere Daten zu finden, ohne vorher um Erlaubnis gefragt zu haben.


Hat dir der Artikel gefallen? Mit deiner Bewertung hilfst du mir, meine Inhalte noch hilfreicher zu gestalten. 


Nicole Werner

Ich bin Bloggerin, Datenschutzbefürworterin, Wirtschaftsinformatikerin, Vermittlerin und neuronale Pingpong-Spielerin. Ich mache komplexe Themen verständlich und liebe TechNights. Mehr über mich erfährst du auf meiner Über-Mich-Seite

Dieser Beitrag erhebt keinen Anspruch auf Vollständigkeit und Richtigkeit. Die Inhalte ersetzen keine Rechtsberatung.

Weitere spannende Artikel

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit einem Sternchen (*) markiert. Weitere Informationen findest du in den Datenschutzhinweisen

{"email":"Email address invalid","url":"Website address invalid","required":"Required field missing"}