Die dritte Epoche des Webs
Seit 2024 stammt über die Hälfte aller Web-Anfragen von Maschinen – erstmals seit einem Jahrzehnt mehr als von Menschen. Und es sind nicht mehr nur Suchmaschinen-Crawler, die Ihre Seiten abgrasen. Es sind KI-Agenten: Software, die Websites liest, versteht und eigenständig handelt.
Ihre Website hat ein neues Publikum bekommen. Ungefragt. Und dieses Publikum hat ganz andere Bedürfnisse.
Eine kurze Geschichte des Webs in drei Akten
Akt 1: Menschen. Das frühe Web war ein Dokumentenformat. HTML beschrieb Texte für menschliche Augen, und Websites fand man über Linklisten – Yahoo!, DMOZ, Mundpropaganda.
Akt 2: Suchmaschinen. 1998 kam Google, und plötzlich stand ein Vermittler zwischen Inhalt und Leser:in: der Crawler. Eine ganze Industrie entstand – SEO –, deren einzige Aufgabe es war, Websites für einen Algorithmus lesbar zu machen. Strukturierte Daten, Meta-Tags, Schema.org: Werkzeuge, damit Maschinen verstehen, was Menschen längst sahen.
Akt 3: Agenten. Jetzt gibt es einen neuen Vermittler, und er ist hungriger als jeder Crawler. KI-Agenten indexieren nicht – sie konsumieren, schlussfolgern und handeln. Gartner prognostiziert, dass bis 2028 90% des B2B-Einkaufs über KI-Agenten läuft. McKinsey rechnet allein im Konsumgüterbereich mit 3 bis 5 Billionen Dollar agentengesteuertem Umsatz bis 2030.
Die Lektion von SEO war simpel: Wenn ein Algorithmus den Zugang vermittelt, muss der Inhalt für diesen Algorithmus funktionieren. Dieselbe Lektion gilt wieder – nur dass der neue Algorithmus nicht bloss indexiert. Er versteht, entscheidet und kauft.
Markdown, Content Negotiation und der Hype
Im Februar 2026 hat Cloudflare «Markdown for Agents» lanciert – eine Funktion, die HTML-Seiten automatisch in Markdown umwandelt, wenn ein KI-Agent sie anfordert. Andere Unternehmen – darunter wir auf effektiv.ch – haben Ähnliches auf Anwendungsebene gebaut. Die Idee ist überall dieselbe. Aber um sie einzuordnen, braucht es zwei kurze Erklärungen.
Markdown ist eine einfache Textauszeichnung. Derselbe Inhalt, ohne den Ballast, den ein Browser zum Rendern braucht. Für KI-Systeme, die intern mit Text arbeiten statt mit Layout, ist Markdown das natürliche Format. Wechseln Sie zwischen den Tabs – der Unterschied spricht für sich:
<h2 class="section-title">
Über uns
</h2>
<p class="company-description
text-base leading-relaxed">
Wir entwickeln KI-Lösungen
für Schweizer KMU.
</p>Content Negotiation ist ein Mechanismus, der seit den Anfängen des Webs existiert – bereits HTTP/1.0 von 1996 definierte ihn. Der Client teilt dem Server mit, welches Format er bevorzugt, und der Server liefert die passende Variante. Das passiert heute ständig:
| Situation | Client sagt | Server liefert |
|---|---|---|
| Bilder | «Ich kann WebP» | WebP statt JPEG – gleich, aber kleiner |
| Sprache | «Ich bevorzuge Deutsch» | Deutsche statt englische Version |
| Komprimierung | «Ich kann Brotli» | Komprimiert statt roh – gleich, aber effizienter |
| API-Daten | «Ich will JSON» | JSON statt XML – gleich, aber schlanker |
| KI-Agent | «Ich will Markdown» | Markdown statt HTML – gleich, aber ohne Rauschen |
Der letzte Fall ist neu. Das Prinzip ist dreissig Jahre alt. Und es ist kein Cloaking – kein betrügerisches Ausliefern unterschiedlicher Inhalte –, sondern dasselbe Prinzip, nach dem Ihr Browser seit Jahren kleinere Bildformate bekommt.
Können KI-Agenten nicht einfach HTML lesen?
Ja. Und das ist der Punkt, an dem die Diskussion ehrlich werden muss.
Googles John Mueller hat Markdown für Bots auf Bluesky als «dumme Idee» bezeichnet. Sein Argument: LLMs wurden mit Billionen von HTML-Seiten trainiert. Sie können HTML lesen. Wozu ein Extra-Format?
Die Forschung gibt ihm teilweise recht. HtmlRAG (WWW 2025) zeigt, dass HTML für strukturierte Daten sogar besser funktioniert als reiner Text – weil LLMs die Semantik von HTML-Tags aus dem Training kennen. «Table Meets LLM» (WSDM 2024) bestätigt das für Tabellen: HTML übertrifft Markdown bei mehreren Aufgaben deutlich. Und je grösser das Modell, desto weniger empfindlich reagiert es auf Formatunterschiede überhaupt.
Mueller hat einen Punkt. LLMs scheitern nicht am HTML. Das Problem liegt woanders.
Das grosse Rauschen
Öffnen Sie den Quellcode einer beliebigen Unternehmenswebsite. Der eigentliche Text macht dort oft nur 15 bis 70% des Quellcodes aus. Der Rest? Navigation, Footer, Cookie-Banner, CSS-Klassen, JavaScript, Tracking-Pixel, Werbebanner. Für Menschen unsichtbar – der Browser blendet es aus. Für ein Sprachmodell, das jedes Token verarbeiten muss, ist es Lärm.
Und dieser Lärm hat messbare Folgen. Forschende haben nachgewiesen, dass 30'000 irrelevante Tokens im Kontextfenster die Genauigkeit eines Sprachmodells von 96% auf 11% drücken können. Nicht weil das Modell die Information nicht findet – sondern weil die Masse an Rauschen die Aufmerksamkeit verwässert. Stellen Sie sich vor, Sie suchen einen Satz in einem Buch, aber jemand hat zwischen jede Seite drei Seiten Telefonbuch geklebt. Theoretisch findbar. Praktisch verloren.
JetBrains Research hat das in einem Experiment mit 500 Programmieraufgaben bestätigt: Irrelevanten Kontext entfernen senkte die Kosten um 52% – bei gleichzeitig höherer Erfolgsrate.
Der Wert von Markdown liegt nicht darin, dass ## besser ist als <h2>. Er liegt darin, dass das Rauschen verschwindet. Es geht nicht um Format. Es geht um Signal-to-Noise.
Was das in der Praxis bedeutet
Wer SEO miterlebt hat, erkennt das Muster. Zuerst ignorierten Unternehmen Suchmaschinen. Dann wurden sie hektisch. Dann lernten sie, dass guter Inhalt wichtiger ist als technische Tricks. Beim Agenten-Web zeichnet sich derselbe Verlauf ab.
Was sich lohnt
- Inhalte sauber strukturieren. Semantisches HTML, klare Überschriften, aussagekräftige Alt-Texte – kein neuer Rat, aber mit neuem Gewicht. Was gut für Barrierefreiheit ist, ist auch gut für KI-Agenten. Beide nutzen denselben semantischen Baum.
- Eine
/llms.txtbereitstellen. Der llms.txt-Standard von Jeremy Howard ist eine kompakte Markdown-Datei, die beschreibt, was Ihre Organisation tut, und auf die wichtigsten Seiten verlinkt. Über 844'000 Websites haben ihn adoptiert, darunter Anthropic, Stripe und Shopify. Ob KI-Anbieter die Datei aktiv nutzen, ist offen. Aber der Aufwand ist minimal.
→ Unsere /llms.txt ansehen - Maschinenlesbare Varianten anbieten. Auf effektiv.ch haben wir das umgesetzt: Jede Seite existiert als aufgeräumter Markdown, inklusive Token-Schätzung. KI-Agenten, die
Accept: text/markdownsenden, werden automatisch darauf umgeleitet. Im Footer kann man zwischen «Mensch»- und «Maschine»-Ansicht wechseln – probieren Sie es aus.
→ Diesen Artikel als Markdown anzeigen
Genauso wichtig ist es, typische Fehler zu vermeiden:
- Kein separates Markdown-Web bauen. Markdown-Endpunkte liefern denselben Inhalt, nicht einen anderen. Wer KI-Agenten andere Informationen zeigt als Menschen, betreibt Cloaking – und verspielt Vertrauen.
- Nicht glauben, ein Format löse alles. Für Tabellen ist HTML besser. Für Fliesstext ist Markdown effizienter. Für APIs ist JSON Standard. Die Antwort ist nicht «alles in Markdown», sondern das richtige Format für den Kontext.
- Die Grundlagen nicht vergessen. Die eleganteste Markdown-Konvertierung nützt nichts, wenn der Inhalt dünn ist. KI-Agenten erkennen Substanz – genau wie Suchmaschinen seit dem Panda-Update 2011.
Klarheit gewinnt
Das Web hat sich immer an neue Zielgruppen angepasst. Bei Suchmaschinen gewannen am Ende nicht die Websites mit den meisten Meta-Keywords, sondern die mit dem besten Inhalt. Beim Agenten-Web wird es nicht anders sein.
Das Web lernt tatsächlich eine neue Sprache. Aber diese Sprache ist nicht Markdown. Es ist Klarheit.
- Imperva/Thales: 2025 Bad Bot Report
- Cloudflare: Introducing Markdown for Agents
- HtmlRAG: HTML is Better Than Plain Text for RAG Systems (arXiv, WWW 2025)
- Table Meets LLM: Can Large Language Models Understand Structured Table Data? (WSDM 2024)
- Does Prompt Formatting Have Any Impact on LLM Performance? (arXiv)
- Even Longer Contexts Degrade Generation Quality (arXiv)
- JetBrains Research: Efficient Context Management for Coding Agents
- Gartner: AI Agents Will Outnumber Sellers by 10x by 2028
- McKinsey: The Agentic Commerce Opportunity
- Google's Mueller Calls Markdown-For-Bots a Stupid Idea (Search Engine Journal)
- llms.txt: Proposed Standard for AI Website Content
- Accessibility.Works: Do Accessible Websites Perform Better for AI Agents?
- HTTP/1.0 Specification (RFC 1945)
- Sitechecker: What Is Text to Code Ratio?