Skip to content

Standard Reader

Tag

Robots.txt

Articles and publications tagged Robots.txt across the Atmosphere.

11articles3publications

Articles

Publications

SiteauditJul 17, 2026

AI-sökmotorer: så optimerar du för ChatGPT, Gemini och Google AI Overviews

Foto: Alex Knight via PexelsAllt fler får sina svar direkt från AI, antingen i en assistent som ChatGPT eller Gemini, eller i Googles AI-översikter högst upp i sökresultatet. Det förändrar hur din webbplats behöver vara byggd för att synas. Den här guiden förklarar vad AI-sökmotorer är och hur du gör din sajt läsbar och citerbar för dem. Vad en AI-sökmotor gör annorlunda En traditionell sökmotor visar en lista med länkar och låter dig välja. En AI-driven sökning […]

tekniska SEOstrukturerad data

SiteauditJul 17, 2026

Teknisk SEO: indexering, hastighet och struktur

Foto: Pixabay via PexelsTeknisk SEO handlar om att göra din webbplats enkel för sökmotorer att hitta, läsa och förstå. Innehållet kan vara aldrig så bra, men om tekniken sätter käppar i hjulet syns sidorna inte i sökresultaten. Den här guiden går igenom de viktigaste delarna du behöver ha på plats. Crawling: så hittar sökmotorer dina sidor Sökmotorerna använder robotar som följer länkar och läser av sidor. Två filer styr det här arbetet. Din robots.txt talar om vilka […]

robots.txtGoogle Search Console

SiteauditJul 17, 2026

Så gör du en SEO-analys av din webbplats

Foto: Lukas Blazek via PexelsEn SEO-analys är en systematisk genomgång av din webbplats som visar var den tappar synlighet i sökmotorerna och vad du kan göra åt det. Den här guiden går igenom hela arbetet steg för steg, från teknik och innehåll till länkar, så att du kan prioritera rätt insatser i stället för att gissa. Vad en SEO-analys svarar på En bra analys besvarar tre frågor. Kan sökmotorerna hitta och läsa dina sidor? Matchar innehållet det som människor faktiskt […]

robots.txtGoogle Search Console

wirres.net

wirres.netJul 3, 2026

immer an die lesenden denken …

robots geben mir bereitwillig auskunft darüber was ihnen an wirres.net gefällt und was nicht. mit den humans ist das schwieriger.

Rob Hoeijmakers blogJun 18, 2026

Is Your Site Agent-Ready?

Cloudflare quietly shipped a scanner that scores how well your website serves AI agents, and hands you a fix list your coding agent can act on directly.

isitagentready.comrobots.txt

Rob Hoeijmakers blogJun 18, 2026

Is Your Site Agent-Ready?

Cloudflare quietly shipped a scanner that scores how well your website serves AI agents, and hands you a fix list your coding agent can act on directly.

isitagentready.comrobots.txt

Connor TumblesonJun 8, 2026

Leaf uptime issues continue, this time moving along to a new open source solution: Anubis.

Anubisblog post

planet.freedesktop.org [Unofficial]Jun 4, 2026

Open Source and AI

It sometimes can becritical issue to open source

WIRED - The Latest in Technology, Science, Culture and Business…Apr 22, 2026

The Pope’s Warnings About AI Were AI-Generated, a Detection Tool Claims

CultureCulture / Digital Culture

Scott Spence

Scott SpenceOct 23, 2023

Making a robots.txt syntax highlighter for VS Code

I was asking ChatGPT to read some posts from my site and summarise them for me, I was a bit surprised when I got the response “I wasn’t able to directly access the URL you provided due to restrictions on the webpage.” from the bot. It was then that...

Anil Dash

Anil DashMay 11, 2001

Robots Bookmarklet

For Andre, the Show Robots.txt) bookmarklet. As Andre correctly pointed out to me, it’s a wonderful thing that we live in a world where we have to write little notes to robots that crawl around the Internet. Stay out, Robot! Go here, Robot! Good Robot. (What’s a robots.txt file?)

bookmarkletrobots

You've reached the end.