# ============================================================
# robots.txt — MediaTosi Agência de Marketing Digital
# https://mediatosi.com.br
#
# Política: acesso universal a todos os buscadores e agentes de IA.
# Nenhuma restrição de crawling. Todo o site é público e indexável.
# ============================================================

# ---- Regra geral: todos os bots liberados ----
User-agent: *
Allow: /
Disallow:

# ---- Buscadores tradicionais (explicitamente liberados) ----
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Applebot
Allow: /

# ============================================================
# ---- Agentes de Inteligência Artificial (LLMs) ----
# Autorizamos explicitamente o rastreamento pelos principais
# crawlers de IA para inclusão em respostas, treinamento
# e indexação em produtos de busca aumentada.
# ============================================================

# OpenAI (ChatGPT e produtos)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google (Gemini / Search Generative Experience / Bard)
User-agent: Google-Extended
Allow: /

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# Common Crawl (base de treinamento de muitos LLMs)
User-agent: CCBot
Allow: /

# Amazon / Alexa
User-agent: Amazonbot
Allow: /

# Meta AI
User-agent: FacebookBot
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

# Bytedance (Doubao / TikTok Search)
User-agent: Bytespider
Allow: /

# You.com
User-agent: YouBot
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

# Diffbot
User-agent: DiffbotBot
Allow: /

# Mistral / Le Chat
User-agent: MistralAI-User
Allow: /

# ---- Sitemap ----
Sitemap: https://mediatosi.com.br/sitemap.xml
Sitemap: https://mediatosi.com.br/sitemap_index.xml

# ---- EntityMap (grafo de conhecimento, EntityMap v1.0) ----
# Formato otimizado para consumo por LLMs/agentes de IA.
# Especificação: https://entitymap.org/spec/v1.0
EntityMap: https://mediatosi.com.br/entitymap.json

# ---- Host preferido (usado por alguns crawlers) ----
Host: mediatosi.com.br