# robots.txt for ConcertOnly 只要音樂會 # https://www.concert.com.tw/robots.txt User-agent: * Allow: / Disallow: /ajax/ Disallow: /admin/ Disallow: /mt_* Disallow: /sys_* Disallow: /WEB-INF/ Disallow: /META-INF/ Disallow: /*.jsp?ACT=* Disallow: /*.jsp?VIEW=* # 允許搜尋引擎索引主要頁面 Allow: /index.jsp Allow: /theme/detail.jsp Allow: /announcement.jsp Allow: /news.jsp Allow: /search.jsp # Sitemap 位置 Sitemap: https://www.concert.com.tw/sitemap.xml # 常見爬蟲設定 User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Slurp Allow: / # 禁止某些爬蟲 User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: /