User-agent: *
 Disallow: /downloads/
 Request-rate: 1/3         # загружать не более одной страницы за пять секунд