User-agent: *
 Disallow: /downloads/
 Request-rate: 1/4         # загружать не более одной страницы за пять секунд