たくさんWebサイトをリリースするお仕事をしていると、毎回用意するのが面倒になってくるので、よく使うやつは予めサーバに置いときます

1
2
3
4
5
// たとえば全拒否するtxt
$ cat /usr/local/share/robots/disallow.txt

User-Agent:*
Disallow: /

Nginx側

1
2
3
location /robots.txt {
    alias /usr/local/share/robots/disallow.txt
}