WordPress 3.6 を使用。
WordPress は robots.txt1 を自動で作成してくれる2。
複雑な制御を行う場合は robots.txt を手動で作成しルート上に配置してしまう方が手っ取り早いが、自動で作成してくれる robots.txt を活かしたい場合もあるはず。
そのような場合は robots_txt フィルターフック を使用する。
functions.php(Themify のテーマ使用時は custom-functions.php)に以下を追加。
robots.txt のルールそのものは他サイトを参照。