Googlebot

robots.txtとは？役割・用途・書き方とSEOで注意したいポイント

robots.txtは検索エンジンのクローラーによるアクセスを制御するためのファイルです。用途や仕組み、基本的な記述例、WordPressでの確認方法、noindexとの違い、設定ミスによるSEOへの影響を解説します。