こんにちは、Webマーケティング業務の内製化支援サービス｜REBUILD WEB-MKTG-SITE を担当している田中です。
今回の記事では、Wixでrobots.txtを設定する具体的な方法を説明していきます。
robots.txtとは
robots.txt とは、検索エンジンのクローラーに対し、サイトの巡回を制御するためのファイルです。
主に検索エンジンなどのクローラーの制御とsitemap.xmlの場所を伝えるのが役目となります。
クローラーがサイトのアクセスした時はまずrobots.txtの存在の有無を確認し、その記述内容に従ってサイト内をクロールするため、クローラーに効率よくサイトの情報を収集してもらうことが出来ます。
クローラーの仕組みと役割は以下のブログで詳しく説明していますので気になった方は参考にしてみてください。
関連記事：クローラーとは？サイト巡回の仕組みを解説
Wixで作成したサイトのrobots.txtを確認する方法
Wixで作成したサイトでは自動でrobots.txtが作成されます。
robots.txtを確認するには作成したサイトのドメイン名の最後にrobots.txtを追加しアクセスしてください。
例：https://xxxx.co.jp/robots.txt
robots.txtに何も変更を加えていない場合は一律以下の設定内容で設定されています。
User-agent: *
Allow: /
# Optimization for Google Ads Bot
User-Agent: AdsBot-Google-Mobile
User-Agent: AdsBot-Google
Disallow: /_api/*
Disallow: /_partials*
Disallow: /pro-gallery-webapp/v1/galleries/*
Sitemap: https://xxxx.co.jp/sitemap.xml
robots.txtの設定項目
robots.txtの設定項目の内容は以下のようになっています。
User-agent | クローラーのユーザーエージェントを指定します。ここでは特定のクローラー（Google検索用、Yahoo検索用、画像用、広告用など）を指定することも出来ます。 |
Allow | クロール対象のディレクトリやページを設定します。指定がない場合はクローラーが勝手に巡回します。 |
Disallow | クロールを拒否したいディレクトリやページを設定します。 |
Sitemap | サイトマップの場所（URL）を設定します。 |
Wixが自動で設定するrobotx.txtの内容説明
Wix側で自動で設定されている内容を読み解くと、以下のように設定されていることが分かります。
すべてのクローラでサイト全てのページの巡回を拒否しない
AdsBot-Google-MobileとAdsBot-Googleのクローラーに関しては/_api/*、/_partials*、/pro-gallery-webapp/v1/galleries/*のページの巡回を拒否する
設定内容が2つある場合は後者の記述が優先されます。
AdsBot-Google-MobileとAdsBot-Googleとは広告の品質をチェックするクローラーで広告の内容とサイトの内容が一致しているかを評価するクローラーです。
ページの内容とは関係のないディレクトリのクロールを拒否する目的で設定されています。
Wixでrobots.txtを設定する方法
robots.txtはWix側で自動で設定されますが、手動で変更を行いたい場合は以下の手順で行います。
1. ダッシュボードの左側メニューから「マーケティング・SEO」の「SEOツール」を選択します。
2. 「robots.txt エディタ 」をクリックします。
3. 「ファイルを表示」をクリックします。
4. 「現在のファイル：」テキストボックスに追加したい内容を入力します。
5. 入力完了後「変更内容を保存」をクリックします。
6. 確認用モーダルが出るので「保存」をクリックします。
7. 設定が変更されているかを確認します。確認方法は「Wixで作成したサイトのrobots.txtを確認する方法」で紹介しています。
サイトにあったrobotx.txtでSEOを改善
Wixでは会員ページなどログイン認証をページに追加することが出来ます。
そういったページではクローラーがアクセス出来ずエラーとなってしまう場合もあるのでdisallowを設定しておきましょう。
また、重要度の低いページや類似するページなどにdisallowを設定することで、より重要度の高いページが優先的にクロールされる効果もあります。
robots.txtを最適化することでSEOの改善を狙っていきましょう。
