• Asuma Tanaka

Wixでrobots.txtを設定する方法

更新日:10月5日

こんにちは、Webサイト運用の内製化支援サービス|REBUILD WEB-MKTG-SITE を担当している田中です。


今回の記事では、Wixでrobots.txtを設定する具体的な方法を説明していきます。


robots.txtとは

robots.txt とは、検索エンジンのクローラーに対し、サイトの巡回を制御するためのファイルです。

主に検索エンジンなどのクローラーの制御とsitemap.xmlの場所を伝えるのが役目となります。


クローラーがサイトのアクセスした時はまずrobots.txtの存在の有無を確認し、その記述内容に従ってサイト内をクロールするため、クローラーに効率よくサイトの情報を収集してもらうことが出来ます。


クローラーの仕組みと役割は以下のブログで詳しく説明していますので気になった方は参考にしてみてください。


Wixで作成したサイトのrobots.txtを確認する方法

Wixで作成したサイトでは自動でrobots.txtが作成されます。

robots.txtを確認するには作成したサイトのドメイン名の最後にrobots.txtを追加しアクセスしてください。

例:https://xxxx.co.jp/robots.txt


robots.txtに何も変更を加えていない場合は一律以下の設定内容で設定されています。


User-agent: *
Allow: /

# Optimization for Google Ads Bot
User-Agent: AdsBot-Google-Mobile
User-Agent: AdsBot-Google
Disallow: /_api/*
Disallow: /_partials*
Disallow: /pro-gallery-webapp/v1/galleries/*

Sitemap: https://xxxx.co.jp/sitemap.xml



robots.txtの設定項目

robots.txtの設定項目の内容は以下のようになっています。

​User-agent

​クローラーのユーザーエージェントを指定します。ここでは特定のクローラー(Google検索用、Yahoo検索用、画像用、広告用など)を指定することも出来ます。

Allow

クロール対象のディレクトリやページを設定します。指定がない場合はクローラーが勝手に巡回します。

Disallow

クロールを拒否したいディレクトリやページを設定します。

Sitemap

サイトマップの場所(URL)を設定します。

Wixが自動で設定するrobotx.txtの内容説明

Wix側で自動で設定されている内容を読み解くと、以下のように設定されていることが分かります。


  • すべてのクローラでサイト全てのページの巡回を拒否しない

  • AdsBot-Google-MobileとAdsBot-Googleのクローラーに関しては/_api/*、/_partials*、/pro-gallery-webapp/v1/galleries/*のページの巡回を拒否する

設定内容が2つある場合は後者の記述が優先されます。

AdsBot-Google-MobileとAdsBot-Googleとは広告の品質をチェックするクローラーで広告の内容とサイトの内容が一致しているかを評価するクローラーです。

ページの内容とは関係のないディレクトリのクロールを拒否する目的で設定されています。


Wixでrobots.txtを設定する方法

robots.txtはWix側で自動で設定されますが、手動で変更を行いたい場合は以下の手順で行います。


1. ダッシュボードの左側メニューから「マーケティング・SEO」の「SEOツール」を選択します。

ダッシュボードの左側メニューから「マーケティング・SEO」の「SEOツール」を選択

2. 「robots.txt エディタ 」をクリックします。

「robots.txt エディタ 」をクリック

3. 「ファイルを表示」をクリックします。

「ファイルを表示」をクリック

4. 「現在のファイル:」テキストボックスに追加したい内容を入力します。

「現在のファイル:」テキストボックスに追加したい内容を入力

5. 入力完了後「変更内容を保存」をクリックします。

入力完了後「変更内容を保存」をクリック

6. 確認用モーダルが出るので「保存」をクリックします。

確認用モーダルが出るので「保存」をクリック

7. 設定が変更されているかを確認します。確認方法は「Wixで作成したサイトのrobots.txtを確認する方法」で紹介しています。


サイトにあったrobotx.txtでSEOを改善

Wixでは会員ページなどログイン認証をページに追加することが出来ます。

そういったページではクローラーがアクセス出来ずエラーとなってしまう場合もあるのでdisallowを設定しておきましょう。

また、重要度の低いページや類似するページなどにdisallowを設定することで、より重要度の高いページが優先的にクロールされる効果もあります。

robots.txtを最適化することでSEOの改善を狙っていきましょう。





37回の閲覧0件のコメント

最新記事

すべて表示