効率的に素早くページをインデックスさせる7つの方法

インデックスとは

ページを作成し、WEBサーバーにファイルをアップロードしただけの状態では、GoogleやYahooなどの検索エンジンでどんなキーワードで検索しようと、新しいページは検索結果には表示されません。

クローラーというロボットにページを見に来てもらい、このページは『こんな内容書かれたページだよ』と、登録してもらう事で初めて検索エンジンの検索結果に表示されるようになります。

この『検索エンジンのデーターベースに記録されたWEBサイトのページの情報』をインデックスといいます。

よく『インデックスされる』というのは、クローラーがページを巡回し、ページの情報が登録される事を言います。

WEBページへの流入経路はSNSから、リンクからなど様々な経路がありますが、基本的に大部分は『検索からの流入』であり、検索順位うんぬんの前に、そもそもクローラーにページを見に来てもらい、インデックスされなければ何も始まりません。

特に立ち上げたばかりのサイトなどは、他のサイトからのリンクも少なく、クローラーにページを見つけてもらうのが難しく、見つけてもらえたとしても時間がかかってしまいます。

クローラーの巡回を促すために、新しいページができた事をクローラーにわかり易く伝えられるよう対策を行っていきましょう。

何故Googleなのか

色々な検索エンジンが存在しますが、先ほどお話したクローラーの巡回によるインデックスは、基本的に検索エンジンごとに行われます。

ある検索エンジンにはインデックスされているが、別の検索エンジンにはインデックスされていないといった状況も起こります。

インデックスについて調べられた方は、『Googleの検索エンジン』についての情報ばかり目にしたと思います。

何故Googleの情報ばかり出てくるのでしょうか。

日本における検索エンジンのシェアはGoogleが圧倒的多数を占めています。

毎年若干の変動があるため、大まかな数値で表しますが、大部分を『Google』が占めており、『Yahoo!』が次に続きますが、GoogleとYahoo!で90%以上のシェアを誇ります。

そして、『Yahoo!』は、Googleのクローラーを利用しているため、Googleのクローラーにインデックスしてもらう事ができれば、日本人の使う検索エンジンの90%以上に対応している事になるため、Googleのクローラーにインデックスしてもらうための対策を取る方が多いというわけです。

日本では3番目のシェアを誇る『Bing』は、割合的には1割にもとどかない程ですが、WindowsのデフォルトブラウザであるEdgeに初期設定されている検索エンジンであるため、軽視できません。

PCだけでなく、スマートフォンにおいても、Googleが大部分を占めている状況ですが、Appleが独自の検索エンジンを開発中という話もあるため、Appleユーザーの多い日本では今後新しい検索エンジンの登場でシェアが大幅に変わるかもしれません。

01sitemapを作成する

サイトマップとは、『サイト全体のページ構成を一覧表示したもの』で、主に検索エンジンに対してページの構成を伝える『sitemap.xml』と、ユーザーにページの構成を伝える『sitemap.html』の2種類があります。

サイトマップに関しては別記事で詳しく書いているので、そちらをご覧いただければと思います。

今回は、検索エンジンに対してインデックスを促すようページを伝えなければならないため、『sitemap.xml』を作成します。

サイトマップの作成が完了したら、サーバーにアップロードしましょう。

置き場所やファイル名は自由に決めていただければ大丈夫です。

ただし、サーバーにサイトマップをアップロードしただけでは、クローラーはサイトマップを確認しに来てくれません。

サイトマップの存在をクローラーに伝える必要があります。

『robots.txt』で伝える

『robots.txt』にサイトマップの存在を記す事で、検索エンジンにサイトマップを読みに来てもらう事ができます。

『robots.txt』は、クローラーのアクセスを制御するページを指定する際や、逆にクロールを許可するページを指定する際、今回のサイトマップのURLを記載する際に利用するものです。

『robots.txt』はサイトのルートディレクトリに設置する

『robots.txt』はサイトのルートディレクトリに設置する必要があります。

ルートディレクトリ以外に設置しても、読みに来てもらえないため、無意味になってしまうので気を付けましょう。

文字コードはUTF-8で保存する

『robots.txt』の文字コードはUTF-8にする必要があります。

その他の文字コードで作成してしまった場合、クローラーが認識できない可能性があるため注意しましょう。

サイトマップの置き場所はURLの絶対パスで記載する

『robots.txt』に記載するサイトマップのパスは絶対パスで記載します。

相対パスなどで書かないよう気を付けて下さい。

『robots.txt』はエラーの無いように気を付ける

『robots.txt』を設置したが、エラーがあり読み込めない場合、サイトのトップページがインデックスから外されたという例があります。

他にも、『クローラーのアクセスを制御するページを指定』という機能があるため、設定を間違えると大変な事になってしまいます。

『robots.txt』の作成自体は難しいものではありませんが、慎重に作業を行って下さい。

User-agent: *
Sitemap: https://jun-jun.net/sitemap.xml

記載例は上記のようになります。

URLの部分は、自分のサイトのサイトマップのURLに置き換えて下さい。

『Google Search Console』で伝える

上記の『robots.txt』を設置すれば、様々な検索エンジンからサイトマップを見に来てもらう事ができますが、最も重要なGoogleのクローラーに直接サイトマップを送信しておきましょう。

送信方法はとても簡単で、『Google Search Console』にログインし、左列の『サイトマップ』をクリックします。

『サーバーに設置したサイトマップのURLを入力』し、『送信』ボタンを押せば完了です。

一度送信すれば、不定期にクローラーがサイトマップを巡回してくれます。

頻繁に更新するサイトであれば、クローラーの巡回頻度も高くなりますが、更新頻度の少ないサイトの場合は、巡回頻度は低くなります。

早くインデックスさせたい場合は、同じサイトマップのURLを再度送信する事も可能です。

02Googleにインデックスをリクエスト

サイトマップ(サイト全体のページ構成を一覧表示したもの)を送信する以外に、ページURLに対しインデックスのリクエストを行う事も可能です。

『Google Search Console』にログインし、左列の『URL検索』をクリックし、インデックスさせたいページのURLを入力します。

【インデックスされていない場合】

インデックスされていない場合は、『URLがGoogleに登録されていません』と表示されるため、『インデックス登録をリクエスト』を行いましょう。

また、何らかの問題がありインデックスされていない場合は、下部に原因を表示してくれます。

【インデックスされている場合】

インデックスされている場合は、『URLはGoogleに登録されています』と表示されます。

03内部リンク構造の改善

インデックスされていないページにクローラーに訪問してもらう方法は、上に挙げたサイトマップ経由や、直接インデックスを依頼する方法以外にリンクを辿ってページを訪問してもらう方法があります。

自身のサイト内の既にインデックスされているページに該当ページへの『内部リンク』を貼る事で、リンクをたどってページを巡回してもらう事ができます。

階層が深いページ(トップページから何クリックもしないと辿り着けないページ)

どのページからもリンクを貼られていないページ

などは、クローラーに見つけてもらうのが難しくなってしまい、インデックスされにくい傾向にあります。

サイトの構造が複雑になってしまっている方は、サイトの階層をシンプルな構成にする事で、クローラーにもユーザーにもわかりやすいものになります。

例えば、このブログでは、『トップページ ⇒ カテゴリページ ⇒ 記事ページ』という階層になっており、2クリックすれば全てのページにたどり着ける構成になっています。

サイトの規模にもよるかと思いますが、できれば3クリック以内で全てのページにいけるような階層にしましょう。

また、どのページからもリンクされていない完全に孤立したページなどができないように注意しましょう。

階層のリンクだけではなく、関連性のある記事同士でリンクをつなぐ蜘蛛の巣のような内部リンク構造にするのも非常に重要です。

『関連性のある』という点がポイントで、関連性の無い記事への内部リンクや、1つのページから大量のページへの内部リンクを貼るなどの行為は、マイナス効果になってしまう可能性もあるので注意しましょう。

内部リンクを貼る際の『アンカーテキスト』は雑に書かずに、リンク先の要点をまとめるなど工夫して書きましょう。

04被リンクを獲得する

クローラーは、リンクをたどってページを巡回するとご説明しました。

先ほどの『内部リンク』以外にも『外部リンク(被リンク)』をたどってページにやって来る場合もあります。

被リンクは以前程の効果は無いにせよ、SEO対策上非常に重要です。

ただ被リンクを集めれば良いというものではなく、『良質』な『関連性のある』ページからのリンクがSEO効果を発揮します。

被リンクは、集めようと思って集められるものではなく、非常に難しいですが、ユーザーがリンクし易いように手助けする機能などをサイトに設置しておくと良いかもしれません。

各種SNSからのリンクは、『nofollow』属性が付与されるため、残念ながら被リンクにカウントはされませんが、アクセスを促す事は可能です。

『はてなブックマーク』は被リンクにカウントされるため、設置しておくと良いかもしれません。

05定期的に新しいコンテンツを公開

先ほど少しお話しましたが、コンテンツの更新頻度が高いとクローラーの巡回頻度も高くなります。

例えば1年に数回しか更新しないサイトの場合、クローラーは毎日見に来ても何も変更が無いため徐々に巡回頻度を下げていきます。

逆に毎日更新するようなサイトであれば、巡回頻度は上がっていきます。

しかし、現在のSEO対策の概念は、『ユーザーファースト』であり、いかに有益なユーザーのためになるページを作れるかが大事です。

中身の薄いページを毎日更新してもSEO対策上良い事は無いため、無理に毎日更新しようとはせず、しっかりと時間をかけて良質なページを作成する事を意識しつつ、定期的な更新を心がけましょう。

06ぱんくずリストを設置する

ぱんくずリストとは、『TOP ＞ 大カテゴリ ＞ 小カテゴリ ＞ コンテンツ』というように、現在ページのどこの階層にいるかを示したものです。

ぱんくずリストを設置する事で、ユーザーにもクローラーにもメリットがあります。

ユーザーは、ページを訪れる際、サイトのトップページにやって来るとは限りません。

自分が開いたページが、サイト内のどこの階層にいるか、ぱんくずリストを一目見るだけでわかるようになります。

開いたページが良質なものと判断された場合、同一カテゴリの別記事も読んでもらえるかもしれません。

クローラーは、サイト内の階層構造に従ってリンクを巡回していきます。

ぱんくずリストを設置する事で、クローラーに正しい階層構成が伝わり、巡回効率がアップします。

今回のインデックスを早める効果だけでなく、クローラーの巡回効率向上やSEO対策にもつながるSEOの内部対策となります。

07BingWebマスターツールを使う

内部的なSEO対策を行っている方は多いと思いますし、90%以上のシェアを占めるGoogleとYahooで使われているロボットへの対策も行っている方は多いと思います。

日本国内で第三位のシェアを誇る『Bing』はシェア10%未満とそれ程高くは無いものの、Windowsの初期ブラウザである『Edge』のデフォルト検索エンジンで、そのまま使われている方も多いです。

『Bing』は、『Google』や『Yahoo!』といったブラウザの検索エンジンとは異なるクローラーを使用しているため、『Googleにサイトマップを送信』していた場合、どうしても『Bing』の方がインデックスが遅い傾向があります。

そのままでも良いのですが、特にタイムリーな記事やニュースなどを書く方は、インデックスされるスピードによってアクセス数が大きく変わってしまいます。

使用者の多い『Bing』に素早くインデックスされる事で、他の記事よりもアクセス数を稼げる可能性があります。

BingWebマスターツールを使う事で、『Google Search Console』のように、

サイトマップの送信

URLの送信

を『Bingの検索エンジン』に対して行う事が可能です。

他にも、

など様々な機能が備わっているため、『Google Search Console』だけでなく、『BingWebマスターツール』もさわってみる事をオススメします。

『Google Search Console』で確認

一番重要なGoogleへのインデックスは、『Google Search Console』を使うことで確認できます。

先ほどの、Googleにインデックスをリクエストの手順で確認する事が可能です。

1つ1つのURLを入力する手間がかかり、大量に確認したい場合は不向きかもしれません。

インデックスされているか確認したURLがインデックスされていない場合、インデックスされない原因が表示されるため、そういった場合には便利です。

『site:』で検索して確認

検索エンジンの入力欄に『site:あなたのサイトのドメイン』と入力すると、インデックスされているサイトのページ一覧が表示されます。

このブログサイトの場合は、『site:jun-jun.net』と検索すれば、インデックスされている記事の一覧が表示されます。

この方法は、『Google』だけでなく、『Yahoo!』や『Bing』などの他の検索エンジンでも利用する事ができますし、ツールを使う必要がないため、簡単に確認する事ができます。

ただし、『Google Search Console』程、詳細な情報を見る事はできません。

よくあるインデックスされない原因

新しいページをアップロードして時間が経ってもインデックスされない場合は上記のような項目を確認してみましょう。

単純にまだクロールされていない場合は、この記事に書いてある対策を試してみましょう。

ページが低品質と評価された場合や、規約に違反している場合は、インデックスされなかったり、インデックスから除外されてしまう場合もあります。

良質なコンテンツ作成に努めましょう。

たまにあるのが、metaタグに『noindex』が設定されている場合です。

ここでは詳しく説明しませんが、『noindex』をmetaタグに設定すると、『クローラーにこのページはインデックスしないでね』と伝えている事になり、該当ページはインデックスされません。

誤って挿入していないか確認してみましょう。