Buscar

ホストされているサイトで使用されるデフォルトのファイルには、次の2行が含まれています。

User-agent: *
Disallow: /

デフォルトの許可ファイルには、次のものが含まれます。

User-agent: Googlebot # Google   # ADDED BY HMS
Disallow:                        # ADDED BY HMS

User-agent: MSNBot    # MSN      # ADDED BY HMS
Disallow:                        # ADDED BY HMS
Crawl-delay: 0.2  # ADDED BY HMS

User-agent: Slurp     # Yahoo!   # ADDED BY HMS
Disallow:                        # ADDED BY HMS
Crawl-delay: 0.2  # ADDED BY HMS

User-agent: TEOMA     # Ask.com  # ADDED BY HMS
Disallow:                        # ADDED BY HMS

User-agent: bingbot   # Bing     # ADDED BY HMS
Disallow:                        # ADDED BY HMS

User-agent: *                    # ADDED BY HMS
Disallow: /                      # ADDED BY HMS

注意: Robots.txtの内容を変更する場合は、次の要件に従ってください。

• デフォルトのrobots.txtに含まれる内容については変更、削除はできません。（追加のみ可能）
• 追加した内容は必ず行の末尾に「#CUSTOM」と記述する必要があります。
• デフォルトの内容ではdisallowを主体に定義していますので、追記する内容についてもdisallow形式での追加を推奨します。

ロボット・ファイルを構成するためのいくつかの標準ルールが用意されています。robots.txtファイルの構築、変更、および保守の詳細については、http://www.robotstxt.orgを参照してください。

注意: コミュニティ・サイトでは、robots.txtファイルを変更できません。

ほとんどの検索エンジンでは、これらのファイルを検索してそれに従うようにスパイダがコーディングされています。ただし、(特に、Eメール・ハーベスタは)すべてのユーザーがコーディングしているわけではないため、robots.txtファイルが存在していても、スパイダでサイトを検索できないとはかぎりません。

サイトへのインデックス付けの許可:

ホストされているカスタマは、サイトへのインデックス付けが許可されるようにrobots.txtファイルを変更するリクエストを送信できます。これにより、Google、Yahoo、Bingなどの検索エンジンで、サイトにインデックスを付けることができます。

これらの検索エンジンの多くには、サイトにインデックスを付ける様々なロボット・エージェントが備わっています。一部は標準(無料)ですが、その他はコンテンツ送信が必要なサービスや有料のサービスです。

主要な各検索エンジンには、Webサイト上にロボットの構成パラメータ専用のセクションがあります。また、サイトの様々な部分にインデックスを付け、その他を除外するような除外パラメータもあります。

正規のロボットにはすべて、適切な構成のために専用のオンライン・コンテンツがあるため、robots.txtファイルの更新方法を決定できます。一般的な例について次にいくつか示しますが、この他の検索エンジンもいくつかあります。

Google:

http://www.google.com/webmasters/index.html
http://www.google.com/services
http://www.google.com/webmasters/bot.html

Yahoo:

http://help.yahoo.com/l/us/yahoo/helpcentral/
http://help.yahoo.com/kb/index?locale=en_US&page=topics&y=PROD_SRCH&topics=TOP_WEBMSTR
http://help.yahoo.com/l/us/yahoo/privacy/access/indexing-13.html

BING:

http://www.bing.com/webmaster/help/fetch-as-bingbot-fe18fa0d

変更を行う前に:：

サイトにインデックスを付けることを検索エンジンに許可するには、そのエンジンのロボット構成に関する適切な情報を再確認することが重要です。次に、インデックスを付ける対象に従って、robots.txtファイルのコンテンツを決定します。 KB_SITEMAP_ENABLE環境設定を「yes」（有効）に設定すると、共通の検索エンジンのWebボットがrobots.txtファイルに追加されます。

次に、robots.txtファイルの変更に関する詳細で正確な変更依頼をそえてテクニカルサポートへお問い合わせを提出します。robots.txtファイルを変更する場合、そのコンテンツを定義することはお客様の責任範囲となります。さらに、複数のインタフェースがある場合は、各インタフェースに独自のファイルが含まれているため、必ず、変更対象の特定のインタフェースおよびrobots.txtファイルを指定してください。

-  検索エンジンでは、該当するエントリが見つかるまでエントリのみが参照されることに注意してください。 したがって、robots.txtファイルの最初のエントリがデフォルトの場合、すべての検索エンジンがサイトの索引を作成し、次のエントリが何であるかに関係なく次のエントリを無視できます。 

-  また、システムは、robots.txtファイルで指定したものより下にエントリを追加することがありますが、最初のエントリが変更されていないかぎり、索引付けに影響しません。
 

サイトマップ:

検索エンジンでより簡単にサイトをカタログ化できるように、サイトマップ機能を有効にできます。サイトマップの有効化の詳細については、Answer ID7528 : Oracle B2C Serviceアプリケーションでのサイトマップの使用 を参照してください。

追加情報は、現在ご使用バージョンのオンラインドキュメンテーションをご参照ください。Oracle B2C Service オンライン・ドキュメンテーション又はマニュアルにアクセスするには、Documentation for Oracle B2C Service Productsをご覧ください。