1.2.1 - en to ja translation catalogue (21 entries)

en: Execution example::
ja: 実行例::

en: Summary
ja: 概要

en: Groonga has tokenizer module that tokenizes text. It is used when the following cases:
ja: Groongaにはテキストをトークナイズするトークナイザーモージュールがあります。次のケースのときにトークナイザーを使います。

en: Indexing text
ja: テキストのインデックスを構築するとき

en: Tokenizer is used when indexing text.
ja: テキストのインデックスを構築するときにトークナイザーを使います。

en: Searching by query
ja: クエリーで検索するとき

en: Tokenizer is used when searching by query.
ja: クエリーで検索するときにトークナイザーを使います。

en: Tokenizer is an important module for full-text search. You can change trade-off between `precision and recall <http://en.wikipedia.org/wiki/Precision_and_recall>`_ by changing tokenizer.
ja: 全文検索ではトークナイザーは重要なモジュールです。トークナイザーを変えることで `適合率と再現率 <http://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E6%A4%9C%E7%B4%A2>`_ のトレードオフを調整することができます。

en: Normally, :ref:`token-bigram` is a suitable tokenizer. If you don't know much about tokenizer, it's recommended that you choose :ref:`token-bigram`.
ja: 一般的に :ref:`token-bigram` が適切なトークナイザーです。トークナイザーについてよく知らない場合は :ref:`token-bigram` を使うことをオススメします。

en: You can try a tokenizer by :doc:`/reference/commands/tokenize` and :doc:`/reference/commands/table_tokenize`. Here is an example to try :ref:`token-bigram` tokenizer by :doc:`/reference/commands/tokenize`:
ja: :doc:`/reference/commands/tokenize` コマンドと :doc:`/reference/commands/table_tokenize` コマンドを使うことでトークナイザーを試すことができます。 :doc:`/reference/commands/tokenize` コマンドを使って :ref:`token-bigram` トークナイザーを試す例を以下に示します。

en: "tokenize" is the process that extracts zero or more tokens from a text. There are some "tokenize" methods.
ja: 「トークナイズ」はテキストから0個以上のトークンを抽出する処理です。「トークナイズ」する方法はいくつかあります。

en: For example, ``Hello World`` is tokenized to the following tokens by bigram tokenize method:
ja: 例えば、バイグラムというトークナイズ方法では ``Hello World`` は次のトークンにトークナイズされます。

en: ``o_`` (``_`` means a white-space)
ja: ``o_`` （ ``_`` は空白文字という意味）

en: ``_W`` (``_`` means a white-space)
ja: ``_W`` （ ``_`` は空白文字という意味）

en: In the above example, 10 tokens are extracted from one text ``Hello World``.
ja: 上記の例では、 ``Hello World`` から10個のトークンを抽出しました。

en: For example, ``Hello World`` is tokenized to the following tokens by white-space-separate tokenize method:
ja: 例えば、空白区切りのトークナイズ方法では ``Hello World`` は次のトークンにトークナイズされます。

en: In the above example, 2 tokens are extracted from one text ``Hello World``.
ja: 上記の例では、``Hello World`` から2つのトークンを抽出しました。

en: Token is used as search key. You can find indexed documents only by tokens that are extracted by used tokenize method. For example, you can find ``Hello World`` by ``ll`` with bigram tokenize method but you can't find ``Hello World`` by ``ll`` with white-space-separate tokenize method. Because white-space-separate tokenize method doesn't extract ``ll`` token. It just extracts ``Hello`` and ``World`` tokens.
ja: トークンは検索時のキーとして使われます。使用したトークナイズ方法で抽出したトークンでしかインデックス化されたドキュメントを探すことはできません。例えば、トークナイズ方法としてバイグラムを使った場合は ``ll`` で ``Hello World`` を見つけることができます。しかし、空白区切りのトークナイズ方法を使ったときは ``ll`` で ``Hello World`` を見つけることはできません。なぜなら、空白区切りのトークナイズ方法は ``ll`` というトークンを抽出していないからです。空白区切りのトークナイズ方法は ``Hello`` というトークンと ``World`` というトークンしか抽出していません。

en: In general, tokenize method that generates small tokens increases recall but decreases precision. Tokenize method that generates large tokens increases precision but decreases recall.
ja: 一般的に、小さいトークンを生成するトークナイズ方法は再現率が高い代わりに適合率が低くなりがちです。一方、大きいトークンを生成するトークナイズ方法は適合率が高い代わりに再現率が低くなりがちです。

en: For example, we can find ``Hello World`` and ``A or B`` by ``or`` with bigram tokenize method. ``Hello World`` is a noise for people who wants to search "logical and". It means that precision is decreased. But recall is increased.
ja: 例えば、バイグラムというトークナイズ方法では ``or`` で ``Hello World`` と ``A or B`` を検索できます。しかし、「論理和」を検索したい人にとっては ``Hello World`` は不要な結果です。これは、適合率が下がったということです。しかし、再現率は上がっています。

en: We can find only ``A or B`` by ``or`` with white-space-separate tokenize method. Because ``World`` is tokenized to one token ``World`` with white-space-separate tokenize method. It means that precision is increased for people who wants to search "logical and". But recall is decreased because ``Hello World`` that contains ``or`` isn't found.
ja: 空白区切りのトークナイズ方法を使った場合は ``or`` で ``A or B`` だけが見つかります。なぜなら、空白区切りのトークナイズ方法では ``World`` は ``World`` という1つのトークンだけにトークナイズされるからです。これは、「論理和」を探したい人にとっては適合率が挙がっています。しかし、 ``Hello World`` も ``or`` を含んでいるのに見つかっていないので再現率が下がっています。
