1.2.1 - en to ja translation catalogue (54 entries)

en: Execution example::
ja: 実行例::

en: Summary
ja: 概要

en: ``tokenize`` command tokenizes text by the specified tokenizer. It is useful to debug tokenization.
ja: ``tokenize`` コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。

en: Syntax
ja: 構文

en: This command takes many parameters.
ja: このコマンドにはたくさんの引数があります。

en: ``tokenizer`` and ``string`` are required parameters. Others are optional::
ja: ``tokenizer`` と ``string`` が必須の引数で、他の引数はすべて省略できます::

en: Usage
ja: 使い方

en: Here is a simple example.
ja: 以下は簡単な使用例です。

en: It has only required parameters. ``tokenizer`` is ``TokenBigram`` and ``string`` is ``"Fulltext Search"``. It returns tokens that is generated by tokenizing ``"Fulltext Search"`` with ``TokenBigram`` tokenizer. It doesn't normalize ``"Fulltext Search"``.
ja: この例では必須のパラメーターだけ使っています。 ``tokenizer`` には ``TokenBigram`` を、 ``string`` には ``"Fulltext Search"`` を指定しています。この例は ``TokenBigram`` トークナイザーで ``"Fulltext Search"`` をトークナイズしたトークンを返します。この例では ``"Fulltext Search"`` を正規化していません。

en: Parameters
ja: 引数

en: This section describes all parameters. Parameters are categorized.
ja: このセクションではすべての引数について説明します。引数はカテゴリわけしています。

en: Required parameters
ja: 必須引数

en: There are required parameters, ``tokenizer`` and ``string``.
ja: 必須引数は二つあります。 ``tokenizer`` と ``string`` です。

en: Specifies the tokenizer name. ``tokenize`` command uses the tokenizer that is named ``tokenizer``.
ja: トークナイザー名を指定します。 ``tokenize`` コマンドは ``tokenizer`` で指定された名前のトークナイザーを使います。

en: See :doc:`/reference/tokenizers` about built-in tokenizers.
ja: 組み込みのトークナイザーについては :doc:`/reference/tokenizers` を参照してください。

en: Here is an example to use built-in ``TokenTrigram`` tokenizer.
ja: 以下は組み込みの ``TokenTrigram`` トークナイザーを使う例です。

en: If you want to use other tokenizers, you need to register additional tokenizer plugin by :doc:`register` command. For example, you can use `KyTea <http://www.phontron.com/kytea/>`_ based tokenizer by registering ``tokenizers/kytea``.
ja: 他のトークナイザーを使いたい場合は、 :doc:`register` コマンドでトークナイザープラグインを登録する必要があります。例えば、 `KyTea <http://www.phontron.com/kytea/>`_ ベースのトークナイザーを ``tokenizers/kytea`` を登録することで使えます。

en: Specifies any string which you want to tokenize.
ja: トークナイズしたい文字列を指定します。

en: If you want to include spaces in ``string``, you need to quote ``string`` by single quotation (``'``) or double quotation (``"``).
ja: ``string`` の中に文字列を含める場合は、シングルクォート（ ``'`` ）またはダブルクォート（ ``"`` ）で ``string`` をクォートする必要があります。

en: Here is an example to use spaces in ``string``.
ja: ``string`` の中で空白を使う例です。

en: Optional parameters
ja: 省略可能引数

en: There are optional parameters.
ja: いくつか省略可能な引数があります。

en: Specifies the normalizer name. ``tokenize`` command uses the normalizer that is named ``normalizer``. Normalizer is important for N-gram family tokenizers such as ``TokenBigram``.
ja: ノーマライザー名を指定します。 ``tokenize`` コマンドは ``normalizer`` という名前のノーマライザーを使います。ノーマライザーは ``TokenBigrma`` など、N-gram関連のトークナイザーにとってとても重要です。

en: Normalizer detects character type for each character while normalizing. N-gram family tokenizers use character types while tokenizing.
ja: ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。

en: Here is an example that doesn't use normalizer.
ja: 以下はノーマライザーを使わない例です。

en: All alphabets are tokenized by two characters. For example, ``Fu`` is a token.
ja: すべてのアルファベットが2文字ごとトークナイズされています。例えば、 ``Fu`` で1つのトークンになっています。

en: Here is an example that uses normalizer.
ja: 以下はノーマライザーを使う例です。

en: Continuous alphabets are tokenized as one token. For example, ``fulltext`` is a token.
ja: 連続するアルファベットが1つのトークンにトークナイズされています。例えば、 ``fulltext`` で1つのトークンになっています。

en: If you want to tokenize by two characters with noramlizer, use ``TokenBigramSplitSymbolAlpha``.
ja: ノーマライザーを使いながら2文字でトークナイズしたい場合は ``TokenBigramSplitSymbolAlpha`` を使って下さい。

en: All alphabets are tokenized by two characters. And they are normalized to lower case characters. For example, ``fu`` is a token.
ja: すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 ``fu`` で1つのトークンになっています。

en: Specifies a tokenization customize options. You can specify multiple options separated by "``|``". For example, ``NONE|ENABLE_TOKENIZED_DELIMITER``.
ja: トークナイズ処理をカスタマイズするオプションを指定します。「 ``|`` 」で区切って複数のオプションを指定することができます。例えば、 ``NONE|ENABLE_TOKENIZED_DELIMITER`` というように指定できます。

en: Here are available flags.
ja: 指定可能なフラグは以下の通りです。

en: Flag
ja: フラグ

en: Description
ja: 説明

en: Just ignored.
ja: 無視されます。

en: Enables tokenized delimiter. See :doc:`/reference/tokenizers` about tokenized delimiter details.
ja: トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は :doc:`/reference/tokenizers` を参照してください。

en: Here is an example that uses ``ENABLE_TOKENIZED_DELIMITER``.
ja: 以下は ``ENABLE_TOKENIZED_DELIMITER`` を使った例です。

en: ``TokenDelimit`` tokenizer is one of tokenized delimiter supported tokenizer. ``ENABLE_TOKENIZED_DELIMITER`` enables tokenized delimiter. Tokenized delimiter is special character that indicates token border. It is ``U+FFFE``. The character is not assigned any character. It means that the character is not appeared in normal string. So the character is good character for this puropose. If ``ENABLE_TOKENIZED_DELIMITER`` is enabled, the target string is treated as already tokenized string. Tokenizer just tokenizes by tokenized delimiter.
ja: ``TokenDelimit`` トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 ``ENABLE_TOKENIZED_DELIMITER`` でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は ``U+FFFE`` です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 ``ENABLE_TOKENIZED_DELIMITER`` が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。

en: Specifies a tokenize mode. If the mode is specified ``ADD``, the text is tokenized by the rule that adding a document. If the mode is specified ``GET``, the text is tokenized by the rule that searching a document. If the mode is omitted, the text is tokenized by the ``ADD`` mode.
ja: トークナイズモードを指定します。 ``ADD`` を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 ``GET`` を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 ``ADD`` モードでトークナイズされます。

en: The default mode is ``ADD``.
ja: デフォルトのモードは ``ADD`` です。

en: Here is an example to the ``ADD`` mode.
ja: 以下は ``ADD`` モードの例です。

en: The last alphabet is tokenized by one character.
ja: 最後のアルファベットは1文字でトークナイズされています。

en: Here is an example to the ``GET`` mode.
ja: 以下は ``GET`` モードの例です。

en: The last alphabet is tokenized by two characters.
ja: 最後のアルファベットは2文字でトークナイズされています。

en: Specifies the token filter names. ``tokenize`` command uses the tokenizer that is named ``token_filters``.
ja: トークンフィルターを指定します。 ``tokenize`` コマンドは ``token_filters`` という名前のトークンフィルターを使います。

en: See :doc:`/reference/token_filters` about token filters.
ja: トークンフィルターについては :doc:`/reference/token_filters` を参照してください。

en: Return value
ja: 戻り値

en: ``tokenize`` command returns tokenized tokens. Each token has some attributes except token itself. The attributes will be increased in the feature::
ja: ``tokenize`` コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります::

en: See :doc:`/reference/command/output_format` about ``HEADER``.
ja: ``HEADER`` については :doc:`/reference/command/output_format` を参照してください。

en: ``tokens`` is an array of token. Token is an object that has the following attributes.
ja: ``tokens`` はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。

en: Name
ja: 名前

en: Token itself.
ja: トークン自身

en: The N-th token.
ja: N番目のトークン。

en: See also
ja: 参考
