1.2.1 - en to ja translation catalogue (8 entries)

en: Execution example::
ja: 実行例::

en: Summary
ja: 概要

en: ``TokenUnigram`` is similar to :ref:`token-bigram`. The differences between them is token unit.
ja: ``TokenUnigram`` は :ref:`token-bigram` と似ています。違いはトークンの単位です。

en: Syntax
ja: 構文

en: ``TokenUnigram`` hasn't parameter::
ja: ``TokenUnigram`` には、引数がありません。

en: Usage
ja: 使い方

en: If normalizer is used, ``TokenUnigram`` uses white-space-separate like tokenize method for ASCII characters. ``TokenUnigram`` uses unigram tokenize method for non-ASCII characters.
ja: ノーマライザーを使っている場合は ``TokenUnigram`` はASCIIの文字には空白区切りのようなトークナイズ方法を使います。非ASCII文字にはユニグラムのトークナイズ方法を使います。

en: If ``TokenUnigram`` tokenize non-ASCII charactors, ``TokenUnigram`` uses 1 character per token as below example.
ja: ``TokenUnigram`` が非ASCII文字をトークナイズすると、以下の例のように ``TokenUnigram`` は各トークンが1文字となります。
