ML Kit のデジタルインク認識を使用すると、何百もの言語でデジタルの表面に手書きされたテキストを認識し、スケッチを分類できます。
試してみる
- サンプルアプリを試して、この API の使用例を確認します。
始める前に
- プロジェクト レベルの
build.gradleファイルのbuildscriptセクションとallprojectsセクションの両方に Google の Maven リポジトリを含めます。 - ML Kit Android ライブラリの依存関係をモジュールのアプリレベルの Gradle ファイル（通常は
app/build.gradle）に追加します。
dependencies {
// ...
implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}
これで、Ink オブジェクトのテキストを認識する準備が整いました。
Ink オブジェクトを作成する
Ink オブジェクトを作成する主な方法は、タッチ スクリーン上に描画することです。Android では、この目的で Canvas を使用できます。タッチイベント ハンドラでは、次のコード スニペットに示す addNewTouchEvent() メソッドを呼び出して、ユーザーが Ink オブジェクトに描画したストロークのポイントを保存する必要があります。
この一般的なパターンを次のコード スニペットに示します。より詳細な例については、ML Kit クイックスタート サンプルをご覧ください。
Kotlin
var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder
// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
val action = event.actionMasked
val x = event.x
val y = event.y
var t = System.currentTimeMillis()
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
when (action) {
MotionEvent.ACTION_DOWN -> {
strokeBuilder = Ink.Stroke.builder()
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
}
MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
MotionEvent.ACTION_UP -> {
strokeBuilder.addPoint(Ink.Point.create(x, y, t))
inkBuilder.addStroke(strokeBuilder.build())
}
else -> {
// Action not relevant for ink construction
}
}
}
...
// This is what to send to the recognizer.
val ink = inkBuilder.build()
Java
Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;
// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
float x = event.getX();
float y = event.getY();
long t = System.currentTimeMillis();
// If your setup does not provide timing information, you can omit the
// third paramater (t) in the calls to Ink.Point.create
int action = event.getActionMasked();
switch (action) {
case MotionEvent.ACTION_DOWN:
strokeBuilder = Ink.Stroke.builder();
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_MOVE:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
break;
case MotionEvent.ACTION_UP:
strokeBuilder.addPoint(Ink.Point.create(x, y, t));
inkBuilder.addStroke(strokeBuilder.build());
strokeBuilder = null;
break;
}
}
...
// This is what to send to the recognizer.
Ink ink = inkBuilder.build();
DigitalInkRecognizer のインスタンスを取得する
認識を実行するには、Ink インスタンスを DigitalInkRecognizer オブジェクトに送信します。以下のコードは、このような認識ツールを BCP-47 タグからインスタンス化する方法を示しています。
Kotlin
// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
DigitalInkRecognitionModel.builder(modelIdentifier).build()
// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build())
Java
// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
modelIdentifier =
DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
// language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
// no model was found, handle error.
}
DigitalInkRecognitionModel model =
DigitalInkRecognitionModel.builder(modelIdentifier).build();
// Get a recognizer for the language
DigitalInkRecognizer recognizer =
DigitalInkRecognition.getClient(
DigitalInkRecognizerOptions.builder(model).build());
Ink オブジェクトを処理する
Kotlin
recognizer.recognize(ink)
.addOnSuccessListener { result: RecognitionResult ->
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
Log.i(TAG, result.candidates[0].text)
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error during recognition: $e")
}
Java
recognizer.recognize(ink)
.addOnSuccessListener(
// `result` contains the recognizer's answers as a RecognitionResult.
// Logs the text from the top candidate.
result -> Log.i(TAG, result.getCandidates().get(0).getText()))
.addOnFailureListener(
e -> Log.e(TAG, "Error during recognition: " + e));
上記のサンプルコードは、次のセクションで説明するように、認識モデルがすでにダウンロードされていることを前提としています。
モデルのダウンロードの管理
デジタルインク認識 API は何百もの言語をサポートしていますが、言語ごとに認識する前にデータをダウンロードする必要があります。言語ごとに約 20 MB のストレージが必要です。これは RemoteModelManager オブジェクトによって処理されます。
新しいモデルをダウンロードする
Kotlin
import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager
var model: DigitalInkRecognitionModel = ...
val remoteModelManager = RemoteModelManager.getInstance()
remoteModelManager.download(model, DownloadConditions.Builder().build())
.addOnSuccessListener {
Log.i(TAG, "Model downloaded")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while downloading a model: $e")
}
Java
import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;
DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();
remoteModelManager
.download(model, new DownloadConditions.Builder().build())
.addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while downloading a model: " + e));
モデルがすでにダウンロードされているかどうかを確認する
Kotlin
var model: DigitalInkRecognitionModel = ... remoteModelManager.isModelDownloaded(model)
Java
DigitalInkRecognitionModel model = ...; remoteModelManager.isModelDownloaded(model);
ダウンロードしたモデルを削除する
デバイスのストレージからモデルを削除すると、空き容量が増えます。
Kotlin
var model: DigitalInkRecognitionModel = ...
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener {
Log.i(TAG, "Model successfully deleted")
}
.addOnFailureListener { e: Exception ->
Log.e(TAG, "Error while deleting a model: $e")
}
Java
DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
.addOnSuccessListener(
aVoid -> Log.i(TAG, "Model successfully deleted"))
.addOnFailureListener(
e -> Log.e(TAG, "Error while deleting a model: " + e));
テキスト認識の精度を向上させるためのヒント
テキスト認識の精度は言語によって異なります。精度は文章のスタイルにも左右されます。デジタルインク認識はさまざまな種類の書体を処理するようにトレーニングされていますが、結果はユーザーによって異なります。
テキスト認識機能の精度を向上させる方法は次のとおりです。なお、これらの手法は、絵文字、自動描画、シェイプの描画分類には適用されません。
書き込み領域
多くのアプリケーションには、ユーザー入力用の書き込み領域が明確に定義されています。シンボルの意味は、シンボルが含まれる書き込み領域のサイズに対する相対的なサイズによって部分的に決定されます。たとえば、大文字と小文字の「o」または「c」の違い、カンマとスラッシュなど。
認識機能に書き込み領域の幅と高さを認識させると、精度が向上します。ただし、認識機能では、書き込み領域にはテキストが 1 行しか含まれていないと想定されます。物理的な書き込み領域が 2 行以上書き込めるほど大きい場合は、1 行の高さを最も適切に推定できる高さで WritingArea を渡すことでより良い結果が得られることがあります。認識ツールに渡す WritingArea オブジェクトは、画面上の物理的な書き込み領域と正確に一致する必要はありません。この方法で WritingArea の高さを変更すると、一部の言語ではうまく機能しません。
書き込み領域を指定するときは、ストローク座標と同じ単位で幅と高さを指定します。x 座標と y 座標の引数に単位は必要ありません。API はすべての単位を正規化するため、重要なのはストロークの相対的なサイズと位置だけです。座標は、システムに適したスケールで自由に渡すことができます。
事前コンテキスト
事前コンテキストとは、認識しようとしている Ink のストロークの直前にあるテキストです。認識機能に事前コンテキストを伝えることができます。
たとえば、手書き文字「n」と「u」はよく間違えられます。ユーザーが部分的な単語「arg」をすでに入力している場合は、「ument」または「nment」として認識できるストロークが続くことがあります。事前コンテキストの「arg」を指定すると、「argument」という単語の方が「argnment」よりも可能性が高いため、あいまいさが解消されます。
事前コンテキストは、認識機能が単語の区切り（単語間のスペース）を識別するのにも役立ちます。空白文字は入力できますが、描画はできません。認識機能では、ある単語が終了して次の単語が開始するタイミングをどのように判断できるでしょうか。ユーザーがすでに「hello」と記述していて、「world」という単語が続く場合、事前コンテキストなしで認識ツールは文字列「world」を返します。ただし、事前コンテキストの「hello」を指定すると、「hello world」のほうが「helloword」よりも意味があるので、モデルは先頭にスペースが付いた文字列「world」を返します。
スペースを含めて最大 20 文字の事前コンテキスト文字列を指定する必要があります。文字列がこれより長い場合、認識機能では最後の 20 文字のみが使用されます。
次のコードサンプルは、書き込み領域を定義し、RecognitionContext オブジェクトを使用して事前コンテキストを指定する方法を示しています。
Kotlin
var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(WritingArea(width, height))
.build()
recognizer.recognize(ink, recognitionContext)
Java
String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
RecognitionContext.builder()
.setPreContext(preContext)
.setWritingArea(new WritingArea(width, height))
.build();
recognizer.recognize(ink, recognitionContext);
ストロークの順序
認識の精度は、ストロークの順序に左右されます。認識ツールは、人が自然に書く順序でストロークが発生することを想定しています。たとえば、英語の場合は左から右に記述します。最後の単語から英語の文を書くなど、このパターンから逸脱するケースでは、結果の精度が低下します。
もう 1 つの例は、Ink の途中の単語が削除され、別の単語に置き換えられる場合です。リビジョンは文の途中にありますが、リビジョンのストロークはストローク シーケンスの末尾にあります。この場合は、新しく書き込まれた単語を個別に API に送信し、独自のロジックを使用してその結果を以前の認識結果と統合することをおすすめします。
あいまいな図形への対処
認識ツールに提供されるシェイプの意味があいまいな場合があります。たとえば、角が非常に丸い長方形は、長方形または楕円のいずれかとして表示されます。
このような不明確なケースは、使用可能な場合は認識スコアを使用することで処理できます。スコアはシェイプ分類器によってのみ提供されます。モデルの信頼度が非常に高い場合、最上位の結果のスコアは 2 番目に高い結果のスコアがはるかに高くなります。不確実性がある場合、上位 2 つの結果のスコアは近いものになります。また、シェイプ分類器は Ink 全体を 1 つのシェイプとして解釈します。たとえば、Ink に長方形と楕円が隣接している場合、1 つの認識候補が 2 つの形状を表すことはできないため、認識ツールは結果としてどちらか一方（またはまったく異なるもの）を返すことがあります。