スマホの中の暗号化メモリー:1万件を0.5秒で
個人の記憶を暗号化したままスマホに置く方法、実機のiPhoneで測った結果、そして一度遅くなった検索を以前より速くした話です。
技術記事です。 データベース、暗号化、計測といったソフトウェアの話をします。数値は合成データで測ったものです。
私たちのアプリには記憶の仕組みがあります。ユーザーが保存に同意した情報は、あとで会話やレッスン、検索などで呼び出されます。この記事では二つの取り組みを紹介します。一つは、その記憶の暗号化されたコピーをスマホに置くこと。もう一つは、検索を賢くしたら遅くなったことに気づき、以前より速くしたことです。
本体はサーバー、スマホは読むだけ
最初に決めたのは、記憶の持ち主はサーバーだということです。スマホにあるのは、いつでも消して作り直せる読み取り専用のコピーです。スマホが自分でそこに書き込むことはありません。
理由は単純です。人はまずWebで使い、あとでスマホに移ることがあります。その間に保存したものが消えてはいけません。本体が一か所にあれば、スマホへの移行は「全部を運ぶ」問題ではなくなります。「正しいコピーを作り、最新に保つ」問題になります。
サーバーはまず署名付きの完全なコピーを送り、そのあとは変更分だけを送ります。記録が取り消されると、変更パッケージに「削除済み」のフラグが入り、スマホからも削除されます。
途中で止まっても古いコピーは壊れない
スマホは都合の悪いときに止まります。電池が切れたり、バックグラウンドでアプリが終了されたりします。そこで新しいコピーは、まず別のフォルダーに作ります。件数とチェックサムを確かめ、すべて一致したときだけ、「使用中のコピー」を指す印を一回のアトミックな操作で新しい方に切り替えます。途中でプロセスが止まっても、古いコピーはそのまま残ります。
これは机上の話にとどめていません。テストでは、ロック取得中、データ書き込み直後、使用中のコピーの切り替え直後の三か所でプロセスを強制終了しました。どの場合も、古いコピーが無事に残るか、新しいコピーが完全に読めるかのどちらかでした。
データベースに文章はない
スマホのグラフデータベースにあるのは、意味を持たないIDとそのつながりだけです。各記録の本文、タイトル、出典は個別に暗号化しています。鍵はその端末のキーストアにだけ置かれ、バックアップや他の端末には出ません。違う鍵では読めません。ログアウトすると、コピーも鍵もすべて削除されます。
実機で測ったこと
シミュレーターは使っていません。実機のiPhone 16 Pro Maxで、合成データを使って測りました。トルコ語・英語・日本語が混ざった1万件の記録と、その間の2万本のつながりです。個人データは含みません。
| 操作 | 時間 |
|---|---|
| 暗号化コピーのインストールと検証 | 0.44秒 |
| 1件の読み取り(整合性チェック込み) | 0.08秒 |
| ある概念の近くの記録を探す | 0.08秒 |
| 変更パッケージの適用(新しいコピーとして) | 0.41秒 |
| すべて削除 | 0.01秒 |
限界も書いておきます。これは一台の端末、一回のテストの数値です。メモリ(約200〜237MB)にはテスト用のプログラム自体も含まれます。電池消費や、10万件のような大きな規模はまだ測っていません。通信時間もこの表には入っていません。
検索を賢くしたら遅くなった
検索では、もっと人間らしい動きを目指しました。「りんごが好き」と言う人には、まず本人の情報が思い浮かぶべきです。りんごケーキのレシピや、りんごの細胞構造についての記事も呼び起こされますが、弱めにです。最初の意味が違っていたら、次の意味に移れるようにします。科学の話題なら、科学に関する記録を先に見ます。
これを加えて測ったところ、5万件の合成データで、普通の検索が27.8ミリ秒から35.5ミリ秒になりました。賢くはなったものの、遅くなったのです。本来は逆を期待していました。探す範囲を絞れば速くなるはずでした。
プロファイルを取ると原因がはっきりしました。検索のたびに、意味ごとに「このユーザーがこの意味で承認済みの記録を何件持っているか」を再計算していたのです。今は記録の追加・削除のたびにこの数を更新し、検索では数え直しません。あわせて、分野の確認も実際にたどった記録だけで行うようにしました。
| 版 | 普通の検索 | 遅い方から5% |
|---|---|---|
| 以前 | 27.8ミリ秒 | 35.7ミリ秒 |
| 意味の優先度を追加 | 35.5ミリ秒 | 44.0ミリ秒 |
| 修正後 | 20.0ミリ秒 | 21.7ミリ秒 |
この改善はすべてPythonで行いました。私たちのルールは、まず計測することです。計測で本当に必要だと分かったときだけ、ホットスポットをRustに移行します。移行する場合も、Pythonの参照実装と結果を比較してテストします。今回はその必要がありませんでした。いちばん大きな効果は、言語ではなく、不要な処理をしないことから生まれました。
学んだこと
二つの取り組みから分かったことは同じでした。速さは多くの場合、高速な言語よりも、不要なデータにアクセスしないことから生まれます。スマホではつながりだけを読める形にして本文は暗号化したままにすること、検索では関係のある分野だけを見ること。どちらも同じ考え方の表と裏です。