Apple の写真アプリは、ライブラリ内の画像を検索し、それらの画像に表示されている内容について詳しく知るのに役立つ複数の機能を採用しています。それらの機能の 1 つは、拡張ビジュアル検索と呼ばれます。これがどのように機能するのか、そしてそれを使用する際に Apple がプライバシーをどのように保護するのかを説明します。
ビジュアルルックアップと拡張ビジュアル検索
重要な違いの 1 つは、拡張ビジュアル検索が Apple のビジュアル検索機能とどのように異なるかということです。 Visual Look Up は iOS 15 の一部として導入され、ユーザーは写真アプリ内のオブジェクト、ランドマーク、植物などを識別できるようになります。
たとえば、写真アプリで画像を上にスワイプすると、画像に表示されている犬種を知ることができます。衣服の洗濯方法や、車のダッシュボードにあるランダムな記号の意味なども認識します。
拡張ビジュアル検索は、ビジュアル ルックアップとは別に存在します。ビジュアル ルックアップは、すでに見ている 1 枚の写真の詳細を見つけるのに役立ちますが、拡張ビジュアル検索は、 全て ランドマークや場所を検索するときにライブラリ内の写真を表示します。この機能は、写真に位置情報データが含まれていない場合でも機能します。
たとえば、ライブラリで「ゴールデン ゲート ブリッジ」を検索すると、ライブラリから関連する画像が表示されます。この機能は、画像の背景でランドマークがぼやけていて焦点が合っていない場合でも機能します。
拡張ビジュアル検索はプライバシーをどのように保護しますか?
今月初め、拡張ビジュアル検索がランドマークや名所の検索に役立つように位置情報を Apple に送信する仕組みについての見出しが話題になりました。 Apple は設定アプリで、「このデバイスが写真内の場所を Apple が管理するグローバル インデックスとプライベートに照合できるようにすることで、ほぼすべての名所で検索できるようになります。」と述べています。
これにより、特にこの機能がオプトインではなくオプトアウトである場合、プライバシーへの影響についての疑問が当然生じました。
しかし、Apple はよく考えられたプライバシー パイプラインを導入しており、拡張ビジュアル検索が開始されたときにデータが保護されるとしています。
このプロセスは、準同型暗号化と呼ばれるものから始まり、次のように機能します。
- iPhone はクエリをサーバーに送信する前に暗号化します。
- サーバーは暗号化されたクエリを処理し、応答を生成します。
- その応答は iPhone に送り返され、そこで復号化されます。
重要なのは、Apple の実装では、サーバーではなくデバイスのみが復号キーを持っているということです。したがって、サーバーは元のリクエストを復号化できません。 Apple は、拡張ビジュアル検索を含むさまざまな機能に準同型暗号化を使用しています。
Apple は、拡張ビジュアル検索にプライベート最近傍検索 (PNNS) と呼ばれるものも採用しています。この機能により、ユーザーのデバイスは「Apple が管理する人気のランドマークと名所のグローバル インデックス」を非公開でクエリし、写真ライブラリに描かれている場所とほぼ一致するものを見つけることができます。
Apple が概要を説明している、拡張ビジュアル検索リクエストの完全なパイプラインは次のとおりです。 機械学習ウェブサイト:
- オンデバイスの機械学習モデルは写真を分析し、ランドマークを含む可能性のある「関心領域」(ROI) があるかどうかを判断します。
- モデルが ROI を検出すると、画像のその部分の「ベクトル埋め込み」を計算します。
- 次に、そのベクトル埋め込みは暗号化されてサーバー データベースに送信されます。写真とピクセルは Apple に送信されるのではなく、その「対象領域」の数学的表現として送信されます。
- Apple は差分プライバシーを使用しています OHTTPリレーと組み合わせる、リクエストが Apple のサーバーに到達する前にデバイスの IP アドレスを隠すために、サードパーティによって運営されています。
- また、クライアントは「本物のクエリと一緒に偽のクエリを発行するため、サーバーはどれが本物であるかを判断できません」。さらに、サーバーが複数のリクエストを同じクライアントにリンクできないようにするため、クエリは匿名化ネットワークを通じてルーティングされます。
- サーバーは埋め込みの関連部分を識別し、ランドマーク名などの対応するメタデータをデバイスに返します。結果が iPhone に返された後、サーバーはデータを保持しません。
これは多くの単語と略語ですが、Apple は写真に含まれる情報について何も知ることができないという Apple の主張を裏付けるものです。
拡張ビジュアル検索を無効にするには、設定アプリに移動し、「アプリ」、「写真」の順にタップします。一番下までスクロールすると、拡張ビジュアル検索の切り替えがあります。 Apple は、この切り替えは主に低データ ゾーンで使用する必要があると述べています。
強化されたビジュアル検索の詳細情報:
フォローチャンス: スレッド、 ブルースカイ、 インスタグラム、 そして マストドン。
FTC: 当社は収入を得る自動アフィリエイト リンクを使用しています。 もっと。
