電源ボタンを長押しするだけ。AndroidのGeminiが画面の中身まで理解する仕組み

友人から届いた旅行の写真を見ながら、「この場所はどこだろう」と思ったことはありませんか。これまでは、写真を保存して検索アプリに切り替え、画像を貼り付けて調べる必要がありました。Androidの新しい設定では、その手間がひとつ減ります。電源ボタンを長押しするだけで、画面に映っている写真をそのまま見ながら質問できるようになりました。

電源ボタンが「AIの呼び出しボタン」に変わる

これまで電源ボタンは、画面のオンとオフを切り替えたり、端末を再起動したりするためのボタンでした。設定を変えると、このボタンを長く押したときの動作を「Gemini」に割り当てられます。設定アプリの「システム」→「ジェスチャー」→「電源ボタンを長押し」と進み、項目からGeminiを選ぶだけです。対応するのはAndroid 14以降を搭載した端末で、PixelやGalaxy、Motorola、Xiaomiなど主要なメーカーの機種で利用できます。

呼び出されたGeminiは、アプリを閉じることなく画面の上に小さな帯のように重なって表示されます。地図アプリで行き先を調べている最中でも、写真を見ている最中でも、今の作業を中断せずに質問を投げかけられます。

「この画面について質問」が読み取るもの

Geminiの画面には「この画面について質問」というボタンがあります。これを押すと、そのとき表示されている画像や文章、動画の内容をGeminiが読み取り、質問に答えます。たとえば、英語で書かれたレストランのメニューを開いて「ベジタリアン向けの料理はどれ」と尋ねれば、該当する品を画面の中から探して教えてくれます。届いたメッセージの返信文を考えてもらうこともできます。

この読み取りは、ボタンを押したときだけ行われます。勝手に画面をのぞき見しているわけではありません。また、銀行アプリなど著作権保護の仕組みで守られた画面は読み取れないようになっています。

Googleのアプリをつなぐ拡張機能

Geminiは単体で答えるだけでなく、Googleの他のサービスと連携して動きます。たとえば、次のような使い方ができます。

• Googleフォトの中から「去年の海の写真」を探し出して表示する
• Googleマップで目的地までの経路を調べて案内する
• Gmailの受信トレイを要約し、返信の下書きを作る

これらはあくまで一例で、連携できるアプリは順次広がっています。逆に、家電の操作など従来のGoogleアシスタントが担っていた機能の一部は、移行がまだ途中です。すべての操作が一度に置き換わるわけではない点は、覚えておくと戸惑いが少なくなります。

便利さの裏側にある2つの前提

ひとつめは、インターネット接続です。写真や文章を読み取って考える処理の多くは、端末の中だけで完結せず、Googleのサーバーとやり取りします。電波の届かない場所では、思ったように答えが返ってこないことがあります。

ふたつめは、答えが常に正しいとは限らないことです。Geminiは画面の内容をもっともらしく説明しますが、細かい数字や固有名詞を読み違えることがあります。大切な予定や金額を確認するときは、元の画面や公式の案内で必ず確かめてください。

同じように、iPhoneの側面ボタンから呼び出せるSiriも、AppleのAI機能と組み合わせて進化しています。どちらも「端末のボタンひとつでAIを呼び出す」という方向に動いており、スマートフォンの操作そのものが変わりつつあります。まずは自分の端末で設定を開き、電源ボタンに何が割り当てられているかを確認してみてください。