inkrim AIのしくみを、動く図解で。

人と同じやり方で、画面を見て動かす

AIはどうやってパソコンを操作するのか

人が言葉で頼み、AIは使ってよいか人に聞く。AIは画面の写真を撮り、押す場所を座標で決め、クリックして文字を打ち、また画面を見る。人と同じやり方なので、メモ帳以外のアプリも同じように操作できる。

制作: INKRIM 公開: 長さ: 1分0秒

AIは、画面の写真を見て、押す場所を決め、クリックして、文字を打つ。人がパソコンを使うのと同じやり方だから、メモ帳以外のアプリも同じように操作できる。その流れを、メモ帳を例に、動く図解で追う。

クリックする場所を座標で指定する方式は、OpenAI・Anthropic・Google が開発者向けの資料で公開している。ChatGPT のデスクトップアプリが内部でどう指定しているかは公開されていない。

Windows では、いま表示しているデスクトップの前面で操作する。

この動画を資料や研修で使いたい場合は、お問い合わせください。利用の決まりは利用規約にあります。

ナレーション

  1. 00:00 – 00:13 頼む AIに、言葉でたのみます。メモ帳を開いて、文章を書いて。AIは、メモ帳を使ってよいか、人に聞いてから始めます。
  2. 00:13 – 00:20 見る AIはまず、画面の写真を撮ります。スクリーンショットです。
  3. 00:20 – 00:30 場所を決める 写真を見て、押す場所を決めます。場所は、横と縦の位置の数字、座標で表します。
  4. 00:30 – 00:41 動かす その場所をクリックして、キーボードで文字を打ちます。そして、また画面を見ます。このくり返しです。
  5. 00:41 – 00:59 人と同じ 画面を見て、場所を決めて、クリックして、打つ。人がパソコンを使うときと、同じやり方です。アプリごとの特別な仕組みがなくても動くので、メモ帳以外のアプリも、同じように操作できます。

ほかの動画

会社の情報を、AIに入れてよいか

どこへ送るか、誰の約束で守られるか

会社の情報をAIに入れてよいかは、二つを見て決める。情報をどこへ送るのか。誰の約束(契約)で、学習に使われないのか。会社の情報は会社が契約したAIに入れ、個人のアカウントには入れない。その理由を、動く図解で追う。