やあ、みんな！AIコンシェルジュのケイだよ！
これまでの探求では、AIの脳みその仕組みであるLLMや、AIへの指示出し技術プロンプトエンジニアリング、そしてAIにカンニングさせるRAGについて話してきたね。 だんだんと、AIというパートナーの性格がわかってきたんじゃないかな？
さて、今日は少し現実的で、でも絶対に避けては通れない お金（コスト） の話をしようと思う。
君がもし、ChatGPTの有料版を使ったり、会社のシステムにAIを組み込もうとしてAPI（エーピーアイ）の料金表を見たりしたことがあるなら、きっとこの単語に戸惑ったはずだ。
1000トークンあたり 0.002ドル
……トークン？ え、文字数じゃないの？ 1トークンって何円？ というか、そもそもトークンって何！？
仮想通貨の話かと思って身構えた人もいるかもしれないね。 でも、安心して。 ここで言う トークン は、投資の話じゃない。 AIが言葉を理解し、計算するための 基本単位 のことなんだ。
この トークン という概念を理解していないと、 「あれ？ 日本語で使ってたら、なんか予想より料金が高いぞ？」 「長い文章を入れたら、AIが前の話を忘れちゃった！」 なんていうトラブルに巻き込まれることになる。
今日の探求では、この謎めいた単位 トークン について、 お寿司の皿 や タクシーのメーター に例えて、世界一わかりやすく翻訳していくよ。 これを読めば、AIにかかるコストの仕組みが丸わかりになり、賢く節約しながらAIを使いこなせるようになるはずだ。
さあ、AIのお財布事情を覗きにいこう！
🧐 「トークン」って何？AIが食べる「言葉のひと口サイズ」
まず、結論から言おう。 AIは、僕たち人間のように 言葉（単語） をそのまま読んでいるわけではない。 文章をバラバラに分解して、AIが理解しやすい 記号の塊 に変換してから処理している。
この、 分解された記号の塊ひとつひとつ のことを、 トークン（Token） と呼ぶんだ。
AIは文字を「モグモグ」食べる
イメージしてみてほしい。 AIは、言葉を食べる生き物だ。 でも、人間みたいに文章をスラスラ飲むことはできない。 消化しやすいように、小さく噛み砕いてから飲み込んでいる。
この 「ひと口サイズ」 がトークンだ。
英語の場合、だいたい 1単語 ＝ 1トークン くらいのサイズ感だ。 「Apple」は1トークン。 「Pen」も1トークン。 とてもわかりやすいね。
でも、これが日本語になると、事情が変わってくる。 ひらがな、カタカナ、漢字が入り混じった日本語は、AIにとっては消化しにくい 硬い食べ物 なんだ。 だから、1文字をさらに細かく噛み砕かないと飲み込めないことがある。
結果として、 日本語は文字数よりもトークン数が多くなる 傾向があるんだ。 これが、のちのち料金の話で重要になってくるから、覚えておいてね。
🍣 たとえ話：トークンは「回転寿司の皿」の枚数
トークンと文字数の関係をもっと直感的に理解するために、 回転寿司 に例えてみよう。
君がAIというお寿司屋さんに来て、 言葉 というネタを注文するとする。 お会計は、食べた 皿の枚数（トークン数） で決まるシステムだ。
英語は「タマゴ」や「サーモン」
英語の単語は、AIにとって馴染み深い、食べやすいネタだ。 「apple」という注文は、タマゴ一貫みたいなもの。 パクっと一口で食べられる。 だから、 皿は1枚（1トークン） で済む。
日本語は「大トロ」や「ウニ」？
一方、日本語はどうだろう？ 例えば、「東京」という言葉。 人間から見ればたった2文字だ。 でも、AI（特に海外生まれのAI）にとっては、複雑で噛み砕く必要がある 高級ネタ なんだ。
AIの内部では、こんなふうに分解されることがある。 「東」＋「京」 あるいは、もっと細かく、 データコードA ＋ データコードB ……
結果として、「東京」というたった2文字を食べるために、 皿を2枚も3枚も（2〜3トークン） 重ねなければならないことがある。
文字数で見れば、「apple（5文字）」の方が「東京（2文字）」より多いよね。 でも、お会計（トークン数）で見ると、「東京」の方が高くなる可能性がある。 これが、 文字数とトークン数が一致しない 理由なんだ。
🛠️ なぜ「文字数」じゃダメなの？AIの裏側の事情
「ややこしいから、文字数で計算してくれればいいのに！」 そう思うよね。僕もそう思う。 でも、AIにはそうできない 技術的な事情 があるんだ。
AIは「数字」しか理解できない
前回の記事（LLMの話）を思い出してほしい。 AIは計算機だ。 「こんにちは」という文字の意味を理解しているわけじゃなく、計算しているだけだったよね。
計算するためには、すべての言葉を 数字 に変換しなきゃいけない。 この「言葉」を「数字」に変換する辞書のようなものを、AIは持っている。 これを トークナイザー（Tokenizer） と呼ぶんだ。
この辞書に、「apple ＝ 1054番」「love ＝ 334番」といったリストが登録されている。 AIはこの番号（ID）を見て計算しているんだ。
辞書のサイズには限界がある
この辞書に、世界中のあらゆる単語を登録できればいいんだけど、それは不可能だ。 新語も生まれるし、造語もある。 無限の単語を登録すると、辞書が重くなりすぎてAIが動かなくなってしまう。
そこでAI開発者たちは考えた。 「頻繁に使われる単語はそのまま登録して、珍しい単語や複雑な単語は、細かいパーツに分解して登録しよう！」
- 英語の「the」や「is」は、よく使うから1つのパーツ（1トークン）。
- 複雑な専門用語や、あまり学習していない言語（日本語など）は、細かいパーツに分解して表現する。
この仕組みのせいで、同じ意味の言葉でも、言語によって トークン数（パーツの数） が変わってしまうんだ。 これが、トークンという不思議な単位が生まれた背景だよ。
🚕 料金の仕組み：AI利用料は「タクシーメーター」
さて、ここからがお金の話だ。 AIのAPI（アプリなどに組み込むための窓口）を使うとき、料金は トークン単位 で請求される。 これは、 タクシーのメーター にそっくりだ。
タクシーは、走った距離に応じて料金が上がるよね。 AIも、処理した トークン量 に応じて料金が上がる。 ここでのポイントは、 「行き（入力）」 と 「帰り（出力）」 の両方にお金がかかるということだ。
1. 入力トークン（Input Tokens）＝迎車料金＋行き
まず、君がAIに質問や指示を投げかける。 「この文章を要約して」 「以下の資料を読んで」
このとき入力した文章量に応じて、メーターが回る。 これを 入力トークン と呼ぶ。 タクシーで言えば、君を迎えに行って、目的地を告げるまでの距離だ。 （ちなみに、最近のAI料金モデルでは、この入力トークンの方が少し安く設定されていることが多いよ）
2. 出力トークン（Output Tokens）＝帰り道
次に、AIが答えを書き出す。 「はい、要約しました。内容は……」
このAIが生成した文章量に応じて、さらにメーターが回る。 これを 出力トークン と呼ぶ。 AIが一生懸命考えて生み出した文章だから、入力よりも単価が高いことが多い。
3. 合計請求額
最終的な料金は、 「入力トークン費用 ＋ 出力トークン費用」 の合計になる。
「短い質問をしたのに、AIが長々と語り出して料金が高くなった！」 なんてことはよくある話だ。 タクシーで「近道して」と言ったのに、遠回りされたような気分だね。 だからこそ、プロンプトで「短く答えて」と制約をつけることが、節約術としても重要になってくるんだ。
🇯🇵 日本語の「不都合な真実」：英語よりコスパが悪い？
ここで、私たち日本人にとって少し残念な、でも知っておくべき真実を伝えよう。 現在の多くの生成AI（ChatGPTなど）において、 日本語は英語に比べて、トークン効率が悪い（コスパが悪い） 傾向があるんだ。
同じ内容でも、トークン数は倍になる？
例えば、「Hello, world.」という文章。 これは英語圏のAIにとっては基本中の基本だから、トークン数は少ない。
一方、「こんにちは、世界。」という文章。 意味は同じだけど、AIの辞書（トークナイザー）の中では、細かく分解されてしまうことが多い。
ざっくりとした目安だけど、
- 英語：1単語 ≒ 1トークン
- 日本語：1文字 ≒ 1〜1.5トークン（場合によってはもっと）
同じ内容を伝えるのに、日本語だと英語の 1.5倍〜2倍 くらいのトークンを消費してしまうことがあるんだ。 つまり、同じ仕事をお願いしても、日本人はアメリカ人よりも 高い料金（多くのお皿） を払わなきゃいけないことになる。
これを「AI時代の言語格差」なんて呼ぶ人もいる。 でも、最近はGoogleのGeminiや、日本製のLLMなど、日本語の処理能力を高めた（日本語を少ないトークンで扱える）AIも増えてきているから、将来的には解消されていくはずだよ。
🎒 「コンテキストウィンドウ」って何？AIの記憶容量
トークンという単位は、お金だけじゃなく、 AIの記憶力 にも関係している。 AIのスペック表を見ると、こんな数字が書いてあることがある。
「コンテキストウィンドウ：128kトークン」
これは、 「一度の会話でAIが覚えていられるトークン量の上限」 のことだ。 例えるなら、AIが背負っている リュックサックの大きさ だね。
会話が長くなると、昔のことは忘れる
AIは、チャットのやり取りをすべてリュックサックに詰め込みながら会話している。 「さっきの話だけど……」と君が言ったとき、AIはリュックの中身（過去のトークン）を確認して、「ああ、あの話ですね」と答える。
でも、リュックには容量（コンテキストウィンドウ）がある。 会話が長く続いて、トークン数が上限を超えてしまうとどうなるか？
AIは、 一番古い記憶から順に捨てていく（忘れていく） んだ。 リュックから古い荷物をこぼれ落とさないと、新しい荷物が入らないからね。
「あれ？ さっき設定した条件、無視されてる？」 と感じたら、それは会話が長すぎて、最初の指示（プロンプト）がリュックから落ちてしまった可能性が高い。
128kトークンってどれくらい？
最近のAIは、このリュックがどんどん巨大化している。 「128k」というのは「12万8000トークン」のことだ。 日本語に換算すると、だいたい 文庫本1冊〜2冊分 くらいの文字量になる。
これだけあれば、長い会議の議事録も、分厚いマニュアルも、丸ごとリュックに入れて質問することができる。 昔（ChatGPTの初期）は、リュックがとても小さくて（4000トークンくらい）、すぐに話を忘れてしまったけれど、今はかなり長い文脈を理解できるようになったんだ。 これは、RAG（カンニング）をするときにも、一度にたくさんの資料を渡せることを意味するから、すごく重要な進化なんだよ。
💰 賢く使うための「トークン節約術」3選
トークンの仕組みがわかったところで、明日から使える コスト削減＆精度アップ のテクニックを3つ紹介しよう。
1. 指示（プロンプト）は簡潔に
「丁寧な言葉で書こう」と思って、無駄に長い挨拶や前置きを入れていないかな？ 「お忙しいところ恐縮ですが、もしよろしければ……」 人間相手なら大事な気遣いだけど、AI相手だと 無駄にメーターを回している だけだ。
AIへの指示は、箇条書きで、要点を絞って書く。 これが、お財布にも優しく、AIにとっても理解しやすい（誤解が減る）最高のコミュニケーションなんだ。
2. 「英語で考えて」と指示する（上級者向け）
もし君が英語を読めるなら、あるいは翻訳ツールを併用するなら、 「英語で思考して、英語で出力して」 と指示するのも一つの手だ。 内部処理を英語にさせることで、消費トークンを抑えられる場合がある。 （ただし、翻訳の手間がかかるから、大量処理をするシステム開発者向けのテクニックだね）
3. 会話の履歴をリセットする
チャットが長くなってきたら、一度 「新しいチャット」 を立ち上げよう。 リュックサックの中身を空っぽにするんだ。 過去の余計な文脈（トークン）を引きずらないことで、AIの頭がクリアになり、回答の精度も上がるし、入力トークン数も減らせる。 「話が噛み合わなくなってきたな」と思ったら、リセットするのが一番の解決策だよ。
🚪 まとめ：トークンを知れば、AIはもっと安くなる
今日の探求では、AI世界の通貨 トークン について翻訳してきた。 難しそうな概念だったけど、お寿司やタクシーに例えると、意外とシンプルだったでしょ？
- トークンは、AIが言葉を食べる ひと口サイズ のこと。
- 日本語は英語よりもひと口が小さくなりやすく、 皿の枚数（コスト） が増えがち。
- 料金は タクシーメーター のように、入力と出力の合計で決まる。
- コンテキストウィンドウは、AIが背負える リュックの大きさ（記憶容量） 。
この仕組みを知っていれば、 「なぜこのAPIは高いのか？」 「なぜAIは話を忘れるのか？」 という疑問が解け、トラブルを未然に防ぐことができる。
AIは魔法の箱じゃない。 ガソリン（トークン）を入れて動く、高性能なエンジンだ。 燃費を意識して運転できるドライバーこそが、AI時代を賢く生き抜くプロフェッショナルなんだよ。
さて、AIは言葉（テキスト）をトークンとして理解することはわかった。 でも最近のAIは、言葉だけじゃなく、 画像 や 音声 まで理解できるようになったよね。 「この写真に写ってる花は何？」って聞くと答えてくれるアレだ。
次回は、このAIの進化形 マルチモーダル について、 「目と耳を手に入れたAI」 をテーマに翻訳していくよ。 テキストしか読めなかったガリ勉君が、世界を見始めたとき、何が起きるのか？ ワクワクする未来の話をしよう！
それじゃあ、また次の探求で会おう！ トークンの無駄遣いに気をつけて、良いAIライフを！
関連記事はこちら！
僕と、もっと深く「探求」しないかい？
こんにちは！探求者のケイです。 君と、もっと密に、もっとリアルタイムに繋がるための、僕の「秘密基地」…それが、公式LINEなんだ。
この秘密基地では、
- 毎朝届く、世界のAI最新ニュース
- 週末限定、僕の考察付き「週刊AIトレンドレポート」
といった、探求の最前線の情報を、仲間である君にだけ、こっそり共有しているよ。
君も、僕の探求仲間になって、一緒に未来を覗きに行かないかい？ 下のボタンから、秘密基地の扉を開けてみてね！
コメント