TOONフォーマットとは?AIのコストを50%削減する新しいデータ形式

toon.jpg

弊社では、業務により様々な生成AIサービスを使い分けています。 皆さんはChatGPTやClaude、GeminiなどのLLM(大規模言語モデル)を業務で活用していますか?

最近、TOON(トゥーン)というデータレイアウトが注目されているのをXで見かけたので調べてみました。

TOON(Token-Oriented Object Notation)フォーマットが注目される理由

分析などの依頼でデータを渡したりするのに、私はJSONを利用したりしていましたが気づかないうちにトークンコストが膨らんでいるというのです。

実は、AIは処理する文字数(トークン)でお金がかかる仕組みになっています。100人分の社員データをAIに分析してもらいたいとき、一般的なJSON形式で送ると、同じ項目名が100回も繰り返されてしまいます。

例えば、JSONならこんな感じです:

JSON形式(89トークン)

{
  "users": [
    { "id": 1, "name": "田中", "role": "管理者" },
    { "id": 2, "name": "佐藤", "role": "一般" },
    { "id": 3, "name": "鈴木", "role": "一般" }
  ]
}

「id」「name」「role」という項目名が、人数分だけ繰り返されていますよね。これ、すごくもったいないんです。

TOONを使えば、約半分の文字数で済みます!

TOONフォーマットの基本形式

TOONは、AI・LLM専用に設計されたデータフォーマットです。

従来のJSONやYAMLと異なり、トークン効率を最優先に設計されており、ChatGPT、Claude、Geminiなどの主要なLLMで利用できます。Excelのようなテーブル形式とYAMLのインデント構造のいいとこ取りをしたような形式で、同じデータをもっとスッキリ表現できます。

JSONとTOONで同じデータを比べてみましょう:

TOON形式(45トークン)

users[3]{id,name,role}:
1,田中,管理者
2,佐藤,一般
3,鈴木,一般

なんと、約50%も文字数が減りました!

TOONのポイント

  • users[3] → 「usersという配列が3つあるよ」という宣言
  • {id,name,role} → 「項目名は一度だけ書けばOK」
  • あとは表形式でデータを並べるだけ!

カッコや引用符も必要最小限なので、見た目もスッキリしています。

TOONフォーマットは、どんな場面で使うべき?

✨TOONフォーマットが効果的なユースケース

TOONは構造化された均一なデータに対して最大の効果を発揮します:

  • 従業員マスタデータ(100人分の氏名、部署、給与、入社日など)
  • ECサイトの商品カタログ(商品ID、商品名、価格、在庫数、カテゴリーなど)
  • 売上トランザクションデータ(日付、金額、担当者、顧客IDなど)
  • システムログデータ(タイムスタンプ、イベント種別、ユーザーID、エラーコードなど)
  • 時系列データ分析(日次・月次のKPI、メトリクスなど)

つまり、データベースのテーブルやCSVファイルのようなデータならTOONが最適です。

❌TOONフォーマットが向いていないケース

逆に、こんな場合は普通のJSONのほうが良いです:

  • データの形がバラバラ(ある行には項目Aがあるけど、別の行にはない)
  • 複雑に入れ子になっている(階層が深い設定ファイルなど)

TOONフォーマット導入のメリット

  • データ構造の最適化: 、従来のJSON形式などに比べて、より効率的かつ正確にデータを取り扱える可能性があります。
  • LLMの処理効率向上: データ形式が最適化されることで、LLMがデータを解析・理解する際の計算コストや処理時間が削減され、結果として全体の効率が向上します。
  • ハルシネーション(誤情報生成)の抑制: 構造化された高品質なデータ形式を用いることで、LLMが学習や推論を行う際の情報源がより明確になり、事実に基づかない情報(ハルシネーション)を生成するリスクを低減できる可能性があります。

このように、新しいデータ形式の開発とそれによる精度向上は、LLMの性能向上に直接的・副次的に寄与すると期待されています。

TOONフォーマットに変換する便利なツールの紹介

実際に試してみたいという方は、自分で書き換えるのは非常に大変です。プログラムで変換するライブラリなどは色々紹介されていますが、ウェブサイトで簡単に変換できるサイトを見つけたので、こちらでぜひ試してみてください。

オンライン変換ツール:JSON to TOON Converter

ブラウザ上で、お手持ちのJSONをTOONに変換してトークン数を比較できます!

公式ドキュメント・リソース

まとめ

ChatGPT、Claude、Gemini等、主要なLLMは全て対応しています。 プロンプトは良くJSON型式などで配布されていますので、ぜひ変換して試してみてください。

お気軽にご依頼・ご相談ください

前へ

【実例付き】Dataverse for Teamsでの失敗から学ぶ!容量・権限の落とし穴とは?