gekal-study-ai/ai
概要ロードマップGitHub
roadmap — 6 phases

学習ロードマップ

6 つのフェーズに分けています。各フェーズには成果物と完了条件があり、 条件を満たしたら次へ進みます。時期はあくまで目安です。

ROADMAP.md（GitHub）
01

全体

四半期ごとに見直す

PHASE 00
NOW

基礎の言語化

既に手を動かして知っていることを、説明できる形にする。

period2026 Q3

new repo—

学ぶこと

  • –

    Transformer の構造（Attention、位置エンコーディング、Encoder / Decoder の役割分担）

  • –

    Diffusion モデルの原理 — 毎回指定している steps / cfg / sampler が何をしているのか

  • –

    VLM の仕組み — OCR が「文字認識」ではなく「画像を条件にした生成」である点

  • –

    評価指標の基礎（精度・再現率・F1、損失関数、交差検証）

成果物

  • –

    notes/transformer.md — 図付きで自分の言葉で説明

  • –

    notes/diffusion.md — ステップ数・CFG スケールと実際の生成結果を並べた検証つき

  • –

    notes/evaluation-basics.md — 指標の使い分け

完了条件

  • workflows/api_vegetable.json の各パラメータについて、なぜその値かを説明できる

  • Attention の計算を数式ではなく図と言葉で説明したノートがある

  • 分類タスクで「精度が高いのに使い物にならない」ケースを具体例で説明できる

PHASE 01

生成物の評価

「動いた」から「良し悪しを判定できる」へ。最大の弱点を埋める。

period2026 Q3–Q4

new repoimage-eval-lab

学ぶこと

  • –

    画像生成の定量評価（CLIP Score、美的スコア、参照画像との類似度）

  • –

    OCR の精度評価（文字誤り率 CER、レイアウト再現の評価）

  • –

    人手評価の設計 — 評価基準の作り方、A/B 比較、評価者間の一致度

  • –

    再現性の担保（seed 固定、パラメータのバージョン管理）

成果物

  • –

    image-eval-lab — 生成画像を入力にスコア表と比較グリッドを出す

  • –

    dots-ocr-demo の再開 — 正解データを用意して CER を測る

  • –

    各リポジトリの README に「評価結果」セクションを追加

完了条件

  • 生成設定を 3 パターン以上比較し、数値と目視の両方で優劣を示した表がある

  • dots-ocr-demo に 10 枚以上のテスト文書と、その CER 実測値がある

  • seed とパラメータを指定すれば同じ画像が再現できることをスクリプトで担保している

PHASE 02

LLM アプリ基礎

エージェントを作る前に、その土台となる要素を単体で押さえる。

period2026 Q4

new reporag-playground

学ぶこと

  • –

    プロンプト設計とコンテキスト設計の違い — 何を渡すかの方が、どう書くかより効く

  • –

    構造化出力（JSON Schema、Tool 定義による型の強制）

  • –

    埋め込みとベクトル検索 — チャンク分割、検索の失敗パターン

  • –

    RAG の全体構成と評価 — 検索の再現率と生成の忠実性を分けて測る

  • –

    LLM-as-a-Judge の落とし穴、コストとレイテンシの見積もり

成果物

  • –

    rag-playground — OCR 結果を題材に、読み取りから回答生成までを一本の線で繋ぐ

  • –

    notes/rag-failure-modes.md — うまくいかなかったケースの記録

完了条件

  • OCR → チャンク分割 → 埋め込み → 検索 → 回答生成が 1 コマンドで通る

  • 検索段階と生成段階のどちらが原因で誤答したか切り分けられる

  • チャンクサイズを 3 種類変えた場合の精度比較が記録されている

PHASE 03

エージェント化

単発の応答から、道具を使って多段で動く仕組みへ。

period2027 Q1

new repomcp-servers

学ぶこと

  • –

    Tool use の設計 — ツールの粒度、説明文の書き方、失敗時の扱い

  • –

    MCP（Model Context Protocol）でのサーバー自作

  • –

    Skill / サブエージェントによる責務分割

  • –

    エージェントの評価 — 成功率、実行ステップ数、コスト

  • –

    権限設計と安全側の設計

成果物

  • –

    mcp-servers — 自作 MCP サーバー

  • –

    codex-skills の拡充 — スキルの書き方の型を README にまとめる

  • –

    notes/agent-design.md — ツール分割の判断基準

完了条件

  • 自作 MCP サーバーが複数のクライアントから利用できている

  • 「画像を生成し、評価し、基準を満たすまで再生成する」ループが動く

  • スキルの成功率を 10 回試行で測り、失敗パターンを分類してある

PHASE 04

推論基盤・運用

ローカルの Mac から出て、性能とコストを扱えるようにする。

period2027 Q1–Q2

new repoinference-bench

学ぶこと

  • –

    量子化（GGUF、AWQ、GPTQ）と精度・速度・メモリのトレードオフ

  • –

    推論サーバー（vLLM、Ollama、llama.cpp）の使い分け

  • –

    GPU 環境 — クラウド GPU の調達、VRAM の見積もり、バッチ処理

  • –

    監視とログ — トークン消費、レイテンシ分布、失敗率

  • –

    CI での評価自動化

成果物

  • –

    inference-bench — 同一モデルを構成違いで動かしたベンチマーク

  • –

    comfyui-vegetable-generator の GPU 対応を実際に動かす

  • –

    Organization 共通の GitHub Actions ワークフローを整備

完了条件

  • 同一タスクを CPU / GPU / 量子化ありなしで比較した実測表がある

  • クラウド GPU 上で 1 つのワークロードを完走させ、費用を記録してある

  • いずれかのリポジトリで評価が CI により自動実行されている

PHASE 05

モデルを作る側へ

ここまでは既存モデルの利用者。ここからモデル自体に手を入れる。

period2027 Q2 以降

new repofinetune-lab

学ぶこと

  • –

    LoRA / QLoRA によるファインチューニング

  • –

    データセット構築 — 収集、クリーニング、アノテーション、分割

  • –

    学習の観測（損失曲線、過学習の検知、早期終了）

  • –

    画像生成側の LoRA 学習と ControlNet

  • –

    蒸留・小型化

成果物

  • –

    finetune-lab — 野菜 EC 画像のスタイルを固定する LoRA など

  • –

    notes/dataset-building.md — データ整備の勘所

完了条件

  • 自作データセットで LoRA を学習させ、ベースモデルとの差を Phase 1 の評価基盤で数値比較できている

  • 学習が失敗した際に、データ・ハイパーパラメータ・実装のどこが原因か切り分けられる

  • 学習コストと得られた改善量を対比して記録してある