AIに「表の中の数字」や「グラフの読み取り」を頼むと、なぜか外す――その原因の多くは、ページをテキストに変換する段階で表やレイアウトが失われることにあります。PixelRAG は、ドキュメントをスクリーンショット（画像）のまま検索・回答するという発想の、カリフォルニア大学バークレー発のビジュアルRAGです。Claude Code 用プラグイン pixelbrowse として「Claudeに目を与える」使い方も用意されています。
PixelRAG とは
PixelRAG は「Visual Retrieval-Augmented Generation（視覚的なRAG）」。Webページ・PDF・画像といったドキュメントを画像としてレンダリングし、その画像のまま検索するRAGの手法と実装です。バークレーの SkyLab / BAIR / Berkeley NLP による研究プロジェクトで、論文名は「PixelRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation」。Apache-2.0 のオープンソースです（RAGやMCPの基礎はこちら）。
なぜ「画像のまま」検索するのか
従来のテキストRAGは、ページをいったんテキストの断片（チャンク）に分解してから埋め込み・検索します。この「テキスト化」の途中で、表・グラフ・レイアウト・インフォグラフィックといった“見た目に宿る情報”が失われがちです。結果、表のセルにある数値などを聞かれても、読み取りモデルが答えを見つけられないことがあります。
| テキストRAG（従来） | PixelRAG | |
|---|---|---|
| 取り込み方 | HTML/PDFをテキストchunkに分解 | ページを画像tileにレンダリング |
| 失われるもの | 表・グラフ・レイアウト | 視覚構造を保持 |
| 検索対象 | テキストの埋め込み | 画像の埋め込み |
| 読み取り | テキストを読む | VLMが画像から直接読む |
仕組み
PixelRAG を支えるのは2つの要素です。
- テキスト化せず画像にレンダリング：ページを見たままのスクリーンショットtileにする。
- 画像用の埋め込みモデル：
Qwen3-VL-Embedding（スクリーンショットdataで LoRA ファインチューニング）を使い、ページ画像を「視覚的な中身で検索できる」ベクトル空間に埋め込む。索引には FAISS を利用。
質問が来たら、関連する画像tileを検索して取り出し、読み取りモデル（VLM）が画像から答えを読む――という流れです。
3段階の使い方
① まず触る：ホスト版のWikipedia索引（無料・準備不要）
運営側が、Wikipedia 約828万ページ（チャットUIの表記では2,810万のスクショtile）の構築済み索引をホストしています。APIキーもセットアップも不要。画像をクエリにする視覚検索にも対応します。まずは pixelrag.ai/chat で「ビジュアル検索が自分の用途で効くか」を試すのがおすすめです。
② Claude Code から使う：pixelbrowse プラグイン
PixelRAG のレンダラは Claude Code プラグイン「pixelbrowse」として配布されています。Claude が生HTMLを取得する代わりに、pixelshot でページをスクリーンショットして画像として読むため、グラフ・図・表・レイアウトを人間と同じように見られます。MCPサーバーもバックエンドも不要で、スキルがローカルで pixelshot（Playwright/CDP）を呼ぶだけです。
導入は3コマンド。
pip install pixelrag
claude plugin marketplace add StarTrail-org/PixelRAG
claude plugin install pixelbrowse@pixelrag-pluginsあとは「screenshot <URL> して要約して」のように頼むか、対話セッションでスラッシュコマンド /screenshot <URL> を使うだけ。表やグラフのあるページ、ダッシュボード、価格表の比較など、これまで静かに失敗していたタスクが通るようになります（“検証”や役割を絞ったスキル設計の考え方は Claude Codeスキル『9つの型』も参照）。
③ 自前のドキュメントに向ける
財務レポート、論文、スプレッドシート、スライドなど、表やグラフが多い自社ドキュメントを対象にできます。設定ファイルに対象を指定し、レンダリング→埋め込み→索引構築のpipelineを実行し、検索サーバー（pixelrag[serve]、FastAPI）として立てます。pip install pixelrag で pixelshot とコア機能が入り、pixelrag / [index] / [serve] の追加で段階的に拡張できます。
コストと向き・不向き
- 1クエリの単価は割高：画像埋め込み（VL）モデルはテキスト埋め込みより大きく、画像トークンはテキストより高い。
- ただし精度の伸びは明確：表・グラフなど構造のあるコンテンツでの正答率向上は実測で確認されている。エージェント実行ではトークン約3倍削減で、埋め込みコストを一部相殺。
- 一番手軽なのは pixelbrowse：索引構築が不要で、対象URLをスクショして Claude に渡すだけ。「このページを見て」という単発用途なら追加コストはごくわずかで、表・グラフ入りページでの品質改善はすぐ体感できる。
主な情報源
- GitHub: StarTrail-org/PixelRAG（公式リポジトリ）
- PixelRAG ホスト版（Wikipedia視覚検索デモ）
- 論文：PixelRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation（UC Berkeley SkyLab / BAIR / Berkeley NLP）
研究プロジェクト名・モデル名・コマンド・索引規模は公開時点のものです。仕様は更新される可能性があります。収集・要約はAI、公開判断は人。