友人に40ページのレポートを渡して、「10分で間違いがないか見てくれる?」と頼むところを想像してください。
いくつかの誤字や文法ミスは見つかるかもしれません。しかし、3ページ目の数字が31ページ目の同じ数字と一致していないことに気づくでしょうか? おそらく気づかないでしょう。
では同じレポートをチームに渡したらどうでしょう。
数学が得意な人が式を、別の人が実験を、それぞれが全文に目を通し、編集者が全員のメモを集めて違和感のある箇所を再確認します。
そのチームなら、実際に重要な種類の間違いまで含めて、はるかに多くを見つけられます。
Google Deep Review は、その第二のアプローチをソフトウェア化したものです。Google Research のエージェント型 AI システムで、長く複雑な文書をセクションに分割し、それぞれを並行してレビューし、結果を1つのレポートにまとめます。
Google はこれを2026年10月14日に一般公開 し、週2回まで無料でレビューできます。
この記事では、Deep Review の概要、4段階パイプラインの仕組み、Google が公開した結果、そして同様のパターンを自分で構築する方法を説明します。併せて、Gemini 3.1 Pro のガイドや、LangGraph によるマルチエージェントシステム のコースも参照してください。
要点まとめ
Deep Review は文書をセクションに分け、難しいセクションに多くの計算資源を割き、全文を見ながら各セクションを並列でレビューし、最後に結果を統合して事実確認します。
SPOT ベンチマークの数学・計算機科学サブセット(26本、29件の誤り)では、Google の Paper Assistant Tool(PAT)が89.7%の誤りを検出。単体の Gemini 3.1 Pro は55.2%でした。
ユーザーは毎週2回まで無料レビューが可能。対応形式は PDF とプレーンテキストのみ。
精度に関する数値はすべて Google およびオプトインした著者からのもの。公開版を第三者が独立検証した例はまだありません。
対象は文書内の推論であり、コードの実行は行いません。したがってパイプラインのバグで一貫して見える誤った数値が出る可能性は残ります。
Google Deep Review とは?
Google Deep Review は、長く複雑なドキュメントに対してフィードバックと技術的検証を行うエージェント型 AI システムです。文書をセクションに分け、それぞれを並行でチェックし、結果を1つのレポートにまとめます。
当初は研究論文向けに構築されましたが、現在は設計文書、プレゼンテーション、法務・財務文書にも対応するとしています。Google Research ポータルから利用でき、Research@ イベントで発表されました。
先ほどのたとえに戻ると、Deep Review はチームと編集者の役割を担います。文書を一読して第一印象を述べるのではなく、各パートが丁寧に見られるように仕事を分割します。
Google はなぜ Deep Review を作ったのか?
AI によってドキュメントの作成は安価になりましたが、チェックはいまだに時間とコストがかかります。Google はこれを検証のボトルネック と呼び、情報の生成が厳密なレビューの速度を上回っているとしています。
Google によれば、3つの主要 AI 学会(ICLR、NeurIPS、ICML)への合算投稿数は、2023年の約23,000件 から2026年には約74,000件 へと増えました。
同期間に有資格の査読者数が3倍になったわけではありません。(2026年の数字は一部推定で、NeurIPS は予測値です。)
Deep Review はもともとPaper Assistant Tool(PAT) として始まりました。Google は STOC 2026、ICML 2026、NeurIPS 2026、ICLR 2027 の4学会でパイロット運用しました。
著者はオプトインして、締切前に自分の論文への非公開フィードバックを受け取れました。
16,000本超 の論文がパイロットを通過しました。
このフィードバックは公式の査読とは切り離され、採否には影響しませんでした。
公開版では Gemini 4 Argon をサポートし、従来の PAT より強力になったとしています。関連パターンは、エージェント型コーディング環境である Antigravity にも組み込まれています。
Teamwork Deep Document Review Pattern は /teamwork-preview コマンドで実行します。
Deep Review の仕組み
Deep Review は4段階のパイプラインで動作します。文書の分割、セクションごとのリソース配分、並列レビュー、結果の統合です。
大規模言語モデル(LLM)で論文をレビューする一番単純な方法は、全文を貼り付けてフィードバックを求めることです。
これは先ほどのたとえで言う「10分の友人」です。Google はそれが不十分になる理由を3つ挙げています。
難所に到達する前に思考の予算(計算資源)を使い切ってしまう
離れたセクション間の依存関係を見落とす
微妙な主張を精査せずに受け入れてしまう
私たちのレビュー担当チームも、このパイプラインと同じ4ステップで動きます。各段階を見ていきましょう。
ステージ1:文書のセグメンテーション
セグメンターエージェント が、序論、手法、実験、証明などの論理的な単位に文書を分割します。
部分同士は重なってもかまいませんが、全体としては文書のすべてをカバーする必要があります。
たとえ話で言えば、読む前に誰がどの章を担当するかをチームで決める段階です。どの部分も読み飛ばされません。
ステージ2:適応的な計算予算配分
セクションによってチェックの難易度は大きく異なります。
長い数学的証明は、関連研究のような主に文献リスト中心のセクションより、はるかに注意深い検証が必要です。
Deep Review は各部分の密度を見て、難しい箇所により多くの計算資源を割り当てます。
Google の論文では、軽量・中程度・高負荷の思考トラックがあり、証明や理論は高負荷に分類されます。モデルの「思考」レベル設定を使ったことがあれば、それを各セクションごとに適用するイメージです。
ステージ3:並列での徹底検証
次に、レビューワーエージェントが全セクションを同時にチェックします。各エージェントは自分のセクションに集中しますが、文書全体 を参照できます。
たとえば、セクション5がセクション2で導出された結果を使っている場合。
セクション5の担当エージェントは遡って両者が一致するか確認できます。セクション5だけを見ているモデルでは、それを見抜くことはできません。
ステージ4:全体統合とグラウンディング
最後に、統合エージェント が編集者の役割を果たします。
セクションごとのレポートをまとめ、重複コメントを削除し、セクション間の矛盾を探し、確信が持てない論理チェックは再実行します。
また、Google 検索を含む外部ソースに対するグラウンディングチェック を行い、存在しない論文や定理などの幻覚を検出します。
このステップがないと、実在しない問題を自信満々に指摘して、あなたの時間を無駄にする恐れがあります。
Python で Deep Review 風パイプラインを作る方法
Deep Review は、LLM エージェントによるマップ・リデュースパターン です。作業を分割し、各部分を並列でチェックし、結果を統合します。80行未満でシンプル版を作れます。
以下の例では、Google Gen AI SDK と Gemini 3.1 Pro を使用します。
thinking_level 設定で、ステージ2の簡易版を実装します。
from concurrent. futures import ThreadPoolExecutor
from google import genai
from google. genai import types
client = genai. Client( )
MODEL = "gemini-3.1-pro-preview"
def split_into_sections ( text) :
"""Stage 1: split a Markdown document on its headings.
Deep Review uses a segmenter agent for this step."""
sections, current = [ ] , [ ]
for line in text. splitlines( ) :
if line. startswith( "#" ) and current:
sections. append( "\n" . join( current) )
current = [ ]
current. append( line)
if current:
sections. append( "\n" . join( current) )
return sections
def thinking_level_for ( section) :
"""Stage 2: a very rough version of adaptive budgeting. More math, more thinking."""
math_signals = section. count( "$" ) + section. count( "=" )
if math_signals > 20 :
return types. ThinkingLevel. HIGH
return types. ThinkingLevel. LOW
def review_section ( section, full_doc) :
"""Stage 3: review one section while still seeing the full document."""
prompt = (
"You are reviewing one section of a technical document.\n\n"
f"Full document for context:\n { full_doc} \n\n"
f"Section to review:\n { section} \n\n"
"List math errors, logic gaps, and claims not supported by evidence. "
"Quote the exact text for each issue. Say 'No issues' if there are none."
)
response = client. models. generate_content(
model= MODEL,
contents= prompt,
config= types. GenerateContentConfig(
thinking_config= types. ThinkingConfig(
thinking_level= thinking_level_for( section)
)
) ,
)
return response. text
def deep_review_lite ( full_doc) :
sections = split_into_sections( full_doc)
with ThreadPoolExecutor( max_workers= 4 ) as pool:
reports = list ( pool. map ( lambda s: review_section( s, full_doc) , sections) )
merge_prompt = (
"Merge these section reviews into one report with three headings: "
"Major concerns, Minor corrections, Suggestions. "
"Remove duplicates and drop any issue the full document clearly resolves.\n\n"
f"Full document:\n { full_doc} \n\n"
"Section reviews:\n\n" + "\n\n---\n\n" . join( reports)
)
final = client. models. generate_content( model= MODEL, contents= merge_prompt)
return final. text
if __name__ == "__main__" :
with open ( "my_report.md" , encoding= "utf-8" ) as f:
print ( deep_review_lite( f. read( ) ) ) 提供:
すべての行を追えなくても心配はいりません。細かなコードより全体の構造が重要です。4つのステージとの対応は次のとおりです。
split_into_sections() がセグメンター(ステージ1)
thinking_level_for() が各セクションの労力配分を決定(ステージ2)
ThreadPoolExecutor がレビューを並列実行し、各レビューに全文を渡す(ステージ3)
最後の merge_prompt が編集者の役割(ステージ4)
この版は本物よりずっと単純です。セグメンターエージェントもなければ、Google 検索との照合も、不確かな指摘の再確認もありません。
それでも、Google が挙げた3つの問題のうち2つ――思考予算の枯渇とセクション間の接続の見落とし――には対処しています。
同時にコスト面の注意も必要です。
各レビューワー呼び出しに全文を含めるため、セクション数に応じてトークン使用量が増えます。
また、分割は # で始まる行を見出しと見なすため、コードブロック内のコメントも対象になります。手元のファイルで事前にテストしてください。
Google Deep Review の使い方
Deep Review の利用は、数分の初期設定と、エージェントの処理時間の待機で完了します。
初回レビューの設定
図1:Deep Review の実行手順(サインインからフィードバック対応まで)。Google Research の Deep Review ページを基に筆者作成。
Google Research ポータルにアクセスし、Deep Review を開く。
Google アカウントでサインインする。
PDF をアップロードするか、プレーンテキストを貼り付ける。
必要に応じて、チェックしてほしい点を伝えるカスタムコンテキスト を追加し、レビューの深さと思考レベルを設定する。無料レビューでは両方ともMedium 。
レビューを開始する。所要時間は約10〜20分で、長文や数式の多い文書は最大30分かかる場合があります。
知っておきたい制限事項:
毎週2回まで無料レビュー を利用でき、API キーは不要です。
現在の対応形式は PDF とプレーンテキストのみです。
論文と付録のような構成に適したマルチファイル対応は近日提供予定とされています。
レポートの読み方
図2:Google Deep Review レポートの例。対象論文の横に表示。出典:ScriptByAI, Deep Review: Google's AI Reviewer for Papers and Technical Documents 。
レポートは全体的なフィードバック と要約から始まり、続いて詳細なフィードバック が掲載されます。
詳細コメントは重大な懸念、軽微な修正、提案に絞り込みでき、各コメントには対象のセクションまたはページが示されます。
コメントビューや、レビュー全体を Markdown としてコピーできる Copy Report ボタンもあります。ノートに貼り付けて、指摘事項を一つずつ対応するのに便利です。
Google Deep Review の精度
Google 自身の結果では、Deep Review の前身である PAT が、SPOT ベンチマークの数学・計算機科学分野における誤りの89.7% を検出し、単体の Gemini 3.1 Pro は55.2%でした。
この数値は、論文 Towards Automating Scientific Review with Google's Paper Assistant Tool に基づきます。
SPOT は、後に撤回または修正された論文の実際の誤りから作られたベンチマークです。Google は、数式や証明の誤りを含む数学・計算機科学サブセット(26本・29件の誤り)で PAT を評価しました。
PAT の再現率(リコール)は、単発実行のベースラインより約34ポイント高い 結果でした。
ただし注意点が2つあります。
第一に、著者らは自作の採点器を用いており、誤りの論理的に同値な記述を受け入れるため、元の SPOT 結果と数値を直接比較できません。
第二に、論文本文では PAT の基盤モデルを Gemini Deep Think と記述している一方、結果表では 89.7% を Gemini 3.1 Pro を用いた PAT としており一貫しません。いずれにせよ、これは公開版の Deep Review ではありません。
パイロットのフィードバックも好意的でした。
Google は、STOC と ICML のパイロット(合計4,700件超の投稿をレビュー)について著者アンケートを実施。857名(STOC 124、ICML 733)の回答では:
STOC で92.7%、ICML で90.7%が、フィードバックは非常に/概ね有用と回答
STOC では約10人に1人、ICML では3人に1人超(35.4%)が、1時間以上かかる重要な理論的誤りを指摘されたと回答
ICML では31%が、PAT の指摘を受けて新しい実験を実施
最後の数字は特に目を引きます。
締切直前に追加実験を走らせるのは大きな負担なので、フィードバックがそれだけ説得力を持っていたのでしょう。
とはいえ、これらの数字はすべて Google および参加を選んだ著者によるもので、公開版 Deep Review を第三者が独自検証したわけではありません。自分の文書での性能を示す決定的証拠ではなく、有望なシグナルとして扱ってください。
データサイエンティストは Deep Review をどう活用できるか
数学的な証明を書かなくても、Deep Review は十分役に立ちます。
データサイエンティストやアナリストが書くものの多くは、数値に裏付けられた主張の連なりであり、まさに Deep Review が検証する対象です。
活用が考えられる場面をいくつか挙げます:
ドキュメント Deep Review がチェックを支援できる点 分析レポート 各結論がレポート内の数値で裏付けられているか A/B テスト報告 弱い統計的主張、セクション間で変動するサンプルサイズ ML 設計ドキュメント アーキテクチャと評価のセクション間で不一致がないか ノートブックのまとめ 結果の周辺説明(まずノートブックを PDF 出力)
Google は、Deep Review は文書内の推論 をチェックすると説明しています。コードの実行 については触れていないため、パイプラインにバグがあっても、一見一貫した誤った数値が残る可能性があります。
おすすめのワークフローは次のとおりです。
まず全文のドラフトを完成させる。半分だけのレビューでも週2回の枠を1回消費します。
Deep Review を実行し、修正に入る前に重大な懸念は必ず自分で確認する。
実際の問題を修正し、レビュー枠が残っていれば再実行する。
自前のツールに組み込むには、Deep Review API を使ってコードからレビューを実行できます。たとえば継続的インテグレーション(CI)に組み込むことが可能です。
Gemini の API キーを自分で接続するため、利用料は自身の Gemini API アカウントに課金されます。
コストは文書の長さと推論の負荷に依存するため、仕組みを組む前に1本で試してください。
Google Deep Review の制約
最大の制約は、Deep Review は両方向に誤る可能性があることです。
PAT の論文によると、正しい証明を誤りと判定してしまう事例がパイロットで見られ、著者らは引き続き改善に取り組んでいるとしています。
もう一つ注視すべきはグラウンディングです。
STOC の回答者の55.8%、ICML の64.8%が「概ね/十分にグラウンディングされている」と答えるにとどまり、逆に言えば約35〜44%は「概ねグラウンディングされている」とは感じていません。
重大な懸念は、対応前に必ず自分の文書と突き合わせて確認してください。
また、価値判断は行いません。
アイデアの新規性や面白さは評価せず、論文の順位づけもしません。その部分は依然として著者と人間のレビュワーに委ねられます。
そしてプライバシーも重要です。
Google は、アップロードされた文書をモデルの学習・微調整・改善に一切使用しない とする一方、インターフェースで閲覧できるように1年間は保存 するとしています。
NDA 下の資料を扱っている場合は、アップロードをよく検討してください。
そのほかの制約:
オープンウェイトや自前ホスティングの手段がないクローズドなシステムで、Google のモデルに全面的に依存
現時点で対応形式は PDF とプレーンテキストのみ
下書きに頻繁に手を入れる場合、週2回の無料レビューはすぐに消化してしまう
これまでの精度指標はすべてGoogle 発 である
まとめ
Deep Review は「10分の友人」よりも、複数人のレビューチームに近い存在です。最適な使い方は、投稿直前の最終チェックとしてもう一度通し、指摘された重大な懸念を自分で確認していくことだと思います。
実在しない問題を指摘することもありますし、新規性の判断はできず、精度も Google 以外の第三者による検証がまだ必要です。
着目すべきは設計です。作業を分割し、難所に多くの労力を割き、全体を並列でチェックし、結果を統合するという手法は、長文を扱うあらゆるエージェントで有効です。
このようなエージェントの構築に関心がある方は、LangGraph によるマルチエージェントシステム のコースをぜひご覧ください。
友人に40ページのレポートを渡して、「10分で間違いがないか見てくれる?」と頼むところを想像してください。
いくつかの誤字や文法ミスは見つかるかもしれません。しかし、3ページ目の数字が31ページ目の同じ数字と一致していないことに気づくでしょうか? おそらく気づかないでしょう。
では同じレポートをチームに渡したらどうでしょう。
数学が得意な人が式を、別の人が実験を、それぞれが全文に目を通し、編集者が全員のメモを集めて違和感のある箇所を再確認します。
そのチームなら、実際に重要な種類の間違いまで含めて、はるかに多くを見つけられます。
Google Deep Review は、その第二のアプローチをソフトウェア化したものです。Google Research のエージェント型 AI システムで、長く複雑な文書をセクションに分割し、それぞれを並行してレビューし、結果を1つのレポートにまとめます。
Google はこれを2026年10月14日に一般公開し、週2回まで無料でレビューできます。
この記事では、Deep Review の概要、4段階パイプラインの仕組み、Google が公開した結果、そして同様のパターンを自分で構築する方法を説明します。併せて、Gemini 3.1 Pro のガイドや、LangGraph によるマルチエージェントシステムのコースも参照してください。
要点まとめ
Google Deep Review とは?
Google Deep Review は、長く複雑なドキュメントに対してフィードバックと技術的検証を行うエージェント型 AI システムです。文書をセクションに分け、それぞれを並行でチェックし、結果を1つのレポートにまとめます。
当初は研究論文向けに構築されましたが、現在は設計文書、プレゼンテーション、法務・財務文書にも対応するとしています。Google Research ポータルから利用でき、Research@ イベントで発表されました。
先ほどのたとえに戻ると、Deep Review はチームと編集者の役割を担います。文書を一読して第一印象を述べるのではなく、各パートが丁寧に見られるように仕事を分割します。
Google はなぜ Deep Review を作ったのか?
AI によってドキュメントの作成は安価になりましたが、チェックはいまだに時間とコストがかかります。Google はこれを検証のボトルネックと呼び、情報の生成が厳密なレビューの速度を上回っているとしています。
Google によれば、3つの主要 AI 学会(ICLR、NeurIPS、ICML)への合算投稿数は、2023年の約23,000件から2026年には約74,000件へと増えました。
同期間に有資格の査読者数が3倍になったわけではありません。(2026年の数字は一部推定で、NeurIPS は予測値です。)
Paper Assistant Tool から Deep Review へ
Deep Review はもともとPaper Assistant Tool(PAT)として始まりました。Google は STOC 2026、ICML 2026、NeurIPS 2026、ICLR 2027 の4学会でパイロット運用しました。
著者はオプトインして、締切前に自分の論文への非公開フィードバックを受け取れました。
16,000本超の論文がパイロットを通過しました。
このフィードバックは公式の査読とは切り離され、採否には影響しませんでした。
公開版では Gemini 4 Argon をサポートし、従来の PAT より強力になったとしています。関連パターンは、エージェント型コーディング環境である Antigravity にも組み込まれています。
Teamwork Deep Document Review Pattern は
/teamwork-previewコマンドで実行します。Deep Review の仕組み
Deep Review は4段階のパイプラインで動作します。文書の分割、セクションごとのリソース配分、並列レビュー、結果の統合です。
大規模言語モデル(LLM)で論文をレビューする一番単純な方法は、全文を貼り付けてフィードバックを求めることです。
これは先ほどのたとえで言う「10分の友人」です。Google はそれが不十分になる理由を3つ挙げています。
私たちのレビュー担当チームも、このパイプラインと同じ4ステップで動きます。各段階を見ていきましょう。
ステージ1:文書のセグメンテーション
セグメンターエージェントが、序論、手法、実験、証明などの論理的な単位に文書を分割します。
部分同士は重なってもかまいませんが、全体としては文書のすべてをカバーする必要があります。
たとえ話で言えば、読む前に誰がどの章を担当するかをチームで決める段階です。どの部分も読み飛ばされません。
ステージ2:適応的な計算予算配分
セクションによってチェックの難易度は大きく異なります。
長い数学的証明は、関連研究のような主に文献リスト中心のセクションより、はるかに注意深い検証が必要です。
Deep Review は各部分の密度を見て、難しい箇所により多くの計算資源を割り当てます。
Google の論文では、軽量・中程度・高負荷の思考トラックがあり、証明や理論は高負荷に分類されます。モデルの「思考」レベル設定を使ったことがあれば、それを各セクションごとに適用するイメージです。
ステージ3:並列での徹底検証
次に、レビューワーエージェントが全セクションを同時にチェックします。各エージェントは自分のセクションに集中しますが、文書全体を参照できます。
たとえば、セクション5がセクション2で導出された結果を使っている場合。
セクション5の担当エージェントは遡って両者が一致するか確認できます。セクション5だけを見ているモデルでは、それを見抜くことはできません。
ステージ4:全体統合とグラウンディング
最後に、統合エージェントが編集者の役割を果たします。
セクションごとのレポートをまとめ、重複コメントを削除し、セクション間の矛盾を探し、確信が持てない論理チェックは再実行します。
また、Google 検索を含む外部ソースに対するグラウンディングチェックを行い、存在しない論文や定理などの幻覚を検出します。
このステップがないと、実在しない問題を自信満々に指摘して、あなたの時間を無駄にする恐れがあります。
Python で Deep Review 風パイプラインを作る方法
Deep Review は、LLM エージェントによるマップ・リデュースパターンです。作業を分割し、各部分を並列でチェックし、結果を統合します。80行未満でシンプル版を作れます。
以下の例では、Google Gen AI SDK と Gemini 3.1 Pro を使用します。
thinking_level設定で、ステージ2の簡易版を実装します。すべての行を追えなくても心配はいりません。細かなコードより全体の構造が重要です。4つのステージとの対応は次のとおりです。
split_into_sections()がセグメンター(ステージ1)thinking_level_for()が各セクションの労力配分を決定(ステージ2)ThreadPoolExecutorがレビューを並列実行し、各レビューに全文を渡す(ステージ3)merge_promptが編集者の役割(ステージ4)この版は本物よりずっと単純です。セグメンターエージェントもなければ、Google 検索との照合も、不確かな指摘の再確認もありません。
それでも、Google が挙げた3つの問題のうち2つ――思考予算の枯渇とセクション間の接続の見落とし――には対処しています。
同時にコスト面の注意も必要です。
各レビューワー呼び出しに全文を含めるため、セクション数に応じてトークン使用量が増えます。
また、分割は
#で始まる行を見出しと見なすため、コードブロック内のコメントも対象になります。手元のファイルで事前にテストしてください。Google Deep Review の使い方
Deep Review の利用は、数分の初期設定と、エージェントの処理時間の待機で完了します。
初回レビューの設定
図1:Deep Review の実行手順(サインインからフィードバック対応まで)。Google Research の Deep Review ページを基に筆者作成。
知っておきたい制限事項:
レポートの読み方
図2:Google Deep Review レポートの例。対象論文の横に表示。出典:ScriptByAI, Deep Review: Google's AI Reviewer for Papers and Technical Documents。
レポートは全体的なフィードバックと要約から始まり、続いて詳細なフィードバックが掲載されます。
詳細コメントは重大な懸念、軽微な修正、提案に絞り込みでき、各コメントには対象のセクションまたはページが示されます。
コメントビューや、レビュー全体を Markdown としてコピーできる Copy Report ボタンもあります。ノートに貼り付けて、指摘事項を一つずつ対応するのに便利です。
Google Deep Review の精度
Google 自身の結果では、Deep Review の前身である PAT が、SPOT ベンチマークの数学・計算機科学分野における誤りの89.7%を検出し、単体の Gemini 3.1 Pro は55.2%でした。
この数値は、論文 Towards Automating Scientific Review with Google's Paper Assistant Tool に基づきます。
SPOT は、後に撤回または修正された論文の実際の誤りから作られたベンチマークです。Google は、数式や証明の誤りを含む数学・計算機科学サブセット(26本・29件の誤り)で PAT を評価しました。
PAT の再現率(リコール)は、単発実行のベースラインより約34ポイント高い結果でした。
ただし注意点が2つあります。
第一に、著者らは自作の採点器を用いており、誤りの論理的に同値な記述を受け入れるため、元の SPOT 結果と数値を直接比較できません。
第二に、論文本文では PAT の基盤モデルを Gemini Deep Think と記述している一方、結果表では 89.7% を Gemini 3.1 Pro を用いた PAT としており一貫しません。いずれにせよ、これは公開版の Deep Review ではありません。
パイロットのフィードバックも好意的でした。
Google は、STOC と ICML のパイロット(合計4,700件超の投稿をレビュー)について著者アンケートを実施。857名(STOC 124、ICML 733)の回答では:
最後の数字は特に目を引きます。
締切直前に追加実験を走らせるのは大きな負担なので、フィードバックがそれだけ説得力を持っていたのでしょう。
とはいえ、これらの数字はすべて Google および参加を選んだ著者によるもので、公開版 Deep Review を第三者が独自検証したわけではありません。自分の文書での性能を示す決定的証拠ではなく、有望なシグナルとして扱ってください。
データサイエンティストは Deep Review をどう活用できるか
数学的な証明を書かなくても、Deep Review は十分役に立ちます。
データサイエンティストやアナリストが書くものの多くは、数値に裏付けられた主張の連なりであり、まさに Deep Review が検証する対象です。
活用が考えられる場面をいくつか挙げます:
Google は、Deep Review は文書内の推論をチェックすると説明しています。コードの実行については触れていないため、パイプラインにバグがあっても、一見一貫した誤った数値が残る可能性があります。
おすすめのワークフローは次のとおりです。
自前のツールに組み込むには、Deep Review API を使ってコードからレビューを実行できます。たとえば継続的インテグレーション(CI)に組み込むことが可能です。
Gemini の API キーを自分で接続するため、利用料は自身の Gemini API アカウントに課金されます。
コストは文書の長さと推論の負荷に依存するため、仕組みを組む前に1本で試してください。
Google Deep Review の制約
最大の制約は、Deep Review は両方向に誤る可能性があることです。
PAT の論文によると、正しい証明を誤りと判定してしまう事例がパイロットで見られ、著者らは引き続き改善に取り組んでいるとしています。
もう一つ注視すべきはグラウンディングです。
STOC の回答者の55.8%、ICML の64.8%が「概ね/十分にグラウンディングされている」と答えるにとどまり、逆に言えば約35〜44%は「概ねグラウンディングされている」とは感じていません。
重大な懸念は、対応前に必ず自分の文書と突き合わせて確認してください。
また、価値判断は行いません。
アイデアの新規性や面白さは評価せず、論文の順位づけもしません。その部分は依然として著者と人間のレビュワーに委ねられます。
そしてプライバシーも重要です。
Google は、アップロードされた文書をモデルの学習・微調整・改善に一切使用しないとする一方、インターフェースで閲覧できるように1年間は保存するとしています。
NDA 下の資料を扱っている場合は、アップロードをよく検討してください。
そのほかの制約:
まとめ
Deep Review は「10分の友人」よりも、複数人のレビューチームに近い存在です。最適な使い方は、投稿直前の最終チェックとしてもう一度通し、指摘された重大な懸念を自分で確認していくことだと思います。
実在しない問題を指摘することもありますし、新規性の判断はできず、精度も Google 以外の第三者による検証がまだ必要です。
着目すべきは設計です。作業を分割し、難所に多くの労力を割き、全体を並列でチェックし、結果を統合するという手法は、長文を扱うあらゆるエージェントで有効です。
このようなエージェントの構築に関心がある方は、LangGraph によるマルチエージェントシステムのコースをぜひご覧ください。