이 글에서는 Deep Review가 무엇인지, 4단계 파이프라인이 어떻게 작동하는지, Google이 공개한 결과는 무엇을 보여주는지, 그리고 같은 패턴을 직접 만드는 방법을 살펴봅니다. 또한 Gemini 3.1 Pro 가이드와 LangGraph로 구현하는 멀티 에이전트 시스템 강의도 참고하실 수 있습니다.
핵심 요약
Deep Review는 문서를 섹션으로 나누고, 어려운 섹션에 더 많은 연산을 배정하며, 전체 문서를 보면서 각 섹션을 병렬로 검토한 뒤 결과를 병합하고 사실 검증합니다.
수학·컴퓨터 과학 분야의 SPOT 벤치마크 일부(논문 26편, 오류 29건)에서 Google의 Paper Assistant Tool(PAT)은 단독으로 사용한 Gemini 3.1 Pro(55.2%) 대비 89.7%의 오류를 적발했습니다.
모든 사용자는 매주 2회의 무료 리뷰를 받을 수 있습니다. 입력 형식은 PDF와 일반 텍스트만 지원합니다.
정확도 수치는 모두 Google과 참여에 동의한 저자들로부터 나온 것입니다. 공개 버전에 대한 독립적인 테스트는 아직 없습니다.
문서의 추론을 점검하지 코드 실행을 하지는 않으므로, 파이프라인 버그로 인한 잘못된 수치가 일관돼 보일 수도 있습니다.
Google Deep Review란?
Google Deep Review는 길고 복잡한 문서에 대해 피드백과 기술적 검증을 제공하는 에이전트형 AI 시스템입니다. 문서를 섹션으로 나눈 뒤 각 섹션을 병렬로 점검하고, 결과를 하나의 보고서로 통합합니다.
Deep Review는 처음에는 연구 논문을 위해 만들어졌습니다. 지금은 설계 문서, 프레젠테이션, 법률·재무 문서에도 적용된다고 합니다. Google Research Portal에서 사용할 수 있으며 Research@ 행사에서 발표되었습니다.
앞선 비유로 돌아가면, Deep Review는 팀과 에디터의 역할을 합친 것입니다. 문서를 한 번 훑고 첫인상만 전하는 대신, 각 부분이 꼼꼼히 검토되도록 일을 분배합니다.
Google이 Deep Review를 만든 이유
AI 덕분에 문서를 작성하는 일은 쉬워졌지만, 검토는 여전히 느리고 비용이 듭니다. Google은 이를 검증 병목이라고 부릅니다. 정보가 생성되는 속도가 엄정한 검토 속도를 앞지른다는 뜻입니다.
Google에 따르면, 3대 AI 학회(ICLR, NeurIPS, ICML)에 접수된 논문 수는 2023년 약 23,000편에서 2026년 약 74,000편으로 늘었습니다.
같은 기간에 자격을 갖춘 심사위원 수가 세 배로 늘지는 않았습니다. (Google의 논문에서 NeurIPS 수치는 추정치이므로 2026년 수는 부분적으로 예측입니다.)
Paper Assistant Tool에서 Deep Review로
Deep Review는 처음에 Paper Assistant Tool(PAT)로 시작했습니다. STOC 2026, ICML 2026, NeurIPS 2026, ICLR 2027의 4개 컴퓨터 과학 학회에서 파일럿을 진행했습니다.
from concurrent.futures import ThreadPoolExecutor
from google import genai
from google.genai import types
client = genai.Client()# reads GEMINI_API_KEY from your environment
MODEL ="gemini-3.1-pro-preview"defsplit_into_sections(text):"""Stage 1: split a Markdown document on its headings.
Deep Review uses a segmenter agent for this step."""
sections, current =[],[]for line in text.splitlines():if line.startswith("#")and current:
sections.append("\n".join(current))
current =[]
current.append(line)if current:
sections.append("\n".join(current))return sections
defthinking_level_for(section):"""Stage 2: a very rough version of adaptive budgeting. More math, more thinking."""
math_signals = section.count("$")+ section.count("=")if math_signals >20:return types.ThinkingLevel.HIGH
return types.ThinkingLevel.LOW
defreview_section(section, full_doc):"""Stage 3: review one section while still seeing the full document."""
prompt =("You are reviewing one section of a technical document.\n\n"f"Full document for context:\n{full_doc}\n\n"f"Section to review:\n{section}\n\n""List math errors, logic gaps, and claims not supported by evidence. ""Quote the exact text for each issue. Say 'No issues' if there are none.")
response = client.models.generate_content(
model=MODEL,
contents=prompt,
config=types.GenerateContentConfig(
thinking_config=types.ThinkingConfig(
thinking_level=thinking_level_for(section))),)return response.text
defdeep_review_lite(full_doc):
sections = split_into_sections(full_doc)# Map step: review every section in parallelwith ThreadPoolExecutor(max_workers=4)as pool:
reports =list(pool.map(lambda s: review_section(s, full_doc), sections))# Stage 4 (reduce step): merge, remove duplicates, drop issues the document resolves
merge_prompt =("Merge these section reviews into one report with three headings: ""Major concerns, Minor corrections, Suggestions. ""Remove duplicates and drop any issue the full document clearly resolves.\n\n"f"Full document:\n{full_doc}\n\n""Section reviews:\n\n"+"\n\n---\n\n".join(reports))
final = client.models.generate_content(model=MODEL, contents=merge_prompt)return final.text
if __name__ =="__main__":withopen("my_report.md", encoding="utf-8")as f:print(deep_review_lite(f.read()))제공
모든 줄을 이해하지 못해도 괜찮습니다. 핵심은 전체 구조입니다. 4단계와 이렇게 대응됩니다.
split_into_sections()가 세그멘터(1단계)입니다.
thinking_level_for()가 섹션별 노력 수준을 결정합니다(2단계).
ThreadPoolExecutor가 리뷰어를 병렬로 실행하며, 각 리뷰어는 전체 문서를 참조합니다(3단계).
마지막의 merge_prompt가 에디터 역할을 합니다(4단계).
이 버전은 실제 시스템보다 훨씬 단순합니다. 세그멘터 에이전트도, Google 검색 기반 점검도, 불확실한 결과에 대한 재검토도 없습니다.
그래도 Google이 지적한 문제 3가지 중 2가지는 다룹니다. 즉, 사고 예산 소진과 섹션 간 연결성 누락 문제입니다.
주의할 점도 있습니다.
각 리뷰어 호출에 전체 문서가 포함되므로, 섹션 수가 늘수록 토큰 사용량이 증가합니다.
또한 분할기는 #로 시작하는 줄을 모두 제목으로 간주하므로, 코드 블록 내부의 주석까지 포함될 수 있습니다. 먼저 자체 파일에서 테스트해 보세요.
Google Deep Review 사용 방법
Deep Review를 사용하려면 몇 분의 설정 시간이 필요하고, 이후 에이전트가 작업하는 동안 대기하면 됩니다.
첫 리뷰 설정하기
그림 1: 로그인부터 피드백 반영까지 Deep Review 실행 단계. Google Research의 Deep Review 페이지를 바탕으로 작성자의 다이어그램.
Google Research Portal로 이동해 Deep Review를 엽니다.
Google 계정으로 로그인합니다.
PDF를 업로드하거나 일반 텍스트를 붙여넣습니다.
선택적으로 사용자 지정 컨텍스트를 추가해 무엇을 점검할지 알려주고, 리뷰 심도와 사고 수준을 설정합니다. 무료 리뷰는 둘 다 중간(Medium)을 사용합니다.
리뷰를 시작합니다. Google에 따르면 약 10~20분이 소요되며, 긴 문서는 최대 30분까지 걸릴 수 있습니다.
SPOT은 이후 철회되거나 정정된 논문의 실제 오류로 구성된 벤치마크입니다. Google은 수식과 증명 오류가 있는 수학·컴퓨터 과학 부분(논문 26편, 오류 29건)에서 PAT를 평가했습니다.
PAT의 재현율은 단일 호출 기준선 대비 약 34%p 높았습니다.
단, 유의할 점이 두 가지 있습니다.
첫째, 저자들은 논리적으로 동등한 오류 설명을 허용하는 자체 채점기를 사용했으므로, 원래 SPOT 결과와 수치를 직접 비교할 수 없습니다.
둘째, 논문 내 모델 표기는 일관되지 않습니다. 본문에서는 PAT가 Gemini Deep Think로 구동된다고 설명하면서, 결과 표에서는 89.7% 수치를 Gemini 3.1 Pro 기반 PAT로 라벨링합니다. 어느 쪽이든, 이는 공개된 Deep Review와는 다릅니다.
파일럿 피드백도 긍정적입니다.
Google은 STOC와 ICML 파일럿에서 총 4,700편 이상의 제출작을 리뷰했고, 응답자 857명(STOC 124명, ICML 733명)을 대상으로 설문했습니다.
STOC 응답자의 92.7%, ICML 응답자의 90.7%가 피드백이 매우 유용하거나 대체로 유용하다고 답변
STOC 저자 10명 중 약 1명, ICML 저자의 3분의 1 이상(35.4%)은 한 시간을 넘겨 수정해야 하는 중대한 이론 오류를 발견했다고 응답
ICML 응답자의 31%는 PAT의 피드백으로 새 실험을 수행했다고 응답
마지막 수치는 특히 눈에 띕니다.
마감 직전에 추가 실험을 돌리는 일은 쉽지 않으니, 피드백이 그만큼 설득력 있었다는 뜻입니다.
그럼에도 불구하고, 이 모든 수치는 Google과 참여에 동의한 저자들에게서 나온 것이며, 공개된 Deep Review에 대한 독립적 테스트는 아직 없습니다. 따라서 개인 문서에 대한 성능의 “증거”라기보다는 “유망한 신호”로 보시기 바랍니다.
데이터 사이언티스트는 Deep Review를 어떻게 활용할 수 있나요?
수학적 증명을 쓰지 않아도 Deep Review는 충분히 유용합니다.
데이터 사이언티스트와 애널리스트가 작성하는 문서의 많은 부분은 숫자로 뒷받침된 일련의 주장이며, 이는 Deep Review가 점검하기에 적합한 대상입니다.
다음과 같은 경우에 특히 도움이 됩니다.
문서
Deep Review가 점검을 도울 수 있는 부분
분석 보고서
각 결론이 보고서 내 숫자에 의해 뒷받침되는지
A/B 테스트 결과 보고
약한 통계 주장, 섹션 사이에서 변하는 표본 크기
ML 설계 문서
아키텍처 섹션과 평가 섹션의 불일치 지점
노트북 정리본
결과를 둘러싼 설명(먼저 노트북을 PDF로 내보내세요)
Google은 Deep Review가 문서의 추론을 점검한다고 설명합니다. 코드 실행에 대해서는 언급이 없으므로, 파이프라인 버그로 잘못된 숫자가 나왔더라도 겉보기에는 완벽히 일관돼 보일 수 있습니다.
권장 워크플로는 다음과 같습니다.
먼저 전체 초안을 끝내세요. 문서의 절반만 리뷰해도 주당 2회의 기회 중 한 번을 소모합니다.
Deep Review를 실행하고, 변경하기 전에 주요 우려 사항을 직접 모두 확인하세요.
실제 문제로 확인된 부분을 수정하고, 리뷰가 남아 있다면 다시 실행하세요.
자체 도구 내에서 사용하려면, Deep Review API를 통해 코드에서 리뷰를 실행할 수 있습니다. 예를 들어 CI 파이프라인의 일부로 통합할 수 있습니다.
자신의 Gemini API 키를 연결하며, 사용량은 Gemini API 계정으로 과금됩니다.
비용은 문서 길이와 추론 노력에 따라 달라지므로, 무언가를 구축하기 전에 한 문서로 먼저 테스트해 보세요.
Google Deep Review의 한계
가장 큰 한계는 양방향으로 틀릴 수 있다는 점입니다.
PAT 논문에 따르면, 파일럿에서는 도구의 추론 실패로 올바른 증명을 틀렸다고 잘못 지적하는 사례가 발견되었고, 여전히 개선 중이라고 합니다.
그라운딩 지표도 주시해야 합니다.
STOC 응답자의 55.8%, ICML 응답자의 64.8%만이 피드백이 대체로 또는 완전히 그라운딩되어 있다고 답했으므로, 약 35%~44%는 대체로 그라운딩되어 있다고 보지 않았습니다.
조치하기 전에 모든 주요 우려 사항을 문서와 대조해 확인하세요.
또한 판단을 대신해 주지 않습니다.
아이디어가 새로운지 흥미로운지, 혹은 논문을 순위 매기는 일은 하지 않습니다. 그 부분은 여전히 여러분과 리뷰어의 몫입니다.
프라이버시 문제도 있습니다.
Google은 업로드된 문서를 모델 학습, 미세조정, 개선에 절대 사용하지 않는다고 밝히지만, 인터페이스에서 볼 수 있도록 1년간 보관합니다.
NDA가 걸린 작업이라면 업로드 전에 한 번 더 고민해 보시기 바랍니다.
기타 한계:
오픈 웨이트가 없고 자체 호스팅도 불가한 폐쇄형 시스템이므로, 전적으로 Google의 모델에 의존합니다.
현재는 PDF와 일반 텍스트만 지원합니다.
주당 2회의 무료 리뷰는 초안에 변경이 많을 경우 금방 소진됩니다.
지금까지의 정확도 수치는 모두 Google에서 나왔습니다.
마무리
Deep Review는 “10분 있는 친구”라기보다 “리뷰어 팀”에 가깝습니다. 제출 전 초안을 한 번 더 훑는 용도로 활용하되, 주요 우려 사항은 직접 확인하는 방식이 가장 좋다고 생각합니다.
실제가 아닌 문제를 지적하기도 하고, 작업의 독창성 판단은 못 하며, 정확도 역시 Google 외부의 검증이 더 필요합니다.
다만 설계 철학은 배울 만합니다. 작업을 분할하고, 어려운 부분에 더 많은 노력을 들이며, 전체를 병렬로 점검하고, 결과를 병합하는 방식은 긴 문서를 다루는 거의 모든 에이전트에 유효합니다.
예. 모두 매주 2회의 무료 리뷰를 받을 수 있습니다. 더 필요하면 본인의 Gemini API 키를 연결하세요.
Deep Review는 어떤 파일 형식을 지원하나요?⌄
현재로서는 PDF와 일반 텍스트만 지원합니다. 여러 파일 지원은 곧 제공될 예정이라고 합니다.
Google이 내 문서로 모델을 학습하나요?⌄
아니요. Google은 업로드된 문서를 모델을 학습, 미세조정 또는 개선하는 데 절대 사용하지 않는다고 밝히고 있습니다. 다만 Deep Review 인터페이스에서 볼 수 있도록 1년간 보관됩니다.
Deep Review API가 있나요?⌄
예. Deep Review API는 사용자의 Gemini API 키로 동작하므로, CI 파이프라인 등에서 코드로 리뷰를 실행할 수 있습니다.
Deep Review는 얼마나 걸리나요?⌄
Google은 문서당 약 10~20분이라고 합니다. 수학이 많은 긴 문서는 더 많은 연산을 배정받아 최대 30분이 걸릴 수 있습니다.
Google Deep Review의 정확도는 어느 정도인가요?⌄
SPOT 벤치마크의 수학·컴퓨터 과학 하위셋에서, Google의 전신 도구 PAT는 단독의 Gemini 3.1 Pro 대비 89.7%의 오류를 적발했고, Gemini 3.1 Pro만은 55.2%였습니다. 이 결과는 Google에서 나온 것이며, 공개된 Deep Review에 대해 독립적으로 검증되지는 않았습니다.
친구에게 40쪽짜리 보고서를 건네며 “10분 안에 틀린 부분 좀 봐줄래요?”라고 부탁한다고 상상해 보세요.
아마 몇 개의 오타와 문법 오류는 찾을 겁니다. 하지만 3쪽의 숫자가 31쪽의 같은 숫자와 일치하지 않는다는 사실까지 알아챌까요? 그럴 가능성은 낮습니다.
이제 같은 보고서를 팀에 맡겨 보세요.
수학에 강한 사람은 수식을, 다른 사람은 실험을 점검하고, 모두가 전체 보고서를 함께 보면서, 에디터가 모든 메모를 취합해 수상한 부분을 재확인합니다.
그 팀은 실제로 중요한 실수까지 훨씬 더 많이 찾아낼 것입니다.
Google Deep Review는 그 두 번째 접근을 소프트웨어로 구현한 것입니다. Google Research의 에이전트형 AI 시스템으로, 긴 복잡한 문서를 섹션으로 나눠 병렬로 검토하고, 결과를 하나의 보고서로 합칩니다.
Google은 2026년 10월 14일 일반에 공개했으며, 주 2회 무료 검토를 제공합니다.
이 글에서는 Deep Review가 무엇인지, 4단계 파이프라인이 어떻게 작동하는지, Google이 공개한 결과는 무엇을 보여주는지, 그리고 같은 패턴을 직접 만드는 방법을 살펴봅니다. 또한 Gemini 3.1 Pro 가이드와 LangGraph로 구현하는 멀티 에이전트 시스템 강의도 참고하실 수 있습니다.
핵심 요약
Google Deep Review란?
Google Deep Review는 길고 복잡한 문서에 대해 피드백과 기술적 검증을 제공하는 에이전트형 AI 시스템입니다. 문서를 섹션으로 나눈 뒤 각 섹션을 병렬로 점검하고, 결과를 하나의 보고서로 통합합니다.
Deep Review는 처음에는 연구 논문을 위해 만들어졌습니다. 지금은 설계 문서, 프레젠테이션, 법률·재무 문서에도 적용된다고 합니다. Google Research Portal에서 사용할 수 있으며 Research@ 행사에서 발표되었습니다.
앞선 비유로 돌아가면, Deep Review는 팀과 에디터의 역할을 합친 것입니다. 문서를 한 번 훑고 첫인상만 전하는 대신, 각 부분이 꼼꼼히 검토되도록 일을 분배합니다.
Google이 Deep Review를 만든 이유
AI 덕분에 문서를 작성하는 일은 쉬워졌지만, 검토는 여전히 느리고 비용이 듭니다. Google은 이를 검증 병목이라고 부릅니다. 정보가 생성되는 속도가 엄정한 검토 속도를 앞지른다는 뜻입니다.
Google에 따르면, 3대 AI 학회(ICLR, NeurIPS, ICML)에 접수된 논문 수는 2023년 약 23,000편에서 2026년 약 74,000편으로 늘었습니다.
같은 기간에 자격을 갖춘 심사위원 수가 세 배로 늘지는 않았습니다. (Google의 논문에서 NeurIPS 수치는 추정치이므로 2026년 수는 부분적으로 예측입니다.)
Paper Assistant Tool에서 Deep Review로
Deep Review는 처음에 Paper Assistant Tool(PAT)로 시작했습니다. STOC 2026, ICML 2026, NeurIPS 2026, ICLR 2027의 4개 컴퓨터 과학 학회에서 파일럿을 진행했습니다.
저자들은 사전 동의 후 마감 전 비공개 피드백을 받을 수 있었습니다.
16,000편 이상의 논문이 파일럿을 거쳤습니다.
피드백은 공식 심사와 분리되어, 채택 여부에는 영향을 주지 않았습니다.
공개 버전은 Gemini 4 Argon을 지원해 기존 PAT보다 강력해졌다고 합니다. 또한 Antigravity라는 에이전트 기반 코딩 환경에도 유사한 패턴을 넣었습니다.
Teamwork Deep Document Review Pattern은
/teamwork-preview명령으로 실행됩니다.Deep Review는 어떻게 작동하나요?
Deep Review는 4단계 파이프라인으로 동작합니다. 문서를 분할하고, 섹션별로 연산 예산을 배정하며, 섹션을 병렬 검토한 다음, 결과를 병합합니다.
대형 언어 모델(LLM)로 논문을 리뷰하는 가장 단순한 방법은 전체 본문을 붙여넣고 피드백을 요청하는 것입니다.
이는 비유에서 “10분 있는 친구”와 같습니다. Google은 이 방식에 한계가 있다고 세 가지 이유를 듭니다.
리뷰어 팀은 파이프라인과 같은 4단계를 따릅니다. 각 단계를 살펴보겠습니다.
1단계: 문서 세분화
세그멘터 에이전트가 서론, 방법, 실험, 증명처럼 문서를 논리적 단위로 나눕니다.
단위들은 서로 겹칠 수 있지만, 합치면 문서 전체를 포괄해야 합니다.
비유로 말하면, 모두가 읽기 시작하기 전에 누가 어떤 장을 볼지 팀이 먼저 정하는 단계입니다. 건너뛰는 부분이 없습니다.
2단계: 적응형 연산 예산 배정
어떤 섹션은 다른 섹션보다 훨씬 점검하기 어렵습니다.
긴 수학적 증명은 대부분이 참고문헌인 관련 연구 섹션보다 훨씬 세심한 사고가 필요합니다.
Deep Review는 각 단위의 밀도를 살펴보고, 더 어려운 부분에 더 많은 연산을 배정합니다.
Google 논문은 경량, 중간, 고도 사고 트랙을 설명하며, 증명과 이론은 고도 트랙을 받습니다. “생각하기” 설정이 있는 모델을 써본 적이 있다면, 그 아이디어를 섹션별로 적용한 것과 비슷합니다.
3단계: 심층 병렬 검증
다음으로 리뷰어 에이전트들이 모든 섹션을 동시에 점검합니다. 각 에이전트는 자신의 섹션에 집중하지만, 모두 전체 문서를 볼 수 있습니다.
예를 들어 5장에서는 2장에서 도출한 결과를 사용한다고 가정합시다.
5장을 점검하는 에이전트는 2장으로 돌아가 두 부분이 일치하는지 확인할 수 있습니다. 5장만 앞에 둔 모델은 이를 절대 잡아내지 못했을 것입니다.
4단계: 전역 종합과 그라운딩
마지막으로 종합 에이전트가 에디터 역할을 합니다.
섹션별 보고서를 합치고, 중복 코멘트를 제거하며, 섹션 간 모순을 찾고, 확신이 서지 않는 논리 검사는 다시 실행합니다.
또한 Google 검색을 포함한 외부 출처와의 그라운딩 점검을 수행해 존재하지 않는 논문이나 정리 같은 환각을 잡아냅니다.
이 단계가 없으면, 리뷰어가 실제가 아닌 문제를 자신 있게 지적해 여러분의 시간을 낭비시킬 수 있습니다.
Python으로 Deep Review 스타일 파이프라인 만들기
Deep Review는 LLM 에이전트로 구현한 맵-리듀스 패턴입니다. 일을 쪼개 병렬로 점검하고, 결과를 다시 합치는 방식이죠. 80줄 이내로 간단한 버전을 만들 수 있습니다.
아래 예시는 Gemini 3.1 Pro와 함께 Google Gen AI SDK를 사용합니다.
thinking_level설정을 활용해 2단계를 직접 구현합니다.모든 줄을 이해하지 못해도 괜찮습니다. 핵심은 전체 구조입니다. 4단계와 이렇게 대응됩니다.
split_into_sections()가 세그멘터(1단계)입니다.thinking_level_for()가 섹션별 노력 수준을 결정합니다(2단계).ThreadPoolExecutor가 리뷰어를 병렬로 실행하며, 각 리뷰어는 전체 문서를 참조합니다(3단계).merge_prompt가 에디터 역할을 합니다(4단계).이 버전은 실제 시스템보다 훨씬 단순합니다. 세그멘터 에이전트도, Google 검색 기반 점검도, 불확실한 결과에 대한 재검토도 없습니다.
그래도 Google이 지적한 문제 3가지 중 2가지는 다룹니다. 즉, 사고 예산 소진과 섹션 간 연결성 누락 문제입니다.
주의할 점도 있습니다.
각 리뷰어 호출에 전체 문서가 포함되므로, 섹션 수가 늘수록 토큰 사용량이 증가합니다.
또한 분할기는
#로 시작하는 줄을 모두 제목으로 간주하므로, 코드 블록 내부의 주석까지 포함될 수 있습니다. 먼저 자체 파일에서 테스트해 보세요.Google Deep Review 사용 방법
Deep Review를 사용하려면 몇 분의 설정 시간이 필요하고, 이후 에이전트가 작업하는 동안 대기하면 됩니다.
첫 리뷰 설정하기
그림 1: 로그인부터 피드백 반영까지 Deep Review 실행 단계. Google Research의 Deep Review 페이지를 바탕으로 작성자의 다이어그램.
알아둘 제한 사항은 다음과 같습니다.
보고서 읽기
그림 2: Google Deep Review 보고서 예시(리뷰 대상 논문과 함께). 이미지 출처: ScriptByAI, Deep Review: Google's AI Reviewer for Papers and Technical Documents.
보고서는 종합 피드백(Overall Feedback)과 요약으로 시작하고, 하단에 상세 피드백(Detailed Feedback)을 제공합니다.
상세 코멘트는 주요 우려, 경미한 수정, 제안으로 필터링할 수 있으며, 각 코멘트에는 참조하는 섹션 또는 페이지가 함께 표시됩니다.
코멘트 뷰와 보고서 복사 버튼도 있어, 전체 리뷰를 Markdown으로 복사할 수 있습니다. 노트에 붙여 넣어 항목별로 처리하기에 편리합니다.
Google Deep Review의 정확도는?
Google의 자체 결과에 따르면, Deep Review의 전신인 PAT는 SPOT 벤치마크의 수학·컴퓨터 과학 하위셋에서 단독 사용한 Gemini 3.1 Pro(55.2%) 대비 89.7%의 오류를 적발했습니다.
이 수치는 PAT 논문 Towards Automating Scientific Review with Google's Paper Assistant Tool에서 가져왔습니다.
SPOT은 이후 철회되거나 정정된 논문의 실제 오류로 구성된 벤치마크입니다. Google은 수식과 증명 오류가 있는 수학·컴퓨터 과학 부분(논문 26편, 오류 29건)에서 PAT를 평가했습니다.
PAT의 재현율은 단일 호출 기준선 대비 약 34%p 높았습니다.
단, 유의할 점이 두 가지 있습니다.
첫째, 저자들은 논리적으로 동등한 오류 설명을 허용하는 자체 채점기를 사용했으므로, 원래 SPOT 결과와 수치를 직접 비교할 수 없습니다.
둘째, 논문 내 모델 표기는 일관되지 않습니다. 본문에서는 PAT가 Gemini Deep Think로 구동된다고 설명하면서, 결과 표에서는 89.7% 수치를 Gemini 3.1 Pro 기반 PAT로 라벨링합니다. 어느 쪽이든, 이는 공개된 Deep Review와는 다릅니다.
파일럿 피드백도 긍정적입니다.
Google은 STOC와 ICML 파일럿에서 총 4,700편 이상의 제출작을 리뷰했고, 응답자 857명(STOC 124명, ICML 733명)을 대상으로 설문했습니다.
마지막 수치는 특히 눈에 띕니다.
마감 직전에 추가 실험을 돌리는 일은 쉽지 않으니, 피드백이 그만큼 설득력 있었다는 뜻입니다.
그럼에도 불구하고, 이 모든 수치는 Google과 참여에 동의한 저자들에게서 나온 것이며, 공개된 Deep Review에 대한 독립적 테스트는 아직 없습니다. 따라서 개인 문서에 대한 성능의 “증거”라기보다는 “유망한 신호”로 보시기 바랍니다.
데이터 사이언티스트는 Deep Review를 어떻게 활용할 수 있나요?
수학적 증명을 쓰지 않아도 Deep Review는 충분히 유용합니다.
데이터 사이언티스트와 애널리스트가 작성하는 문서의 많은 부분은 숫자로 뒷받침된 일련의 주장이며, 이는 Deep Review가 점검하기에 적합한 대상입니다.
다음과 같은 경우에 특히 도움이 됩니다.
Google은 Deep Review가 문서의 추론을 점검한다고 설명합니다. 코드 실행에 대해서는 언급이 없으므로, 파이프라인 버그로 잘못된 숫자가 나왔더라도 겉보기에는 완벽히 일관돼 보일 수 있습니다.
권장 워크플로는 다음과 같습니다.
자체 도구 내에서 사용하려면, Deep Review API를 통해 코드에서 리뷰를 실행할 수 있습니다. 예를 들어 CI 파이프라인의 일부로 통합할 수 있습니다.
자신의 Gemini API 키를 연결하며, 사용량은 Gemini API 계정으로 과금됩니다.
비용은 문서 길이와 추론 노력에 따라 달라지므로, 무언가를 구축하기 전에 한 문서로 먼저 테스트해 보세요.
Google Deep Review의 한계
가장 큰 한계는 양방향으로 틀릴 수 있다는 점입니다.
PAT 논문에 따르면, 파일럿에서는 도구의 추론 실패로 올바른 증명을 틀렸다고 잘못 지적하는 사례가 발견되었고, 여전히 개선 중이라고 합니다.
그라운딩 지표도 주시해야 합니다.
STOC 응답자의 55.8%, ICML 응답자의 64.8%만이 피드백이 대체로 또는 완전히 그라운딩되어 있다고 답했으므로, 약 35%~44%는 대체로 그라운딩되어 있다고 보지 않았습니다.
조치하기 전에 모든 주요 우려 사항을 문서와 대조해 확인하세요.
또한 판단을 대신해 주지 않습니다.
아이디어가 새로운지 흥미로운지, 혹은 논문을 순위 매기는 일은 하지 않습니다. 그 부분은 여전히 여러분과 리뷰어의 몫입니다.
프라이버시 문제도 있습니다.
Google은 업로드된 문서를 모델 학습, 미세조정, 개선에 절대 사용하지 않는다고 밝히지만, 인터페이스에서 볼 수 있도록 1년간 보관합니다.
NDA가 걸린 작업이라면 업로드 전에 한 번 더 고민해 보시기 바랍니다.
기타 한계:
마무리
Deep Review는 “10분 있는 친구”라기보다 “리뷰어 팀”에 가깝습니다. 제출 전 초안을 한 번 더 훑는 용도로 활용하되, 주요 우려 사항은 직접 확인하는 방식이 가장 좋다고 생각합니다.
실제가 아닌 문제를 지적하기도 하고, 작업의 독창성 판단은 못 하며, 정확도 역시 Google 외부의 검증이 더 필요합니다.
다만 설계 철학은 배울 만합니다. 작업을 분할하고, 어려운 부분에 더 많은 노력을 들이며, 전체를 병렬로 점검하고, 결과를 병합하는 방식은 긴 문서를 다루는 거의 모든 에이전트에 유효합니다.
이런 에이전트를 직접 만들고 싶다면, LangGraph로 구현하는 멀티 에이전트 시스템 강의를 추천합니다.