논문 원고를 쓰다 보면, 본문의 논점을 뒷받침할 인용문을 역사 사료에서 찾아 넣어야 하는 일이 잦다. 분명히 연구하면서 읽었던 기록인데, 다시 특정해서 찾으려면 시간이 꽤 걸린다. 인용문 하나에 30분에서 1시간. 본문 쓰기도 바쁜데 인용문 찾기는 자꾸 후순위로 밀렸고, 원고에는 “나중에 채워넣기”라고 표시한 TBU 마커(To Be Updated)만 쌓여갔다.
이 글은 미리 전처리해둔 사료 약 3,000건을 Claude(Opus)와 함께 검색해서, 원고에 인용문을 삽입한 과정이다. 이 과정에서 확인한 것: 연구자가 도메인 지식을 제공하면 AI의 검색 범위가 확장된다는 것, 그리고 전처리 데이터의 품질이 나중에 검색 결과의 질을 결정한다는 것.
읽었던 기록을 다시 찾지 못한다
역사학 연구에서는 사료에서 특정 인물이나 사건에 대한 기록을 직접 인용해야 하는 경우가 많다. 문제는 사료 DB에서 검색하면 관련 없는 기록이 너무 많이 섞여 나온다는 데 있다. 읽을 때 정리해둔 기록도 컴퓨터 어딘가에 흩어져 있어서, 그걸 찾는 것 자체가 또 하나의 작업이다.
인용문을 하나 찾아서 넣는 데 30분에서 1시간씩 걸리니, 본문 작성 흐름이 끊긴다. 결국 원고 곳곳에 TBU 마커만 늘어갔다.
사전 준비 — 사료 약 3,000건을 전처리해두다
이번 작업이 가능했던 건, 사전에 데이터를 잘 준비해뒀기 때문이다.
역사 사료 DB에서 연구 대상 인물이 언급된 모든 기록 약 3,000건을 수집하고, 각 기록마다 요약과 키워드 인덱싱(인물, 관직, 개념, 사건 등)을 해뒀다. 이 전처리 작업도 Claude와 함께 했는데, 품질을 높이기 위해 캘리브레이션 과정을 여러 번 거쳤다. 랜덤한 기록에 대한 Claude의 전처리 결과를 내가 검토하고, 피드백을 주고, 다시 돌리는 과정을 반복했다.
”여기 채워줘” — TBU 마커에서 검색까지
원고 파일을 열고 Claude에게 상황을 알려줬다.
드래프트 파일을 확인해봐. TBU 마커를 확인해봐. 나는 DB에 전처리해둔 연구 대상 관련 데이터를 활용해서, 너가 여기에 인용문으로 사용할 만한 관련 기록들을 검색해오길 바래.
Claude가 원고를 열어 TBU 마커 위치를 확인했다. 64번째 줄 각주와 70번째 줄에 TBU가 있었고, 연구 대상 인물에 대한 특정 유형의 비판 인용문을 찾아야 하는 상황이었다. Claude는 전처리 데이터 폴더 구조까지 확인해서 어디서 검색하면 되는지 파악했다.
애매한 부분은 추측하지 않고 확인했다
Claude에게 판단하기 모호한 부분이 있으면, 스스로 추측하지 말고 나에게 질문하라고 말해두었더니, 다음과 같이 말을 걸어왔다.
“68번 줄에서 인용한 기록의 출처가 A인가요? A와 같은 표현이되 다른 출처를 찾으라는 것인지 확인이 필요해요.”
내가 답했다.
68번 줄 인용은 A가 아니야. 비슷한 다른 출처를 찾으라는 뜻이야. 특히 “헛된 말” 또는 “실제가 없다”는 표현이 들어간 기록.
이렇게 요구사항이 명확해졌다: “특정 비판 표현이 포함된 기록을 찾아라”
후보를 표로 정리해오고, 내가 검토해서 기사를 선정했다
Claude가 약 3,000건의 전처리 데이터에서 해당 키워드로 검색했다.
“해당 표현 포함 기록 30건 발견. 특정 시기 기록들 중 몇 개를 확인해볼게.”
그리고 후보를 내가 요청한 포맷대로 표로 정리해서 제시했다.
요청시 포인트:
- 링크 제공: 내가 직접 기사를 검토할 수 있게
- 맥락 설명: 어떤 상황의 기사인지 한눈에 파악
| # | 기록 | 날짜 | 주목한 문장 | 맥락 | 링크 |
|---|---|---|---|---|---|
| 1 | 기록 A | 연도 A | ”연구 대상의 주장이 헛된 말이 되어버렸다” | 사관이 개탄하는 맥락 | [링크] |
| 2 | 기록 B | 연도 B | ”연구 대상의 말이 실제가 없다고 비판” | 반대파 인용 | [링크] |
| 3 | 기록 C | 연도 C | ”연구 대상을 헛된 말로 실제가 없다고 비난” | 정적의 발언 기록 | [링크] |
| … | … | … | … | … | … |
날짜, 주목할 문장, 맥락, 원문 링크까지 한눈에 볼 수 있어서 판단이 편했다. 후보 리스트를 보고, 기사를 하나씩 검토한 후, 내가 결정했다.
1번 기록은 이 파일과 관련 없어. 다른 맥락이거든. 여기에는 안 쓸 거지만, 논문에 활용할 가능성이 높으니 따로 선별해둬.
2번 기록에서 “실효를 찾았는데 허언으로 응했으며…” 이 부분이 핵심이야. Line 65에 인용해줘.
3, 4, 5번 기록은 연관돼. 별도 파일로 묶어서 정리해줘.
Claude가 나의 지시에 따라 원고에 인용문을 삽입하고(본문에 번역문 + 각주에 원문, 출처정보, 링크), 참고자료 파일을 생성하고, 다른 원고 파일에 참고자료 링크를 추가했다.
도메인 지식으로 검색을 확장하다
검색 결과를 보니, 분명 내가 읽었던 기사인데 검색에는 잡히지 않은 게 있었다. 그래서 내가 기억나는 특이한 구절을 검색해보라고 추가로 알려줬다.
당시 왕의 신임을 받았는데 보답하지 못했다는 기록 관련해서, 검색할 때 고려해야 하는 검색어가 있어. **[특정 고어 표현]**이야.
이건 왕과 신하의 특별한 관계를 뜻하는 표현이야. 보통 신임받았음을 주장하는 맥락에서 쓰이지만, 때로는 그렇게 신임받았는데도 한 일이 없다고 말할 때도 사용돼. 이 검색어로도 추가 검색해.
Claude는 그 표현의 의미를 몰랐지만, 내가 맥락을 설명하자 바로 해당 키워드로 추가 검색을 수행했다. AI가 모르는 검색어라도, 연구자가 맥락과 함께 전달하면 검색 범위가 넓어진다.
결과
| 항목 | BEFORE | AFTER |
|---|---|---|
| 인용문 1개 찾아 넣기 | 30분~1시간 | 여러 개를 한 세션에 처리/그동안 다른 일 할 수도 있음 |
| 관련 기록 정리 | 안 함 (시간 없음) | 부산물로 참고자료 파일 자동 생성 |
| TBU 마커 해소 | 계속 미룸 | 부담 없이 처리 가능 |
원고 2개 파일에 인용문 삽입을 완료했고, 참고자료 파일 2개(관련 기록 총 10건)가 부산물로 생성됐다. 당장 안 쓰는 기록도 분류해서 저장했기 때문에, 다른 챕터를 쓸 때 활용할 수 있다.
협업 관찰
이번 작업에서 역할 분담이 명확했다.
Claude가 한 것: 전처리 데이터 약 3,000건에서 키워드 검색, 후보 기록을 표로 정리, 원고에 인용문 삽입(번역문 + 각주 + 출처 링크), 참고자료 파일 생성.
내가 한 것: TBU 마커의 맥락 설명, 검색 키워드 지정, 후보 중 어떤 기록을 어디에 쓸지 판단, 도메인 지식에 기반한 추가 검색어 제공.
키를 잡은 쪽은 나였다. Claude는 검색과 정리를 수행했지만, 어떤 기록이 이 원고에 적합한지, 어떤 맥락에서 인용해야 하는지의 판단은 내가 했다.
검색은 Claude가, 판단은 내가, 삽입과 정리는 다시 Claude가 — 이 분업이 한 세션 안에서 자연스럽게 돌아갔다.
배움 포인트
전처리 데이터의 품질이 나중에 검색 결과의 질을 결정한다. 이번 작업이 매끄러웠던 건, 사료 약 3,000건을 수집할 때 요약과 키워드 인덱싱 품질을 높이기 위해 캘리브레이션 과정을 여러 번 거쳤기 때문이다. 전처리에 토큰을 많이 쓰더라도, 한 번 품질 좋게 뽑아두면 이후 검색에서 결과가 달라진다.
연구자가 도메인 지식을 제공하면, AI의 검색 범위가 확장된다. AI가 모르는 고어 표현이라도, 맥락과 용법을 함께 설명하면 AI가 바로 검색에 활용할 수 있었다. “알아서 찾아줘”가 아니라 내가 아는 전문 용어와 맥락을 적극적으로 전달하는 것이 협업의 핵심이었다.
AI가 추측하지 않고 나에게 확인을 거치게 하면, 검토 비용이 줄어든다. Claude가 애매한 부분에서 멋대로 넣지 않고 확인 질문을 했기 때문에, 결과물에 대한 신뢰가 생겼다. AI가 추측하게 두면 나중에 하나하나 검토해야 하는 비용이 더 든다.