DocSuri
AI/ML 논문을 수집·구조화·임베딩·색인하는 파이프라인을 만들고 운영했습니다. 대량 백필로 발생한 검색 503 장애를 복구하고, 사용자 열람용 문서를 생성하는 큐와 워커를 분리했습니다.
역할: AWS AI School 2기 4인 팀의 데이터 엔지니어. 수집·임베딩·색인·인프라를 맡았습니다. 검색·요약·에이전트의 초기 구현과 GROBID TEI 구조 파서는 팀원이 담당했습니다.
사용 기술: Python, PostgreSQL, OpenSearch, Docker, AWS SQS·ECS/Fargate·S3·Bedrock
- 검색 장애 복구: 2026년 7월 대량 백필 중 발생한 503 장애에 대응해 수집 워커를 3개에서 1개로 조정하고 재현 질의의 정상 응답을 확인했습니다. 사용자 열람용 문서 생성은 전용 큐·워커로 분리했습니다.
- 데이터 계약과 협업: 공용 JSON Schema·Python DTO 변경을 요약 기능·프런트엔드에 함께 반영하고, 데이터를 만드는 쪽과 사용하는 쪽의 작업·검토 책임을 정리했습니다.
- 재처리와 검증: 복사·재임베딩·재파싱의 시작점을 나누고 중복 메시지·일부 색인 실패를 테스트했습니다. 실패 항목을 완료로 기록하지 않으며 재시도·DLQ에 출처와 실패 단계를 남겼습니다.