1,000만 건 배치가 밤을 새울 때 — Spring Batch 파티셔닝으로 시간 줄이기
Spring Batch 파티셔닝은 큰 배치를 ID 구간 같은 조각으로 쪼개 여러 스레드가 동시에 처리하게 만든다. 단일 청크로 70초 걸리던 1,000만 행 잡이 파티셔닝으로 어떻게 줄어드는지, gridSize를 무작정 늘리면 왜 다시 느려지는지, 파티션이 영원히 멈추는 함정은 무엇인지 코드와 실측으로 정리한다.
병렬 처리
배움의 즐거움, 나눔의 가치를 실천하는 DevLog
Spring Batch 파티셔닝은 큰 배치를 ID 구간 같은 조각으로 쪼개 여러 스레드가 동시에 처리하게 만든다. 단일 청크로 70초 걸리던 1,000만 행 잡이 파티셔닝으로 어떻게 줄어드는지, gridSize를 무작정 늘리면 왜 다시 느려지는지, 파티션이 영원히 멈추는 함정은 무엇인지 코드와 실측으로 정리한다.