그는 노무현 대통령의 핵심 정책 브레인이었다. 노무현 청와대에서 2004년 6월부터 2년 동안 대통령정책실장을 지내며 참여정부의 주요 정책 밑그림을 그리고 집행했다. 문재인 대통령은 대통령민정수석비서관을 2차례, 시민사회수석을 1차례 맡았고, 노 대통령 임기 마지막 해엔 비서실장을 지냈다. 노무현 대통령은 정책에는 김병준을, 민정에선 문재인을 양대 축으로 기용했다. 김병준은 노무현 정부에서 정부혁신지방분권위원장과 정책실장, 교육부총리, 정책기획위원장 등 정책의 컨트롤타워였다. 그는 박근혜 전 대통령의 탄핵을 즈음한 국면에서 국민통합 차원에서 총리로 내정된 것을 계기로 보수 야당과 가까워지게 됐다. 국민의힘 전신(前身)인 자유한국당 비상대책위원장을 맡으면서 참여정부에서 같은 뿌리였던 문재인 정부와 맞서게 됐다.