김 의원은 영남대 경제학과를 나와 서울대 행정대학원에서 행정학 석사 학위를 받았다, 미국 하버드대 케네디스쿨에서 행정학 석사, 경희대학교 대학원에서 행정학 박사 과정도 밟았다.
행정고시(14회)에 합격한 후 1991년 경제기획원에서 공직 생활을 시작한 그는 청와대 기획조정비서관, 재정경제원 심의관, 기획예산처 재정기획국장 등 경제부처 요직을 두루 거쳐 특허청장에 올랐다. 이어 참여정부 때에는 2년3개월 동안 재정경제부 차관으로 활약, 역대 최장수 재경부 차관이 됐다.
국회에 입성한 건 18대 총선을 통해서다. 김 의원은 한나라당(현 새누리당) 텃밭인 고향 경북 안동에 무소속으로 출마해 당선됐다. 이후 한나라당에 입당한 김 의원은 18대 국회 막바지였던 2011년 말 박근혜 당시 비상대책위원장으로부터 당 싱크탱크인 여의도연구소(현 여의도연구원) 소장에 임명된다. 초선으로서는 이례적인 일이었다. 이듬해 치러진 19대 총선 공약 마련 등에 이바지했던 김 의원은 이후 황우여 대표 체제에서도 소장에 유임되면서 대선 승리까지 연구소를 이끌었다. 이때 연구소에서 함께 일했던 이병기 고문은 국가정보원장을 거쳐 대통령비서실장으로, 신동철 부소장은 청와대 비서관으로, 권영진 부소장은 대구광역시장으로 각각 영전하면서 여의도연구소가 ‘요직 사관학교’라는 말도 나왔다.
김 의원은 재선에 성공하면서 국회 예산·재정개혁특별위원장을 지냈으며 예결위 간사도 두 차례나 역임해 예산·재정 전문가로서 활발히 활약했다. 19대 국회 후반기 1년 동안엔 국회 정보위원회 위원장직도 맡았으며, 현재는 기획재정위원회에 몸담고 있다.