1901년 경북상주에서 선비 김진호와 김소양 사이에서 둘째 아들로 태어났다. 아버지 김진호는 서울 상동교회 전덕기목사와 함께 애국단체 신민회 조직에 가담하고 공옥학교, 상동청년학원에서 교직생활을 한 교육자였다.

1908년 아버지 김진호가 공옥학교와 상동청년학원 역사교사로 재직하면서 상주에 있던 가족들을 하나 둘씩 상경하도록 하였다. 상동교회 전덕기 목사가 마련해 준 사택에서 거주했다. 장남 김덕영만 할머니 강옥산과 큰 어머니 이화산을 상주본가에서 모셔야 했기 때문에 농사를 짓고 집을 지켰다. 둘째인 김택영은 동생 김희영과 함께 상경했다.

1914년 상동교회 담임목사 전덕기가 갑자기 지병으로 별세하기까지 공옥학교를 다니면서 신앙을 토대로 하는 강한 민족의식을 갖는 애국계몽교육을 받았다.

1916년 4월 아버지 김진호가 배재학당 교장 신흥우으로부터 성경과 한문을 가르치는 교사로 와달라는 요청을 받았다. 처음에는 자격미달로 거절하였으나 신흥우의 간곡한 요구를 외면할 수 없어 수락하였다. 김택영은 아버지 김진호에게서 “자신의 몸만 위하여 공부하는 것이 아니요, 나라를 위하여 민족을 위하여 하나님이 내 몸을 주시고 나를 교육하시는 줄 믿으라. 내 한 몸의 성패가 곧 나라의 흥망이 달렸다고 생각하는 것이 내가 사는 주요 목적이다.” 는 가정교육을 받았다.

1918년 4월 김택영은 공옥학교를 마치고 배재고보에 입학했다. 김택영은 1919년 3월 1일 아버지 김진호의 지시로 독립선언서 영문판을 각국 공관에 배포하도록 배재고보 학생들에게 전달한 혐의로 구속되었다.

3월 3일 아버지 김진호가 배재고보 학생들을 선동해 만세 시위에 참여하도록 했다는 혐의로 검거되었다. 그리고 며칠 후 김택영도 아버지 김진호의 지시로 각국 공관에 독립선언서 영문판을 배포했다는 혐의로 체포되어 서대문형무소에 구금되었다. 서대문경찰서는 이미 체포된 배재고보 학생들이 교사 김진호의 지시로 각국 공관에 독립선언서를 배포했다고 자백했다고 회유하면서 자백을 강요하였다. 일본인 검사는 집요한 질문을 거부하자, 혹독한 고문을 가했다.
김택영은 체포 당시 일본 경찰이 무단으로 집을 수색한다고 집안에 보관하고 있던 각종 독립선언서 유인물을 집 밖으로 집어 던지는 등 격렬한 저항하였다. 이로 인해 일본 경찰은 김택영을 거꾸로 매달아 몽둥이로 무차별 구타를 하였다.

1919년 8월 경성지법 예심종결에서 면소판결을 받고 5개월간의 서대문형무소 수감생활에서 벗어날 수 있었다. 그러나 심한 고문의 후유증으로 고생을 하였다.

1920년 1월 아버지 김진호가 1년간의 수감생활을 마치고 출소했다. 그 해 3월 인천 감리사 오기선 목사의 간곡한 요청으로 인천 내리교회 담임목사로 부임하게 되었다. 이에 따라 김택영은 인천에서 경성으로 배재고보로 기차통학을 했다.

1921년 6월 5일 인천배재학우회 창립총회에서 문학부장으로 선출되어 정기 토론회, 웅변대회, 초청강연회, 음악회 등 각종 행사를 주관했다. 또한 내리의법청년회 활동에도 적극 참여했다.

배재고보 졸업 후, 영화보통학교 교사로 재직했다. 아버지 김진호가 배재고보 교장 H.D. 아펜젤러의 간곡한 요청에 의해 배재고보 교목으로 파송되었지만 인천에 남아 청년운동을 열정적으로 전개했다. 그리고 영화보통학교 교사로 기독교 신앙을 바탕으로 반일의식을 고취시키는 민족교육을 실시했다. 1925년 10월 15일 인천내리교회에서 영화유치원 보모 조광원과 결혼해 2남 1녀의 자녀를 두었다. 

이후 강원도 양구군청 서기로 근무했으며, 부천교육청 교육위원으로 역임했다. 이후 부천에 정착하였고, 1957년 부천제일교회 장로로 임직해 1970년까지 시무했다. 1986년 2월 사망했다.