太行山北高南低，大部分海拔在1200米以上。2000米以上的高峰有河北的小五台山、灵山、东灵山、白石山，山西的太白魏山、南索山、阳曲山等。北端最高峰为小五台山，海拔高2882米;南端高峰为陵川的佛子山、板山，海拔分别为1745米、1791米。
太行山山势东陡西缓，山西高原东部 河流多切过太行山进入河北平原，汇入海河水系。只有西南部的沁河水系向南汇入黄河。
太行山脉西翼连接山西高原，东翼由中山、低山、丘陵过渡到平原。山中多雄关，著名的有位于河北的紫荆关，山西的娘子关、虹梯关、壶关、天井关等。
太行山是黄土高原和华北平原的天然分界线。北宋时代杰出的科学家沈括看到太行山的山崖之间"怯怯御螺贝壳及石子如鸟卵者，横亘石壁如带"，经过研究指出:"此乃昔日之海滨，今东距海已近千里。"
现代地质研究证实了他的论断。太行山崖间的螺蚌壳，显系古生代地层中的腕足动物或软体动物化石。