张之洞从小读书用功，才思敏捷，受过严格的儒家思想的教育熏陶。他先后从好几位老师就学，其中丁诵先、韩超两位老师给他的影响较大。丁诵先，道光十八年进士，翰林院侍读。韩超累官至贵州巡抚。咸丰二年（1852年），张之洞应顺天乡试，中式第一名。同治三年（1864年）参加会试、殿试，中一甲第三名，授翰林院编修。以后，他曾担任浙江乡试的副考官、湖北学政、四川学政职务。张之洞任湖北学政时，整顿学风，建立经心书院，提拔奖励有真才实学的人，颇得众望。他任四川学政时，在成都建立尊经书院，延请名儒，分科讲授，仿照阮元杭州诂经精舍、广州学海堂的例规，手订条教，并撰写《輶轩语》、《书目答问》两本书，以教导士子应读什么书，应怎样做学问以及修养品德等。这两本书在当时和以后产生了较大的影响。《书目答问》至今仍是近代目录学的一部具有参考价值的书。他还聘请通才宿儒，如缪荃孙、樊增祥、王文锦、王懿荣、蒯光典、易顺鼎等，教士子以治经门径，通达时务。在四川尊经书院的学子中，他推荐五少年，第一名是杨锐，后来成为戊戌变法运动的六君子之一；第二名是廖登廷，即后来著名的今文经学家廖平。
光绪五年（1879年），张之洞补国子监司业，补授詹事府左春坊中允，转司经局洗马。同年，清廷因俄国侵占新疆伊犁，派左都御史崇厚赴俄国交涉索还伊犁。崇厚昏庸无知，与俄国签定了丧权辱国的《里瓦几亚条约》。这一条约名义上收回伊犁，但西境、南境被沙俄宰割，伊犁处于俄国包围的危险境地。消息传来，舆论大哗。群臣上疏，张之洞上《熟权俄约利害折》、《筹议交涉伊犁事宜折》，分析俄约有十不可许，坚持必改此议，宜修武备，缓立约，并要求治崇厚罪。折上，被慈禧、慈安太后召见，特许其随时赴总理衙门以备咨询。他同张佩纶、陈宝琛共同起草奏折19件，提出了筹兵筹饷、筹防边备的积极建议。光绪六年（1880年），清廷派曾纪泽赴俄，重订伊犁条约。
当时，张之洞、宝廷、张佩纶、黄体芳称翰林四谏，号为清流派。他们拥戴军机大臣、大学士李鸿藻为领袖，而实际上张之洞是清流派的首领。在中俄交涉事件中，张之洞的政治声望提高了，并且得到了慈禧太后的赏识。
整吏禁烟
光绪七年至十年（1881—1884），张之洞任山西巡抚。当时，山西吏治腐败，人民生活困苦，鸦片流毒严重。张之洞给友人书云：“山西官场乱极，见闻陋极，文案武案两等人才乏极，吏事民事兵事应急办之事多极。竟非清净无为之地也。”“晋患不在灾而在烟。有嗜好者四乡十人而六，城市十人而，吏役兵三种几乎十人而十矣。人人枯瘠，家家晏起。堂堂晋阳，一派阴惨败落景象，有如鬼国，何论振作有为，循此不已，殆将不可国矣，如何如何。”张之洞注意整顿吏治，一上任便勤考吏属，振作革弊，劾罢贪纵害民的县官，奖励好的官吏，严禁鸦片，胪举人才，编练军队，清查仓库。山西的铁运销奉天、上海等地，陆运成本很高，他改由天津出海，海运降低运费，又在产地筹办冶炼局。他创办令德堂，也是仿照阮元诂经精舍、学海堂的例规，聘请王轩为主讲，杨深秀为襄校兼监院。杨深秀后来成为戊戌变法运动六君子之一。
英国传教士李提摩太在山西传教，刊行《救时要务》等小册子，并举办仪器、车床、缝纫机、单车的展览和操作表演。张之洞会见了李提摩太，读了他的书，受其影响，拟筹建洋务局，未及实现。
光绪十年（1884），法国侵略越南，边疆告急。张之洞上疏建议战守，请严督滇、桂之战，急修津广之防。四月，清廷召张之洞、封勇晋京。张之洞陈抗法事，多所谋划，被任命署理两广总督，不久实授。