因为军事形势已发生了根本性变化，张骞便在武帝属意下第二次出使西域。这时，经过三次反击，汉朝已经彻底打败匈奴，西域各国也得以摆脱匈奴的统治，而且河西走廊已在汉朝的控制之下，这表明通向西域的大门已经打开，因为从长安经河西走廊便可直达西域。这次出使的目的表面上就是增进汉王朝同西域各国的经济文化交流和友好往来，但更深层的目的在于汉武帝认为自己为天下共主、为至高无上的统治者而希望得到万邦来朝、得到各地臣民的仰慕。西汉元狩四年（公元前119年），张骞率领了300人组成的使团，带着巨额财物，意图打通西域。他们先到乌孙，游说乌孙王东返汉朝拜谒汉武帝未能成功。然后张骞又分遣副使持节到了大宛、康居、月氏、大夏等国。而后，汉朝使者还到过安息（波斯）、身毒（印度）、奄蔡（在咸海与里海间）、条支（安息属国）、犁轩（附属大秦的埃及亚历山大城）等地。张骞第二次出使受到各国的欢迎，更是促进了双方的交流。首先，互通有无：中原丝绸、瓷器等物品以及先进生产方式传到了西域，西域名马、香料及水果等特产传到了中原。同时，遣使赴汉：西域各国也纷纷遣使来汉进行政治、经济、文化等各方面的交流。从张骞“凿空”西域到汉武帝设立河西四郡，构筑以长城为主干的军事防御体系，保障丝绸之路东段沿线的安全和畅通，以及与乌孙联姻，清除匈奴对西域的奴役，移民屯田，为东西方使者和商旅提供安全和粮食保障，这条东西通路将中原、西域与阿拉伯、波斯湾紧密地联系在一起。
此后，各国使者、商人沿着张骞开通的道路，来往络绎不绝。西汉后期，由于国力衰落，匈奴进犯不断，丝绸之路一度中断。东汉时期，班超率部征服西域，重新打通丝绸之路。特别是当时甘英率团还到达安息、条支及波斯湾沿岸诸国，与他们建立了友好关系，从而打通了贯通东西方的丝绸之路。
此后，公元166年，大秦（罗马帝国）也派使团觐见汉桓帝，这也是东西方两大帝国的第一次直接联系，更推动了之后双方的贸易往来。经过几个世纪的不断开拓，丝绸之路向西伸展到了地中海。丝绸之路促成汉族和边疆少数民族乃至中亚许多国家的第一次文化交融。
当时，各地丝绸和其他商品主要集中在长安，再由各国商人把一捆捆的生丝和一匹匹绸缎，用油漆麻布和皮革装裹，然后组成浩浩荡荡的商队，从长安出发，西行过咸阳、陕甘高原，越陇山至陇西高原，通过武威、张掖、酒泉、敦煌到达西域及欧洲。西域的核桃、葡萄、石榴、蚕豆、苜蓿等十几种植物，逐渐在中原栽培。龟兹的乐曲和胡琴等乐器，丰富了汉族人民的文化生活。汉军在鄯善、车师等地屯田时使用地下相通的穿井术，习称“坎儿井”，在当地逐渐推广。特别是中国蚕丝和冶铁术的西进，对促进人类文明的发展贡献甚大。当时，中国丝织品在欧洲享有盛誉，特别是在罗马帝国，将中国的丝织品当作珍贵物品，称中国为“丝国”；罗马共和国执政官恺撒身着丝袍现身剧场曾轰动欧洲一时，后来穿中国丝袍成为罗马及欧洲上流社会的时尚。
东汉后期，汉政府失去对西域控制，此后丝绸之路交通限于半停半通状态。直至唐初重新掌控西域后，并打通了天山北路的丝路分线，将西线连通中亚，从而推动丝绸之路再度走向繁荣，更是推动中西技术、文化的交流与传播。这一时期，中方输出的物品以丝绸居多，引入的物品有银器、棉布、铁器、药材、化妆品、消费品等。在众多的外来商品中，胡粉、棉布、玉器、珠宝等商品极具西域特色。但及至唐后期，随着国力衰落，对西域控制减弱，丝绸之路受到影响，到宋代更因西北局势不稳，贸易减少，这一情况直至元代才有短暂复兴，但元代丝绸之路更多的是宗教与文化的传播与交流。明清时期，中亚被奥斯曼帝国控制，陆路贸易日渐没落，辉煌一时的陆上丝绸之路也即步入低潮期。
