武帝正准备举兵伐吴，却有消息说凉州兵败，刺史杨欣战死沙场。武帝不禁踌躇起来。仆射李熹举荐匈奴左部将领刘渊，侍臣孔恂进谏道：“刘渊与我们不是同族，日后必定生变，让他讨伐秃发树机能，只会使西北边患更加深重。”武帝颇以为然，没有起用刘渊。
之前，南匈奴与汉朝和亲，自称是汉朝的外甥，冒称姓刘。魏祖曹操曾令南匈奴单于呼厨泉居住并州，将匈奴部众分为五部。其中，呼厨泉的侄子左部帅刘豹的部族最为强大。后来司马师采用邓艾的计策，将左部一分为二，册立一个右贤王，让他住在雁门。刘豹的儿子刘渊，字元海，俊逸非凡，拜上党人崔游为师，研习经书。刘渊不仅喜文，而且好武，天天练习骑马和射箭，官拜侍子，住在洛阳。安东将军王浑父子经常赞赏刘渊文武兼备，说他可以担任东南统帅，李熹又举荐他统领西军，都被孔恂阻止。刘渊得知消息后，对好友王弥说：“王浑、李熹看重我，因而屡次向朝廷推荐我。只是他们不知道这样做非但不能帮我，反而会给我引来祸端啊。”说完纵酒长啸，叹息不已。有人将此事告知齐王司马攸，司马攸上奏武帝道：“陛下不除掉刘渊，臣担心并州不能久安。”因为王浑在旁边替刘渊说情，武帝才没有诛杀刘渊。不久，刘豹去世，武帝封刘渊为左部帅，让他离开京都。
不久，秃发树机能攻陷凉州，武帝忧叹道：“谁可以替我讨伐这帮胡人？”还没说完，左列中闪出一个人说道：“如果陛下信任微臣，微臣定能平定胡虏。”武帝望过去，见是司马马隆，就问：“你有何计？”马隆答道：“陛下只须让臣募集三千勇士西行。至于策略，臣临敌谋划，定能取胜。”武帝大喜，当即命马隆为讨虏将军兼武威太守。
朝廷大臣都说马隆只是一员小将，信口开河，又说现有的士兵很多，无须再征勇士。武帝一概不听，执意重用马隆。马隆于是募兵，只有力大无穷、百步穿杨的人才算合格，最后募得三千五百人。马隆来到武库中挑选武器，武库官员却给他一些破旧的械具。马隆将此事告诉武帝，于是武帝下旨给武库，允许马隆随意挑选。马隆于是从武库中挑选精良武器分给勇士，然后入朝辞行。武帝答应提供三年军饷，马隆奉命出都，向西进军。
大军行至温水，秃发树机能拥兵抵抗。马隆见山路崎岖不易行进，就下令部下建造扁箱车，用扁箱车载着士兵缓慢前进。遇到辽阔的地方就联车为营，四面排成鹿角形状，一起前进；遇到狭窄的地方就将木板覆盖在车上，以挡住敌人射来的暗箭。胡虏虽然屡次设下埋伏，但都不起作用，出来截杀，又都被马隆杀退。马隆且战且行，一路势如破竹，杀死上千胡虏，直达武威镇。
自从马隆领兵西进后，音信全无，朝廷大臣议论纷纷，武帝很是担忧，甚至有人谣传马隆已经兵败被杀。等到马隆派遣的使者到达洛阳，朝野上下才知道他已经安全抵达武威镇。武帝开怀大笑，为自己用对了人而得意不已，他对群臣说道：“如果当时我信了你们的话，只怕这时秦、凉一带已经失守了。”群臣惭愧不已。武帝颁诏奖赏马隆，加封他为宣威将军。不久，马隆传来捷报，说已经擒获和招降了几个鲜卑部酋长；再不久，又传来更大的捷报，说贼寇秃发树机能已经被斩杀，秦、凉等地的贼寇全部平定。
马隆平定秦、凉后，朝廷商议封赏、犒劳西征将士。偏偏朝中有人出来阻挠，说西征将士在出征之前已经获得封赏，不应该再赏。卫将军杨珧出来反驳道：“之前马隆募选勇士，加封爵位只是为了鼓励他。现在马隆和众将士已经平定整片西土，如果不加以赏赐，将来朝廷如何用人？”武帝听后，下旨酬谢所有将士。
西北尚未平定时，武帝无暇东顾，吴主孙皓以为天下太平，天天纵情酒色，宴请群臣，还安排了十来个黄门郎暗地里监视群臣。群臣酒醉后忘乎所以，难免失态。黄门郎立即弹劾，孙皓于是惩罚大臣。有的剥面，有的挖眼，一帮大臣被折磨得半死不活。晋国益州刺史王浚查明东吴情形后，上奏朝廷说：“孙皓荒淫无度、惨无人道，应该立刻讨伐吴国。臣造船七年，这些船都还没用过。臣已经七十岁，没多久就要归天了，希望陛下不要错失良机，立即命臣东征！”武帝召群臣商议，贾充、荀勖等人执意劝阻，张华想起羊祜的遗言，极力赞同王浚东征。当时王浑调任扬州，镇守寿阳，与吴国人多次交战，他上奏说：“孙皓大逆不道，意欲北上，我们应当及早筹备战事。”朝廷群臣认为天寒地冻，不宜出师，建议来年再讨伐吴国，武帝应允。
一天，武帝正与张华下棋，襄阳突然传来急奏，武帝一看是杜预的奏折，便顺手递给张华。张华看后拱手作揖道：“陛下英明神武，国富兵强，号令如一；吴主荒淫无道，诛杀贤能。如今前往讨伐，定能迅速平定吴国，陛下不要再犹豫了！”武帝毅然道：“朕决定明日发兵。”
第二天，武帝诏谕群臣，决定大举伐吴，任命张华为度支尚书，负责运输粮食接济军队。贾充赶紧上前劝阻，荀勖、冯沈也随声附和。武帝动怒，贾充、荀勖、冯沈只好磕头谢罪。武帝命琅玡王司马伷出兵涂中，安东将军王浑出兵江西，建威将军王戎出兵武昌，平南将军胡奋出兵夏口，镇南大将军杜预出兵江陵，龙骧将军王浚与广武将军唐彬率领巴蜀士兵顺江东下，二十多万人东西并进；任命太尉贾充为大都督，冠军将军杨济为副都督，让他们统领各军。分派好以后，武帝退朝。
东征大军陆续出发，恰巧西北捷报频传，武帝更加坚定东征。
王浚奉命东下，长驱直入丹阳。丹阳主将盛纪出兵迎战，不敌王浚，逃跑不及，被王浚的将士擒获。王浚顺流直进，发现浅江之处暗藏铁锁，江心埋着铁锥，战船无法前进。于是下令建造数十只大筏，然后缚草为人，让草人个个身披战甲，手持兵器。王浚让善于游泳的士兵在水中牵筏先行，大筏遇到铁锥就被阻住。士兵往大筏上倾倒麻油，点上大火，熊熊烈火烧断了铁锁，战船没有了阻碍，一往直前。
当时正是咸宁六年仲春，和风吹拂，绿波荡漾，王浚与广武将军唐彬领兵直达西陵。西陵是吴国的要塞，吴主派镇南将军留宪、征南将军成璩、西陵主将郑广、宜都太守虞忠扼守。西陵的吴国士兵懒惰成性，没料到王浚的士兵如此神勇，突然见敌军登城，吓得四处逃散。留宪、成璩等人见手下全部逃跑，只好束手就擒。王浚乘胜攻下荆门、夷道，擒住吴国大将陆晏。然后继续行军，在乐乡擒住吴国水军统领陆景。江东大震。吴国平西将军施洪等人望风投降。
晋国安东将军王浑从横江出发，攻克寻阳，击走吴国将领孔忠，抓获周兴等人，收降吴国厉武将军陈代、平虏将军朱明。镇南大将军杜预进军江陵，密派管定、周旨泛舟夜渡，自己在巴山上张旗举火以迷惑吴军。吴国都督孙歆看见后很是害怕，诧异道：“难道敌军想飞渡长江？”当下派兵抗敌，却陷入管定、周旨等人的埋伏，吴军大败。孙歆还没得到消息，正安坐帐中，等到晋军冲入时，想逃跑已经来不及了，只能投降。管定、周旨两位将领向杜预报功，杜预亲临江陵率兵攻城。
吴国将军伍延假装投降，暗地里却部署士兵抵御杜预。杜预早已猜到，就趁伍延军队未整时，攻他个措手不及。于是城池被陷，伍延战死。江陵沦陷后，沅、湘以南各州郡望风而降。杜预派遣使节下诏，对他们进行安抚，同时让他们官居原职，远近之人对杜预敬佩不已。
平南将军胡奋攻克江安。朝廷下旨派胡奋、王浚、王戎合攻夏口、武昌，杜预镇守零陵、桂阳，安抚衡阳，待平定江汉后，再行军到吴国京都。杜预于是分兵援助王浚，胡奋与王戎也前去援助，一路破夏口、攻武昌，所向无敌。
当时春雨下个不停，江河水涨，众臣议论纷纷，贾充建议罢兵，武帝不为所动。杜预听闻贾充建议罢兵，急忙上表力争，同时召集各军商议攻取吴都之策。有人从旁阻挠，杜预气愤地说：“如今军威大振，势如破竹，用不了多久，就会完成大业。如果罢兵，岂不是半途而废？”于是命令其他将帅直接进入秣陵。
吴国派遣丞相张悌和督军沈莹、诸葛靓等人领兵三万，渡江抗敌。行军至牛渚，沈莹对张悌说：“晋国水军顺流而来，必定经过牛渚，我们不如在此以逸待劳。如果渡江作战，不幸战败，吴国就危险了。”张悌叹息道：“吴国将要灭亡，天下人都明白。如今渡江还可以决一死战。如果坐等敌人前来，除了投降之外，还有什么办法？吴国名为江东大国，却没有一个人死于此难，你不觉得可耻吗？我已决定为国捐躯了。”说完，率众渡江。到了板桥，吴军与周浚的军队相遇。张悌立刻迎敌，晋军骁悍，吴军弃甲抛戈，纷纷逃跑。诸葛靓劝张悌逃跑，张悌流着泪说：“今天就是我的死期。我官居宰相，以身殉国也算死得其所。”诸葛靓垂泪而去。张悌手执佩刀，斩杀数名晋兵，力竭而死。沈莹也战死沙场。
晋国将军王浚得知板桥得胜，便从武昌拥舟东下，直指吴都建业。扬州官吏何恽听说王浚东来，劝刺史周浚立即发兵攻克吴都，首建奇功，不要把功劳让给王浚。周浚派何恽前去告诉王浑，王浑摇头说：“我奉命镇守江北，龙骧将军受我调遣。如果他前来，我和他一同进军。”何恽答道：“龙骧将军自巴蜀东下，所到之处全部攻下，功勋卓著，他还愿意受你调遣吗？您身为上将，何必事事受诏呢？”王浑始终没有听从。
王浚初下建平时，奉诏受杜预调遣，直趋建业时又奉诏受王浑调遣。王浚到达西陵，杜预写信给王浚说：“你平定西藩后，当继续攻取秣陵，以平定百年流寇，拯救天下苍生。自长江入淮河，肃清泗、汴，然后逆河而上，奏凯而归，这才算得上一时盛举！”王浚看过书信后大喜，写信给杜预说：“我立即率水军顺流而下，抵达三山。”吴国的游击将军张象带领水师前来抵御，见敌军旌旗蔽空、战舰满江，慌忙请降。王浚立即进军建业。王浑派遣使者邀请王浚商议攻城之事，王浚答道：“天公作美，我不能在此地逗留，我们改日再议。”使者回去禀报王浑，王浚则直赴建业。吴主孙皓连连接到警报，早已吓得不知所措。晋国将领王浚兵临城下，晋国琅玡王司马伷也进兵直逼近郊，吴国眼看着就要江山易主。孙皓不得不起草降书，派人分别送交给王浚、王浑，并将御玺交给司马伷。王浚接到降书后驱舰进入建业，招降吴主孙皓。然后进入吴都，封查府库，严禁部下抢掠，并向朝廷告捷。
朝廷大喜，开宴庆贺。武帝流泪感叹：“这都是羊太傅的功劳啊！”武帝认为王浚功劳最大，准备下诏行赏。王浑却弹劾王浚不听从自己的调遣，奏请将王浚按例论罪。武帝不以为然，但还是下书责怪王浚，说他功大于过，应该奖赏，但是未免有失道义。原来，王浑得知王浚进入吴都后才领兵渡江，他见自己功落人后很是愤恨，想领兵攻打王浚。王浚的手下何攀猜测王浑必会前来争功，就劝王浚将孙皓送给王浑。王浑得到孙皓后，心里还是不舒服，就上表弹劾王浚。王浚奉命返回京都后也上表武帝为自己辩白。
武帝明白王浑嫉妒王浚，就下旨召回所有军队，亲自评功论赏。王浑押着孙皓与琅玡王司马伷会合，一同返京。朝廷下旨释放孙皓，赐他为归命侯，对东吴的名门望族都量才而用。武帝再次下旨大赦天下，改元太康。这时候，各位将领陆续回到都城，王浑、王浚也相继入朝。武帝让廷尉刘颂评定他们的功劳，刘颂偏袒王浑，评定王浑功劳最大。武帝认为刘颂评定不公，贬他为京兆太守。无奈王浑朝中私党甚多，儿子王济又与公主婚配，气焰逼人。武帝只得将王浑封为公爵，任命王浚为辅国大将军，与杜预、王戎等人同封为侯，其他将领也一一加以奖赏。随后，武帝派遣使者祭祀羊祜祠庙，封羊祜的妻子夏侯氏为万岁乡君。
东征之事至此结束。
