张大财率领七千精骑两人三马向象山急进，在桐庐县遇到了前一日突然发难攻下桐庐县的王二河。

双方合兵一处后便有了一万五千人，张大财见己方兵力增加后，便立刻放弃此前与王承业商议的距离南陈军四十里扎营威胁南陈军侧翼的计划，决定率军再大胆一些，向南陈军大营左翼二十里外推进。

此时，司马昭的斥候也在接连不断将唐军动向传回中军。

在得知唐军前锋已经抵达桐庐并继续向象山急进后，司马昭不敢大意，在石俊的建议下，司马昭便将文材的近两万人放在左翼，并前出十里防备这支拥有大量骑兵的唐军前锋。

五月二十四日，坚守营垒的左路军连最后的马肉都快要吃完时，张大财也赶到了象山北，在南陈军大营左翼二十里外扎下营寨，与不足十里的南陈军左翼开始对峙。

发现唐军在相距他们如此近的距离扎营后，文材自恃麾下兵马折损不多，又休整多日，便派出千余人夜袭张大财所部。

可张大财在扎营后便做好了防备。

当夜，夜袭的南陈军千余人在毫无阻碍地进入唐军营寨后，立刻被张大财率部包围，双方战至半夜，南陈军力不能支，被大半歼灭，仅剩两百余人逃出生天。

次日，张大财派骑兵将夜晚割下的南陈军人头尽数抛到南陈军文材所部营寨前挑衅。

文材得知后压下愤怒的诸将校，选择坚守营盘，进而向司马昭请罪。

司马昭也知道文材的想法，因此只是宽慰几句，并没有责罚文材，只是让他守好营寨，不要再折损兵马。

见到南陈军不为所动，张大财也不再理会所在营寨中的南陈军，开始派出塘马与营垒中的左路军联络。

位置在南陈军大营西南侧的左路军营垒距离南陈军营寨此时就夹在张大财所部与南陈军中间，因此司马昭很快就发现了这一情况。

他迅速派出骑兵打算拦阻，可张大财麾下骑兵比南陈军骑兵要精锐得多，双方的轻骑在唐军营垒外追逐许久后，南陈军骑兵不支，退走。

双方取得联系后，程亦立刻建议章义退到张大财的营寨之中，章义应允。