【结怨公孙】
初平元年（190年），在东郡太守桥瑁号召下，各路诸侯联合起来讨伐董卓，拉起了乱世的开端，当时张燕也带着他的部队与各路诸侯结盟，加入了讨伐董卓的大军之中。
董卓之乱后，青州刺史焦和也决定联合其他诸侯讨伐董卓，但由于他抽调了过多的部队，导致青州空虚，被黄巾军余党趁机而入，结果焦和的军队还没渡过黄河，青州已经大乱，焦和被迫回转镇压黄巾贼。
但焦和贪生怕死，在优势军力下反而被黄巾贼们牵着鼻子走，弄的原本富饶的青州变得一塌糊涂。焦和病逝后，青州无主，青州、徐州的黄巾贼更是肆无忌惮，准备进入冀州和黑山军汇合。
当时青州、徐州的黄巾据记载人数多达三十万，势力庞大，但没想到公孙瓒突然插了一杆子，青、徐二州的黄巾军不敌公孙瓒，损失惨重，被迫转而去往兖州，与黑山军在冀州的汇合未能完成。
所以在历史上黑山军虽然最终和公孙瓒是盟友关系，但一开始双方是有仇怨的。
【联合抗袁】
公孙瓒虽然阻止了黑山军和青州、徐州黄巾军在冀州的汇合，但毕竟没有直接针对黑山军，相反，通过这一战，公孙瓒给黑山军展现出自身了强大的实力。
当然这仅仅是黑山军决定和公孙瓒、袁术等人联合共同对抗袁绍、曹操等人的原因之一。
历史上袁绍作为反董联军的盟主，不仅没能完成反董大业，反而夺取盟友的地盘，拖自己弟弟的后腿，这时很令人不齿的。而且袁绍、曹操在对抗董卓的过程中表现的也是非常不给力，曹操就不了，在汴水之战中都被徐荣虐成了什么样子，而袁绍作为盟主，麾下的大军也在河阳津一带被董卓打的几乎全军覆没。
相比之下，袁术和公孙瓒在战场上表现出的实力就强太多了。袁术麾下大将孙坚先是击败了胡轸和吕布的讨伐军，还把董卓麾下将领华雄枭首示众，然后在先帝陵墓一带更是击败了董卓亲自率领的西凉主力军，最终还攻下由吕布守卫的旧都洛阳。如果不是袁绍派周昂攻击了孙坚的后方，甚至袁术和孙坚都可能直接打到长安。
而公孙瓒直接击溃了黑山军的盟友青州、徐州的黄巾军，其实力更是一目了然。
在实力对比方面，直观来看，袁术、公孙瓒的实力是更占上风的，一开始袁绍、曹操等人并没有显得很强大。
但这些并不是黑山军选择公孙瓒、袁术的根本原因，张燕会带领黑山军会帮助公孙瓒、袁术对抗袁绍、曹操，还是和自己的切身利益有着莫大的关联。
在历史上黑山军作为黄巾军的余党其主要活动范围也在冀州一带，所以他们理所当然的把冀州作为了自己的主要目标，袁绍成为冀州牧后，由于地盘离得近，所以袁绍不仅是公孙瓒的主要敌人，也是黑山军的首要大敌，相比之下黑山军在幽州的势力不大，和公孙瓒没有冲突。
兖州的情况也类似，早先于毒、白绕、眭固等黑山军将领就攻入兖州东郡，但曹操出兵将其击退，就此和黑山军就结下了仇怨。后来黑山军和青州、徐州黄巾军在冀州汇合失败后，开始大规模转入兖州，把兖州也弄的一团糟，兖州刺史刘岱为了讨伐黄巾军而战死，更是大大鼓舞了黑山军和黄巾军的士气。
但曹操成为兖州牧后，逐渐把兖州的黄巾军逼到了绝路，青、徐二州的黄巾军迫于生计向曹操投降，其中精锐还被曹操收编为了“青州兵”。
所以后来黑山军相继派军支援公孙瓒讨伐袁绍，袁术讨伐曹操，但都没有取得胜利，相反自己损失不。
但黑山军没有放弃，尤其是对离自己近在咫尺的冀州。
【黑山军vs袁绍】
初平四年（19）由于后方刘虞的威胁，公孙瓒在太仆赵岐的调节下向袁绍求和，袁绍和公孙瓒暂时停战，袁绍于是南下薄落津，并且全军大开庆功宴，祝贺对公孙瓒取得了胜利。
然而就在此时魏郡发生兵变，造反的兵士和黑山军将领于毒等人会合后占领了袁绍的大本营邺城，并且杀害了太守栗成。这个消息传来之后，全军震惊，特别是那些家属在邺城的，一个个忧心忡忡，大惊失色，甚至有的人站起来直接放声大哭，但袁绍却容貌自若，不改平时的风度，就像其家眷没有在邺城一样。
看到首领袁绍镇定自若，其他人也最终慢慢的稳定了下来。
当时整个邺城中有十多支黑山军的部队，其中有一个叫陶升的人，自称“平汉将军”，独自反叛其他的贼人，他率领部众从西面翻过城墙入城，封闭了郡府，将辎重装上车，用车子将袁绍一家和其他家住冀州城的官员的家人亲自护送到了斥丘。袁绍随即率大军进驻斥丘，并且任命陶升为建义中郎将。
袁绍就此拉开了对黑山军反击的号角，后来在讨伐张燕时吕布也来投靠袁绍，为袁绍军平添了一大战力。
同年六月，袁绍于是发兵进入朝歌鹿肠山苍岩谷谷口，攻打于毒，仅仅围攻五天，就打败了于毒，杀死了于毒及其部众一万多人。接着袁绍沿着鹿肠山向北进攻左髭丈八等其他贼人，将他们全部消灭。又攻打刘石、青牛角、黄龙、左校、郭大贤、李大目、于氐根等人，再次斩杀好几万，将他们的营垒全部摧毁。
接着袁绍联合吕布等人与黑山军的首领张燕展开了激战，当时张燕联合了匈奴屠各部四营、雁门乌桓等外族，自己麾下也有有几万精兵、几千骑兵，实力并不弱。袁绍和其在常山交战，双方连续打了十多天，由于吕布等人的勇猛，张燕的军队死伤很多，袁绍军占据了上风。
但经过长期的作战袁绍的军队已经疲惫不堪，而且吕布也是怀有异心，趁机扩大自己的势力范围，于是袁绍和张燕各自退兵。
经过这一仗，袁绍沉重的打击了黑山军势力，对于冀州的控制力也是大为加强，但由于黑山军主要在山区活动，经过张燕常年历练实力也不弱，所以袁绍没能彻底消灭黑山军，黑山军对于袁绍的威胁依然存在。