在匈奴建国以前，东北亚草原被许多大小不同的氏族部落割据着。那时的部落和部族联盟的情况是“时大时小，别散分离”；是“各分散居溪谷，自幼军长，往往而聚者百有余，然莫能相一”。当时分布在草原东南西喇木伦河和老哈河流域的，是东胡部落联盟；分布在贝加尔湖以西和以南色楞格河流域的，是丁零部落联盟；分布在阴山南北包括河套以南所谓“河南”（鄂尔多斯草原）一带的，是匈奴部落联盟。此外还有部落集团分散在草原各地。后来的匈奴国，就是以匈奴部落联盟为基础，征服了上述诸部落联盟、部落以及其他一些小国而建立起来的。
自西周起，戎族开始威胁中原王朝，周幽王烽火戏诸侯后，犬戎部落攻陷镐京，迫使平王东迁。战国时林胡、楼烦多次侵扰赵国，赵武灵王胡服骑射驱逐林胡、楼烦，在北边新开辟的地区设置了云中等县。林胡、楼烦北迁融入新崛起的匈奴。在战国末期，赵国大将李牧曾大败匈奴。
前3世纪匈奴统治结构分为中央王庭、东部的左贤王、和西部的右贤王，控制着从里海到长城的广大地域，包括今蒙古国、俄罗斯的西伯利亚、中亚北部、中国东北等地区。