指南针的历史不可避免地与磁铁联系在一起。几千年前人类就发现了磁的存在，当时他们注意到某种岩石——磁石一一的不寻常特性。磁铁矿中含有大量的磁石，是一种氧化铁混合物，即天然的磁铁。根据罗马作家普林尼的记载，一个名叫马格纳斯的牧羊人注意到自己苗羊用的牧杖的铁质顶端会被某些岩石粘住，因此有了磁石的发现。
  地球本身就是一个巨大的磁体，由巧融态的铁和镇组成的地球外核上有电流及对流存在，从而产生磁场。就像一个简单的磁条，地球的磁场也有两极——北极和南极。把一个磁条放在撒满铁屑的纸上，铁屑会沿着由两极福射出的磁力线分布。一个磁化的物体。例如磁石、指南针指针，也会像铁屑那样调整自己的指向，使其与磁力线的指向保持一致。
  公元1世纪，中国人把磁石应用在叫做"司南"的装置中，主要用来看风水。在这个装置里，磁石被雕刻成勺子的形化，摆放在一个表面经过磨光的底盘上，会使自身指向南-北轴向。底盘上通常刻方向（东、西、南、北）、星座的分布及占h用的符号。在公元83年，中国哲学家王充对这种装置进行了记载，但没有提到它在航海上的应用。
  在8世纪，中国人用磁化了的铁针代替原先司南中的磁石。这种磁针是通过将铁针顺着磁性极好的磁石的磁轴放置磁化后获得的。1086年中国科学家沈括在他的《梦溪笔谈》中明确提到--种专用于航海的磁罗盘。到1117年，北宋朱或写的《萍洲可谈》描述指南针在海上的使巧。
  然而直到欧洲人探险时代开始后，罗盘才被做成精密的航海辅助设备。鉴于远东地区进行的大量革新，罗盘很可能是由阿拉伯人传入西方的。在此之前，欧洲的旅行者们利用太阳或北极星来辨别南北方向。尽管他们能通过这种天文方法来获得比较精确的定位，但这只有在天气晴朗时才能进行一不时岀现的坏天气经常严重影响航海活动并导致灾难性的后果。
  11世纪时，维京人可能利用罗盘航行于北欧沿岸，但是第一个关于磁罗盘的记载来自《对于万物的思考》一书中，这本书由英国学者、牧师亚历山大•尼克曼撰写，出版于1180年。