以做自己主人为要旨的自由，和不让别人妨碍我的选择为要旨的自由，表现上来看，似乎没有什么重大的逻辑差距，只不过是同一件事的“消极”与“积极”描述方式而已。但是，在历史上，“积极”与“消极”的自由观，却朝着不同的方向发展，而且不一定依照逻辑常理，终至演变成直接的冲突。
要弄清楚这个现象，其中一个方法，就是去了解自主（self-mastery）这个比喻，本身所造成的影响力。最初，这也许是并无害处的影响力。“我是自己的主人”“我不是任何人的奴隶”，这种想法并没有害处可言。但是，如柏拉图学派（Platonists）或黑格尔学派所想探讨的：我会不会是自然的奴隶？我会不会是我自己那种“不受约束”的激情的奴隶？这些，难道不也同样是“奴隶”？进而言之，有些人是政治上的或法律上的奴隶，有些人则是道德或精神上的奴隶？人类不是曾经有从精神的奴役中得到解放，或者从自然的奴役中，得到解放的经验吗？同时，在这个解放过程中，人类不是曾经一面知觉到那个在主宰事物的“自我”，另一面，又知觉到在他们内心里，有某些东西也被驯服了吗？随后，人类就把这个“自我”看成理智，看成“更高层次的本性”，看成那个计算并争取终能使它满足之物的自我，看成“真实的”“理想的”或“自主的”自我，或看成“表现得最好时候”的自我，接着，人们就把上面这种自我，对比于非理性的冲动、不受控制的欲望、我之“较低层次的本性”、立即乐趣的追逐以及“经验界的”、“被他人或别种律则支配的”自我，从而认为：这个自我被欲望与激情所左右，如果要上达它“真实”本性的充分高度，就必须受到严格的纪律。目前，我们更可以认为这两种自我，还被一条更大的鸿沟隔开：那个真实的自我，还可以被看成某种比个人（一般意义下的个人）更广泛的东西，它可以看成个人只是其中一个因素或一个层面的社会整体，例如：一个部落、种族、教会、国家，以及由现在活着的人加上已逝者和未到人世者，所构成的“伟大社会”等。这个“整体”于是被看成“真正的”（true）自我，它将集体的、“有机的”、独一无二的意志，强加在顽抗的“成员”身上，从而获得它自己的“更高层次”的自由。思想史上，有人强制他人，要将他们提升到“更高”的自由水平；而使用有机体的比喻，来辩护这种强制，也已经有人指出其中的危险。但是，这一类语言之所以能显得有理，是因为我们承认：以某种目标的名义，例如正义或大众健康的名义，来对人们施以强制，是可能的，而且有时是有理由的；因为群众若是在民智已开的阶段，他们自己也会去追求这些目标，如今他们没有去追求，只是因为他们盲目、无知或腐化。如此一来，我很容易认为，我是为了他们自己、为了他们的利益，而强制他们。于是，我就是在宣称：我比他们自己，更明白他们真正需要的是什么。其中隐含的意思，充其量只是：如果他们和我一样理性、睿智，并且也和我一样，了解他们自己的利益，他们就不会抵制我。但是，我却可以利用这一点去作更多的要求。我可以声言，他们实际上是在追求他们于蒙昧状态下有意抵制的目标，因为他们内心里有某种奥妙的东西，某种潜在的理性意志（rational will）或“真正的”目标，这种奥妙的东西，虽然被他们表面上的感觉、行动或言语所掩饰，却正是他们“真实的”自我。而处于现实时空中的、可怜的“经验自我”，对这个“真实的”自我一无所知或所知极少。只有这个内在精神的自我，才是唯一的自我，它的愿望，才值得我们考虑。[11]一旦我采取这样的观点，我的立足点，就可能使我忽视人类或社会的实际愿望，借人们的“真实”自我为名，并且代表那个自我，去欺凌、压迫、折磨他们，同时心里却还坚持认为：只要是人类的真正目标，诸如：幸福、责任之履行、智慧、公正的社会或自我完成等，便一定能和他们的自由相吻合，而这自由即是：自由地选择他“真正的”但却经常埋没而未得表明的“自我”。