三公之名由来已久，西周时期为太师、太傅、太保，到了西汉初期，中央有丞相、太尉、御史大夫。不过这时的三公并非形成了真正的制度，而是范称，直到东汉时期，三公的地位才被正式纳入体制内。

儒家一直认为古代最好的政治制度就是三公制，从黄帝到周初实行的都是三公制，甚至有“三公、九卿，二十七大夫，八十一元士”的以三的乘数为标准的政治设想，这也反映出古人对“三”的神秘崇拜。

丞相、太尉、御史大夫虽然被称为三公，但它们的政治地位却是千差万别。下面就以西汉初期的情况来做个对比。

丞相也称相国，承秦而置，秩万石，金印紫绶，地位最高，为汉初第一高官。几乎无所不统，权力也最重。当时，不仅皇帝的未央宫中有殿，丞相府中也有百官朝会殿。皇帝要和丞相议论国家大事，还要亲临其殿。

汉武帝时，田蚡借外戚身份，更加扩大了丞相的用人之权，甚至凌驾于君主之上，自然引起了武帝的不满，他有意削减丞相的权力，用了很多办法，其中一种是以大司马、大将军参议机密大事。所以，自武帝以后，丞相虽然名义上仍是百官之首，但实际权力已经大大削弱。到哀帝时，丞相改名为大司徒，位在大司马之下，成为第二高官。

太尉，亦承秦而置，秩万石，金印紫绶，地位仅次于丞相，为汉初第二高官，专管武事，从制度上说，权力也很重。但由于丞相无所不统，武事以属其职责范围，因此在一定程度上夺了太尉的权。太尉并不常置，武帝以前为太尉者，仅有卢绾、周勃、灌婴、周亚夫、田蚡五人。

武帝废太尉后，虽置大司马，但无印绶官属，武事仍归丞相掌管。直到成帝时，才许大司马置印绶官属，成为实职，代太尉管武事。哀帝时，大司马位在大司徒之上，成为第一高官。

御史大夫亦承秦而置，秩二千石，银印青绶，地位稍低，为汉初第三高官。执掌监察，权力也很重。但总体来看，御史大夫和丞相、太尉都不在一个等级。古时把官僚分成公、卿、大夫、士四个等级，丞相、太尉属于公级，御史大夫属于上卿级。

然而，由于太尉不常设，御史大夫作为丞相副手，其府与丞相府并称为“二府”。武帝为了限制丞相的权力，曾信任御史大夫张汤，也使得御史大夫的地位有所提高。到成帝时，改名大司空，授金印紫绶，禄比丞相，才将地位正式升高到公级。但排名不变，仍然是第三高官。

我们知道，所谓的三公，是指地位完全相等的三个官职。但从西汉时期的情况来看，丞相、太尉、御史大夫的地位，从来没有完全相等过。因此，它们不能合称为“三公”，西汉也不存在所谓的三公制。《汉书·百官公卿表上》也记载说：“秦本次国，命卿二人，是以置左右丞相，无三公官。”

西汉虽然没有三公制，但这并不说当时没有“三公”的说法。因为御史大夫虽然不属公级，但它在当时百官中，毕竟排名第三，且太尉又不常设，实际居于第二，除丞相外它名位最高、权力最大，因此在说法上常将御史大夫抬高，成为三公之一。

成帝绥和元年（前8年），改御史大夫为为大司空，与丞相、大司马合称三公，似乎实行了三公制。但仅过三年，及哀帝建平二年，三公制就瓦解了。王莽改制后，恢复三公制，但因为他之前担任的就是大司马，所以大司徒、大司空实际上成了大司马的属官。因此，当时虽有名义上的三公，却无实质性的三公制。

三公制的正式形成，是在东汉时期。光武帝建武二十七年（51），改大司马位太尉，去大司徒、大司空之“大”，以太尉、司徒、司空为新三公名。

当时，太尉分工管军事，司徒分工管民政，司空分工管工程，地位相等，无轻重之分。因而遇到祭祀、大丧等重大事务，他们都有权参与，或者分工处理，不允许任何一方具备特殊权力。

因此可以说，地位相等，权力平衡，是三公制的内涵要素。东汉三公地位相等，权力平衡，所以我们说三公制的正式形成，是在东汉时期。