在六十年代两弹一星的建设过程中，有许多杰出的领导者，他们中的大部分人并非科班出身，但都为发展国家的国防尖端科技付出了巨大的努力和奋斗。不过，也有少数是科班出身的干部，其中就包括刘西尧。许多人对刘西尧并不熟悉，事实上，在参加革命之前，他曾在武汉大学物理系学习。抗战爆发后，他放下书本投身到抗战工作，后来一直在鄂皖边区负责地方工作。

新中国成立后，刘西尧从省委秘书长的岗位被调到二汽工作，为国家工业发展作出了贡献。1958年，他被调到北京，担任国家技术委员会副主任，这为他在科学技术，特别是国防尖端科技领域的发展提供了机会。随着国家科学技术委员会的成立，他改任为国家科技副主任。当时他虽然有意从事工业工作，但因为科学技术领域跨度较大，他有些担心自己无法胜任。不过上级坚持让他担任这个职务，他也表示服从。在这个岗位上，他主要负责材料、计量和标准的工作。1959年，苏联单方面撕毁了两国签订的国防新技术协定，拒绝提供核武器援助，并在1960年撤回了所有专家。为了应对这种情况，聂帅提出要研发新的国防尖端技术所需的原材料，并决定将国家科委一局改为新材料局，刘西尧作为副主任，负责材料局的工作，从此进入了国防科研领域。

苏联撤走专家后，我国的原子弹和导弹研发工作没有停滞。几位老帅表示，无论面临多大的困难，我们都要研发出这些武器。没有这些强有力的武器，国际上就会看不起我们。1960年，为了更好地协调国防科研部门与其他相关部门之间的矛盾，刘西尧兼任国防科委副主任，主要负责处理国防科委与国防工办之间的关系。国防科委和国防工办分别由聂帅和贺帅主管。1961年，聂帅派刘西尧与张爱萍一起前往二机部调研，了解我国是否能够自主制造原子弹，并预测什么时候能够成功爆炸。张爱萍最初对这一领域并不熟悉，但他知道刘西尧毕业于武汉大学物理系，理论基础应该比自己扎实，因此邀请他一起去调研。

刘西尧和张爱萍一行先去了湖南，考察了铀矿，再到西北调查铀浓缩厂。经过一个雨夜的实地调查，他们得出了一个结论：经过二机部和其他相关单位几年的努力，核工业建设和原子弹研发工作取得了显著进展。如果能继续攻关，安排好配套技术的研发和供应，那么大约两三年内，最迟在1964年就能成功进行核爆炸。在这期间，刘西尧还参与了制定发展国防尖端技术的补充规划。为了更好地解决国防科研与国防工业在日常工作中的矛盾，张爱萍和刘西尧都兼任了国防工办副主任。

此时的刘西尧肩负着多个重要职务，分别是国家科技副主任、国防科委副主任、国防工办副主任。与此同时，二机部的刘伟提出，希望能够派一位能力较强的干部担任二机部的第一副部长，来加强二机部的领导工作。考虑到原子弹研发的工作重要性，上级决定将刘西尧派往二机部工作。聂帅询问他，是留在国防科委工作，还是去二机部抓原子弹工作比较合适。刘西尧表示，还是到二机部直接抓原子弹工作更为合适。因此，上级决定免去他在国家科技、国防科委和国防工办的副主任职务，任命他为二机部副部长。从此，刘西尧将大部分精力投入到二机部的工作中，并于1975年被任命为二机部部长。然而，在1977年，他被调离了二机部，转任教育部部长，并为恢复高考做出了重要贡献。刘西尧在教育部工作到1978年后辞职，随后在1979年被派往四川工作，几年来一直处于二线工作岗位，直到最终退休。