陆徵祥请假时，内阁总理由内务部总长赵秉钧代理。赵在唐内阁和陆内阁中，都是独立特行的，他不参加国务会议，遇事直接向老袁请示。国民党成立后，他受袁的密令，接受黄兴的邀请，加入国民党。袁既然向黄兴大送秋波，要请黄的好友沈秉坤出任总理，黄兴投桃报李，遂向袁推荐赵秉钧组阁，因为赵是袁的死党，又是国民党员，自然是过渡时期理想的人选。
赵既然已经代理了总理，如今由代理而真除，在袁世凯来说，应是正合孤意。可是黄兴更向袁推荐沈秉坤出任内务总长以接替赵的遗缺，这却不为袁所接受，因为内务部在赵时代已形成了一个极有实权的机构，具有民政权和警察权，袁当然不会把这个主要机构交出来的。
民国元年9月22日，袁世凯向临时参议院提出任命赵秉钧为内阁总理，得到参议院的顺利通过。为什么参议院会顺利通过呢？这完全因为有黄兴的疏通调和。可是袁并没有接受黄的推荐以沈秉坤主内务，却派沈为浦口商场督办，另以袁的死党朱启钤继任内务总长。
赵秉钧组阁时。袁放出空气说：“赵秉钧是国民党党员，国民党所主张的政党内阁已经实现了。”其实，这是一个张冠李戴的政党内阁。
天下事有许多奇怪的，也不可解的，譬如说陆徵祥以擅长外交来组织民国的第二届内阁，可是在他任国务总理期间，却没有什么大的外交事件让他一显身手，麻烦的却是内政。先有张振武案发生，其后则是孙、黄入京，四巨头发表政纲，这一连串的大事都使陆徵祥尸位素餐，幸而他因病入住医院，落得一个不闻不问。至于赵秉钧组织第三届民国内阁时，赵一直负责内务部，从清宣统年间到民国，应算是一个内政专家了，可是他一上台，麻烦就出在外交上，那便是轰动一时的库伦问题。俄国阴谋掠占外蒙古所发生的“俄库问题”。
陆徵祥原已答应继续留任外务总长，但其后又变了主意，坚决不干，于是赵秉钧的内阁中，外交总长乃由梁如浩继任，陆徵祥则被袁世凯聘为总统府的高等外交顾问。
赵秉钧内阁成立后，外交团中忽然传出一个骇人的消息，说是中国政府已经和各国断绝外交关系了。这当然是个谣言，谣言从何而起呢？原来是这么一回事：当梁如浩接任外交总长后，认为依照各国通例，所有各国使节应该依例前赴外交部道贺，所以乃发表一封通函给各国使馆，略谓本总长已于某月某日接任，特此通知，并希望贵公使于某日某时来署，以便接见云云。这个通知在外交团中引起了波折，因为外交团的看法不一样，他们的解释是：前清时代，外务部尚书到任，都是先拜使馆，然后各国使节才前往回拜。今日的外交总长，就是前清时的外务尚书，依此而言，宜由外交总长先来拜望，然后各国使节才可赴外交部。外交团这种意见实在是错误的。前清的外交部是总理各国事务衙门，最高负责人是奕劻，他一直负责了十几年，至于下面的尚书，实际上是辅助官。这些尚书到任时倒是真的先赴各使馆拜望，然后再由各使回拜。外交团以这一个例子来衡量民国时代的外交总长，实在是不恰当的。各国使节答复??总长就任和约会函很简略，只云：“接到贵总长来函通告接任，聆悉一是”。竟不提约会，也不赴约，还有几个国家竟只字不复，实属可恶之至。其中只有法国公使曾赴梁的私宴一次。各国使节遂和赵内阁的外交总长毫无往还，凡有事故，各国使节由参赞随员和外交部次长颜惠庆交涉。这就是中国和各国断绝邦交谣言的真实原因。梁如浩的外交总长坐了月余，外交上毫无办法。民国元年10月24日突然发生俄库密约事，梁仓皇无措，乃于25日至东交民巷遍拜各使，当然毫无要领。俄库密约发生后，梁如浩蒙在鼓里，一无所知。要知道外交活动要讲历史渊源和关系，在这方面，梁不只比不上陆徵祥，也比不上他的次长颜惠庆，所以库伦问题一发生，梁当然手足无措了。
库伦问题的发生，是俄前任驻华公使柯索维茨到库伦活动的最高峰。路透社电讯说柯使已向库伦交付正式承认书，“库伦”政府元首哲布尊丹巴活佛及蒙人对柯使予以盛大欢迎云云。这则电讯震动了北京朝野，总统府和国务院均分别召开紧急会议，与会人士面面相对，拿不出一个办法来。因为任何人都不知道俄蒙勾结的实际内容。北京政府和库伦之间的接触，多是间接的，库伦电报局已被接收。中国外交部也曾采取行动，电令驻俄代办向俄国外交部询问，俄国答复说：“中国现已与各国断绝邦交，所以我国没有意思答复。”这所谓的断绝邦交就是梁如浩上台后未去拜访各国驻北京使节。