唐绍仪虽然是袁世凯的老朋友，但他受到北洋系军人的排挤，前面已经提到过。自唐正式就任内阁总理后，很有意依照《约法》规定，成为责任内阁，这一来更给反唐的人一个借口，乃愈发在袁面前攻击唐，说唐挟革命党以自重，有独树一帜之意。唐也听到了这种闲言闲语，但以为袁大约不会被这种没有见识的人所蒙蔽。可是有一天唐在袁面前说出自己一些对政策的看法时，袁忽然很不耐烦地说：“少川，我已经老了，你就来做总统吧！”这突如其来的话，使得唐大吃一惊，才明白袁的确已对他有了芥蒂。
唐想实践责任内阁的愿望，首先便被内务总长赵秉钧所破坏。赵从来不出席国务院会议，他凡遇重大问题都直接向袁表示，根本不把总理放在眼内，而内务部也像一个不属于内阁而直接承总统命令的一个部了。除了内务部外，财政总长熊希龄也遇事制肘唐绍仪。
这要从财政困难说起，民国成立时最艰苦的，莫过于财政问题，仅北京一地，每月需款就达350万元。每月25日发饷时，当局中人一个个如热锅蚂蚁。在那350万元支出中，收入只有长芦每月解款10万，北方数省每月各解二三十万，合共不到80万元。至于全面支出方面：外交部217958元，内务部308950．162元，财政部5105954．732元，教育部112710．618元，陆军部4534350．92元，海军部232538．82元，司法部66250元，农林部46070元，工商部13700元，交通部41379．59元，合共需10679862．842元。加上每月积欠，以及拖欠应还未还外债，这个刚刚呱呱落地的中华民国，被债务已压得气也喘不过来了。
清朝末年列强曾组成了一个四国银团，统一和垄断了中国的借款，这个银团是英美德法四国组成的，其后日俄两国也参加。中国有识之士一直想打破这个财团的独占性，唐绍仪组阁时就决心要冲破这个“蛛网”，于是他径行向比国财团签约借1000万镑（南京临时参议院只核准借500万镑）。这个借款合同签订后，四国银团大哗，一方面施外交压力对袁政府，一方面用种种手段胁迫比国，使这个借款合同流产。脆弱的北京政府怎经得起这种国际压力，因此唐绍仪面对银行团的抗议，一方面表示歉意，一方面应承取消向比国借债合同。同时在民国元年5月3日与英美德法日五国银团会议借款，银团方面提出两项约束，就是所有借款的支付需由银团监督：（一）每月预算先列表，经外国顾问官核准才能给付；（二）所有军队遣散，须在北京设一陆军协会，由外国武官会同商定办法，在武昌、南京各重要处所执行遣散，并由外国武官会同监督。每一兵缴械后即发支票一纸，自往银行取款。唐绍仪认为这两项办法有损中国主权，当场拒绝，结果借款会议遂不欢而散。唐于会后召集国务院会议，报告经过，主张放弃借外债，自行强迫公债，找1000个中国富翁各买1万元公债，如此一举便有1000万元了。蔡元培则认为革命士兵可以晓以大义，不必付款即可解散。宋教仁则认为当前情势非借款不可，只好委曲求全。其他国务员多同意宋主张，于是商定一个转圜办法，由财政总长熊希龄自行担负从头磋商的责任，并由袁世凯先约银行团作为给银行团面子，然后才由熊出面。唐对此颇抱悲观，熊认为不妨一式，同时计划整顿盐政，预计每年可以增加8000万两，以此应付外债，足有余裕，甚至可由洋人派一盐政顾问以资监督。
熊希龄独任借款的交涉后，中国借款问题便先后在伦敦和巴黎先由银行团谈原则，最后获得结果是六国银团对中国大借款，条件如下：（一）大借款总额为六万万两；（二）六万万两分五年陆续支出；（三）大借款以汇丰（英）、德华（德）、道胜（俄）、汇理（法）、正金（日本）、花旗（美）六家银行为代表；（四）借款用途之监督以五银行之权限行之；（五）对于作抵之盐税，当以现在之关税制度整理盐政，并代为征收盐税。
当中国和六国银团正在洽商大借款时，中国政府于6月20日函银行团，希望先垫付300万作为紧急支付。六国银行本不欲先处理枝节问题，但中国方面坚持要先解决小额垫款，于是由英美德法四国承允垫借300万，不过这300万两垫款开支时，须照监视开支暂时垫款章程办理。其章程是：（一）在财政部附近设立核计处，用核计员二人，一人由银行团任用给薪，一人由中国政府任用给薪。（二）凡向银行团提款拨款之一切支票，须经该核计员签押。（三）中国财政部应将各项支付用途，预具说帖，送交银行团核允，此项说帖先须经由参议院核准之后，同时刊登官报。每次开支时财政部备具应有详细清单说帖等类送交核计员，以资查核。该核计员查对无误，应即照章签字支单，不得再问。（四）每次开支款项，均须具详细领款凭单，按照新式簿记法办理。此项凭单财政部须编订存留，以备核计员在核计处稽核。（五）关于各省发给军饷及遣散军队费用，须由该地方军政府备三联清单，由中央政府委派高等军官，及该地方关税司会同签押，并须予该军官、税司以调查应需之便利。此项签押之四联清单，一份存该省都督府，一份存陆军部，其余一份与领款凭单一同送交北京财政部，再由该部遂交核计处稽核。（六）预备支付之款应由税务司存储，为节省汇费起见，由中央政府令地方税务司得由海关收入项下拨款，但须该核计员等由暂时垫款项下，照所拨关税数目支出，汇存上海总税司存款项下。（七）如在北京及其附近发放军饷，或遣散部队，由中央政府派一高等军官会同该核计员，将三联领饷清单查核签押，并予该军官核计员统以监查应需之便利。垫款处银行团方面的核计员是德人蓝朴（Lamp），他曾于庚子八国联军入京时，在天津都统衙门充任财政处长，对北中国财务情况很熟悉。中国方面的核计员是徐恩元，曾在欧洲留学，自担任这个工作，常和洋人呕气，不久且吐血。代理徐的是李方，曾在前邮传部和大理院做过事，英语比普通英国人还讲得好，中文则甚差。