绍仪跟自己非是一路人，尤其是看到他竟然联合同盟会众议院在参议院驳回了自己的任命。他任命的内阁次长张元奇的离职更是令他感觉到自己似乎被唐绍仪扇了一巴掌，让他感觉这个大总统的威严荡然无存。
袁、唐之间的冲突终于以借款问题为导火线而公开爆了。早在袁世凯就任大总统之前，他便通过朱尔典的关系联系上了四国银行团，商议借款的事情了。后来先后又有国家加入，因为他的地位不断的稳固，从洋人手中他先后的接到了数百万的借款，只不过大都用于编练他的北洋新军，只有极少数最后到了财政部，又从财政部中挤出来一部分给唐绍仪使用。而这些钱对于一个迫切想要有所作为的内阁总理来说实在是太少了！
于是唐绍仪最终绕开了袁世凯，自己亲自拜会了‘华比银行’北京分行，最后通过这家比利时银行借款100万英镑，年息5厘，以京张铁路余利作为担保，用于改善内阁财政，同时有所作为。
6月14日，借款敲定，消息这才产出之后引起轩然大波。
京张铁路乃是袁世凯跟列强银行团大借款的抵达之一，无论是袁世凯还是列强银行团在合约签订后都是大怒，一致向袁世凯抗议唐绍仪的借款所为，同时联手打压华比银行。同时各国公使联手往外