地上，曹操对孙、刘更不敢轻举妄动。不久之后，刘备占领了湖南一带，接着占领益州，即以四川为中心的广大地区。随着蜀国力量的壮大，蜀国占领荆州已经日益成为对吴国的威胁，孙权再一次强烈要求蜀国归还荆州。刘备取得益州后根本不想归还荆州，孙权便趁刘备西征入川的时候，悄悄给妹妹写信谎称吴国太病重，想将孙夫人和阿斗骗到东吴，然后用阿斗换回荆州。孙夫人不辨真伪，匆匆携阿斗登船回吴国，张飞、赵子龙闻讯追赶拦截，把阿斗留下，只放孙夫人一人回去。
重返吴郡的孙尚香才21岁，无论是正史还是野史均无孙尚香再嫁的只字片语记载，也就是说正富青春的她自此开始“寡居”生活。在此后的岁月中，孙尚香一方面承受的是寂寞孤苦，另一方面则背负着一种强大的精神压力。在东吴人眼里，她始终是敌对方元首刘备的夫人；在蜀汉方心中，她是里通东吴，有劫持人质之嫌。因此，刘备在蜀地称帝后，并未给她什么封号，而是册立偏将军吴懿的妹妹为皇后。刘阿斗继位后，也没追赠她为皇太后，蜀汉的史官仅称她为“夫人”，并未给她单独立传。
孙夫人一去，吴、蜀关系恶化，围绕着荆州上演了一幕幕的悲剧。刘备这时在蜀中站稳了脚跟，孙权又觉得要武力收回荆