不出林萧所料，这一次特首宴请他们，选择的地方就是礼宾府，也就是以前的港督府。
最初的港督府只有一座以新古典主义建筑风格建成的主楼，落成后历任港岛管治者一直有对该建筑进行加建和修改。
战前最大的加建工程是扩建东翼，当时港督府由于举行活动日多，港督德辅决定加建东翼，由设计到建成历时仅三年，东翼主要用作社交活动场地，即今日之宴会厅。
东翼面积与主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅。
日占期间，港督矶谷廉介没有入住港督府，但仍以此作为督宪府，并作出大规模改建。
改建设划由年仅二十六岁的日本建筑师藤村正一负责，主要加建了中央日式塔楼，加建于原有两座建筑之间，把两座建筑物连接起来；屋顶改为日式瓦顶及修改石柱墙饰，淡化建筑物的欧陆风味；内部装设日式趟门和榻榻米台，并加设了茶室。
日治期间虽然物资短缺，但改建仍于1944年完成，使港督府变成一座具东洋特色的府邸，成为现在看到的模样儿。
1945年日本宣布投降，同年9月16日签署投降书的仪式，举行地点正是港督府。
由于日