Ông Ishiba đắc cử chức thủ tướng hồi tháng 10 sau khi người tiền nhiệm Fumio Kishida từ chức. Ông đã hoãn việc chuyển đến sống tại dinh thự chính thức của thủ tướng, trong khi chờ kiểm tra và sửa chữa. Dự kiến ông sẽ sớm chuyển đến tòa nhà này, mặc dù thời gian cụ thể chưa được tiết lộ vì lý do an ninh.
"Tôi không cảm thấy sợ hãi", ông Ishiba nói khi được hỏi về vấn đề tâm linh liên quan đến dinh thự thủ tướng . "Tôi muốn chuyển đến đó càng sớm càng tốt. Có thể sẽ có chút sợ hãi nếu nhìn thấy điều gì đó, nhưng đó không phải là điều chúng tôi lo lắng".
Được xây dựng vào năm 1929 để làm văn phòng thủ tướng, dinh thự này là nơi từng xảy ra một số vụ việc như vụ ám sát năm 1932 nhằm vào Thủ tướng lúc bấy giờ là ông Tsuyoshi Inukai.
Trong cuốn hồi ký năm 1996, bà Yasuko Hata - vợ của cựu Thủ tướng Tsutomu Hata - từng tâm sự, bà cảm thấy ngột ngạt trong quãng thời gian sống tại đây. "Người ta nói rằng có thể nhìn thấy bóng các sĩ quan quân đội đứng trong vườn vào ban đêm", bà Hata tiết lộ.
Dinh thự được cải tạo mạnh mẽ vào đầu những năm 2000, sau đó trở thành nơi ở chính thức của các thủ tướng kể từ năm 2005.
Việc cựu Thủ tướng Shinzo Abe trì hoãn chuyển đến tòa nhà này vào năm 2013 đã khiến chính phủ phải lên tiếng phủ nhận mọi tin đồn tâm linh . Cuối cùng, ông Abe đã quyết định không sống ở đó và người kế nhiệm ông, Yoshihide Suga cũng vậy.
Khi cựu Thủ tướng Fumio Kishida chuyển đến dinh thự vào tháng 12/2021, ông đã được hỏi về những hiện tượng tâm linh. Nhưng ông trả lời rằng ông không nhìn thấy bóng dáng khả nghi nào và ngủ ngon suốt đêm.