老屋的故事可多了，這些故事正是造成該屋謠傳成鬼屋的來由。洋樓旁有一古井，傳說劉家曾有婢女因故想不開，投井自殺，死去後成為當地陰靈，也有謠言傳說當地曾有日軍（另一版本為戰後國軍）經過此地，無他處可住，因此商請劉家借用洋樓居住，沒想到，不知為何原因，開始持槍互相掃射，無人生還，廳內只剩滿滿的士兵屍體⋯⋯這些傳說在 90 年代引起了電視臺的關注，並藉著全國放送讓「民雄鬼屋」的傳說不僅流傳於嘉義一代，進而成為全國有名的十大鬼屋之一。
電 競 品 牌 推 薦
有趣的是，謠言到了 2000 年前後，進一步變形了。傳說那名投井自殺的婢女，其實是因為受到了當年主人的虐待，婢女受不了長年以來的羞辱，因而投井自殺，自殺後成為當地厲鬼給予劉家報復，劉家結局因此相當悽慘（實際狀況請見前段）。至於那群住進去的士兵，其實入住前已聽說該屋有厲鬼作亂的謠言，但仍堅持入住，結果官兵持槍殘殺彼此，不服氣的冤魂繼續束縛此處，更讓洋樓破敗至此。
這些靈異故事愈長愈大，情節也愈來愈豐富了，甚至開始有明顯的歷史錯誤發生，有人傳說當時蓋這棟洋樓的原因，不是為了甚麼兄弟和樂，其實是因為風水師向劉家建議，日本政府要在這裡蓋縱貫線鐵路，鐵路一開，就打破了劉家這一帶的風水，因此要馬上蓋一棟建築物，來鎮壓住被破壞的風水。但縱貫線鐵路在 1908 年就已經通車，該屋則建於 1929 年，相差 21 年之多，可見風水之說應該是後人加添而形成。
1999 年，民視「台灣奇案」外景隊刻意選擇該洋樓拍戲，傳說燈光師一直感覺有人拍擊他的肩膀，燈光師轉頭一看，卻又都看不到人，團隊也因此愈拍愈慌張，只好快快拍完收工，這件事情還上了影視晚報，但作者竟然只因為老屋用紅磚所蓋，就聯想到淡水紅毛城，因此將該屋誤認成荷蘭時期三百多年前就已興建好的房屋。
