Huset er et monument over korn-eksportens tid ca. 1840-75. Det er opført 1845 som del af købmandsgården ved siden af. I 1914 indrettede Valdemar Huus et mekanisk foderblandingsanlæg i huset.
Omkring 10 år senere overgik det til det nye århundredes matador, konsul Wilh. Smith (død 1962), der i 1909 havde overtaget Sanders virksomhed i Ringstedgade. Her byggede han moderne siloer og foderblandingsanlæg, og så var Det Røde Pakhus blevet utidssvarende, efter lange forhandlinger og trussel om nedrivning solgte Wilh. Smith A/S det i 1973 til Sparekassen Bikuben.
Det blev fredet, og året efter dannedes Den selvejende Institution Det røde Pakhus, der efter en indsamling og offentlige tilskud kunne købe og restaurere huset 1975-76. I dag drives Det Røde Pakhus som restaurant.