Taipei im Jahr 1960. Der 14-jährige Schüler Chang Chen, von allen Xiao Si'r („kleine Vier“, da er das vierte von fünf Kindern ist) genannt, hatte im letzten Jahr in einem Fach eine mangelhafte Note erhalten. Obwohl alle anderen Fächer erfolgreich liefen und er eigentlich ein guter Schüler...
In den sogenannten Blumenhäusern, den gehobenen Bordellen von Shanghai, spielen sich miteinander verwobene Geschichten ab. Der Film erzählt von der jungen Kurtisane Crimson, die nach einer längeren Beziehung von ihrem "Meister" Wang verlassen wird und nun um ihre Existenz fürchten muss.