Enquanto isso, as dívidas da família cresciam cada vez mais e por fim eles tiveram que vender sua casa e se mudar para uma acomodação alugada. Durante um tempo eles tentaram manter uma taverna, suplementando seu rendimento com venda de bolos de arroz. Toda noite Nao moía cerca de oito quartos de arroz em um pilão de pedra para prover farinha de arroz para os bolos. Tudo isso com a pequena Ryôko presa às suas costas e a bebê Sumiko ao seu peito. Hisako e Seikichi colocavam os bolos prontos em caixas e saíam para vendê-los nas ruas, de porta em porta.

Pilão de pedra onde Nao moía arroz para fazer bolos de arroz.

        Neste meio tempo, o beberrão Masagorô estava com seus copos de sakê. Além disso ele gostava das cenas de paródias e musicais que companhias de menestréis errantes traziam para o povoado. Nao empacotava uma refeição para ele e este se ausentava da cena doméstica. Dizem que um desses grupos o fascinou tanto que ele os seguiu pela cidade e para povoados afastados sem voltar para casa por vinte dias.

        Durante todas as dificuldades, Nao se manteve devotada a seu marido, ouvindo submissamente a todos os seus pedidos por menos razoáveis que fossem. A harmonia que prevaleceu na família era o modelo da vizinhança e, após a morte de Masagorô, Nao comentava com freqüência que seu único pesar era que ela nunca pôde ter meios de manter um barril inteiro de sakê na casa para seu marido.