A história de K-ON! se desenvolve ao redor de quatro garotas, estudantes do ensino médio, que entraram no clube de música leve para tentar salvá-lo de ser suspenso. Entretanto, elas são apenas membros do clube, e nenhum delas tem experiência alguma com tocar instrumentos ou ler partituras.