Quando o arquivo de CSS está com aproximadamente 5Kb de tamanho, dificilmente alguém vai perceber uma certa lentidão ao abrir as páginas, agora quando o arquivo começa a ficar maior que 25Kb, a coisa começa a mudar e a lentidão começa a aparecer, principalmente para quem está em uma rede lenta ou utiliza um computado com pouca capacidade de processamento (o que faz o browser tomar mais tempo para renderizar a página).
Com dicas simples é possível reduzir bastante o tamanho do CSS, fazer o browser renderizar mais rápido e claro, tornar seu site mais eficiente. Esse artigo tem excelente dicas para isso.