Зависит от обеих сторон - и серверной и клиентской. В принципе, 1 запрос к серверу лучше, чем 20. На основе этого работает принцип CSS-спрайтов. Не знаю во сколько потоков качают основные браузеры (не нашёл инфы), но в любом случае будет создаваться очередь, что уже немного замедлит время загрузки.
Вообще, оптимальный вариант - это усреднённое число файлов среднего веса.