Первое что нужно сделать это проанализировать текущую ситуацию.
Для этого лучше всего подойдёт расширение для FireFox которое называется FireBug.
В FireBug можно посмотреть скорость загрузки страницы и время загрузки каждого файла.

Что надо искать?

• Включена ли компрессия HTML.
• 
• Количество JS и CSS файлов. Каждый плагин подключает нужные для работы стили и яваскрипт и если у вас много плагинов это плохо сказывается на общей производительности сайта.
• Внешние JS, CSS и внешние картинки. Если на вашем сайте существенные тормоза то это скорее всего из за этого пункта.

И самое интересное, пути решения проблем:

• Включаем gZip
• Ставим плагин WP Minify - очень мощная штука, объединяет CSS и JS файлы в один, удаляет всё лишнее и пакует.
• удаляем ненужные счётчики, перекидываем картинки к себе, плагин Cache Images помогает найти внешние картинки и автоматом закинуть их на сервер.
• плагин wp-cache кэширует сгенерированный HTML.