В дефолтной теме для этого есть файлик 404 Template
А как сделать это в темах где нет такого файла? Любые мои манипуляции с файлом Page Template не дают нужного результата
создай файл 404.php по образу того файла который в дефолт. т.е. с выводом хедера, футера и проч. а вот стили уже можешь свои ставить
кажись так
если надо какие-то хитрые обработки 404 - есть функция - is_404()