La version de WordPress apparaît par défaut dans les en-têtes HTML, ce qui n'est bien entendu pas une bonne chose d'un point de vue sécurité. Pour la supprimer, il faut rajouter ce bout de code à la fin du fichier functions.php de votre thème :
<?php
// Pour retirer l'affichage de la version de WordPress dans les en-têtes HTML.
remove_action('wp_head', 'wp_generator');
?>
Pour ce faire, vous pouvez soit modifier le fichier functions.php de votre thème à la main (il se trouve normalement dans wp-content/themes/<votre thème>/functions.php), soit le modifier depuis l'interface d'édition de WordPress (Menu Apparence => Éditeur).
Pour plus d'informations sur la fonction remove_action, cliquez ici.
Pensez également à supprimer le fichier readme.html présent à la racine de votre site. Ce dernier contient également le numéro de version de WordPress.