SEO tecnica WordPress: crawl budget, indicizzazione e il mito del 100/100

# robots.txt — WordPress ottimizzato per crawl budget

User-agent: *

# Blocca solo ciò che non ha valore SEO
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/feed/atom/$
Disallow: /?s=          # risultati di ricerca interni
Disallow: /search/      # pagine di ricerca alternative

# NON bloccare questi (errore comune):
# Disallow: /wp-content/   ← blocca CSS/JS, rompe il rendering
# Disallow: /wp-includes/  ← stesso problema
# Disallow: /*.css$        ← blocca i fogli di stile
# Disallow: /*.js$         ← blocca gli script

# Permetti l'accesso alle sitemap
Sitemap: https://www.example.com/sitemap.xml

# Se hai pagine di filtraggio e-commerce che generano URL duplicati:
# Disallow: /shop/*?orderby=  # ordinamento
# Disallow: /shop/*?filter=   # filtri (usa canonical invece se possibile)

<?php
// Sitemap XML dinamica per WordPress (semplificata)
// Genera /sitemap.xml con tutti i post e pagine pubblicati

add_action( 'init', function() {
    add_rewrite_rule( '^sitemap\.xml$', 'index.php?custom_sitemap=1', 'top' );
} );

add_filter( 'query_vars', function( $vars ) {
    $vars[] = 'custom_sitemap';
    return $vars;
} );

add_action( 'template_redirect', function() {
    if ( ! get_query_var( 'custom_sitemap' ) ) return;

    header( 'Content-Type: application/xml; charset=utf-8' );
    echo '<?xml version="1.0" encoding="UTF-8"?>' . "\n";
    echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">' . "\n";

    // Pagine statiche
    $pages = get_pages( array( 'post_status' => 'publish' ) );
    foreach ( $pages as $page ) {
        echo '  <url><loc>' . get_permalink( $page->ID ) . '</loc>';
        echo '<lastmod>' . get_the_modified_date( 'c', $page ) . '</lastmod></url>' . "\n";
    }

    // Post
    $posts = get_posts( array( 'numberposts' => -1, 'post_status' => 'publish' ) );
    foreach ( $posts as $post ) {
        echo '  <url><loc>' . get_permalink( $post->ID ) . '</loc>';
        echo '<lastmod>' . get_the_modified_date( 'c', $post ) . '</lastmod></url>' . "\n";
    }

    echo '</urlset>';
    exit;
} );

<?php
// Canonical e noindex strategici per WordPress

// 1. Canonical su tutte le pagine (WordPress lo fa di default dal 4.6)
// Verifica che il tema non lo rimuova:
remove_filter( 'wp_head', 'rel_canonical' ); // ← NON fare questo

// 2. Noindex su pagine che non vuoi in indice
add_action( 'wp_head', function() {
    // Pagine di ricerca interna (generano URL duplicati)
    if ( is_search() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }

    // Pagine di tag (spesso thin content, duplicati delle categorie)
    if ( is_tag() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }

    // Pagine autore (se non hanno contenuti propri)
    if ( is_author() && ! have_posts() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }

    // Pagine paginate (la pagina 2+ non ha valore SEO separato)
    if ( is_paged() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
} );

// 3. Canonical custom per pagine con parametri (es. e-commerce)
add_filter( 'wpseo_canonical', function( $canonical ) {
    // Rimuovi parametri di ordinamento/filtraggio dal canonical
    if ( isset( $_GET['orderby'] ) || isset( $_GET['filter'] ) ) {
        $canonical = strtok( $canonical, '?' );
    }
    return $canonical;
} );