Motori ricerca

Come funzionano i motori di ricerca

MOTORI di RICERCA : si può vincere solo lavorando CON i motori di ricerca e non CONTRO i motori di ricerca.

Questo Forse è l'argomento chiave di tutto quello che ruota intorno al posizionamento.
Cerchiamo di dare un approccio diverso alla questione, molto dibattuta in ambiti SEO, SEM e non solo; infatti, gli aspetti strettamente tecnici sono molto meno importanti di quanto si creda. L'essenziale è capirne le implicazioni per studiare una relativa strategia di visibilità e marketing web.
Piuttosto che perdersi in dettagli e dati tecnici descrittivi delle funzionalità dei singoli motori di ricerca, cercheremo di generalizzare la questione per tutti i motori di ricerca, segnalando le differenze più significative.

A medio termine, le tendenze portano comunque ad un sempre più vasto impiego dei motori di ricerca e nonostante le differenze esistenti nei singoli strumenti, questo capitolo ci aiuterà a muoverci nella complessità della questione.

Questo primo approccio è basato sullo stato attuale delle cose, ma non ignoreremo i cambiamenti che sono già nell'aria e vi invitiamo fin d'ora a prendere visione degli aggiornamenti che verranno pubblicati mensilmente sulle pagine del nostro sito Http://www.posizionamento.ch .

Attualmente (parliamo di Dicembre 2005) Google ha assunto posizione predominante negli u.s.
(abbastanza sorprendente, visto che i "colossi" della ricerca sul web erano quelli del calibro di AOL e yahoo!) e in Europa: in generale si stima che a livello mondiale il 75 % delle ricerche sia effettuato tramite google, considerando che altri motori di ricerca usano gli stessi risultati di google o gli stessi crawler.

Il sistema che stiamo per affrontare si dedica quindi alla ricerca su google (prettamente, non esclusivamente, in quanto ad esempio MSN si sta muovendo molto velocemente e riserverà grandi sorprese a medio-lungo termine…seguite l'evoluzione sulle pagine del nostro sito !) che predilige siti ricchi di contenuti, di struttura chiara, elementi COMUNQUE vincenti per una buona performance di un sito web anche se in un futuro (improbabile, perchè se anche google sparisse dalla scena…MSN & Company ne seguirebbero comunque i dettami perchè molto funzionali) le cose dovessero cambiare.

Perchè vi riguarda da vicino

Purtroppo troverete sul web molti cattivi consigli per il posizionamento del vostro sito: molti di questi fantomatici "miracolosi strumenti" sono solo delle merci da vendere e non generano risultati né tantomeno business. Le cifre in gioco sul mercato del web ranking sono molto elevate per cui sono in molti a giocarle tutte per vendere.
I media di comunicazione on-line e off-line sono da sempre i veicoli che dirigono la nostra mente e i nostri desideri. Tuttavia i reporter stessi, coloro che ci trasmettono notizie e informazioni, non hanno tempo e modo di fare ricerche per cui a loro volta si avvalgono di quello che trovano in giro: se nell'industria del posizionamento si trovano ben pubblicizzate un mare di compagnie che garantiscono successi mirabolanti in 24 ore, ecco che il posizionamento non è più un'applicazione scientifica ma diventa un prodotto da vendere come il cioccolato o il telefonino…
Ad esempio, leggiamo spesso che "il modo migliore per essere visti da Google è sottomettere il sito e iscriverlo nelle liste": se anche questo era vero anni fa, oggi è PROVATO che la sottomissione del sito a google non solo è inutile ma pure dannosa.

In realtà leggendo queste pagine, scoprirete che il soggetto è molto meno misterioso, complicato e "miracoloso" di quello che comunemente si pensa o di quello che tante compagnie SEO vogliono farvi credere per vendere i loro prodotti.
Possiamo riassumere il tutto in tre categorie di "esperti del posizionamento":
Chi ha degli interessi economici (industria che vende il posizionamento come il cioccolato)
Chi è stato preso per il naso da quello che si legge (giornalisti stessi e…tante persone).
Chi ha lavorato bene con "i compiti a casa" per scoprire la verità (questi siamo noi che scriviamo e voi che leggete).

L'intento di queste pagine dunque è quello di condividere con i lettori la conoscenza che abbiamo accumulato e lasciarvi optare per la strategia in maniera autonoma.
Tutto il contenuto di questo capitolo si riassume in una domanda: che bisogno avete di capire come funzionano i motori di ricerca?
Investendo il vostro tempo nella lettura di queste pagine, capirete meglio la razionalità (e non i misteri) del contenuto di questo volume.

Cosa fa lo Spider (Robot o crawler che dir si voglia)

Cerchiamo di capire cosa è uno spider del motore di ricerca e come funziona.
Lo spider è un software sofisticato che i motori di ricerca usano per sondare e scandagliare il web alla ricerca di nuovi siti, siti aggiornati e quant'altro.
Pur essendoci diversi tipi di spiders, svolgono tutti la stessa funzione che consiste nel mantenere accuratamente aggiornato l'indice del proprio motore e nel farlo nel miglior modo possibile.
Non tutti gli spider sono controllati dai motori di ricerca, ma di questo se ne parlerà più avanti.

Il primo tipo di spider è quello che letteralmente sonda, visita il web cercando siti e pagine web.
Questo entra nel sito web, carica le relative pagine, segue i link interni in ciascuna pagina. Teoricamente in questo modo lo spider troverà tutto quanto è disponibile sul web in quanto, sempre grazie ai link, lo spider entrerà da un sito all'altro. I motori di ricerca impiegano da decine a centinaia di spiders contemporaneamente, che lavorano simultaneamente su server multipli.

Quando un crawler visita la vostra pagina, ne carica il contenuto in un database oppure trasmette il contenuto ad un atro crawler incaricato di indicizzarlo. Una volta che il vostro sito è stato trovato, il testo della pagina viene dunque caricato nei data base dove risiedono masse enormi di pagine web. Google ad esempio si calcola abbia 3 miliardi di documenti nei propri database….

Fino a non molto tempo fa molti crawler si limitavano a caricare la home page e seguire qualche link a random; tuttavia in tempi recenti è stato verificato che la maggior parte dei crawler entrano nel profondo dei siti, seguono gli hyperlinks della home page, caricano le pagine che trovano, per analizzarle successivamente. Alcuni crawler visitano un numero massimo di pagine, altri visitano tutto quello che trovano.

Un secondo tipo di spiders viene chiamato 404 SPOTTER; questi sono usati dai motori di ricerca per evitare di riferirsi a pagine non più esistenti online. Questi spider sondano il database del motore di ricerca (sono crawler "interni per cosi dire" e provano a caricare le pagine che trovano. Se una pagina non si carica, questa viene eliminata risparmiando cosi lavoro al database (e noie per gli utenti !).
Questo è quello che accade quando il browser vi riporta un "errore 404".
Da qui l'importanza dell'impiego di server sicuri: anche se alcuni di questi spotters tornano a verificare se effettivamente la pagina non è più online, può tuttavia accadere che se il server si trova offline nel momento della visita del crawler questo cancelli le pagine dal database come inesistenti e il browser dell'utente che cercherà su quel motore di ricerca, ritornerà sempre "errore 404", pure se invece le pagine sono ormai online. Possono essere necessarie alcune settimane, prima che il crawler ripassi; secondo alcuni, vista la mole in continuo aumento dei siti da visitare, può anche succedere che non ripassi più.

Un termine diffuso anche se tecnico è "spider food" - letteralmente cibo per spider -: l'idea è semplice: dare in pasto allo spider quello che vuole mangiare…
Questo termine si riferisce a tutto quanto viene caricato su una pagina web per l'intento di farsi leggere dal crawler; perlopiù si tratta di hyperlinks.
Alcuni inseriscono questi link come nascosti all'utente, destinati a dirigere lo spider verso pagine fortemente arricchite di parole chiave (doorway pages)
Sono trucchi da evitare; troverete in altre sezioni del volume le motivazioni che sconsigliano vivamente l'impiego di trucchi o forzature.

La prima cosa che uno spider dovrebbe fare visitando il vostro sito è cercare un file chiamato robot.txt . Questo file contiene delle istruzioni per lo spider su quali parti del sito web deve indicizzare e quali invece deve ignorare. Il solo modo per controllare cosa vede lo spider di un motore di ricerca sul vostro sito è impiegando il file robot.txt . Successivamente nel capitolo 8 tratteremo come controllare lo spider e perchè dovreste farlo.

Tutti gli spiders dovrebbero seguire certe regole e in realtà è quello che accade per i principali motori di ricerca.
Una regola consiste nel fatto che lo spider dovrebbe caricare solo una pagina al minuto. Questa era una regola iniziale, ossia valevole essenzialmente quando i siti web da visitare erano relativamente pochi e oggi sembrerebbe superata dalla velocità dei server e dalla moltitudine degli spiders impiegati. Tuttavia pur facendo meno senso di una volta, non si può escludere che sia ancora valida.

Come vi trova lo spider

La via più semplice che lo spider segue per trovare un sito web è quella di seguire i link da altri siti; per parlare in terminologia SEO, questo sistema è noto con il nome di "found pages" - letteralmente "pagine trovate".
Molti motori di ricerca daranno un rank (posizione) superiore alle pagine o ai siti trovati scandagliando il web, come vedremo approfonditamente più avanti.

Diversi motori di ricerca hanno inoltre un sistema di sottomissione siti "submit URL" dove si può chiedere che il sito venga aggiunto al data base. Essenzialmente è sufficiente in questi casi indicizzare l'URL principale.
Tuttavia, secondo alcune analisi molto recenti, sembra che Google ad esempio preferisca assolutamente i siti trovati grazie a link rispetto a quelli iscritti manualmente; addirittura alcuni analisti sostengono che i siti segnalati manualmente a Google possano essere parcheggiati nel sandbox.

Esistono inoltre diversi servizi, gratuiti o a pagamento, che vi consentono di sottomettere automaticamente il vostro sito a tutti i motori di ricerca.
In realtà, oltre ad essere una "tecnica" di molto dubbia validità, sono davvero pochi i motori di ricerca che contano per cui è sempre consigliato - laddove utile - iscrivere manualmente il proprio sito.
Lo stesso vale per alcuni software proposti sul web che "iscrivono il vostro sito su migliaia di motori di ricerca" : ancora una volta, ammessa e per nulla concessa la validità di questi sistemi automatici, essendo al massimo una dozzina i motori di ricerca più importanti, l'impiego di questi software oltre che potenzialmente dannoso è assolutamente inutile.
Ci sono infatti quelle che si chiamano le FFA (free for all - gratis per tutti) pagine: queste pagine oltre a non generare nessun tipo di traffico, hanno il solo scopo di inondarvi di messaggi Spam e a forte rischio virus.

Alla fine dei conti, sembra raccomandabile di evitare l'iscrizione manuale ai motori di ricerca. Molti validi analisti non hanno mai sottomesso siti ai motori di ricerca e raramente sono trascorse più di 3 settimane prima che il crawler passasse a visitare gli stessi.

Nel capitolo 6 viene illustrata la link popularity che oltre ad assicurare che il crawler faccia visita al sito di sua iniziativa, consente un ranking più elevato.

Diversi inoltre sono i motori di ricerca che offrono un programma di "paid inclusion": questo sistema consiste nel farvi pagare una certa somma (relativamente modesta) per assicurarvi che il crawler faccia regolare visita al vostro sito, mantenendolo cosi sempre aggiornato nei propri database.
Potrebbe essere utile affrontare questa spesa soprattutto per i motori di ricerca da cui vi interessa generare traffico sul vostro sito.
Approfondimenti sul tema al capitolo 7.

Cosa viene indicizzato

Quando un motore di ricerca indicizza le pagine del vostro sito, in realtà non le indicizza per intero.
Quello che invece fanno è indicizzare il contenuto testuale delle vostre pagine. Immagini, scripts e file multimediali possono anche essere indicizzati e registrati ma vengono poi solo trovati tramite ricerche particolari e non hanno nessuna utilità, anzi, per il ranking del sito. Gli utenti utilizzano parole o frasi per le loro ricerche, per cui i motori di ricerca registrano frasi e parole sulla base delle quali rispondere alle richieste.

Oltre al testo del vostro sito, alcuni motori di ricerca registrano i contenuti dei vostri META tags, ma non tutti.
Il META tag "description" può essere impiegato per una breve descrizione della pagina, che l'utente vede nel risultato della sua ricerca.
Il META tag "keywords" è stato largamente impiegato fino a tempi relativamente recenti, mentre ora sembra esserne provata la quasi assoluta irrilevanza.

Oltre al testo della pagina, il crawler registra informazioni sui link presenti, sia che puntino a pagine interne al sito sia che puntino a siti o pagine esterne
Il link è di valido aiuto per il crawler poiché si suppone che il testo dello stesso sia pertinente con il contenuto della pagina e contribuisce alla link popularity.
Attenzione dunque al corretto utilizzo dei link: un erroneo impiego degli stessi è potenzialmente dannoso per il ranking del sito stesso.

Sono tuttavia numerose le differenze esistenti tra motori di ricerca in termini di quali siano gli elementi importanti del testo; alcuni motori indicizzano il contenuto delle proprietà "ALT" nei file IMG (da non confondere con "ALT tag"). Altri motori indicizzano anche titoli e conclusioni, nome file ecc.

Tutti i motori di ricerca trovano difficoltà ad indicizzare le pagine dinamiche create nelle diverse forme, Dbase o input. Pochi sono quelli che si sforzano di trovare il sistema per farlo, ma non sembra realistico pensare che ciò che viene creato "al volo" dal web master possa essere facilmente indicizzato dal motore di ricerca.
Ci sono comunque accorgimenti tecnici utili per rendere le pagine dinamiche più leggibili ai motori di ricerca: approfondimenti sulla questione nel capitolo 5.

La regola è che lo spider non indicizza quello che non trova: sembra una banalità a leggerlo ma non è così sul campo. Se il web master impiega dei FRAME senza utilizzare le corrette versioni "NO FRAME" delle pagine, queste non saranno visibili al crawler e non saranno indicizzate. Alcuni "simpatici" Javascript saranno graditi ai navigatori, ma se non vengono impiegati dei corretti Hyperlink da qualche parte (mappa del sito comunque indispensabile), le pagine interne del sito non
saranno visibili al motore di ricerca.

Un piccolo segreto: sono pochi i motori di ricerca che aggiornano "live" i propri dati, molti lo fanno solo ogni 2-3 mesi. Può infatti accadere che se anche il crawler ha trovato il vostro sito, passeranno 2-3 settimane prima che l'utente lo veda tra i risultati della sua ricerca, a causa della lista di attesa dei siti che attendono la valutazione dei crawler a ciò adibiti.
L'unico sistema per ovviare a questo problema è un programma "paid inclusion", offerto ad esempio da Yahoo!. Google d'altra parte, non offre detta possibilità, ma d'altro canto tiene aggiornati i propri dati più frequentemente di quanto non facciano altri motori.

Come vengono "valutate" le pagine: il page rank

Ogni motore di ricerca ha un proprio algoritmo, o procedimento, per determinare a che livello le vostre pagine vengono piazzate in base ad una specifica parole chiave. Molti sono gli elementi comuni a tutti i motori, ma vengono applicati in maniera differente.
Probabilmente non è possibile creare una home page che soddisfi tutti i criteri di ranking di tutti i motori di ricerca, ma il sistema illustrato in queste pagine ha dato risultati provati sulla maggior parte dei motori più importanti.

In alcuni motori di ricerca il fattore determinante del page rank è la densità delle parole chiave, la keyword density, e la posizione delle stesse nella pagina.
Se la pagina tratta ad esempio di "alimenti per l'infanzia", la keyword density misura quante volte la frase chiave appare nel testo, in relazione percentuale con la lunghezza del testo stesso, naturalmente.
La posizione della frase chiave si riferisce a dove viene inserita la stessa: si ottengono risultati se la frase chiave viene inserita nel titolo, nome della pagina, e descrizione, mentre il motore di ricerca farà fatica a valutare la pagine se la frase chiave appare solo nel mezzo del testo.

Oltre alla densità ed alla posizione delle parole chiave, ci sono altri fattori che contribuiscono sensibilmente al page rank, come la link popularity e altri fattori off-the-page.
Molti siti ben fatti hanno spesso diversi siti, altrettanto ben fatti, che puntano l'uno all'altro e quasi tutti i siti ben ottimizzati contengono una giusta percentuale di testo-parole chiave. Ecco perchè il motore di ricerca preferisce un mix dei diversi fattori per una buona valutazione della pagina.

Strettamente correlata alla link popularity troviamo la link relevance: la prima si riferisce al numero di buoni link che puntano al nostro sito. la seconda si riferisce alla relazione che gli stessi hanno con il contenuto della pagina linkata. Ad esempio per la pagina che tratta di "alimenti per l'infanzia", sarà opportuno avere dei link da altri siti, da pagine che contengono la stessa frase chiave. Questi link saranno visti con più "rilevanza" dai motori di ricerca.
Il testo del link stesso è molto importante per Google.
Essere presenti nella directory Yahoo! e altre directory importanti con il termine "alimenti per l'infanzia", da maggiore rilevanza rispetto ad un link dal sito "tutto per il giardinaggio", pure se la pagina da cui origina il link gode di un buon page rank.
Anche in questo caso non esiste dunque LA regola in assoluto, ma una serie di accorgimenti essenziali per facilitare il compito ai motori di ricerca.

Le "aree tematiche"

Sembra inoltre che la tendenza dei principali motori di ricerca sia di muoversi per "aree tematiche" dunque valorizzare le pagine che fra loro (anche - meglio, se da siti diversi) hanno in comune il tema trattato.

Tuttavia la questione "temi" viene spesso ancora fraintesa. Alcuni sostengono che i motori di ricerca esaminano la totalità del web site e determinano un numero ristretto di parole chiave che ne definiscono i contenuti. Ad oggi tutti i motori di ricerca indicizzano e valutano PAGINE non SITI. Ma il fatto che effettivamente i motori di ricerca considerino sia il contesto che il contenuto dei link che puntano alle varie pagine, comporta che un buon web site sia organizzato per temi.

La tendenza dei motori di ricerca a lavorare per "temi" comporta il concetto di "hub e authorities": essenzialmente un "hub" è una pagina che punta (in gergo, linka) a numerosi altri siti che trattano lo stesso tema, e un "authority" è una pagina verso la quale puntano siti che trattano lo stesso tema.
Si tratta in realtà di un concetto molto razionale: più sono le persone che trattano e citano qualcuno, più quel qualcuno sarà autorevole sull'argomento e dovrà esserlo per forza !
Se siete voi a citare e trattare numerose autorevoli personalità, se ne desume che avete fatto i compiti a casa informandovi per conoscere quello e quelli di cui parlate.
Ed ancora una volta, la mossa vincente sta in un corretto mix di impiego di "hub e authorities".

Che piaccia o no, le "aree tematiche" sono la prossima generazione tecnologica dei motori di ricerca, ed anche se non tutti i motori sembrano muoversi in questa direzione, sembra salutare considerare la possibilità che lo facciano molto presto.
Sembra infatti difficile che i motori di ricerca possano esimersi dal lavorare per temi cosa che già avviene per tutte le più importanti directory.

A questo punto, una considerazione d'obbligo: organizzare il proprio web site per aree tematiche, oltre ad essere indispensabile per affiancarsi alle imminenti tendenze, è comunque un validissimo sistema per i motori di ricerca di oggi che avranno più facilità a valorizzare le pagine del vostro sito e a relazionarne i contenuti.
Inoltre, siccome non tutti saranno pronti ad affrontare la questione "aree tematiche", coloro che lo faranno subito ne saranno enormemente avvantaggiati rispetto ai concorrenti che impiegheranno molto tempo per reagire a quelle che saranno le esigenze dei motori di ricerca.

Come vengono impiegati i motori di ricerca e i portali

Uno dei fattori più ricercati in termini di posizionamento sui motori di ricerca è cosa cercano di ottenere colori che usano i motori e come si muovono in questo senso. è superfluo dire che gli utenti cercano informazioni, ma è un buon punto di partenza.

Il navigatore visita un motore di ricerca, digita una parola o una frase chiave e aspetta che vengano mostrati i risultati.
La prima regola per la ricerca delle parole chiave è sapere che ci sono 1000 modi di dire "agenzia immobiliare" e 50 modi di scriverli. Se parliamo sempre di "alimenti per l'infanzia" non è sempre detto che questa sia la sola frase impiegata da chi ricerca il vostro prodotto: molti digitano le parole erroneamente, aggiungono o tolgono parole nella frase…si può andare avanti all'infinito…

Ci sono sostanzialmente due tipi di ricerche che vengono effettuate sul web: quella per argomento e quella per target.
Nel primo, l'utente normalmente cerca un soggetto, visita i siti più importanti e si muove di conseguenza seguendomi vari link che i siti propongono: è il sistema di "hub e authorities" che abbiamo visto prima.
Se non siamo tra i siti più popolari sull'argomento, sarà invece opportuno ottenere un link da colori che invece lo sono.
Nel secondo tipo invece, ricerca per target, il navigatore ricerca prodotti molto specifici o addirittura siti o persone ben definite.
E' il sistema più largamente impiegato da chi ad esempio non ricorda l'indirizzo URL del sito che sta cercando.

Ora, una volta ottenuta una lista più o meno vasta di risultati, vediamo come si muove l'utente per scegliere quale sito visitare. In genere gli utenti sondano i primi risultati (la prima pagina naturalmente, ma arrivano anche alla terza, oltre è difficile) e cercano i titoli e relative descrizioni che sembrano rispondere alle loro esigenze.
Dunque, pagine che portano titoli come HOME o UNTITLED o PAGE1, sono meno attrattive per gli utenti rispetto a pagine che hanno per titolo "il mondo dell'infanzia" (se parliamo naturalmente sempre di alimenti per l'infanzia…)

Coloro che cercano informazioni di carattere generale, gravitano sempre intorno a siti ricchi di informazioni e link correlati. Alcuni siti hanno avuto un incremento del 40 % delle visite, solo mettendo come titolo della home page "links ai migliori siti di promozioni online".
Questo tipo di utenti cerca il modo per scappare il più in fretta possibile dai motori di ricerca e cercano siti che diano loro la possibilità di farlo.

Chi ha un sito di Ecommerce o chi vuole promuovere prodotti e servizi sul web, dovrà essere più orientato verso ricercatori Target, ossia del secondo tipo e strutturare il proprio sito e la relativa campagna di web marketing e posizionamento di conseguenza.
Ci sono casi di filiali che hanno su internet performance molto superiori a quelle del sito della casa madre, ad esempio grazie al fatto che offrono documentazioni più complete e informazioni più dettagliate sui prodotti.

Conclusioni: cosa abbiamo imparato

Il primo obiettivo era quello di comprendere il meccanismo delle parole chiave e ci auguriamo di averlo raggiunto. Alcuni argomenti che abbiamo trattato solo marginalmente, verranno approfonditi più avanti nel libro.
Uno degli elementi più importanti per l'ottimizzazione dei siti web è il lavoro fatto off page, buona parte del quale non dipende dal nostro controllo e su questo non c'è molto da dire: avere link in entrata (inbound links) di qualità e numero può in molti casi avere la stessa rilevanza per un buon posizionamento di un contenuto sito di elevata qualità.
Siamo anche entrati brevemente nella mente del navigatore per capire come si muovono gli utenti sui motori di ricerca.
Strutturare il sito in base alle esigenze di chi siede dall'altra parte dello schermo e targetizzando gli utenti, si ottengono successi davvero importanti.
A nulla serve un ottimo posizionamento se nessuno clicca sul sito….

Alla fine ci auguriamo abbiate capito lo scopo dei motori di ricerca, come e perchè sono stati concepiti.
I motori di ricerca non si preoccupano di voi e nemmeno del vostro sito: si preoccupano dei propri utenti ossia dei propri clienti; devono dare loro risultati sempre più pertinenti, sempre più mirati in sempre meno tempo. L'utente che trova quello che cerca su un determinato motore di ricerca, tornerà ad impiegarlo. Non servono trucchi: i motori di ricerca faranno sempre di più per scartare coloro che li impiegano.
La conclusione è semplice e lapidaria: si può vincere solo lavorando CON i motori di ricerca e non CONTRO i motori di ricerca.

Scopeo garantisce ritorno di business dal web.

Motori ricerca