WEBMASTERS LIFE

Sito irraggiungibile causa non allineamento (Aggiornamento) dei DNS del provider

Mi sono trovato una mattina a voler usare il mio programma per il Ranking dei siti e inspiegabilmente risultava del tutto irraggiungibile, non si aggiornava e non riuscivo neanche a raggiungere il sito del produttore www.trendmx.com.
Dopo aver scambiato varie email col centro assistenza del programma mi balena un'ultimo tentativo da fare, controllare che il sito fosse raggiungibile da altro computer con altro fornitore di connettività e Voilà il sito ricompare, è raggiungibile.

Cos'è un server DNS
Il server DNS non è altro che un server al quale il nostro browser (IE firefox ecc.) si rivolge  ogni volta che vogliamo navigare in Internet. Digitando un URL  per esempio digitando www.modenasitiweb.it  il browser chiama il servizio DNS impostato nel mio Protocollo TCP-IP affinchè lo  traduca  in un IP 85.235.130.53 che serve a raggiungere il computer di destinazione

Chi fornisce il servizio DNS
Generalmente ogni fornitore di connettività o ogni provider forniscono il loro servizio di server DNS per la traduzione degli URL in IP. Purtroppo questo servizio funziona bene quando i server che forniscono il servizio sono allineati cioè aggiornati. Qualche volta puo capitare che ci siano dei ritardi o dei problemi che rendono irraggiungibili certi siti perchè i DNS che stiamo usando non sono aggiornati (come nel mio caso)
 

Fornitori servizio Dns e DNS pubblici gratuiti (Opendns, Dns pubblico di Google)

Ilservizio DNS generalmente viene fornito dal tuo provider che ti mette a disposizione i suoi. Altrimenti si possono usare i DNS di chi ti fornisce la connettività o in alternativa esistono dei servizi DNS pubblici che sono assolutamente gratuiti.

Il più famoso e usato servizio DNS pubblico è http://www.opendns.com esiste la versione Free (richiede una iscrizione cioè la creazione di un account che può servire sia per il servizio gratis che per quelli a pagamento) IP 208.67.222.222
Anche Google offre un servizio DNS pubblico http://code.google.com/intl/it/speed/public-dns/   Non richiede nessuna iscrizione e i server sono ( IP addresses 8.8.8.8 and 8.8.4.4) Leggi il resto di questo articolo »

Anche Go Daddy ha qualche problema nel suo Hosting a basso prezzo

ANALISI DELLE STATISTICHE DI SCANSIONE E DEI TEMPI DI ACCESSO ALLE PAGINE DEL SITO

Tutto inizia dalla necessita di controllare delle strane oscillazioni (dalla prima pagina a quelle interne e viceversa) nelle SERP su Google (sia IT che COM)  per la parola "soccer school" .

Andiamo prima a vedere  su www.google.it/webmasters dove il sito è sotto analisi e nella sezione – Diagnostica / Statistiche di Scansione  ci accorgiamo che  i tempi di accesso sono passati da meno di un secondo a vari secondi rendendo inaccessibile il sito. Questo pur non essendo significativo come affermato nei blog di settore ai fini delo ranking, rappresenta un serio problema per il processo di scansione delle pagine, specialmente nelle fasi di aggiornamento del sito.

1. Il sito è http://www.italiansoccertrainingcamps.com  in hosting da vari anni su Godaddy.com
2. il sito non ha mai avuto problemi di accesso
3. attualmente ha un  UPTIME segnalato da mon.itors.us del 86%  infatti molte volte non è raggiungibile tramite browser

CONTROLLO DEI COMPAGNI DI IP

Cercando i compagni di IP ci viene anche segnalata la presenza di compagni con contenuto per adulti che solitamente fanno spam ho quantomeno impegnano molto la banda. Questa situazione una volta veniva penalizzata da Google con la bannatura dell’IP (almeno così si credeva) mentre adesso l’IP non viene penalizzato ma sicuramente il sito potrebbe non essere più così appetibile per lo spider. 

OSCILLAZIONE SERP E PENALIZZAZIONE DA ACCESSO AL SITO LENTO

Siccome le oscillazioni nelle SERP sono comparse in concomitanza con il rallentamento del server possiamo ipotizzare che siano in relazione fra di loro e che rappresentano una specie di penalizzazione di Google per segnalare che il sito ha dei problemi

Cambiare provider come soluzione a problemi di accesso al sito e di scansione da  parte dello spider

Una delle operazioni fondamentali per il controllo della salute del sito è il controllo delle statistiche di scansione da parte dello spider, controllo effettuato  su www.google.it/webmaster. 
Se ci  accorgiamo che i tempi di accesso alle pagine sono superiori a 0,5 secondi o addirittura superiori ad 1 secondo (1000 ms) allora dobbiamo insospettirci

 Nel caso in esempio si nota che nel mese di Giugno è iniziata una situazione anomala con tempi di accesso alle pagina superiori anche a 1,5 secondi (1.500 ms), e vari picchi a 0 dove lo spider ha ritenuto di non essere intressato al sito.
 

 Qualche cosa non funziona sul server dove la banda potrebbe essere troppo spesso saturata.
Sembrerebbe un IP (questo è di register.it) compromesso dal comportamento di quelli che lo condividono e dalla banda insufficiente.

E’ anche vero che 3.585 domini e siti sullo stesso IP che devono dividersi la banda non sono una situazione ideale e se come in questo caso qualcuno probabilmente fà il furbo allora è probabile che tutti siano nei guai.
Il bello è che il mio contratto è un developer a 85 € + iva e non un Personal a 35 € + iva e mi aspettavo qualcosa di più

A questo punto dopo altre indagini descritte nell’articolo "Attacco a Register IT hosting professionale"  decido di cambiare rapidamente provider il risultato è descritto nel grafico che lo stesso google mi fornisce per i giorni successivi.

Zona verde = cambio provider (abbandono IP 195.110.124.133 con problemi)

• Cambio provider allo stesso prezzo di 85 € + iva
• tempi di accesso alle pagine normalizzati su 0,5 secondi
• immediata ripresa della scansione di tutte le pagine del sito che non venivano spiderizzate da 3 mesi

Come scorprire lo spam su referrer "A caccia di spammatori"

1. analizza le tue statistiche alla scoperta di referrer strani e accessi al sito ingiustificati
   Due esempi a distanza di 2 giorni. E’ evidente che kazak ha fatto 100 accessi in 2 giorni sta spammando e trattandosi di un sito di musica con addirittura un bel virus va assolutamente eliminato. Sono 100  visite che vengono da un illustre sconosciuto che non è un motore di ricerca e non avrebbe motivo di arrivare nel mio sito. 

   Il secondo sito in esame è exalead.com che al suo interno ha anche un motore di ricerca ma viene comunque un piccolo soppetto di spam su referrer  che andrebbe approfondito
   
   

    

2. vado a cercare i compagni di IP  dello spammatore su http://www.yougetsignal.com/tools/web-sites-on-web-server/   per controllare se devo bannare l’intero IP perche pieno di siti SPAM o il solo dominio
   
    
    

3. vado sulla ricerca di google e digito link:www.IllustreSconosciuto.com
   Imposto nelle preferenze della ricerca di google di vedere 100 risultati per pagina per comodità
   Cerco nella pagina la voce "usage" che identifica spesso pagine di statistiche.
   Per impostare la ricerca su IE  (CTRL+F)

   

   Per il sito exalead.com Nei primi 500 link considerati da Google
   scopro ben 25 provenienti da statistiche Oltre ad altri su blog ecc.

   Cerca anche il nome del tuo dominio per avere la verifica che si tratti di uno spammatore. Nel mio caso trattandosi di statistiche degli ultimi 8 giorni evidente webalizer non le ha pubblicate quindi compariro fra piu di un mese 

   Questa ricerca fatta sul sito kazak.ca  porta a zero link
   considerati da google (sintomo che il sito è penalizzato)

4. se il nostro sito è ospitato su hosting linux non ci  rimane altro che aggiungerlo nel file .htaccess per fare in modo di non avere piu false visite da quel sito, risparmiando banda per accessi piu interessati.
   Nel blocco di esclusione escludo interi IP pieni di siti spam e anche singoli domini
   
    

Niente attacco e niente porno su Register IT ma "Spam su Referrer" e problema nella generazione dei report statistici di webalizer

 Spam su referrer nelle statistiche di Webalizer
Finalmente svelato l’arcano non si trattava di attacco a Register it ma di attacco “spam su referrer” accertato per il mio sito e forse su altri con lo stesso IP.  Non si finisce mai di imparare.
Purtoppo nel caso del mio sito si trattava di spam da siti porno, mentre nei siti dei miei compagni di IP da altri siti diversi.
Siccome non sono esperto di sicurezza web mi sono solo accorto che alle ore 23 e vicinanze qualcuno stava mangiando la banda su molti siti nello stesso IP, infatti i tempi di accesso al sito erano saliti a dismisura (N. 1 nel grafico) penalizzandomi su Google il cui spider praticamente ignorava il mio sito (grafico punto n. 2).

Come segnalato da Register non è stato sufficiente spostarsi di provider acquistare un IP L’unica cura possibile sembra quella di proteggere le statistiche o disabilitarle e bannare gli IP e/o i domini che fanno spam

Niente porno nel sito ma accessi da siti porno.
Del tutto ingiustificata l’ipotesi che nel mio spazio web venissero movimentati file porno considerazione indotta dal fatto che in un mese 1 Gb di traffico era concentrato alle ore 23. Fatto che aveva indotto anche a ritenere violato l’accesso FTP quasi sicuramente mai esistito perlomeno non verificato

Proteggere le statistiche per evitare lo spam su referrer.
Tenendo le statistiche accessibili e non protette gli spammatori fanno accessi per salire nelle statistiche e ottenere così, la pubblicazione di un un link verso il loro sito di spammatrori per far salire la loro link popularity.
 

Grazie a Register per aver chiarito la problematica .
Considerando che in un precedente ticket avevo segnalato delle anomalie di Webalizer Caso numero: 9824329
Oggetto: RICHIESTA – XXXXX-EURO: STATISTICHE segnalazione di febbraio 2009,
Mi viene da dire che le statistiche sono un po pericolose
 

“…..Il motivo degli accessi anomali nell’orario 23-24, dopo un’analisi di casi segnalati da altri clienti, è imputabile ad un errore durante la generazione dei report statistici. Errore che non è nel numero o nella provenienza delle visite ma esclusivamente nella distribuzione oraria e che abbiamo prontamente risolto come conferma il fatto che il problema non si evidenzia nel mese di luglio….”

Problema di indicizzazione su Sito web Lotus Un’altro esempio di indicizzazione a macchia di Leopardo

Mi chiama un cliente con 200 siti non tutti attivi perchè le sue pagine web sono affette da evidenti problemi e sofferenze nei posizionamenti. 
La piattaforma IBM Lotus  Notes ha un applicativo " Sito web Lotus" che consente di realizzare siti anche con molte pagine in maniera relativamente semplice.

Il cliente si era accorto di una strana indicizzazione a macchia di leopardo delle pagine dei suoi siti.
Infatti si trovava con vari domini che puntavano a pagine e sezioni allocate internamente all’unica cartella  che Lotus consentiva di avere per il sito.
Lo spider pertanto si trovava entrando con la URL  (dominio A) ad indicizzare alcune pagine poi incontrava altre pagine che aveva indicizzato per un’altra URL (dominio B) e si fermava.

Ogni volta che il cliente lanciava il comando site:nomedominio si trovava elenchi misti  di pagine attribuite ad un dominio o alltro.
La situazione sicuramente complessa coinvolgeva decine di migliia di pagine e svariati nomi a dominio.

La terapia considerando anche che i siti erano in business è iniziata sganciando un primo sito e cercando anche di correggere altri errori di ottimizzazione presenti , come eccesso di link, keyword stuffing, e sovra ottimizzazione con anche qualche problema ovvio di duplicazione di contenuti (che potevano da soli giustificare eventuali penalizzazioni).
Altro post sulla Indicizzazione a macchia di Leopardo

Smistamento files porno su IP di register.it? (Nessuno smistamento ma spam su referrer)  Marzo – Giugno 2009 Forse Oltre 1.000 siti colpiti (da anomalia del sistema di statistiche) Irrisolto dopo vari mesi (finalmente prontamente risolto)

Inizia il mese di Luglio con una bella sorpresa vado su www.google.it/webmasters  a controllare la situazione dei miei siti e mi accorgo di uno strano comportamento dello spider googlebot.

Il primo pensiero è stato che fosse  in atto una qualche penalizzazione e lo spider passasse sempre meno, però meglio indagare

A questo punto vado a vedere le statistiche ottenute con webalizer offerte dal provider . E quà scopro che alle ore 23 di ogni giorno ho una quantità di accessi nello spazio web molto grande  rispetto alla media, per di piu in quell’unica ora vengono movimentati 300 Kb  di non so cosa. PANICO!!! Un virus nel mio sito

1) Mi scarico in FTP tutto il sito nel mio computer in una cartella nuova per passarlo sotto il setaccio dell’antivirus e per controllare pagina per pagina il codice alla scoperta. NIENTE DI DI ANOMALO.

2) Poi vado a cambiare la password e l’accesso al pannello del sito e cambiare anche subito la password FTP

3) Non rimane adesso altro da fare che indagare se sullo stesso IP ci sono altri siti con lo stesso problema il che vorrebbe dire che si tratta di una probabile falla nel sistema di sicurezza del provider in questo caso Register (www.register.it) il più grosso dei provider italiani .
Questa operazione non sempre è possibile ma in questo caso mi è stato sufficiente andare a controllare le statistiche dei primi 10 siti presenti sullo stesso IP

Quindi vado prima in uno dei servizi gratuiti di "Reverse IP"
es. http://www.yougetsignal.com/tools/web-sites-on-web-server/
ottengo il mio elenco dei compagni di IP

Poi Li controllo uno a uno cercando di visualizzare le loro statische 
www.nomesito.ext/stats/webalizer/
Ho potuto analizzare tutti quelli che non hanno protetto le statistiche e su tutti ho evidenziato lo stesso problema "enorme numero di accessi dalle ore 21 alle 23 con picco notevolissimo dalla 23 alle 24."

Questo ha evidenziato che si puo trattare di una probabile  falla sul sitema di sicurezza  di register con probabile accesso alle password e allo spazio di ogni singolo dominio ma questo non è certo perche pur cambiando le Password il problema permane.
Sembra invece che non si tratti di una falla nella sicurezza di Register it ma di "Spam su referrer" una tecnica di spam che colpisce i siti che hanno le statistiche non protette come suggerisce lo stesso Register

Da quanto dura questo problema e questa ipotetica falla nella sicurezza di Register?
Controllo su webalizer il mese di Maggio e verifico che era gia attivo il problema, controllo il mese di Aprile e mi accorgo che  il problema è presente e attivo dal  10 di Aprile con aumento imprevedibile dei contatti distribuiti però dalle 10 di mattina alle 24 di sera, controllo Marzo idem.
 

 Naturalmente controllo anche i referrer e vedo accessi sempre da siti particolari come analizzati sotto.
 

L’attacco cosa provoca e da chi arriva?
Per indagare e cercare di capire chi sta usando lo spazio (dopo le precisazioni di Register it viene chiarito che non si tratta di uso fraudolento dello spazio ma di impegno di banda dovuto allo spam, non imputabile a falla di sicurezza) e a quali scopi,  analizzo l’elenco dei referrer e qua sono le note molto dolenti, perche guardando gli URL dei visitatori scopro che la quasi totalità sono siti porno o similari. (Lo scopo come chiarito in altro post è esclusivamente quello di ottenere link popularity)
Questo  perlomeno nel mio sito mentre gli altri siti dello stesso IP che hanno il problema sembrano non avere la questione del porno ma solo quella di un traffico ingiustificato (con impegno di banda ) che puo andare in situazione tale da alzare notevolmente i tempi di accesso alle pagine con conseguente penalizzazione da parte degli spider  che arrivano ad ignorarti:

Come ha reagito Register all’attacco?

( è stato chiarito che non è un attacco a Register ma un attacco di "spam su referrer" sul mio sito mentre sugli altri imputabile ad un errore durante la generazione dei report statistici")
Io personalmente e anche una mia collega non abbiamo avuto nessuna comunicazione da parte di Register (Cosa che invece fece a suo tempo Aruba quando subi l’attacco avverti tutti di cambiare le password).
Varrebbe la pena di chiedersi se Register si è accorto di questo. Ebbene è praticamente impossibile che non se ne sia accorto perche negli ultimi 2 mesi gli accessi si concentrano atttorno alle ore 23 e a questa ora dovrebbe rilevare un aumento della banda impegnata notevole   

La denuncia alla Polizia di Stato

 (la denuncia alla polizia di stato è stata fatta contro ignoti a tutela nel mio caso essendo provenienze porno)
Essendo l’attacco o quantomeno gli ingressi ingiustificati provenienti da siti con contenuti porno e forse pedoporno sono costretto anche ad effettuare una denuncia alla polizia di stato per salvaguardare la mia ditta ma anche quella delle decine di compagni di IP che forse ancora non si sono accorti di niente e inconsapevolmente fanno da tramite allo smistamento di materiale porno.
Register IT non mette a disposizione i log per un’analisi e un controllo, Questo mi viene confermato alla risposta al ticket di aiuto (questioni di privacy)

Cambio provider
Naturalmente una situazione che si protrae da mesi senza che ci sia un intervento da parte di Register che non affronta il problema (almeno cosi sembra) è grave. Quindi adesso che mi sono accorto del problema nel giro di 2 gg sono gia su un altro provider.
Ho gia cambiato provider adesso sono su pannello Plesk e posso controllare e scaricare i log
La conferme che si tratti di "Spam su referrer" è data dal fatto che anche cambiando provider permane il problema ma adesso coi log mi faccio l’elenco dei siti spam e li escludo)

Sei sull’IP 195.110.124.133 controlla se hai il problema (sulle statistiche)

1. Controllare frequentemente il sito con gli strumenti diagnostici di Google webmaster
2. Controllare le statistiche del sito (webalizer Shinestat, o Analytics )
3. Controllare il codice html delle pagine per scoprire eventuali iniezioni di codici spam (iframe, script, ecc.)
4. Controlla la quantità di banda che ti fregano questi accessi fraudolenti non voluti
5. Controllare i compagni di IP (Servizio di Reverse IP)  per vedere se hanno lo stesso problema

Leggi Il finale della storia dopo il cambio di provider

Diventa sempre più difficile ottimizzare i contenuti dei siti e ottenere dei posizionamenti importanti,  questo da quando Google ha implementato e applicato due strategie

1. analisi dei contenuti duplicati per la lotta allo spam (le pagine che hanno contenuti gia presenti nei suoi indici incappano spesso nella marcatura di contenuto duplicato quindi non indicizzate). Questo vale sia per contenuti presio da altri asiti che per contenuti presi da altre pagine del nostro sito.
   Approfondimento sui contenuti duplicati (risultati supplementari)
2. analisi del contenuto del sito e confronto col contenuto dei siti che parlano dello stesso argomento nel web (Glossario del sito e glossario del web su un determinato argomento). Questo algoritmo permette una migliore selezione dei siti da presentare come risultati delle SERP (pagine dei risultati di ricerca).  Sto parlando del Latent Semantic Indexing (LSI) . Indicizzazione semantica dei siti.

Video con una buona spiegazione su cosa sia e sulle implicazioni del Latent Semantic IIndexing

Tre (tools) strumenti per webmasters che vogliano ottimizzare il loro sito applicando le regole dell’ LSI nella scelta della parole / frasi chiave da usare.

1.  Glossario delle SERP. Questo strumento analizza i primi 100 risultati di google su una determinata parola chiave o frase chiave e fornisce l’elenco delle parole e frasi usate dai siti che Google ritiene importanti su quell’argomento (otteniamo praticamente una buona approssimazione del contenuto semantico usato da google per quella frase)

   LSI tool per la semantica dei risultati

   
    

2. Ricerche correlate.  Cercando una frase es. "cambio automatico" in fondo alla pagina di ricerca compaiono le ricerche correlate che forniscono altro indizio utile sulla semantica applicata da Google per la frase cercata.
   Da notare che le riceche correlate forniscono frasi che sono spesso contenute nei rislutati che si ottengono con lo strumento sopra (glossario delle SERP)
    
    
3. Glossario del sito. Un tool interessante che analizza tutte le pagine di primo livello del tuo sito e ne estrae le parole che hai usato fornendo il glossario del sito e permettendo di confrontarlo con il glossario semantico delle SERP su Google e TROVARE LE PAROLE FRASI CHIAVE  che non hai  usato e che sarebbe opportuno usare.
   LSI tool per la semantica del sito (glossario del sito)

 Key correlate a Latent Semantic Indexing: Lsa Latent semantic analysis, probabilistic latent semantic indexing,  indexing latent semantic analysis, latent semantic indexing seo, latent variable analysis

 ————————————————————————————————————–
Vuoi sapere SE IL GLOSSARIO DEL TUO SITO E’ OK? 
Sito con buon glossario vuol dire da +20 a +50% di visibilità!!

Telefonami al 3398736464 o contattami

I link per la navigazione fra le pagine di un sito sono chiamati INTERNAL LINKS (Links interni)

Uno degli aspetti importanti nell’ottimizzazione di un sito web è la matrice dei link interni. La struttura di navigazione del sito per il quale valgono alcune regole fondamentali

1. PROFONDITA DEI LINK i contenuti importanti del sito, per i quali vogliamo farci trovare devono essere raggiungibili al massimo con due click.
2. STRUTTURA AD ALBERO la struttura più performante è quella che partendo dalla home page del sito genera una serie di pagine di primo livello (raggiungibili con un link ) capostipidi di una eventuale sezione interna (minisito interno)
3. HOTLINK (LINK SEO) In ogni pagina del sito bisogna avere un link che torna al dominio
4. LINK TESTUALI CON ANCHOR TEXT i link più performati sono quelli testuali mentrre per i link su immagini diventa importante il contenuto del tag ALT dell’immagine

Un utile tools per i webmasters è la toolbar di Firefox  chiamata SEQUAKE che fra le sue funzioni fornisce l’elenco dei link interni ed esterni presenti in una pagina web segnalando in maniera molto utile anche i link nofollow.

 ————————————————————————————————————–
Vuoi sapere SE IL TUO HOT LINK FUNZIONA? 
Un LINK SEO ottimizzato alza del 20% il valore del tuo sito!!!

Telefonami al 3398736464 o contattami

La pubblicazione del sito web

L’operazione di pubblicazione di un sito web è spesso ingiustamente trascurata dai webmasters ed è facile vedere dei siti con pagine in costruzione o peggio ancora siti dove è stata pubblicata esclusivemente la home page.

1. Vale la regola assoluta che un sito deve essere tenuto lontano dagli spider fino a che non sia terminato  sia come struttura che come inserimento dei contenuti.
2. Funziona anche il detto "Chi ben inizia è a metà dell’opera"

Tenere lontani gli spider è semplice quando il sito lo realizziamo in locale sul nostro computer e lo pubblichiamo solo quando è terminato.
Nel caso dei CMS come Joomla dove spesso i webmasters realizzano il sito online è indispensabile aggiungere un file robots.txt col comando di esclusione
User-agent: *
Disallow: /
inoltre è bene tenere il sito offline con l’apposito comando della configurazione

Perchè tenere il sito offline?
I motori di ricerca al momento dell’indicizazione si fanno un’idea dei contenuti del sito nel suo complesso, del glossario usatato dal sito, della sua struttura di link, ecc  e come si puo ben capire un sito incompleto fornisce un’immagine parziale che poi richiede tempo e lavoro per essere modificata a nostro favore.

Iniziare bene la pubblicazione sottintende una operazione di inserimento nei motori di ricerca, nelle directory, ecc . Attualmente il sistema migliore per pubblicare un sito è quello di farselo pubblicare da un’altro sito importante (alto PR, apprezzato dai motori, un buon Rank di Alexa, possibilmente sito anziano).  Questa pubblicazione avviene  tramite una piccola recensione o tramite un link testuale.

Forzare la pubblicazione e l’indicizzazione tramite Adwords.
Adwords funziona anche come strumento di pubblicazione siti.

• registro il dominio
• realizzo una o piu pagine del sito o una o piu landing
• attivo una campagna Adwords con  i link che puntano a questo dominio
• la conseguenza è che Google deve per forza indicizzare il sito per far funzionare la campagna

 ————————————————————————————————————–
Vuoi PUBBLICARE BENE IL TUO SITO?
Vuoi FAR INDICIZZARE il tuo sito su Google?

Telefonami al 3398736464
o contattami  su Skype
—————————————————————————————–