Ako vylúčiť obsah WordPress z Vyhľadávania Google

Ako vylúčiť obsah a súbory WordPress z Vyhľadávania Google

Niekedy musíte vylúčiť konkrétny obsah alebo súbory WordPress z indexovania vo výsledkoch vyhľadávania Google. Index alebo „indexovanie“ pred vznikom spoločnosti Google a iného vyhľadávacieho nástroja bolo slovo, ktoré sa väčšinou spájalo s knihami. Zvyčajne sa nachádza na zadnej strane väčšiny kníh, a preto ho v Cambridge slovníku v tejto súvislosti definuje:


index: abecedný zoznam, napríklad zoznam vytlačený na zadnej strane knihy, na ktorom je zobrazená strana, na ktorej je predmet, meno atď.

Rýchly posun vpred do roku 1995, počas internetového rozmachu, máme služby ako vyhľadávací nástroj Yahoo a príde 1997, vyhľadávanie Google dramaticky zmenilo spôsob, akým vyhľadávame a pristupujeme k informáciám na internete..

Podľa prieskumu uskutočneného v januári 2018 je na internete 1 805 260 010 (viac ako 1,8 miliardy) webových stránok a mnohé z týchto webových stránok vôbec nezískavajú žiadnych návštevníkov..

Čo je indexovanie Google?

Existujú rôzne vyhľadávacie nástroje s rôznym formátom indexovania, ale medzi obľúbené vyhľadávacie nástroje patrí Google, Bing a pre jednotlivcov so zameraním na ochranu súkromia duckduckgo..

Indexovanie Google sa vo všeobecnosti týka procesu pridávania nových webových stránok vrátane digitálneho obsahu, ako sú dokumenty, videá a obrázky, a ich ukladania do svojej databázy. Inými slovami, aby sa obsah vašich stránok zobrazil vo výsledkoch vyhľadávania Google, musí sa najprv uložiť do indexu Google.

Čo je indexovanie Google?

Spoločnosť Google dokáže indexovať všetky tieto digitálne stránky a obsah pomocou svojich pavúkov, prehľadávačov alebo robotov, ktorí opakovane prehľadávajú rôzne webové stránky na internete. Tieto roboty a prehľadávače postupujú podľa pokynov vlastníkov webových stránok o tom, čo prehľadávať a čo by sa malo počas prehľadávania ignorovať.

Prečo je potrebné indexovať webové stránky?

V tomto období digitálneho veku je takmer nemožné prechádzať miliardami webových stránok, ktoré nachádzajú konkrétnu tému a obsah. Bude oveľa jednoduchšie, ak bude existovať nástroj, ktorý nám ukáže, ktoré stránky sú dôveryhodné, aký obsah je pre nás užitočný a relevantný. Preto spoločnosť Google existuje a zaraďuje webové stránky do výsledkov vyhľadávania.

Indexovanie sa stáva nevyhnutnou súčasťou fungovania vyhľadávacích nástrojov vo všeobecnosti a predovšetkým Google. Pomáha identifikovať slová a výrazy, ktoré najlepšie popisujú stránku, a celkovo prispieva k hodnoteniu stránok a webových stránok. Ak chcete, aby sa na prvej stránke Google zobrazoval váš web, vrátane webových stránok a digitálnych súborov, ako sú videá, obrázky a dokumenty, musíte sa najprv indexovať..

Indexovanie je nevyhnutným krokom pre to, aby sa webové stránky vo vyhľadávacích nástrojoch vo všeobecnosti, a najmä spoločnosti Google, umiestnili na dobre. Pomocou kľúčových slov môžu byť stránky lepšie viditeľné a objavené po indexovaní a hodnotení vyhľadávacími nástrojmi. Tým sa otvoria dvere pre viac návštevníkov, predplatiteľov a potenciálnych zákazníkov pre váš web a firmu.

Najlepšie miesto na skrytie mŕtveho tela je druhá stránka Google.

Aj keď veľa indexovaných stránok automaticky nezvyšuje vaše webové stránky, ak je obsah týchto stránok rovnako kvalitný, môžete získať podporu v oblasti SEO.

Prečo a ako blokovať vyhľadávací nástroj z indexovania obsahu

Aj keď je indexovanie skvelé pre majiteľov webových stránok a firiem, vo výsledkoch vyhľadávania sa nemusia zobrazovať stránky. mohli by ste riskovať vystavenie citlivých súborov a obsahu aj na internete. Bez hesiel alebo autentifikácie je súkromný obsah vystavený riziku neoprávneného prístupu, ak roboti dostanú bezplatnú kontrolu nad adresármi a súbormi na vašom webe..

Na začiatku roku 2000 hackeri použil vyhľadávanie Google na zobrazenie informácií o kreditnej karte z webových stránok s jednoduchými vyhľadávacími dopytmi. Túto bezpečnostnú chybu použilo veľa hackerov na odcudzenie informácií o kartách z webových stránok elektronického obchodu.

Ďalší nedávny minulý rok sa na stránke box.com stala bezpečnostná chyba, obľúbený cloudový úložný systém. Bezpečnostnú dieru odhalil Markus Neis, manažér spravodajských informácií o hrozbách pre spoločnosť Swisscom. Uviedol, že jednoduché využitie vyhľadávacích nástrojov vrátane služieb Google a Bing môže odhaliť dôverné súbory a informácie mnohých obchodných a individuálnych zákazníkov.

K takýmto prípadom dochádza online a majiteľom firiem môžu dôjsť k strate predaja a výnosov. V prípade firemných webových stránok, webových stránok elektronického obchodu a členstva je veľmi dôležité najprv zablokovať indexovanie vyhľadávania citlivého obsahu a súkromných súborov a potom ich pravdepodobne postaviť za dôstojný systém autentifikácie používateľov..

Pozrime sa, ako môžete určiť, ktorý obsah a súbory môžu indexovo prehľadávať a indexovať spoločnosť Google a ďalšie vyhľadávacie nástroje.

1. Použitie obrázkov Robots.txt

Robots.txt je súbor, ktorý sa nachádza v koreňovom adresári vašej stránky a poskytuje robotom Google, Bing a iným vyhľadávacím nástrojom pokyny, čo prehľadávať a čo nie. Aj keď sa súbor robots.txt zvyčajne používa na riadenie prehľadávania návštevnosti a webových prehľadávačov (mobilné verzus stolné počítače), dá sa tiež použiť na zabránenie zobrazovaniu obrázkov vo výsledkoch vyhľadávania Google..

Súbor robots.txt bežných webových stránok WordPress by vyzeral takto:

User-agent: *
Disallow: / wp-admin /
Disallow: / wp-include /

Štandardný súbor robots.txt začína inštrukciou pre user-agent a hviezdičkou. Hviezdička je pokyn pre všetkých robotov, ktorí prichádzajú na web, aby sa riadili všetkými pokynmi pod ňou.

Držte roboty ďalej od konkrétnych digitálnych súborov pomocou súboru Robot.txt

Súbor robots.txt možno tiež použiť na zastavenie indexového prehľadávania digitálnych súborov vo vyhľadávacom nástroji, napríklad PDF, JPEG alebo MP4. Ak chcete blokovať prehľadávanie prehľadávania súborov PDF a JPEG, mali by ste ho pridať do súboru robots.txt:

Súbory PDF

User-agent: *
Disallow: / pdfs / # Zablokovať adresár / pdfs /.
Zakázať: * .pdf $ # Blokovať súbory PDF zo všetkých robotov. Aj keď neštandardné, funguje pre hlavné vyhľadávacie nástroje.

snímky

User-agent: Googlebot-Image
Disallow: /images/cats.jpg #Block cats.jpg image for Googlebot zvlášť.

V prípade, že chcete zablokovať všetky obrázky .GIF, aby sa indexovali a zobrazovali vo vyhľadávaní obrázkov Google a zároveň povolili iné formáty obrázkov, ako sú JPEG a PNG, mali by ste použiť nasledujúce pravidlá:

User-agent: Googlebot-Image
Disallow: /*.gif$

dôležité: Vyššie uvedené úryvky jednoducho vylúčia váš obsah z indexovania webov tretích strán, ako je napríklad Google. Sú stále prístupné, ak niekto vie, kde hľadať. Ak chcete súbory nastaviť ako súkromné, aby k nim nikto nemal prístup, musíte použiť inú metódu, napríklad tieto doplnky na obmedzenie obsahu.

Googlebot-Image sa dá použiť na blokovanie zobrazovania obrázkov a konkrétnej prípony obrázkov pri vyhľadávaní obrázkov Google. V prípade, že ich chcete vylúčiť zo všetkých vyhľadávaní Google, napr. pri vyhľadávaní na webe a obrázkoch, odporúča sa namiesto toho použiť používateľský agent Googlebot.

Medzi ďalšie používateľské agenty Google pre rôzne prvky na webe patrí Googlebot-Video pre videá, ktoré sa nemôžu použiť v sekcii videa Google na webe. Podobne použitie agenta Googlebot user-agent zablokuje zobrazovanie všetkých videí vo videách google, webovom vyhľadávaní alebo mobilnom webovom vyhľadávaní.

Roboty txt bez indexu

Majte na pamäti, že používanie súboru Robots.txt nie je vhodnou metódou blokovania citlivých alebo dôverných súborov a obsahu z dôvodu nasledujúcich obmedzení:

  • Robots.txt môže inštruovať iba správcovské prehliadače; iné nevyhovujúce vyhľadávacie nástroje a roboti mohli jednoducho ignorovať svoje pokyny.
  • Robots.txt nezabráni serveru v odosielaní týchto stránok a súborov neoprávneným používateľom na požiadanie.
  • Vyhľadávacie nástroje môžu stále nájsť a indexovať blokovanú stránku a obsah v prípade, že sú prepojené z iných webových stránok a zdrojov.
  • Robots.txt je prístupný každému, kto by si potom mohol prečítať všetky poskytnuté pokyny a priamo pristupovať k tomuto obsahu a súborom

Ak chcete zablokovať indexovanie vyhľadávania a efektívnejšie chrániť svoje súkromné ​​informácie, použite namiesto toho nasledujúce metódy.

2. Používanie značky Meta pre stránky bez indexu

Používanie metaznačky bez indexu je správnou a efektívnejšou metódou na blokovanie indexovania vyhľadávania citlivého obsahu na vašom webe. Na rozdiel od súboru robots.txt sa metaznačka bez indexu umiestni do súboru časť webovej stránky s veľmi jednoduchou značkou HTML:



...

Akákoľvek stránka s týmto pokynom v hlavičke sa nezobrazí vo výsledkoch vyhľadávania Google. Iné smernice ako napríklad nofollow a notranslate, možno tiež použiť na prehľadávanie webových prehľadávačov, aby neprechádzali odkazy a ponúka preklad tejto stránky, resp..

Viacerým prehľadávačom môžete dať pokyn pomocou viacerých metaznačiek na stránke takto:



...


Tento kód môžete na svoj web pridať dvoma spôsobmi. Prvou možnosťou je vytvoriť podradenú tému WordPress a potom vo svojom function.php môžete použiť akčný háčik WordPress wp_head na vloženie noindexu alebo iných metaznačiek. Nižšie je uvedený príklad, ako by ste noindex na svoju prihlasovaciu stránku.

add_action ('wp_head', function () {
if (is_page ('login')) {
ozvena,;
}
});

Druhou možnosťou je použitie doplnku SEO na kontrolu viditeľnosti stránky. Napríklad s programom Yoast SEO môžete prejsť do sekcie rozšírených nastavení na stránke a jednoducho vybrať „Nie“ pre možnosti, ktoré vyhľadávaciemu nástroju umožnia zobraziť stránku:

Nastavenie výsledkov vyhľadávania SEO

3. Použitie hlavičky HTTP X-Robots-Tag pre iné súbory

Značka X-Robots vám poskytuje väčšiu flexibilitu na blokovanie indexovania vyhľadávania vášho obsahu a súborov. Najmä v porovnaní s metaznačkou bez indexu sa môže použiť ako odpoveď hlavičky HTTP pre všetky dané adresy URL. Napríklad môžete použiť značku X-Robots-Tag pre súbory obrázkov, videa a dokumentov, kde nie je možné použiť metaznačky robotov..

Môžeš čítať Úplný sprievodca metaznačkami robotov spoločnosti Google, ale tu je návod, ako môžete dať crawlerom pokyn, aby nesledovali a indexovali obrázok JPEG pomocou značky X-Robots-Tag v odpovedi HTTP:

HTTP / 1,1 200 OK
Typ obsahu: image / jpeg
Dátum: So, 27 Nov 2018 01:02:09 GMT
(...)
Značka X-Robots: noindex, nofollow
(...)

Všetky smernice, ktoré by sa dali použiť s metaznačkou robotov, sa vzťahujú aj na značku X-Robots. Podobne môžete dať pokyn viacerým robotom vyhľadávacích nástrojov:

HTTP / 1,1 200 OK
Dátum: Ut, 21. september 2018 21:09:19 GMT
(...)
Značka X-Robots: googlebot: nofollow
Značka X-Robots: bingbot: noindex
Značka X-Robots: otherbot: noindex, nofollow
(...)

Je dôležité si uvedomiť, že roboti vyhľadávacích nástrojov počas procesu prehľadávania objavujú metaznačky robotov a hlavičky HTTP X-Robots-Tag. Ak chcete, aby títo roboti postupovali podľa vašich pokynov, aby nesledovali alebo indexovali žiadny dôverný obsah a dokumenty, nesmiete zastaviť indexové prehľadávanie týchto stránok a súborov URL..

Ak sú blokované v prehľadávaní pomocou súboru robots.txt, vaše pokyny týkajúce sa indexovania sa nebudú čítať, a preto sa nebudú ignorovať. Výsledkom je, že v prípade, že na váš obsah a dokumenty odkazujú iné webové stránky, spoločnosť Google a ďalšie vyhľadávacie nástroje ich budú stále indexovať.

4. Použitie pravidiel .htaccess pre servery Apache

Do súboru .htaccess môžete tiež pridať hlavičku HTTP X-Robots-Tag, aby ste blokovali prehľadávače z indexovania stránok a digitálneho obsahu vašej webovej stránky hostenej na serveri Apache. Na rozdiel od metaznačiek bez indexu sa pravidlá .htaccess dajú použiť na celú webovú stránku alebo na konkrétny priečinok. Jeho podpora regulárnych výrazov ponúka ešte väčšiu flexibilitu pre zacielenie viacerých typov súborov naraz.

Ak chcete blokovať robotom Googlebot, Bing a Baidu v prehľadávaní webových stránok alebo špeciálnych adresárov, použite nasledujúce pravidlá:

PrepísaťEngine zapnuté
RewriteCond% {HTTP_USER_AGENT} (googlebot | bingbot | Baiduspider) [NC]
PrepísaťRule. * - [R = 403, L]

Ak chcete zablokovať indexovanie vyhľadávania všetkých súborov .txt, .jpg, .jpeg, .pdf na celom svojom webe, pridajte nasledujúci útržok:


Sada hlavičiek X-Robots-Tag „noindex, nofollow“

5. Používanie overovania stránky pomocou používateľského mena a hesla

Vyššie uvedené metódy zabránia zobrazeniu vášho súkromného obsahu a dokumentov vo výsledkoch vyhľadávania Google. Každý používateľ s odkazom však môže získať prístup k vášmu obsahu a priamo pristupovať k vašim súborom. Z bezpečnostných dôvodov sa dôrazne odporúča nastaviť správne overenie pomocou používateľského mena a hesla, ako aj povolenie na prístup k rolám.

Používanie overovania stránky

Napríklad stránky, ktoré obsahujú osobné profily zamestnancov a citlivé dokumenty, ku ktorým nesmú mať prístup anonymní používatelia, by sa mali posúvať za autentifikačnú bránu. Takže aj keď používatelia nejako nájdu stránky, budú požiadaní o poverenia skôr, ako si budú môcť pozrieť obsah.

Ochrana heslom WordPress

Ak to chcete urobiť pomocou WordPress, jednoducho nastavte viditeľnosť príspevku na chránené heslom. Týmto spôsobom môžete vybrať heslo potrebné na zobrazenie obsahu na tejto stránke. Toto je pomerne ľahké robiť na báze za príspevok / stránku. Ak chcete získať komplexnejšie súkromie, skúste na svoj web pridať jeden z týchto doplnkov členstva WordPress.

Nezabúdajte, že stránky chránené vyhľadávacími heslami alebo skryté stránky z vyhľadávacích nástrojov a návštevníkov nemusia nevyhnutne chrániť dokumenty, videá a obrázky pripojené k ich obsahu. Na skutočnú ochranu vašich odovzdaných súborov WordPress sa dôrazne odporúča prémiová služba, ako je Prevent Direct Access Gold.

záver

V závode, ktorý sa nachádza na jednej stránke spoločnosti Google, majitelia firiem nemusia brať do úvahy to, čo môžu vyhľadávacie nástroje vidieť. Či už blokujete roboty z konkrétneho súboru, schovávate vlastnú prihlasovaciu stránku alebo heslom chrániacim adresáre súkromných používateľov … existuje veľa stránok, ktoré môžu zvážiť neindexovanie, pokiaľ ide o vyhľadávacie nástroje..

Máte otázky týkajúce sa vylúčenia obsahu z výsledkov vyhľadávania? Alebo zabránenie indexovaniu určitých súborov? Zanechať komentár nižšie!

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map