Bloquer les bots sur un serveur web Apache

gabriel_75 · Juillet 9, 2023, 10:21

Bonjour à tous,

Je possède un raspberry pi 4 qui me sert de serveur web personnel. J’y héberge un petit site personnel pour moi et quelques amis. Le soucis est que mes logs sont complètement encombré par les requêtes de bots venant de l’étranger. J’aimerais donc pouvoir les bloquer pour pouvoir y voir plus claire sur qui se connecte. Vu que je n’ai pas besoin de référencement je pourrais bloquer tout les bots « gentils et méchants ». Je trouve pas de solution sur internet pour répondre à ce problème précisément et chatGPT a un peut tendance à me donner des instructions qui casse tout sur apache.

Si quelqu’un à une suggestion je suis preneur.

Merci d’avance pour l’aide !

levelKro · Juillet 9, 2023, 2:45

Ta réponse est simple…

Commence par ajouter un fichier « robots.txt » à la racine Web du serveur. ou le « index.php » ce trouve.

Dans ce document, inscrit cette ligne;

User-agent: *
Disallow: /

Après, pour plus de « safety » sur le respect de ne pas indexer, ajoute le META suivant dans ton « index.php » dans la balise <head> ... </head>.

<meta name="robots" content="noindex">

L’effet sera ressenti selon la vitesse que les robot vont visiter et recevoir cette consigne.

Le fichier « index.php » est celui qui te sert par défaut. il peut avoir un autre nom ou extension selon ta configuration.

gabriel_75 · Juillet 10, 2023, 7:05

Merci pour ta réponse,

Mais je n’utilise pas de PHP. Étant donné que c’est simplement de l’affichage je me contente des fonctionnalités offertes par défaut sur Apache.

levelKro · Juillet 10, 2023, 10:55

Pas grave, comme je dis …

Que ce soit index.php, index.htm, index.html, c’est juste t’indiquer ou le placer le fichier robots.txt et ou ajouter le meta…

gabriel_75 · Juillet 10, 2023, 1:39

Ok je ferai ça, mais je ne devrai pas nommer le lien méta du même nom que le nom de du fichier.txt. Dans ton explication tu mets un « s » en trop je crois.

levelKro · Juillet 10, 2023, 10:23

C’es bien « robots.txt » qui faut mettre et voici un fichier complet de ban.


# ROBOTS.TXT STOPS BAD BOTS FROM CRAWLING YOUR WEB PAGES
# PLEASE UPLOAD THIS FILE TO THE SAME FOLDER OF index.html

User-agent: aipbot
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: Alexibot 
Disallow: /

User-agent: Aqua_Products 
Disallow: /

User-agent: asterias 
Disallow: /

User-agent: b2w/0.1 
Disallow: /

User-agent: BackDoorBot/1.0 
Disallow: /

User-agent: becomebot
Disallow: /

User-agent: BlowFish/1.0 
Disallow: /

User-agent: Bookmark search tool 
Disallow: /

User-agent: BotALot 
Disallow: /

User-agent: BotRightHere 
Disallow: /

User-agent: BuiltBotTough 
Disallow: /

User-agent: Bullseye/1.0 
Disallow: /

User-agent: BunnySlippers 
Disallow: /

User-agent: CheeseBot 
Disallow: /

User-agent: CherryPicker 
Disallow: /

User-agent: CherryPickerElite/1.0 
Disallow: /

User-agent: CherryPickerSE/1.0 
Disallow: /

User-agent: Copernic 
Disallow: /

User-agent: CopyRightCheck 
Disallow: /

User-agent: cosmos 
Disallow: /

User-agent: Crescent 
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 
Disallow: /

User-agent: DittoSpyder 
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: EmailCollector 
Disallow: /

User-agent: EmailSiphon 
Disallow: /

User-agent: EmailWolf 
Disallow: /

User-agent: EroCrawler 
Disallow: /

User-agent: exabot
Disallow: /

User-agent: ExtractorPro 
Disallow: /

User-agent: FairAd Client 
Disallow: /

User-agent: Fasterfox
Disallow: /

User-agent: Flaming AttackBot 
Disallow: /

User-agent: Foobot 
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Gaisbot 
Disallow: /

User-agent: GetRight/4.2 
Disallow: /

User-agent: Harvest/1.5 
Disallow: /

User-agent: hloader 
Disallow: /

User-agent: httplib 
Disallow: /

User-agent: HTTrack 3.0 
Disallow: /

User-agent: humanlinks 
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: IconSurf
Disallow: /
Disallow: /favicon.ico

User-agent: InfoNaviRobot 
Disallow: /

User-agent: Iron33/1.0.2 
Disallow: /

User-agent: JennyBot 
Disallow: /

User-agent: Kenjin Spider 
Disallow: /

User-agent: Keyword Density/0.9 
Disallow: /

User-agent: larbin 
Disallow: /

User-agent: LexiBot 
Disallow: /

User-agent: libWeb/clsHTTP 
Disallow: /

User-agent: LinkextractorPro 
Disallow: /

User-agent: LinkScan/8.1a Unix 
Disallow: /

User-agent: LinkWalker 
Disallow: /

User-agent: LNSpiderguy 
Disallow: /

User-agent: lwp-trivial 
Disallow: /

User-agent: lwp-trivial/1.34 
Disallow: /

User-agent: Mata Hari 
Disallow: /

User-agent: Microsoft URL Control 
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511 
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169 
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: MIIxpc 
Disallow: /

User-agent: MIIxpc/4.2 
Disallow: /

User-agent: Mister PiX 
Disallow: /

User-agent: moget 
Disallow: /

User-agent: moget/2.1 
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) 
Disallow: /

User-agent: MSIECrawler 
Disallow: /

User-agent: NetAnts 
Disallow: /

User-agent: NICErsPRO 
Disallow: /

User-agent: Offline Explorer 
Disallow: /

User-agent: Openbot 
Disallow: /

User-agent: Openfind 
Disallow: /

User-agent: Openfind data gatherer 
Disallow: /

User-agent: Oracle Ultra Search 
Disallow: /

User-agent: PerMan 
Disallow: /

User-agent: ProPowerBot/2.14 
Disallow: /

User-agent: ProWebWalker 
Disallow: /

User-agent: psbot 
Disallow: /

User-agent: Python-urllib 
Disallow: /

User-agent: QueryN Metasearch 
Disallow: /

User-agent: Radiation Retriever 1.1 
Disallow: /

User-agent: RepoMonkey 
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01 
Disallow: /

User-agent: RMA 
Disallow: /

User-agent: rogerbot
disallow: /

User-agent: searchpreview 
Disallow: /

User-agent: SiteSnagger 
Disallow: /

User-agent: SpankBot 
Disallow: /

User-agent: spanner 
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: suzuran 
Disallow: /

User-agent: Szukacz/1.4 
Disallow: /

User-agent: Teleport 
Disallow: /

User-agent: TeleportPro 
Disallow: /

User-agent: Telesoft 
Disallow: /

User-agent: The Intraformant 
Disallow: /

User-agent: TheNomad 
Disallow: /

User-agent: TightTwatBot 
Disallow: /

User-agent: toCrawl/UrlDispatcher 
Disallow: /

User-agent: True_Robot 
Disallow: /

User-agent: True_Robot/1.0 
Disallow: /

User-agent: turingos 
Disallow: /

User-agent: TurnitinBot 
Disallow: /

User-agent: TurnitinBot/1.5 
Disallow: /

User-agent: URL Control 
Disallow: /

User-agent: URL_Spider_Pro 
Disallow: /

User-agent: URLy Warning 
Disallow: /

User-agent: VCI 
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32 
Disallow: /

User-agent: Web Image Collector 
Disallow: /

User-agent: WebAuto 
Disallow: /

User-agent: WebBandit 
Disallow: /

User-agent: WebBandit/3.50 
Disallow: /

User-agent: WebCapture 2.0 
Disallow: /

User-agent: WebCopier 
Disallow: /

User-agent: WebCopier v.2.2 
Disallow: /

User-agent: WebCopier v3.2a 
Disallow: /

User-agent: WebEnhancer 
Disallow: /

User-agent: WebSauger 
Disallow: /

User-agent: Website Quester 
Disallow: /

User-agent: Webster Pro 
Disallow: /

User-agent: WebStripper 
Disallow: /

User-agent: WebZip 
Disallow: /

User-agent: WebZip 
Disallow: /

User-agent: WebZip/4.0 
Disallow: /

User-agent: WebZIP/4.21 
Disallow: /

User-agent: WebZIP/5.0 
Disallow: /

User-agent: Wget 
Disallow: /

User-agent: wget 
Disallow: /

User-agent: Wget/1.5.3 
Disallow: /

User-agent: Wget/1.6 
Disallow: /

User-agent: WWW-Collector-E 
Disallow: /

User-agent: Xenu's 
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c 
Disallow: /

User-agent: Zeus 
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32 
Disallow: /

User-agent: Zeus Link Scout 
Disallow: /

User-agent: *
Disallow: /js
Disallow: *.js

Note qu’il n’est pas à jours, mais tu peux le compléter, le code précédemment posté avec que « * » fait que tout le monde ignore ton indexation.

gabriel_75 · Juillet 10, 2023, 10:35

Merci pour l’aide !!