robots

Depende del propósito de usar los meta robots o el robots.txt ✅ Debes tomar una decisión de cuándo y dónde, la información, en este articulo