Cloudflare ਨੇ ਵੈੱਬਸਾਈਟ ਮਾਲਕਾਂ ਲਈ AI crawlers ਨੂੰ ਸੰਭਾਲਣ ਦੇ ਨਵੇਂ controls ਲਾਗੂ ਕਰ ਦਿੱਤੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਨਾਲ Search, AI Training ਅਤੇ AI Agent ਵਰਤੋਂ ਲਈ ਵੱਖ-ਵੱਖ ਨੀਤੀਆਂ ਤੈਅ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ। ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਨਵੀਂ setting “Disallow AI Training” ਹੈ, ਜਿਸਦਾ ਮਕਸਦ ਵੈੱਬਸਾਈਟ ਨੂੰ search results ਵਿੱਚ ਲੱਭਣਯੋਗ ਰੱਖਦਿਆਂ ਉਸਦੀ ਸਮੱਗਰੀ ਨੂੰ AI model training ਲਈ ਵਰਤਣ ਤੋਂ ਰੋਕਣ ਦੀ ਚੋਣ ਦੇਣਾ ਹੈ।
ਇਹ ਤਬਦੀਲੀਆਂ 15 ਸਤੰਬਰ 2026 ਤੋਂ ਲਾਗੂ ਹੋਈਆਂ ਹਨ। Cloudflare ਨੇ mixed-use crawlers—ਜੋ search indexing ਅਤੇ AI training ਦੋਵੇਂ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ—ਲਈ ਵੀ ਨਵਾਂ ਢਾਂਚਾ ਲਿਆਂਦਾ ਹੈ।
ਮੁੱਖ ਤੱਥ
- ਵੈੱਬਸਾਈਟ ਮਾਲਕ Search, Training ਅਤੇ Agent traffic ਲਈ ਵੱਖਰੇ controls ਚੁਣ ਸਕਦੇ ਹਨ।
- “Disallow AI Training” ਦਾ ਉਦੇਸ਼ search visibility ਬਰਕਰਾਰ ਰੱਖਦਿਆਂ AI training ਤੋਂ opt out ਕਰਨ ਦੀ ਚੋਣ ਦੇਣਾ ਹੈ।
- Cloudflare ਨੇ ਪੁਰਾਣੀ “Block AI Bots” setting ਨੂੰ ਹੌਲੀ-ਹੌਲੀ ਬਦਲ ਕੇ ਹੋਰ granular controls ਵੱਲ ਜਾਣਾ ਸ਼ੁਰੂ ਕੀਤਾ ਹੈ।
- ਨਵੇਂ domains ਲਈ onboarding presets ਵਿੱਚ ads ਵਾਲੀਆਂ sites ਲਈ Search ਨੂੰ Allow, Training ਨੂੰ Disallow AI Training ਅਤੇ Agent ਨੂੰ Block on pages with ads ਰੱਖਣ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
Search ਅਤੇ AI Training ਨੂੰ ਵੱਖ ਕਰਨਾ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ
Cloudflare ਦੇ 15 ਸਤੰਬਰ ਦੇ blog post ਮੁਤਾਬਕ mixed-use crawlers ਕਾਰਨ website owners ਨੂੰ ਪਹਿਲਾਂ ਇੱਕ ਔਖੀ ਚੋਣ ਕਰਨੀ ਪੈਂਦੀ ਸੀ: ਜਾਂ crawler ਨੂੰ allow ਕਰਕੇ search indexing ਅਤੇ AI training ਦੋਵੇਂ ਮਨਜ਼ੂਰ ਕਰੋ, ਜਾਂ block ਕਰਕੇ search visibility ਨੂੰ ਵੀ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਦਾ ਖਤਰਾ ਲਵੋ। ਨਵੀਂ “Disallow AI Training” setting ਇਸ trade-off ਨੂੰ ਘਟਾਉਣ ਲਈ ਬਣਾਈ ਗਈ ਹੈ।
Cloudflare ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ Apple, Google ਅਤੇ Microsoft ਇਸ preference ਨੂੰ ਮੰਨ ਰਹੇ ਹਨ ਜਾਂ ਨਿਰਧਾਰਤ ਸਮੇਂ ਅੰਦਰ ਮੰਨਣ ਲਈ ਵਚਨਬੱਧ ਹਨ। ਹਾਲਾਂਕਿ ਕਿਸੇ crawler ਦੀ ਅਸਲ ਪਾਲਣਾ ਉਸਦੇ operator ਅਤੇ ਤਕਨੀਕੀ implementation ’ਤੇ ਨਿਰਭਰ ਰਹਿੰਦੀ ਹੈ।
ਨਿਚੋੜ: ਇਹ ਤਬਦੀਲੀ publishers ਅਤੇ ਹੋਰ site owners ਨੂੰ search discovery ਅਤੇ AI training consent ਨੂੰ ਇੱਕੋ ਫੈਸਲਾ ਮੰਨਣ ਦੀ ਬਜਾਇ ਵੱਖ-ਵੱਖ ਤਰੀਕੇ ਨਾਲ ਨਿਯੰਤਰਿਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ।
ਨਵੇਂ presets ਅਤੇ site owners ਲਈ ਅਸਰ
Cloudflare documentation ਅਤੇ 15 ਸਤੰਬਰ ਦੀ launch ਜਾਣਕਾਰੀ ਅਨੁਸਾਰ ਨਵੇਂ domains ਲਈ onboarding configuration site ਦੀ monetization ਦੇ ਅਧਾਰ ’ਤੇ ਵੱਖ ਹੋ ਸਕਦੀ ਹੈ। Ads ਵਾਲੀਆਂ sites ਲਈ Search ਨੂੰ Allow, Training ਨੂੰ Disallow AI Training ਅਤੇ Agent traffic ਨੂੰ Block on pages with ads ਰੱਖਣ ਵਾਲਾ preset ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। Mixed-purpose crawlers ਨੂੰ ਵੀ ਉਹਨਾਂ ਦੇ ਦਰਜ ਕੀਤੇ behaviours ਦੇ ਅਧਾਰ ’ਤੇ policies ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਇਸ ਤਬਦੀਲੀ ਦਾ ਸਿੱਧਾ ਅਸਰ publishers, news sites, blogs ਅਤੇ subscription-based websites ’ਤੇ ਪੈ ਸਕਦਾ ਹੈ, ਕਿਉਂਕਿ ਉਹ ਹੁਣ search traffic ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦਿਆਂ AI model training ਬਾਰੇ ਵੱਖਰੀ preference ਜਤਾ ਸਕਦੇ ਹਨ। Cloudflare customers ਆਪਣੇ dashboard ਵਿੱਚ Security Settings ਹੇਠ AI bot policies ਬਦਲ ਸਕਦੇ ਹਨ।
ਇਹ ਕਦਮ wider web ecosystem ਵਿੱਚ content ownership, crawler transparency ਅਤੇ AI companies ਵੱਲੋਂ public web content ਦੀ ਵਰਤੋਂ ਬਾਰੇ ਚੱਲ ਰਹੀ ਚਰਚਾ ਦਾ ਹਿੱਸਾ ਹੈ। ਹੁਣ ਅਗਲਾ ਮਹੱਤਵਪੂਰਨ ਸਵਾਲ ਇਹ ਰਹੇਗਾ ਕਿ mixed-use crawler operators ਇਹ preferences ਕਿੰਨੀ ਇਕਸਾਰਤਾ ਨਾਲ ਲਾਗੂ ਕਰਦੇ ਹਨ ਅਤੇ publishers ਆਪਣੇ traffic ਅਤੇ indexing ’ਤੇ ਇਸਦਾ ਕੀ ਅਸਰ ਵੇਖਦੇ ਹਨ।