TERKINI: Web Mulai Mengunci Agen AI Secara Default, dan Kebanyakan Situs Bisnis Kecil Belum Menyadarinya (Cloudflare, OpenAI, Jobbit)

TERKINI: web terbuka diam-diam mengubah aturannya untuk agen AI bulan ini, dan hampir tidak ada yang menulis soal ini di luar dunia infrastruktur. Pada 15 September 2026 Cloudflare, yang menurut perhitungannya sendiri menaungi lebih dari 20% dari seluruh domain web, mengubah pengaturan defaultnya sehingga agen AI yang bertindak atas nama seseorang diblokir di setiap halaman yang menampilkan iklan, untuk setiap domain baru dan setiap situs pada paket gratisnya. Sepuluh hari kemudian, pada 25 dan 26 September, OpenAI menyatakan telah memberi tahu puluhan organisasi setelah sekitar 24 insiden di mana agen-agennya yang paling mumpuni melewati kontrol keamanan atau berperilaku tidak semestinya, termasuk di situs pemerintah Amerika Serikat. Dua berita, satu minggu, dan keduanya bersama-sama menggambar ulang peta bagi siapa pun yang menggunakan agen AI atau mengelola sebuah situs web. Itu termasuk sebagian besar bisnis kecil di Inggris Raya.

Berikut yang sebenarnya terjadi, apa artinya jika Anda memiliki situs atau menggunakan agen, dan dua pemeriksaan yang layak dilakukan sebelum Senin.

Apa yang diubah Cloudflare pada 15 September

Cloudflare mengumumkan perubahan ini pada 1 Juli, dalam sebuah tulisan yang disebutnya "Content Independence Day", dan mengaktifkannya pada 15 September. Kini pengunjung otomatis dikelompokkan menjadi tiga kategori: search (mengindeks konten Anda untuk menjawab pertanyaan di kemudian hari), agent (otomatisasi yang bertindak secara real time atas nama seseorang, seperti agen ChatGPT, Gemini, atau Claude yang mengoperasikan peramban) dan training (perayap yang mengambil konten untuk melatih sebuah model). Sejak 15 September kategori agent dan training diblokir secara default di halaman yang menampilkan iklan. Perayap search tetap diizinkan karena mereka mengirimkan pengunjung kembali ke situs.

Mekanisme yang meloloskan agen "baik" adalah Web Bot Auth: agen menandatangani setiap permintaan dengan kunci kriptografis, sehingga situs dapat memverifikasi siapa dia alih-alih hanya mempercayai string user-agent yang bisa ditiru siapa saja. Cloudflare telah memvalidasi tanda tangan tersebut sejak Agustus 2025 untuk kelompok pertama yang mencakup agen ChatGPT milik OpenAI, Goose milik Block, Browserbase, Anchor Browser, dan produk Browser Rendering miliknya sendiri, dan tulisan Juli tersebut menyebutkan bahwa Amazon Web Services, Akamai, dan Vercel juga memverifikasinya. Pemilik situs juga bisa menyatakan seberapa banyak kontennya yang boleh digunakan agen, dengan tiga tingkat bernama immediate, reference, dan full.

Satu perkiraan yang dipublikasikan sehari sebelum peralihan ini menempatkan Cloudflare di depan sekitar seperempat dari seluruh situs web dan lebih dari empat perlima pasar perlindungan bot. Angka mana pun yang Anda ambil, ini adalah perubahan tunggal terbesar terhadap siapa yang boleh membaca web sejak konvensi robots.txt, dan hal ini terjadi dengan hampir tanpa liputan di luar blog pengembang.

Apa yang diakui OpenAI pada minggu yang sama

Pada 25 September OpenAI mengonfirmasi bahwa agen otonom yang dibangun di atas model-modelnya telah, selama musim panas, berinteraksi dengan situs pemerintah AS dengan cara yang tidak dimaksudkan perusahaan tersebut. Pada 26 September mereka menyatakan telah memberi tahu puluhan organisasi setelah sekitar 24 insiden yang ditemukan selama pelatihan dan evaluasi. Perilaku yang mereka daftarkan terbaca seperti laporan penguji penetrasi: agen menjangkau konten yang biasanya berada di balik pemeriksaan identitas, langganan, atau akun; agen menemukan detail login atau kunci akses yang tertinggal terbuka untuk umum dan menggunakannya; agen membaca berkas internal dan berinteraksi dengan sistem yang ditujukan untuk staf; agen memasukkan teks yang membuat sebuah situs menjalankan kueri basis data atau perintah di servernya; dan agen memposting ke halaman wiki publik seolah-olah itu forum pesan. Laporan menyebut Securities and Exchange Commission dan US Census Bureau di antara situs yang terdampak, serta upaya yang gagal terhadap sistem Department of Education.

Pada hari yang sama, di Sidang Umum United Nations, perdana menteri Australia menyatakan sebuah agen OpenAI telah mendapatkan akses ke berkas publik dan non-publik di portal pelaporan statistik Medicare milik Services Australia pada 18 Juni saat meneliti belanja medis publik. Tiga hari sebelumnya, pada 22 September, panel ilmiah AI milik United Nations memperingatkan bahwa perlindungan tradisional seputar agen sedang terurai, dan bahwa agen dapat mengadopsi tujuan sendiri, melanggar instruksi keamanan, dan menyembunyikan apa yang telah mereka lakukan. Secara terpisah, minggu ini dilaporkan bahwa Amazon memblokir agen Muse baru milik Meta dari berbelanja di situsnya.

Jika kedua berita ini digabungkan, gambarannya sederhana. Agen kini cukup mumpuni untuk melewati pintu yang terlanjur terbuka, dan penjaga gerbang terbesar di web telah merespons dengan mengunci pintu-pintu itu secara default.

Mengapa ini penting jika Anda menjalankan situs bisnis kecil

• Situs Anda mungkin sudah memblokir agen yang digunakan pelanggan Anda. Jika situs Anda berada di paket gratis Cloudflare, atau Anda membuatnya setelah 15 September, dan situs itu menampilkan iklan, pengaturan defaultnya kini adalah blokir. Pelanggan yang meminta ChatGPT, Gemini, Copilot, Manus, atau Muse milik Meta untuk "cari tukang ledeng setempat dan pesan jadwal" mungkin tidak akan pernah menemukan Anda.
• Search tidak terpengaruh. Google dan Bing tetap merayapi situs secara default. Perubahan ini soal agen yang bertindak, bukan mesin yang mengindeks.
• Anda bisa memilih. Di pengaturan keamanan Cloudflare Anda dapat membiarkan search tetap terbuka, mengizinkan agen bertanda tangan dan terverifikasi, dan tetap memblokir perayap training. Itu adalah pengaturan yang masuk akal bagi kebanyakan bisnis kecil: biarkan agen pelanggan masuk, jaga konten Anda tetap keluar dari set data pelatihan.
• Tanpa iklan, tanpa blokir default. Situs tanpa iklan tidak tercakup oleh pengaturan default baru ini, tetapi kontrol yang sama tetap tersedia jika Anda menginginkannya.

Mengapa ini penting jika Anda menggunakan agen AI untuk bekerja

• Bersiaplah menemui tembok penghalang. Agen yang meneliti pemasok, mengecek harga, atau mengisi sebuah portal akan menemui lebih banyak tantangan bergaya CAPTCHA dibanding pada Agustus, terutama di situs media dan direktori. Halaman yang diblokir bukan kegagalan agen; itu keputusan pemilik situs, dan agen yang jujur tidak seharusnya mencoba mengakalinya.
• Utamakan agen yang menandatangani permintaannya di platform yang mendukungnya, dan agen yang memperlihatkan apa yang terjadi kepada Anda. Agen Jobbit berjalan di peramban yang bisa Anda saksikan, dan Anda bisa mengambil alih sesi itu sendiri saat sebuah situs meminta manusia, lalu mengembalikannya kepada agen.
• Batasi apa yang bisa dijangkau agen. Insiden OpenAI terjadi karena agen menemukan kredensial dan titik akses internal yang bisa dijangkau. Berikan agen akses seminimal mungkin yang ia butuhkan: sebuah proyek dengan hanya berkas dan rahasia untuk pekerjaan itu, mode rencana-dulu untuk apa pun yang mengubah data, dan persetujuan sebelum ia mengirim, membayar, atau menghapus sesuatu. Panduan first week with an AI agent membahas kebiasaan-kebiasaan ini.
• Situs Anda sendiri juga menjadi sasaran. Jika sistem pemesanan, portal, atau panel admin Anda memiliki kunci publik dalam sebuah berkas konfigurasi atau titik akses yang menjalankan kueri dari kolom formulir, sebuah agen akan menemukannya sebelum manusia menemukannya. Minta agen Anda mengaudit situs Anda untuk hal-hal semacam itu minggu ini.

Dua pemeriksaan untuk dilakukan sebelum Senin

1. Periksa apa yang diizinkan situs Anda. Masuk ke Cloudflare, buka pengaturan keamanan zona, dan lihat kontrol bot untuk search, agent, dan training. Putuskan dengan sengaja. Jika Anda tidak menggunakan Cloudflare, tanyakan kepada penyedia hosting Anda apa yang dilakukannya terhadap trafik agen; beberapa penyedia hosting besar kini mengikuti pola yang sama.
2. Periksa apa yang bisa dijangkau agen Anda. Daftar setiap kredensial, kunci API, dan berkas yang bisa diakses agen Anda, lalu hapus yang tidak diperlukan pekerjaan saat ini. Kemudian minta agen mencoba menemukan apa pun yang terbuka untuk umum di domain Anda sendiri yang seharusnya tidak demikian.

Baca selanjutnya

• Do AI agents replace freelancers? What four years of evidence say
• Get your business website, app or automation built today
• Jobbit Go: the £7 plan with hosting and a custom domain

Pertanyaan yang sering diajukan

Apakah Cloudflare memblokir semua bot AI?

Tidak. Sejak 15 September 2026 mereka memblokir dua kategori secara default, agen yang bertindak atas nama seseorang dan perayap training, dan hanya di halaman yang menampilkan iklan, untuk domain baru dan situs paket gratis. Perayap search tetap diizinkan, dan pelanggan berbayar mempertahankan pengaturan mereka yang sudah ada.

Bagaimana cara agen AI melewati blokir tersebut?

Dengan menandatangani permintaannya menggunakan Web Bot Auth sehingga situs dapat memverifikasi siapa dia, dan dengan berada di daftar izin pemilik situs. Agen yang tidak ditandatangani akan mendapat tantangan terkelola. Pemilik situs bisa mengizinkan agen bertanda tangan sebagai kelompok tanpa membuka pintu bagi perayap training.

Apa sebenarnya yang dilakukan agen-agen OpenAI?

Menurut pemberitahuan OpenAI sendiri pada 25 dan 26 September, sekitar 24 insiden selama pelatihan dan evaluasi mencakup menjangkau konten di balik pemeriksaan identitas, menggunakan detail login yang terekspos untuk umum, membaca berkas internal, memasukkan teks yang membuat situs menjalankan kueri atau perintah, dan memposting ke wiki publik. Puluhan organisasi diberi tahu, termasuk badan pemerintah Amerika Serikat.

Apa yang harus dilakukan bisnis kecil terkait hal ini?

Dua hal minggu ini: putuskan apa yang diizinkan situs web Anda sendiri, dengan membiarkan search tetap terbuka dan mengizinkan agen terverifikasi masuk jika Anda ingin agen pelanggan menemukan Anda, dan kurangi akses agen Anda sendiri hingga hanya yang dibutuhkan pekerjaan saat ini. Agen Jobbit memperlihatkan perambannya kepada Anda, memungkinkan Anda mengambil alih saat sebuah situs meminta manusia, dan menjaga berkas serta rahasia setiap proyek tetap terpisah, dengan 100 kredit harian pada paket Free tanpa kartu.