Website Audit: temukan apa yang menghalangi AI dan mesin pencari membaca situs Anda

Audit butuh nama brand dan alamat website; deskripsi singkat boleh dikosongkan, dan URL tanpa https:// akan dilengkapi otomatis. Jika konteks brand belum disiapkan, Intura menyusun draf knowledge profile dan target audiens dari brand, deskripsi, dan situs Anda sebelum halaman mana pun dinilai. Analisis AI (opsional) memakainya nanti untuk menilai apakah sebuah halaman sesuai dengan brand.

Crawl dimulai dengan membaca robots.txt dan mencari sitemap, baik dari baris Sitemap: di robots.txt maupun dari lokasi umum seperti /sitemap.xml dan /sitemap_index.xml. Sitemap index, sitemap ter-gzip, dan sitemap teks biasa semuanya dibaca.

Setelah itu crawler merayapi secara breadth-first dari homepage, mengikuti tautan internal hingga lima level, dan mematuhi robots.txt Anda seperti Googlebot. Hanya halaman yang mengembalikan HTTP 200, berupa HTML, dan tidak diblokir robots.txt yang menjadi halaman audit.

Secara default, artikel blog dan halaman produk dibatasi masing-masing 100 halaman, supaya katalog besar tidak menenggelamkan halaman lain. Homepage, halaman harga, about, kontak, FAQ, layanan, dan fitur selalu disertakan.

Sebagian masalah hanya ada di tingkat situs secara keseluruhan. Cek berikut dijalankan sekali per audit:

• robots.txt: tidak ada, error server, redirect, memblokir seluruh situs, path penting, atau file CSS dan JS, kesalahan sintaks, tidak mencantumkan sitemap.
• Akses crawler AI: apakah robots.txt memblokir agen AI, termasuk GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, dan crawler milik Meta.
• llms.txt: apakah /llms.txt ada. Jika tidak ada, skor situs turun; /llms-full.txt bersifat opsional dan hanya memunculkan peringatan.
• Sitemap: tidak ada, tidak terbaca, tidak valid, atau terlalu besar; berisi halaman yang tidak bisa diindeks atau error; tidak memuat halaman yang ditemukan crawl; URL lintas domain; tanggal lastmod yang salah.
• HTTPS dan server: tanpa HTTPS, HTTP tidak dialihkan, sertifikat tidak valid atau hampir kedaluwarsa, versi www dan non-www sama-sama aktif, tanpa HSTS, soft 404, tanpa kompresi, tanpa HTTP/2, server lambat, tanpa favicon.

Setiap halaman audit melewati seluruh aturan: 126 aturan dalam 12 kategori. Tiap aturan punya tingkat keparahan (critical, high, medium, low, atau info), penjelasan singkat kenapa itu penting, dan cara memperbaikinya. Kelompok utamanya:

• Status dan redirect: error 5xx, 404, dan 410, 401 dan 403, rantai dan loop redirect, redirect sementara, meta refresh, respons lambat, URL terlalu dalam, halaman yatim (orphan).
• Indexability: noindex, nofollow, direktif robots yang bertentangan, halaman noindex yang ada di sitemap atau ditautkan secara internal.
• Canonical dan duplikat: canonical yang tidak ada, ganda, relatif, atau lintas domain, canonical yang menunjuk halaman tak terindeks, konten, judul, deskripsi, dan H1 yang duplikat.
• Konten on-page: judul dan meta description yang tidak ada, ganda, terlalu panjang, atau terlalu pendek; H1 yang tidak ada, ganda, atau kosong; level heading yang dilompati; konten tipis di bawah 200 kata; rasio teks terhadap HTML yang rendah; bahasa, doctype, atau charset tidak dideklarasikan; tanpa Open Graph atau Twitter card.
• Structured data: JSON-LD tidak valid, tidak ada structured data, properti wajib hilang, tanpa BreadcrumbList, tanpa schema Organization atau WebSite di homepage.
• Tautan dan gambar: tautan internal dan eksternal yang rusak, tautan ke redirect, anchor text kosong atau generik, tautan yang hanya berupa JavaScript, terlalu banyak tautan; gambar tanpa alt text, gambar rusak, tanpa dimensi, format lama, gambar utama yang di-lazy-load.
• Mobile, kecepatan, keamanan, dan internasional: viewport tidak ada atau memblokir zoom, layout lebar tetap; HTML di atas 2 MB, skrip yang memblokir render, terlalu banyak resource, tanpa cache header; mixed content; enam cek hreflang; kebersihan URL seperti panjang, huruf kapital, garis bawah, dan session ID.

Setiap halaman mendapat tiga skor bagian: Technical, Content Structure, dan SEO Readiness. Tiap bagian mulai dari 100 dan berkurang untuk setiap aturan yang gagal, dibobot menurut tingkat keparahannya. Setelah analisis AI dijalankan, skor AI visibility ikut masuk, dan skor halaman menjadi 30% AI visibility, 30% technical, 20% content structure, dan 20% SEO readiness.

Skor teknis situs membobot tiap aturan menurut tingkat keparahan dan porsi halaman yang terkena, lalu menggabungkan skor tiap kategori (crawlability dan indexability berbobot paling besar), dan dikurangi jika crawler AI diblokir atau llms.txt tidak ada. Skor AI readiness keseluruhan adalah 25% teknis situs ditambah 75% rata-rata skor halaman, dan rumus ini tertulis di dashboard di samping angkanya. Halaman dikelompokkan menurut urgensi: critical di bawah 30, high 30–50, medium 50–70, low di atas 70.

Daftar kegagalan per URL menyembunyikan polanya. Karena itu tiap cek yang gagal dijadikan satu isu di seluruh situs (H1 yang hilang di 14 halaman adalah satu isu yang menjangkau 14 halaman), lalu isu-isu itu dikelompokkan ke tujuh akar masalah di bawah, ditambah satu kelompok "lainnya".

Dampak sebuah isu naik seiring tingkat keparahannya dan jumlah halaman yang terkena; dampak klaster adalah jumlah dampak isu di dalamnya. Klaster diurutkan dari dampak terbesar, dan tiap klaster diawali satu perbaikan yang paling banyak mengurangi masalahnya.

• Asisten AI tidak bisa membaca situs Anda sepenuhnya.
• Halaman yang tidak bisa dijangkau atau diindeks mesin pencari.
• Structured data yang hilang atau rusak.
• Judul, deskripsi, dan heading.
• URL duplikat dan tautan rusak.
• Kecepatan, mobile, dan rendering.
• Keamanan dan penargetan bahasa.

Analisis AI adalah tahap terpisah yang hanya berjalan saat Anda memintanya. AI membaca tiap halaman dan memberikan skor AI visibility 0–100; penilaian (excellent, good, moderate, atau poor) untuk kejelasan konten, kelengkapan informasi, konsistensi brand, dan kemudahan ditemukan AI; serta kekuatan dan kelemahan utama halaman itu.

Jika konteks brand tersedia, AI juga menilai relevansi: apakah halaman sudah sesuai brand, perlu diperbarui, atau melenceng dari brand, apa yang sudah cocok, dan apa yang kurang. Analisis AI memakai kredit, dan dashboard menampilkan perkiraannya sebelum Anda mulai.

Ada tiga cara memperbarui audit. Setiap halaman menampilkan kapan terakhir dicek, daftar audit menampilkan progres saat run berjalan, dan Anda mendapat notifikasi di aplikasi saat selesai.

• Refresh: merayapi ulang situs, hanya menilai halaman yang baru atau kembali muncul, dan menandai halaman yang hilang sebagai tidak ditemukan lagi. Halaman yang Anda tambahkan manual tidak pernah dibuang.
• Re-run semua halaman: menilai ulang setiap halaman dengan cek-cek tadi, sendiri atau bersama analisis AI.
• Cek ulang satu halaman: setelah memperbaiki sesuatu, jalankan halaman itu lagi. Anda juga bisa menambahkan halaman yang terlewat crawl, lewat path atau URL lengkap.

Cek situs dan cek halaman yang gagal menjadi action item, masing-masing dengan prioritas, dampak, effort, dan tautan langsung ke audit atau halamannya. Kegagalan pada akses crawler AI, structured data, crawlability, atau indexability ditandai critical.

Ubah statusnya: To do, In progress, Done, atau Dismissed. Setiap kali refresh atau re-run, item terbuka yang masalahnya sudah tidak terdeteksi otomatis ditandai selesai; jika masalahnya muncul lagi, item dibuka kembali. Item yang Anda tandai Done atau Dismissed sendiri tidak akan diubah.