← Back

website yang bagus bukan cuma yang tampilannya menarik, tapi juga yang bisa "dibaca" oleh Google dan AI.

AI Ready GEO Optimation SEO devops django

Website Sudah Online 1 Tahun Tapi Tidak Ketemu di Google? Ini Checklist SEO, GEO & AI Readiness yang Saya Pelajari dari Nol

Oleh Rudian — Codenest

Satu tahun lebih website Codenest saya online-kan. Sudah punya desain yang lumayan, sudah ada portofolio, sudah ada halaman kontak. Tapi ketika saya buka Google Search Console, angkanya bikin sedih: cuma 1-2 views.

Saya coba search nama bisnis saya di Google. Tidak ketemu.

Saya coba search "jasa IT Surabaya". Tidak ketemu juga.

Pertanyaan besar muncul: "Kok customer tidak bisa menemukan saya di Google?"

Pada titik inilah saya mulai belajar SEO, GEO, dan AI Readiness — dari nol total. Dan ternyata, banyak hal yang selama ini saya anggap "sudah cukup" ternyata belum memadai sama sekali.

Artikel ini saya tulis untuk UMKM dan bisnis kecil yang mengalami masalah yang sama. Saya akan bagikan apa yang saya pelajari, kesalahan yang saya buat, dan checklist yang bisa langsung kamu praktikkan.


Bagian 1: SEO Tradisional — "Yang Selama Ini Saya Pikir Sudah Cukup"

Ketika saya mulai googling "kenapa website tidak ke-index di Google", saya menemukan bahwa ada beberapa komponen fundamental yang harus ada di website. Dan ternyata, beberapa di antaranya belum saya pasang.

1.1 robots.txt — Pintu Gerbang Pertama

robots.txt adalah file yang memberitahu Google (dan crawler lain) halaman mana yang boleh dan tidak boleh di-crawl. Tanpa file ini, Google tetap bisa meng-crawl website kamu, tapi kamu tidak punya kendali sama sekali.

Bagaimana cara mengecek? Ketik namawebsite.com/robots.txt di browser. Kalau tidak ada, itu masalah pertama yang harus diperbaiki.

Contoh robots.txt untuk website Django:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /blog/add/
Disallow: /blog/edit/
Disallow: /blog/admin-posts/
Disallow: /blog/reject/
Disallow: /blog/toggle-publish/
Disallow: /blog/preview/

Sitemap: https://namawebsite.com/sitemap.xml

Poin penting: Selalu sertakan baris Sitemap: di robots.txt. Ini memberitahu Google di mana menemukan peta website kamu.

1.2 Sitemap.xml — Peta Website untuk Google

Sitemap.xml adalah file yang berisi daftar semua halaman di website kamu. Tanpa sitemap, Google harus "menjelajah" website kamu secara manual untuk menemukan semua halaman. Dengan sitemap, kamu langsung memberikan peta lengkapnya.

Momen aha saya: Saya awalnya bikin sitemap secara manual — mengetik satu per satu URL untuk ratusan halaman. Salah ketik sedikit, upload ulang. Begitu terus berulang kali.

Terus saya menemukan bahwa Django sudah punya built-in sitemap framework: django.contrib.sitemaps. Saya tidak perlu bikin manual. Framework-nya akan otomatis query database dan generate sitemap.xml secara dinamis. Setiap ada blog post baru, langsung muncul di sitemap tanpa perlu tambah apapun.

Cara setup di Django:

Langkah 1: Tambahkan ke settings.py:

INSTALLED_APPS = [
    # ...
    'django.contrib.sites',
    'django.contrib.sitemaps',
    # ...
]

SITE_ID = 1

Langkah 2: Buat file sitemaps.py di project kamu:

from django.contrib.sitemaps import Sitemap
from django.urls import reverse
from blog.models import Post

class StaticViewSitemap(Sitemap):
    changefreq = 'weekly'
    priority = 0.8

    def items(self):
        return ['home', 'services', 'about', 'portfolio', 'faq', 'contact']

    def location(self, item):
        return reverse(item)

class BlogPostSitemap(Sitemap):
    changefreq = 'weekly'
    priority = 0.7

    def items(self):
        return Post.objects.filter(is_draft=False).order_by('-publish_at')

    def lastmod(self, obj):
        return obj.publish_at or obj.created_at

Langkah 3: Daftarkan di urls.py:

from django.contrib.sitemaps.views import sitemap
from .sitemaps import StaticViewSitemap, BlogPostSitemap

sitemaps = {
    'static': StaticViewSitemap,
    'blog': BlogPostSitemap,
}

urlpatterns = [
    # ...
    path('sitemap.xml', sitemap, {'sitemaps': sitemaps}),
]

Setelah itu, submit sitemap kamu ke Google Search Console. Ini membantu Google menemukan dan mengindex halaman-halaman kamu lebih cepat.

1.3 Meta Tags — Yang Ternyata Bukan Cuma untuk Percantik

Sebelumnya saya pikir meta tags cuma soal "tampilan" — seperti CSS yang membuat website terlihat bagus. Ternyata, meta tags adalah salah satu cara utama Google memahami konten halaman kamu.

Meta tags yang wajib ada di setiap halaman:

  • <title> — Judul halaman di Google Search. Max 60 karakter, harus unik per halaman.
  • <meta name="description"> — Deskripsi singkat yang muncul di bawah judul di Google. Max 160 karakter, harus unik per halaman.
  • <link rel="canonical"> — Mencegah duplicate content. Google harus tahu versi mana yang "asli".
  • Open Graph — og:title, og:description, og:image, og:url. Ini yang menentukan bagaimana website kamu tampil saat di-share di WhatsApp, Telegram, Facebook, Twitter.
  • Twitter Cards — twitter:card, twitter:title, twitter:description.

Cara implementasi di Django: Gunakan template inheritance dengan {% block %}:

Di base.html:

<title>{% block title %}Default Site Title{% endblock %}</title>
<meta name="description" content="{% block meta_description %}Default description{% endblock %}">
<link rel="canonical" href="{% block canonical_url %}https://namawebsite.com{% endblock %}">

<!-- Open Graph -->
<meta property="og:title" content="{% block og_title %}Default Title{% endblock %}">
<meta property="og:description" content="{% block og_description %}Default{% endblock %}">
<meta property="og:url" content="{% block og_url %}https://namawebsite.com{% endblock %}">

Di halaman blog post_detail.html:

{% block title %}{{ post.title }} - Blog{% endblock %}
{% block meta_description %}{{ post.meta_description|default:post.content|striptags|truncatewords:30 }}{% endblock %}
{% block og_title %}{{ post.title }}{% endblock %}
{% block og_type %}article{% endblock %}

Tips: Validasi meta tags kamu di Google Rich Results Test.

1.4 Structured Data / JSON-LD — Bahasa yang Dibaca Google

Structured data adalah kode yang memberitahu Google secara eksplisit tentang "arti" konten kamu — bukan hanya teks, tapi juga hubungan antar entitas.

Schema yang wajib ada untuk bisnis lokal:

  • LocalBusiness — Nama bisnis, alamat, jam buka, nomor telepon
  • WebSite + SearchAction — Enable sitelinks searchbox di Google
  • BreadcrumbList — Navigasi terstruktur
  • FAQPage — Rich results untuk FAQ
  • BlogPosting — Untuk artikel blog

Contoh JSON-LD LocalBusiness untuk UMKM:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "LocalBusiness",
  "name": "Nama Bisnis Kamu",
  "url": "https://namawebsite.com",
  "logo": "https://namawebsite.com/static/images/logo.png",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "Jalan No. 123",
    "addressLocality": "Kota",
    "addressRegion": "Provinsi",
    "postalCode": "12345",
    "addressCountry": "ID"
  },
  "contactPoint": {
    "@type": "ContactPoint",
    "telephone": "+62-812-xxxx-xxxx",
    "contactType": "customer service"
  },
  "openingHoursSpecification": [
    {
      "@type": "OpeningHoursSpecification",
      "dayOfWeek": ["Monday", "Tuesday", "Wednesday", "Thursday", "Friday"],
      "opens": "09:00",
      "closes": "17:00"
    }
  ]
}
</script>

Sites dengan structured data yang benar direkomendasikan di AI-generated answers 3.2x lebih sering dibanding tanpa structured data.


Bagian 2: GEO — Era AI Mengubah Cara Google Bekerja

Ini bagian yang paling mengubah pemahaman saya.

Suatu hari saya ketik sesuatu di Google. Kok hasilnya beda? Dulu saya lihat daftar website biasa. Sekarang, langsung ada jawaban lengkap — dijabarkan oleh AI, dengan referensi sumber.

Saya mikir: "AI ini dapat datanya dari mana?"

Pastinya tetap dari index Google. Tapi format-nya sudah berubah. Bukan lagi "10 tautan biru" — tapi jawaban terstruktur yang langsung menjawab pertanyaan user.

Inilah yang disebut GEO (Generative Engine Optimization) — optimasi supaya website kamu direkomendasikan di AI-generated answers.

Apa yang Berubah dari SEO Tradisional?

Dimensi SEO Tradisional GEO
Tujuan utama Ranking tinggi di SERP Direkomendasikan di jawaban AI
Sinyal ranking utama Backlink, keyword density Structured data, factual density
Sumber jawaban Daftar URL (10 tautan biru) Narasi sintesis dengan sitasi
Intent pengguna Query berbasis keyword Percakapan natural language
Traffic model Click-through ke halaman Brand mention (zero-click possible)

Statistik penting: 88% citation di Google AI Mode TIDAK berasal dari organic top 10 (Moz 2026). Artinya, ranking bagus di Google belum tentu membuat kamu direkomendasikan di AI answers.

9 Faktor Ranking GEO

  1. Crawl Accessibility — Robots.txt harus mengizinkan GPTBot, ClaudeBot, PerplexityBot. 35% website tanpa sadar memblokir minimal satu AI crawler utama.
  2. Content Authority & Factual Density — Angka, data, statistik. Menambahkan statistik saja meningkatkan AI visibility sebesar 41%.
  3. Structured Data Quality — JSON-LD dengan Schema.org. Website dengan structured data benar direkomendasikan 3.2x lebih sering.
  4. Content Structure & Extractability — Heading hierarchy H1-H3, bullet points, numbered lists. Blok jawaban siap-ekstrak 40-60 kata di awal konten.
  5. External Citations — Konten yang mengutip sumber otoritatif melihat peningkatan +115% di AI visibility.
  6. Content Freshness — Tanggal publish dan update yang terlihat. Perplexity memberi bobot paling tinggi pada freshness.
  7. Topical Depth — Cakupan komprehensif menandakan keahlian.
  8. E-E-A-T Signals — Experience, Expertise, Authoritativeness, Trustworthiness.
  9. Brand Consistency — Korelasi brand mention dengan AI visibility: 0.664 vs backlink hanya 0.218.

Implementasi GEO untuk UMKM

  • Pastikan robots.txt tidak memblokir GPTBot, ClaudeBot, PerplexityBot
  • Tambahkan structured data lengkap (sudah dibahas di bagian SEO)
  • Buat konten yang faktual — sertakan angka, data, pengalaman konkret
  • Sertakan citation dari sumber otoritatif
  • Tampilkan tanggal publish dan update yang jelas di setiap halaman

Bagian 3: AI Readiness — llms.txt dan Masa Depan

Ini yang paling baru. Saya menemukan konsep llms.txt ketika research bagaimana supaya website bisa "dibaca" oleh AI models.

Apa itu llms.txt?

Analoginya sederhana:

  • robots.txt → untuk Google crawler
  • sitemap.xml → peta website untuk Google
  • llms.txt → ringkasan website untuk AI models

llms.txt adalah file Markdown yang diletakkan di root website. Isinya ringkasan struktur website — apa yang ditawarkan, halaman mana yang penting, dan link ke konten utama. File ini dibuat oleh Jeremy Howard (fast.ai) pada September 2024.

Siapa yang pakai llms.txt?

  • OpenAI (ChatGPT) — GPTBot diketahui mengambil llms.txt
  • Anthropic (Claude) — Secara resmi mendukung llms.txt
  • Cursor — Menggunakan llms.txt untuk navigasi dokumentasi
  • Google — TIDAK menggunakan llms.txt (John Mueller sudah konfirmasi)

llms.txt vs llms-full.txt

File Fungsi Isi
llms.txt Index/ringkasan Table of contents + link ke halaman penting
llms-full.txt Konten lengkap Teks lengkap semua halaman yang direferensikan

Untuk UMKM, llms.txt saja sudah cukup. llms-full.txt lebih untuk website dengan banyak dokumentasi teknis.

Contoh llms.txt

# Nama Bisnis Kamu

> Solusi [bidang bisnis] untuk [target pasar]. Berlokasi di [kota], Indonesia.

## Layanan

- [Layanan 1](https://namawebsite.com/layanan-1): Deskripsi singkat
- [Layanan 2](https://namawebsite.com/layanan-2): Deskripsi singkat

## Blog

- [Artikel 1](https://namawebsite.com/blog/artikel-1): Topik artikel
- [Artikel 2](https://namawebsite.com/blog/artikel-2): Topik artikel

## Kontak

- Email: [email protected]
- WhatsApp: +62 812-xxxx-xxxx
- Website: https://namawebsite.com

Tips: Buat dalam format Markdown, sertakan 5-15 halaman paling penting, dan update setiap bulan jika ada perubahan signifikan.


Bagian 4: Checklist Lengkap — Langsung Praktik!

Berikut checklist yang bisa langsung kamu centang satu per satu:

SEO Checklist

  • ☐ robots.txt ada di root website
  • ☐ Sitemap.xml terdaftar di robots.txt
  • ☐ Sitemap sudah disubmit ke Google Search Console
  • ☐ Setiap halaman punya <title> unik (max 60 karakter)
  • ☐ Setiap halaman punya <meta description> unik (max 160 karakter)
  • ☐ Canonical URL terpasang di setiap halaman
  • ☐ Open Graph tags lengkap (og:title, og:description, og:image, og:url)
  • ☐ Twitter Cards terpasang
  • ☐ Hreflang untuk website multibahasa

GEO Checklist

  • ☐ Robots.txt tidak memblokir AI crawlers (GPTBot, ClaudeBot, PerplexityBot)
  • ☐ Structured data JSON-LD terpasang (LocalBusiness, FAQPage, BreadcrumbList)
  • ☐ Konten menggunakan angka dan data faktual
  • ☐ Ada citation/referensi dari sumber otoritatif
  • ☐ Tanggal publish dan update ditampilkan

AI Readiness Checklist

  • ☐ llms.txt ada di root website
  • ☐ llms.txt berisi ringkasan + link ke halaman penting
  • ☐ Semua konten di-server-side render (tidak JS-rendered)
  • ☐ Struktur heading H1-H3 yang jelas

Tools Gratis untuk Validasi


Closing

Saya belajar satu hal dari pengalaman ini: website yang bagus bukan cuma yang tampilannya menarik, tapi juga yang bisa "dibaca" oleh Google dan AI.

Dulu saya pikir SEO itu soal keyword dan meta tags saja. Ternyata, era AI sudah mengubah segalanya. Sekarang bukan cuma Google yang "membaca" website kamu — tapi juga ChatGPT, Claude, Gemini, dan Perplexity. Dan mereka semua punya cara yang berbeda untuk memahami konten.

Implementasi saya masih baru — baru dilakukan hari ini. Tapi saya yakin dengan pendekatan yang sistematis, hasilnya akan kelihatan. Minimal, website saya sekarang sudah "terlihat" oleh crawler.

Kalau kamu punya UMKM atau bisnis kecil yang website-nya belum ke-index di Google, mulai dari checklist di atas. Satu per satu, tidak harus sekaligus. Yang terpenting adalah mulai.

Semoga artikel ini membantu. Kalau bermanfaat, share ke UMKM lain yang butuh bantuan optimize website mereka.

Last updated 21 Jul 2026 01:16

Comments