Veri çekme botu arayan çoğu kişi karşılaştırma tablosuyla başlıyor ve orada tıkanıyor, çünkü tablolardaki maddeler birbirine benziyor. Bu sayfa farklı bir sıra öneriyor: önce elinizde ne olmasını istediğinizi, yani çıktının tipini belirleyin; ürün adı en son konuşulsun. Aynı botun üç ayrı ihtiyaca üç ayrı biçimde kurulduğunu ve yanlış seçimin genellikle üründe değil bu ilk adımda yapıldığını göstereceğiz.
Sahibinden Pro — yıllık lisans ₺12.500 (KDV dahil). ₺300 karşılığı 1 günlük deneme lisansı alınabilir. Satın al: Sahibinden Pro
Kendinize şu soruyu sorun: bu iş bittiğinde masanızda ne duruyor olacak? Cevap üç şeyden biridir ve üçü birbirine benzemez. Birincisi dökümdür: belirli bir anın fotoğrafı, tek seferlik bir liste. İkincisi izlemedir: aynı listenin düzenli aralıklarla yenilenmesi ve iki tur arasındaki farkın görünür olması. Üçüncüsü bildirimdir: sizin belirlediğiniz bir koşul gerçekleştiğinde haberdar edilmek. Bu üçü aynı kaynaktan beslenir ama tamamen farklı kurulumlar ister. Döküm için sıklık, geçmiş saklama ve fark hesabı gereksizdir; bunları satın almak israftır. İzleme için turların birbirini tanıması, kayıt kimliğinin sabit olması ve geçmişin saklanması şarttır. Bildirim için bunlara ek olarak bir eşik tanımı ve bir kanal gerekir; ayrıca bildirimin ne zaman susacağına dair bir kural — yoksa üçüncü günde kimse bakmaz. İnsanların ürün seçiminde pişman olmasının en yaygın nedeni budur: bildirim isterken döküm satın alınır, ya da tek seferlik bir liste için sürekli izleme kurulumu alınır ve kullanılmayan tarafın bedeli ödenir.
Somutlaştıralım. Döküm senaryosu: bir kez, bir bölgedeki işletmelerin listesini çıkarıp satış ekibine vereceksiniz. Burada önemli olan kapsam ve temizliktir; mükerrer kayıt ayıklama ve eksik alan oranı, sıklıktan çok daha kritiktir. Makinenin her gün açık olması gerekmez, tek bir uzun tur yeterlidir. İzleme senaryosu: aynı ilan havuzunu haftalık tarayıp fiyat hareketlerini göreceksiniz. Burada kritik olan şey kayıt kimliğidir; ilan numarası gibi sabit bir çapa yoksa iki tur arasındaki farkı hesaplayamazsınız ve her tur size “hepsi yeni” der. Ayrıca eski turların saklanması gerekir, çünkü fark ancak geçmişe karşı hesaplanır. Bildirim senaryosu: belirlediğiniz kriterde yeni bir kayıt açıldığında ya da bir fiyat belli bir yüzdenin üzerinde düştüğünde haber almak istiyorsunuz. Burada tarama sıklığı doğrudan bildirimin değerini belirler — günde bir tarayan bir kurulum, saatlik fırsatlar için işe yaramaz. Buna karşılık sıklığı artırmak makinenin çalışma süresini ve kaynağa binen yükü de artırır. Kararınızı verirken bu üç senaryodan hangisinde olduğunuzu tek cümleyle yazın; yazamıyorsanız henüz seçim aşamasında değilsiniz.
Çıktı tipi netleştiyse ikinci adım kaynağı adlandırmaktır, çünkü botlar genel amaçlı değil kaynak odaklıdır ve bu bilinçli bir tercihtir. Her sitenin kendi sayfa yapısı, kendi sayfalama davranışı ve kendi alan sözlüğü olduğu için “her siteden çeker” diyen bir araç pratikte hepsinde ortalama sonuç verir. Bizdeki eşleme şöyle: ilan tarafında çalışıyorsanız — emlak, otomotiv, ikinci el — Sahibinden veri çekme botu bu kaynağa göre kurulmuştur. Bir bölgedeki işletmelerin adı, adresi ve iletişim bilgisi gerekiyorsa Google Maps tarafı ayrı bir üründür. Birden fazla pazaryerinde ürün ve fiyat izliyorsanız Marketplace Pack bu ihtiyaç için ayrılmıştır ve teklif usulüyle çalışır. İlan tarafı ile mesajlaşma tarafını birlikte kuracaksanız ikili paket bu iki ürünü tek lisans altında birleştirir. Buradaki seçim kriteri ürün sayısı değil, geçen ay hangi sitelerde iş yaptığınızdır. Tek bir kaynakta kalıyorsanız tek ürün alın; paket almak, kullanmayacağınız tarafı ödemektir. Üç ve üzeri kaynakta çalışıyorsanız tersi geçerlidir ve ürünleri tek tek almak hem pahalı hem yönetimi zor olur.
Bu sorunun maliyet tarafını — ilk sürümün kolaylığı, bakımın takvime yayılan bedeli ve saat ücretiyle kurulan hesap — ayrı bir yazıda ayrıntılı ele aldık; burada onu tekrar etmek yerine daha az konuşulan tarafa bakalım: sorumluluk. Kendi kodunuzu yazdığınızda üç şeyi birlikte satın almış olursunuz. Birincisi nöbettir: hedef site cumartesi gecesi yapısını değiştirirse pazartesi sabahı o tabloya ihtiyacı olan kişi sizi arar ve sizden başka bakabilecek kimse yoktur. İkincisi tek kişiye bağımlılıktır: kodu yazan kişi ekipten ayrıldığında geriye devredilebilir bir ürün değil, belgelenmemiş bir dosya kalır; pratikte bu, aracın sessizce terk edilmesi demektir. Üçüncüsü karar yüküdür — tempo ne olmalı, hangi alan kişisel veri sayılır, hata durumunda ne yapılmalı; hazır üründe bu kararların bir kısmı zaten verilmiş ve varsayılan hâlde gelir. Buna karşılık kendi yazmanın gerçekten doğru olduğu bir durum var: ihtiyacınız çok özel, kaynak niş ve ekibinizde bu işi zaten sürdüren bir yazılımcı varsa. O zaman kod bir yük değil, gerçekten bir varlıktır. Ölçüt “yazabilir miyim” değil, “bir yıl sonra da bakabilecek miyim” olmalı.
Bu bölüm bilinçli olarak satışın tersine yazılmıştır, çünkü yanlış satılan bir ürün iki tarafa da kaybettirir. Dört durumda hazır bot almayın. Birincisi tek seferlik iş: elli, yüz satırlık bir listeyi bir kez çıkaracaksanız elle yapmanız daha hızlıdır; kurulum ve öğrenme süresi kazanacağınız zamandan uzundur. İkincisi kaynağın uygun olmaması: ihtiyacınız olan alanlar giriş yapılmadan görünmüyorsa ya da o alanlar hiç yayınlanmıyorsa hiçbir araç size onları getiremez, çünkü sorun araçta değil kaynaktadır. Üçüncüsü süreç belirsizliği: çıkan tabloyu kimin, ne zaman, ne için kullanacağı belli değilse araç birkaç hafta içinde açılmayan bir kısayola dönüşür — bunu defalarca gördük. Dördüncüsü yanlış kategori: sorununuz veriyi bulmak değil, gelen mesajlara zamanında dönmek ya da hesapları düzenli yönetmekse bu ayrı ürünlerin işidir ve veri çekme botu o boşluğu kapatmaz. Bu dört durumun hiçbirinde değilseniz, ve düzenli tekrar eden bir toplama işiniz varsa, hazır bot muhtemelen doğru karardır.
Toparlayalım. Sıra şu: çıktı tipi, kaynak, sıklık, çalıştıracak kişi ve cihaz. Bu dördü yazılı hâle geldikten sonra fiyat konuşulur, çünkü ancak o zaman aynı şeyleri karşılaştırıyor olursunuz. Fiyat tarafında düzen basit tutuldu: tekil ürünler aylık 2.500 TL ya da yıllık 12.500 TL, paketler yıllık 25.000 TL. Kararı tamamen tabloya bakarak vermek zorunda değilsiniz; günlük deneme 300 TL ve tam olarak bu amaç için var. Denemede bakılacak şey arayüzün görüntüsü değil, üç somut sorunun cevabı. Bir: kendi kriterinizle çalıştırdığınızda gelen kapsam beklediğiniz büyüklükte mi? İki: sizin için kritik olan sütunun boş oranı kabul edilebilir mi — burada telefon alanı gibi kaynağa bağlı alanlar sürpriz üretebilir. Üç: çıkan dosyayı gerçekten kullanacak kişiye gösterdiğinizde “bununla çalışırım” diyor mu? Üçüne de evet çıkıyorsa karar zaten verilmiştir; biri hayır çıkıyorsa denemeyi uzatmak yerine hangi maddede takıldığınızı bize yazın, çünkü bazı takılmaların çözümü üründe değil kriterdedir.
Tek cümleyle şunu yazın: “Bu iş bittiğinde elimde ... olacak.” Boşluğa tek seferlik bir liste yazıyorsanız döküm kurulumu, düzenli yenilenen bir tablo yazıyorsanız izleme kurulumu, bir uyarı yazıyorsanız bildirim kurulumu gerekiyor. Bu cümleyi kuramıyorsanız ürün karşılaştırması yapmanın faydası yok; önce ihtiyacı netleştirin.
İlk çalışan sürüm gerçekten ucuz ve gerçekten kısa sürede çıkar; bunu inkâr etmiyoruz. Hesabı değiştiren kalem sonraki bakım ve o kalem takvime yayıldığı için baştan görünmez. Kendi ekibinizde bu işi bir yıl boyunca sürdürecek bir yazılımcı varsa mantıklı bir tercihtir; yoksa iki-üç ay sonra terk edilen bir dosyaya dönüşme ihtimali yüksektir.
Ölçüt basit: geçen ay kaç farklı kaynakta iş yaptınız? Tek kaynakta kaldıysanız tek ürün alın. İki kaynak sınırdadır ve kullanım sıklığına bakılarak karar verilir. Üç ve üzeri kaynakta çalışıyorsanız paket hem daha ekonomik hem de yönetimi daha kolaydır, çünkü lisanslar tek panelde toplanır.
Bazı işler için gerçekten yeterlidir ve bunu açıkça söylüyoruz. Ücretsiz seçeneklerin tıkandığı noktalar genellikle şunlar: çalıştırma başına kayıt tavanı, kaldığı yerden devam edememe, zamanlanmış çalıştırma olmaması ve tek cihaz kısıtı. Sizin işiniz bu duvarların gerisinde kalıyorsa ücretli tarafa geçmenin bir anlamı yok.
Yeni kaynak yeni bir ürün demektir, çünkü her kaynağın kural seti ayrıdır. Bunu baştan öngörüyorsanız paket seçeneğine bakmak mantıklı olur. Öngörmüyorsanız tek ürünle başlayıp ihtiyaç doğduğunda eklemek de mümkündür; mevcut kurulumunuz ve kayıtlı kriterleriniz bu geçişte kaybolmaz.
Alan kaynakta yayınlanıyorsa ve kullanım şartları elveriyorsa değerlendirebiliriz; talebi yazın, mümkün olup olmadığını açıkça söyleriz. Alan sitede gizliyse ya da yalnızca yetkili taraflara gösteriliyorsa cevabımız net olarak hayırdır. Böyle bir durumda “bir yolunu buluruz” demiyoruz, çünkü bulunacak meşru bir yol yok.