İki portaldan aldığım ilanları tek listede topladım ama aynı dairelerin iki kez göründüğünü fark ettim. Elle ayıklamak günümü alıyor; siz hangi alana bakarak karar veriyorsunuz?
Merhaba. Bir ilçede satılık daire takibi yapıyorum. İki farklı portaldan kayıtları alıp tek bir tabloda birleştirdim, amacım mahalle bazında ortalama metrekare fiyatı çıkarmaktı. Tabloyu açınca sayının beklediğimden çok yüksek olduğunu gördüm ve incelemeye başladım. Aynı dairenin iki kez listede olduğunu fark ettim. Ama iki kayıt hiç de birbirine benzemiyor. Somut bir örnek: Alan Portal 1 Portal 2 Başlık CADDEYE YAKIN FIRSAT 3+1 DAİRE Merkezde Bakımlı 3+1 Satılık Daire Metrekare 135 m2 118 m2 (net) Oda 3+1 3.5+1 Fiyat 4.750.000 TL 4.900.000 TL İlan tarihi 12 gün önce 3 hafta önce Fotoğraf 14 adet 9 adet Fotoğraflara baktığımda aynı ev olduğu belli, mutfak ve salon birebir aynı. Ama tabloda hiçbir alan uyuşmuyor. Bu şekilde yüzlerce kayıt var, hepsine tek tek fotoğraf açarak bakamıyorum. Sorum şu: siz bu işi nasıl yapıyorsunuz? Hangi alana bakıp 'bu ikisi aynı' diyorsunuz? Yoksa herkes elle mi ayıklıyor?
Tablonuzdaki asıl sorun eşleştirme değil, normalizasyon. 135 ile 118 çelişmiyor aslında; biri brüt, biri net. Bunları aynı sütunda karşılaştırdığınız sürece hiçbir kural doğru çalışmaz. Ben şöyle yapıyorum: her portal için 'bu sitedeki m2 alanı hangisini gösteriyor' sorusunu bir kez cevaplayıp tabloya iki ayrı sütun açıyorum, brüt ve net. Portal net veriyorsa brüt sütunu boş kalıyor. Karşılaştırmayı da dolu olan sütunlar üzerinden yapıyorum. Sizin örnekte brüt-net karşılaştırması olmadığı için m2 sinyali devre dışı kalır, karar başka alanlardan gelir. Aynı şey oda düzeni için de geçerli: 3+1 ile 3.5+1 aynı daire olabilir; ikisinde de salon zaten '+1' olarak yazılı, fark küçük bir odanın ya da çalışma nişinin yarım oda sayılmasından geliyor. Ben karşılaştırmadan önce yarım odaları yok sayıp aşağı yuvarlıyorum, böylece 3.5+1 ile 3+1 aynı kutuya düşüyor. Yukarı yuvarlarsanız 3.5+1 doğrudan 4+1 olur ve eşleştirmek istediğiniz kayıttan uzaklaşırsınız. Pratik bir ipucu: açıklama metninin içinde site adı, cadde adı veya bina adı geçiyorsa onu ayrı bir alana çıkarın. Benim listemde en çok işe yarayan sinyal bu oldu. İki kayıtta da 'X Sitesi' geçiyorsa ve metrekare bandı yakınsa, neredeyse her seferinde aynı daire çıkıyor. Bir de kat bilgisi çok ayırt edici. Aynı binada beş tane 3+1 olabilir ama 4. kattaki tek tanedir. Sizin tabloda kat sütunu yok, eklemenizi öneririm. Fotoğrafa bakarak anladığınızı söylediniz, doğru sinyal ama gözle değil sırayla kullanılabilir. İki ilanın kapak fotoğrafı çoğu zaman aynıdır çünkü danışman en iyi kareyi ikisinde de başa koyar. İlk üç görselin örtüşmesine bakmak, on dördünü tek tek kıyaslamaktan çok daha hızlı sonuç verir. Ama tek başına yeterli değil. Yeni projelerde ofisler aynı örnek daire fotoğraflarını farklı dairelerde kullanıyor, o zaman fotoğraf sinyali sizi yanıltır. Fotoğrafı mutlaka kat veya metrekare gibi ayırt edici bir alanla birlikte kullanın. Sorunuzun cevabı 'tek bir alan' değil, birkaç alanın birlikte değerlendirilmesi. Uygulanabilir bir sıra vermek gerekirse: Önce eleyin: il, ilçe, mahalle ve ilan tipi (satılık/kiralık) farklıysa karşılaştırmaya hiç girmesin. Bu adım iş yükünün büyük kısmını daha başta kaldırır. Kalan kayıtları yalnızca aynı mahalle içinde birbiriyle karşılaştırın. Herkesi herkesle karşılaştırmak hem yavaş hem hatalıdır. Güçlü sinyallere bakın: ilan sahibi/ofis bilgisi, açıklamadan çıkarılmış site veya cadde adı, fotoğraf örtüşmesi. Orta sinyallere bakın: metrekare bandı (birebir eşitlik değil, oransal yakınlık), kat, bina yaşı, oda düzeni. Fiyatı ve başlığı eşleştirme sinyali olarak kullanmayın. Fiyat en çok değişen alandır, başlıklar ise kalıptır ve yüzlerce ilanda tekrar eder. En önemlisi de şu: sonucu üç değil dört kategoriye ayırın. Kesin aynı, kesin farklı, şüpheli ve karar verilemedi. Şüpheli olanları otomatik birleştirmeyin; ayrı bir kuyruğa alıp iki kaydı yan yana gösterin ve kararı siz verin. Verdiğiniz karar kaydedilirse aynı çift bir daha karşınıza çıkmaz. Ham kayıtları silmeyin Birleştirme yaparken iki kaydı tek satıra indirip diğerini silerseniz, yanlış birleştirdiğinizi fark ettiğinizde geri dönüş yolunuz kalmaz. Doğru yapı iki katmanlıdır: altta her portalın kendi kaydı olduğu gibi durur, üstte bunları gösteren birleşik kayıt bulunur. Böylece hatalı bir birleştirme tek hamlede ayrılır. Sizin örnekteki iki kayıt için: metrekare çelişkili görünüyor ama biri brüt biri net olduğu için aslında çelişki değil. Fiyat farkını da çelişki saymayın; iki portalın güncellenme zamanı farklı olduğu için fiyatın ayrışması olağandır ve fiyat zaten eşleştirme sinyali değildir. Fotoğraf örtüşmesi güçlü. Kat bilgisi ekleyip uyuştuğunu görürseniz kayıt kesin aynıya en yakın banda gelir; buna bir de ofis/danışman bilgisi uyuşması eklenirse otomatik birleştirilebilir. Tek başına fotoğraf ve kat uyuşmasında ise şüpheli kuyruğa alıp elle onaylamak doğru davranış olur. Tarih alanına da dikkat edin. '12 gün önce' ve '3 hafta önce' gibi ifadeleri olduğu gibi kaydettiyseniz iki ay sonra o tabloya baktığınızda hiçbir anlamı kalmayacak. Ben bu yüzden veriyi aldığım anda göreli tarihi gerçek tarihe çeviriyorum ve yanına 'alınma zamanı' sütunu koyuyorum. Bunu yapmadığım ilk listemi çöpe attım, çünkü hangi ilanın ne zaman yayınlandığını hesaplayamıyordum. Hepinize teşekkürler. Brüt-net konusu gerçekten benim hatammış, iki portalın aynı şeyi ölçtüğünü varsaymışım. Kat sütununu ekledim ve açıklama metninden site adı çıkarmayı denedim, ikisi birlikte listenin büyük kısmını netleştirdi. Kalan kayıtlar için şüpheli kuyruğu mantığını kurdum. Günde hepsine bakmaya çalışınca yine yığıldı, sonra en yüksek fiyat farkı olanları üste alıp günde sabit sayıda bakacak şekilde sınırladım. Böyle sürdürülebilir oldu. Geç bir ekleme: portal içi tekrarı da unutmayın. Aynı daire tek bir sitede iki farklı danışman tarafından ayrı ayrı yayımlanmış olabiliyor. Ben sadece portallar arası eşleştirme kurmuştum, aylarca aynı sitedeki tekrarları görmedim. Bir de veri toplarken ilgili sitelerin kullanım şartlarına ve kişisel veri içeren alanlarda KVKK çerçevesine dikkat etmek gerekiyor; iletişim bilgilerini eşleştirme dışında bir amaçla biriktirmemek en doğrusu.