Data Lake (Veri Gölü) Nedir? Veri Ambarı ve Veri Gölü Arasındaki Farklar

Büyük veri depolama, mevcut veri patlamasıyla daha da karmaşık hale gelen bir görevdir. Bu tür depolamayla ilgilenen iki temel metodoloji vardır: veri gölleri ve veri ambarları. Genellikle birbirleriyle karıştırılan veri ambarları ve veri gölleri, yapı ve amaç bakımından birbirlerinden farklıdır. İşletmelerin verilerinden en iyi şekilde yararlanabilmeleri için bu ikisinden hangisine ihtiyaç duyduklarını ve her birinin ne zaman kullanıldığını bilmeleri gerekir.

Data Lake (Veri Gölü) Nedir? 

Data lake yani veri gölü, büyük miktarda yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriyi ham ve doğal biçiminde depolamanıza olanak tanıyan bir depolama sistemidir. Verilerin önceden tanımlanmış bir şemaya (schema-on-write) uymasını gerektiren geleneksel veri tabanlarının aksine veri gölleri “schema-on-read” yaklaşımını kullanır. Bu da bir veri gölünde verilerin herhangi bir zorunlu yapı olmaksızın olduğu gibi depolandığı anlamına gelir. Bu şema kısıtlaması eksikliği, veri göllerini metin, görüntü, video, günlük dosyaları, sensör verileri, sosyal medya gönderileri ve daha fazlası dahil olmak üzere çok çeşitli veri türlerini depolamak için ideal hale getirir.

İşletmeler, hem depolama kapasitesi hem de işlem gücü açısından yüksek ölçeklenebilirlikleri nedeniyle veri göllerini giderek daha fazla benimsemektedir ve böylece işletmelerin geleneksel sistemlerde olduğu gibi büyük ve hızla büyüyen veri kümeleri konusunda endişelenmelerine gerek kalmaz.

Bulutistan hizmetlerinin detaylarına ulaşmak için tıklayınız.

Veri Gölü Mimarisi

1. Veri Giriş Katmanı

İlk katman, çeşitli kaynaklardan veri alan veri alım katmanıdır. Veri gölleri genellikle iki tür veri alımı sunar:

• Toplu Veri Alımı: Toplu işlerle, verileri belirli aralıklarla veri gölüne aktarmak ve yüklemek için zamanlama yapabilirsiniz.
• Gerçek Zamanlı Veri Alımı: Gerçek zamanlı veri akışları için verileri sürekli olarak alabilir ve geldikçe işleyebilirsiniz.

2. Depolama Katmanı

İkinci katman depolama katmanıdır.

• Dağıtılmış Depolama: Veri gölleri, şirket içi ortamlar için Hadoop Distributed File System (HDFS) gibi dağıtılmış depolama sistemlerini veya bulut tabanlı depolama çözümlerini kullanır. Bu sistemlerle verileri büyük ölçekte depolayabilirsiniz.
• Veri Bölümleme: Veriler genellikle depolama sistemi içinde bölümler veya klasörler halinde düzenlenir, bu da belirli veri alt kümelerini yönetmeyi ve sorgulamayı kolaylaştırır.

3. Metadata ve Katalog

• Metadata Yönetimi: Veriler hakkında bilgi sağlayan metadata, bir veri gölünde çok önemlidir. Metadata, veri kaynağı, veri yapısı, soyağacı ve kalitesi gibi ayrıntıları içerir. Metadata yönetim araçları, verilerin düzenlenmesine ve keşfedilebilir hale getirilmesine yardımcı olur.
• Veri Kataloğu: Bir veri kataloğu, veri gölü içindeki verileri keşfetmek ve anlamak için kullanıcı dostu bir arayüz sağlar. Veri kümelerini arayabilir ve ilişkili meta verilere erişerek ihtiyaç duydukları verileri bulmalarına yardımcı olabilirsiniz.

4. Veri İşleme Katmanı

• Veri Dönüşümü: Veri gölleri aynı zamanda veri işleme ve dönüştürme için de hazırdır. Verileri analize hazırlamak için Apache Spark, Apache Hadoop gibi çerçeveleri veya bulut tabanlı ETL hizmetlerini kullanabilirsiniz.
• Veri Entegrasyonu: Veri işleme katmanını, verilerin birleşik bir görünümünü oluşturmak için çeşitli kaynaklardan gelen verileri entegre etmek ve birleştirmek için de kullanabilirsiniz.

5. Erişim ve Analiz Katmanı

• Veri Erişim Araçları: SQL tabanlı sorgu motorları, Python ve R gibi programlama dilleri, iş zekası araçları ve veri analitiği platformları gibi çeşitli araçları kullanarak verilere erişebilir ve bunları analiz edebilirsiniz.
• Şema Üzerinde Okuma: Veri gölleri şema okuma özelliğini destekler, yani veriler analiz sırasında uygulanan şema ile okunur. Böylece farklı kullanıcılar aynı veriye farklı şemalar uygulayabilir.

6. Güvenlik ve Yönetişim Katmanı

• Erişim Kontrolü: Hassas verileri korumak için sağlam erişim kontrolleri gereklidir. Uygun izinleri uygulamak için güvenlik özelliklerini kullanabilirsiniz.
• Şifreleme: Veri gölleri, verileri hem aktarım sırasında hem de beklemede korumak için genellikle şifreleme kullanır.

Veri Gölünün Avantajları Nelerdir?

Yapılan bir araştırmaya göre, katılımcıların %69’u şirketlerinin halihazırda bir veri gölü uyguladığını söylemiştir. Veri gölünde ölçeklenebilirliğin yanı sıra artan popülerliklerinin ardındaki nedenler aşağıdaki şekildedir:

1. Uygun Maliyetli Depolama

Verilerin veri göllerinde depolanması geleneksel veri tabanlarına kıyasla genellikle daha uygun maliyetlidir. Örneğin, Nesnelerin İnterneti’nin (IoT) artan yaygınlığı, zaman serisi veri tabanlarının ortaya çıkmasına neden oldu. Bu veri tabanları, zaman serisi verilerini verimli bir şekilde işlemek için ince ayarlanmış özel motorlar, özel veri modelleri ve sorgu dilleri ile donatılmıştır. Ancak, büyük hacimli sensör verileriyle karşılaşıldığında, veri gölleri zaman serisi veri tabanları için daha uygun maliyetli bir ikame sunmaktadır.

2. Çeşitli Veri Türler

Veri göllerinin en cazip özelliklerinden biri, metin, görüntü, video ve sensör verileri dahil olmak üzere yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verileri depolayabilmeleri açısından çok yönlü olmalarıdır.

3. Veri Esnekliği

Verilerin önceden yapılandırılmasını gerektiren geleneksel veri tabanlarının aksine, veri gölleri verileri olduğu gibi depolamanıza ve gerektiğinde yapı uygulamanıza olanak tanır.

4. Gerçek Zamanlı Veri Alımı

Günümüzde her şey gerçek zamanlı içgörülerle ilgilidir ve veri gölleri gerçek zamanlı veri akışını ve alımını destekler, bu da onları anında veri işleme ve analiz gerektiren uygulamalar için uygun hale getirir.

5. Makine Öğrenimi ve Yapay Zeka

Veri gölleri, kapsamlı ve çeşitli veri kümelerine erişim sağladıkları için makine öğrenimi ve yapay zeka (AI) uygulamaları için çok uygundur.

6. Veri Arşivleme

Veri gölleri, uzun vadeli veri arşivleme ve saklama için uygun maliyetli bir çözüm olarak hizmet verebilir.

7. Okunan Şema

Yazma şeması yaklaşımına sahip geleneksel veri tabanlarının aksine veri gölleri, kullanıcıların analiz için gerektiğinde farklı şemalar veya yapılar uygulamasına olanak tanıyan okuma şeması yaklaşımını kullanır.

8. Veri Katalogları ve Meta Veriler

Veri gölleri genellikle kullanıcıların gölde depolanan verileri keşfetmesine, anlamasına ve yönetmesine yardımcı olan veri katalogları ve meta veri yönetim araçları içerir.

Veri Ambarı Nedir?

Veri ambarı, iş zekası ve raporlama faaliyetlerini desteklemek amacıyla çeşitli kaynaklardan gelen büyük hacimli verileri depolamak, yönetmek ve analiz etmek için tasarlanmış özel bir veri tabanı sistemidir. Veri ambarları öncelikle satır ve sütunlara sahip tablolarda düzenlenen yapılandırılmış verileri işler. Genellikle geçmiş verileri depolarlar ve hızlı sorgu performansı sağlamak için optimize edilirler. Ayrıca karmaşık veri modellemesini ve etkileşimli analizi de desteklerler, bu da onları karar destek ve stratejik planlama için etkili kılar.

Bir veri ambarının en iyi yanı, işletmelerin belirli departmanlar veya iş birimleri için özel veri alt kümeleri olan veri haritaları oluşturmalarına olanak sağlamasıdır. Veri haritaları, granüler düzeyde karar verme sürecini geliştirir.

Veri Gölleri vs Veri Ambarları

Veri gölü, büyük miktarlarda ham veriyi depolayabilen bir depolama havuzudur; veri ambarı ise veriyi bilgiye dönüştürmeye yönelik teknolojilerin bir kombinasyonudur.

Veri Gölleri vs Veri Ambarları Benzerlikler

Her ikisi de çok sayıda farklı veriyi depolamak için tasarlanmış veri depolama havuzlarıdır. Her ikisi de eyleme geçirilebilir içgörüler sağlar ve işletmelerin daha iyi, veriye dayalı kararlar almasına yardımcı olmayı amaçlar.

Veri Gölleri vs Veri Ambarları Arasındaki Farklılıklar

• Veri: Veri gölleri ham verileri içerir. Tüm veri türlerini depolarlar. Öte yandan, veri ambarları işlenmiş verileri depolar. Bir veri ambarının veri türleri önceden belirlenmiştir.
• İşleme: Bir veri gölünde verilerin bir dönüşüm sürecinden geçmesi gerekmez. Ancak veri ambarlarında verilerin depolanmadan önce işlenmesi ve manipüle edilmesi gerekir.
• Depolama: Veri ambarlarında veri depolama, bir veri ambarına göre nispeten daha ucuzdur. Veri göllerinde, maliyetleri optimize etmek için hesaplama ve depolamayı ayırmak mümkündür. Öte yandan, depolama öncesinde veri üzerinde yapılan işlemler ve manipülasyonlar, veri ambarlarında hesaplama ve depolamanın birbirinden ayrılamayacağını göstermektedir. Sonuç olarak, depolama sadece daha fazla zaman alıcı değil, aynı zamanda daha pahalı hale gelir.
• Çeviklik: Veri gölleri yapılandırılmamıştır. Büyük çeviklik sayesinde değiştirilmeleri kolaydır. Veri gölleri, veri ambarlarının aksine kolayca yapılandırılabilir ve yeniden yapılandırılabilir. Veri ambarları yüksek oranda yapılandırılmıştır. Bu durum verilere erişimi kolaylaştırsa da yapılandırmaları sabittir. Veri ambarlarını yeniden yapılandırmak zordur.
• Kullanıcılar: Veri gölleri, işlenmemiş verilere aşina olmayan kullanıcılar için ideal değildir. Veri bilimciler veri göllerini kullanmak için çok uygundur. Veri ambarları, anlaşılması ve kullanılması kolay olduğu için verilere self servis erişim sağlar. Operasyonel kullanıcılar için uygundurlar.

Veri Gölleri vs Veri Ambarları Zorlukları

1. Veri Gölleri

• Verilerin öngörülemeyen doğası, verilerle başa çıkmayı zorlaştırır. Veriler değer, kalite ve tutarlılık açısından farklılık gösterir. Verilerin kalitesini kontrol etmek zordur.
• Bir veri gölü veri bataklığına dönüşebilir. Bir veri gölü, içgörüler için asla analiz edilmeyecek veriler de içerebilir.
• Verilerin tutarsızlığı, yetenekli veri analistleri tarafından ele alınmadığı sürece veri analizinin önünde bir engel olabilir.
• Veri gölü veri kümelerinin kapsamı, veri yönetişimi, gizlilik ve erişim kontrolü sorunları yaşama olasılığını artırır. Kimin hangi veriye hangi amaçla erişebileceğini belirlemek giderek zorlaşmaktadır.
• Veri gölleri, ilişkisel verileri entegre etmek için en uygun yöntem değildir.

2. Veri ambarı

• Farklı kaynaklardan gelen verilerin entegrasyonu anlamsal çatışmalar, veri tutarsızlığı, tekrarlayan ve eksik veriler gibi sorunlara yol açabileceğinden, veri kalitesinin kabul edilebilir olmasını sağlamak zorlu bir iştir. Ayrıca, istikrarsız veri kaynağı sistemleri veri kalitesini etkiler. Örneğin, kaynak sistemde bir hata varsa, bu veri ambarındaki kusurlardan sorumlu olabilir.
• Kabul edilebilir performansın garanti edilmesidir. Bir veri ambarının performansını canlıya geçtikten sonra ayarlamak zordur. Tasarımcılar ambarın planlanması sırasında performans hedeflerini belirlemeyi unuttuklarında, veri ambarının oluşturulduktan sonra kullanılabilirliğini sınırlar. Ayrıca, belirlenen performans hedefleri bazen gerçekçi olmayabilir.
• Veri mutabakatı, bir ambardaki verilerin doğru ve tutarlı olmasını sağlama sürecidir. Bu karmaşık bir süreçtir, çünkü genellikle ambarın tüm dönüşüm mantığını taklit eder. Ayrıca, ambarın kendisini geliştirmek de karmaşıktır.
• Bir veri ambarı ne kadar umut verici olursa olsun, kullanıcılar onu tamamen kabul etmediği sürece başarısız bir proje olarak değerlendirilir. Kullanıcılar çeşitli nedenlerden dolayı bir veri ambarını kabul etmekte isteksiz olabilirler.

Veri Gölleri ve Veri Ambarları için Depolama ve Altyapı

Veri gölleri uygun maliyetli ve güvenilir bir depolama mekanizması gerektirir. Depolama çözümü ölçeklenebilir olmalı ve hem yapılandırılmış hem de yapılandırılmamış verilere hitap etmelidir. Popüler bir çözüm Hadoop Distributed File System’dır (HDFS). HDFS katmanı, çoğu veri gölünün mimarisinin temel katmanlarından biridir. Veri gölünde duran tüm veriler için bir iniş bölgesidir. Hadoop, verileri hangi formda karşılaşırsa karşılaşsın depolamak gibi temel bir hedefe sahiptir ve dosyaları küçük sabit boyutlu veri bloklarına bölerek verileri depolar.

HDFS blok depolama kullanır. Daha yeni bir yaklaşım ise bunun yerine nesne depolamanın kullanılmasıdır. Nesne depolama, nesneler oluşturmak için verilerin benzersiz bir tanımlayıcı ve özelleştirilebilir meta verilerle bir araya getirilmesidir. Hiyerarşik dosya depolama yapısından kurtulur ve her şeyi düz bir adres alanında adresler. Bu da onu sonsuz ölçeklenebilir hale getirir. Aynı miktarda veriyi bir HDFS veri gölünde depolamak, nesne depolamayı kullanmaktan üç ila beş kat daha pahalıya mal olabilir. Şirketler nesne depolamayı kullanarak bilgi mimarilerini modernleştirebilir.

Bir veri ambarının depolanmasını tanımlamak ise, bir ambarın nerede yaşayacağını tanımlamak anlamına gelir. Bir kuruluşun ihtiyaçlarına bağlı olarak iki yaklaşım vardır. Bir ambar bulutta veya şirket içi bir sunucuda olabilir. Bulut sunucusu özellikle daha fazla esneklik ve ölçeklenebilirliğe sahip bir çözüm arayan kuruluşlar için caziptir. Bulut sağlayıcılarına büyük sorumluluk yüklendiği için verilerin yönetimi kolaylaşır. İlk donanım yatırımı olmadığından, işletmeler için daha ucuzdur. Ancak, güvenlik bulut hizmet sağlayıcıları tarafından kontrol edilir ve veri çıkış ücretleri uygulanabilir.

Günümüzün veri ambarları, kullanıcıya bulut ve şirket içi kurulumlar arasında sorunsuz bir deneyim sunmayı amaçlamaktadır. Bulut ve şirket içi arasındaki çizgileri giderek bulanıklaştırmaktadır. İşletmeler, verilerinin nerede olduğu üzerinde daha fazla kontrol sahibi olurken her iki dünyanın da en iyi özelliklerinden yararlanabilir. Ayrıca, veri ambarları uçtan uca çözümler sunacak şekilde gelişmektedir. Önceden, bir veri ambarının analitik araçlar gibi çok sayıda entegrasyona tabi olması gerekirdi ve bu da veri yolculuğunun adımlarını uzatırdı. Sürekli artan veri hacmi göz önüne alındığında, veri ambarlarında yapay zeka operasyonları, ambar operasyonlarını optimize etmek ve verimliliği artırmak için giderek daha fazla kullanılacaktır.

Bulutistan hizmetlerinin detaylarına ulaşmak için tıklayınız.

Veri Gölleri Kullanım Örnekleri

• Nesnelerin İnterneti: Veri gölleri, büyük hacimli ham verileri işleyebildikleri için IoT bağlamında kullanışlıdır. Veriler dönüştürülmeden işlendiği için bu veriler düşük gecikme süresi sağlar.
• İş fırsatlarını ve rekabet avantajlarını belirleme: İşletmeler bunu, farklı veri ve veri kaynaklarını merkezileştirerek ve ardından pazardaki boşluklar ve fırsatlar hakkında tahminler elde etmek için makine öğrenimi modelleri ve analitik araçları kullanarak başarabilir.
• Ham verilerden değerli içgörüler sağlama: Veri gölleri, satışları iyileştirmek amacıyla tüketici kalıplarını hızla anlamak için sosyal medya içeriği gibi veri kaynaklarından eyleme geçirilebilir içgörüler sağlayabilir.
• Araştırma ve geliştirmeyi iyileştirme: Araştırma ve geliştirme departmanları, gelişmiş analitik görevlerini güçlendirmek için mevcut veri varlıklarından yararlanabilir. Sonuç olarak daha iyi kararlar alınabilir.

Veri Ambarı Kullanım Örnekleri

• Veri modernizasyonu: Veri ambarları, kuruluşların iş ve teknolojik gereksinimlerin gelişimine ayak uydurmasını sağlar. Evrim, mevcut teknolojilerin yanı sıra veri depolama sistemleri ve çözümlerinin desteklenmesine yardımcı olur.
• Diğer sistemlerle entegrasyon:  Veri ambarları, kuruluşların iş zekası ve görselleştirme gibi sistemleri sorunsuz bir şekilde entegre etmesine olanak tanımanın yanı sıra büyük veri sistemlerinin kolay entegrasyonunu da sağlar.
• Geçmiş verilerin kaynak işlemsel sistemlerden ayrılması: Veri ambarları, kuruluşların farklı konumlardan geçmiş verilere kolayca erişmesini sağlayan ortak veri modelleri ve formatları kullanır.