Veri bilimi yani data science, yeni içgörüler elde etmek için verileri yakalama, işleme ve analiz etme ile ilgilenen bir bilgisayar bilimi dalıdır. Veri bilimcileri, farklı kaynaklardan ve farklı bağlamlardan gelen çok miktarda bilgiyle ilgilenir. Bu nedenle yapmaları gereken işlem genellikle çalışmaya özeldir ve özel algoritmalar, yapay zeka (AI), makine öğrenimi ve insan yorumu kullanmayı içerir. Tıp, astronomi, meteoroloji, pazarlama, sosyoloji, görsel efektler ve çok daha fazlası dahil olmak üzere birçok endüstride hızla genişleyen geniş bir alandır.
Veri Bilimi Bileşenleri
Veri bilimi 3 bölümden oluşur:
1. Makine Öğrenimi
Makine öğrenimi, temel olarak makinelerin öğrenmesini sağlamak ve onları günlük gelişmelere uyum sağlamaya hazırlamak için kullanılan algoritma ve matematiksel modelleri içerir. Örneğin, günümüzde ticaret ve finansal sistemlerde zaman serisi tahmini çok fazla kullanılmaktadır. Makine, geçmiş veri modellerine dayanarak gelecek aylar veya yıllar için sonuçları tahmin edebilir. Bu, makine öğreniminin önemli bir uygulamasıdır.
2. Büyük Veri
İnsanlar her gün web sitesi tıklamaları, siparişler, videolar, resimler, yorumlar, makaleler, RSS beslemeleri vb. şeklinde çok fazla veri üretir. Bu veriler genellikle yapılandırılmamıştır ve büyük veri olarak adlandırılır. Büyük veri araç ve teknikleri, temel olarak bu yapılandırılmamış verilerin yapılandırılmış bir forma dönüştürülmesine yardımcı olur. Örneğin, birinin e-ticaret sitelerinde farklı ürünlerin fiyatlarını takip etmek istediğini varsayalım. Web API’leri ve RSS feed’leri kullanarak farklı web sitelerinden aynı ürünlerin verilerine erişebilirler ve ardından bunları yapılandırılmış forma dönüştürebilirler.
3. İş Zekası
Birçok işletme her gün çok fazla veri üretir. Bu veriler dikkatli bir şekilde analiz edildiğinde ve ardından grafikler içeren görsel raporlarla sunulduğunda, işletmeniz adına iyi karar vermenizi sağlayabilir. Bu, raporların hayata geçirdiği kalıp ve ayrıntıları dikkatlice inceledikten sonra işletmenizin en iyi kararı almasına yardımcı olabilirsiniz.
Bulutistan hizmetlerinin detaylarına ulaşmak için tıklayınız.
Veri Bilimi Nasıl Çalışır?
Kavramsal olarak, veri bilimi sürecinin anlaşılması çok basittir ve aşağıdaki adımları içerir:
- İş sorununu anlayın.
- Ham verileri toplayın ve entegre edin.
- Verileri keşfedin, dönüştürün, temizleyin ve hazırlayın.
- Verilere dayalı modeller oluşturun ve seçin.
- Modelleri test edin, ayarlayın ve dağıtın.
- Modelleri izleyin, test edin, yenileyin ve yönetin.
Veri Bilimi Süreci
Veri bilimi sürecinin aşamaları aşağıdaki şekildedir:
1. Keşif
Keşif adımı, iş sorununu yanıtlamanıza yardımcı olan, tanımlanmış tüm dahili ve harici kaynaklardan veri almayı içerir.
Veriler aşağıdakiler olabilir:
- Web sunucularından alınan günlükler
- Sosyal medyadan toplanan veriler
- Sayım veri kümeleri
- API’leri kullanarak çevrimiçi kaynaklardan aktarılan veriler
2. Hazırlık
Verilerde eksik değerler, boş sütunlar, yanlış veri formatı gibi temizlenmesi gereken birçok tutarsızlık olabilir. Modellemeden önce verileri işlemeniz, keşfetmeniz ve koşullandırmanız gerekir. Verileriniz ne kadar temiz olursa, tahminleriniz o kadar iyi olur.
3. Model Planlama
Bu aşamada girdi değişkenleri arasındaki ilişkiyi çizmek için yöntem ve tekniği belirlemeniz gerekir. Bir model için planlama, farklı istatistiksel formüller ve görselleştirme araçları kullanılarak gerçekleştirilir. SQL analiz hizmetleri, R ve SAS/erişim bu amaçla kullanılan araçlardan bazılarıdır.
4. Model Oluşturma
Bu adımda asıl model oluşturma süreci başlar. Burada veri bilimcisi, eğitim ve test için veri kümelerini dağıtır. Eğitim veri setine ilişkilendirme, sınıflandırma ve kümeleme gibi teknikler uygulanır. Model hazırlandıktan sonra “test” veri setine karşı test edilir.
5. Operasyonelleştirme
Bu aşamada raporlar, kodlar ve teknik belgelerle birlikte nihai temel alınan modeli teslim edersiniz. Model, kapsamlı testlerden sonra gerçek zamanlı bir üretim ortamına dağıtılır.
6. Sonuçları Bildirme
Bu aşamada, temel bulgular tüm paydaşlara iletilir. Bu, modelden alınan girdilere dayalı olarak proje sonuçlarının başarılı mı yoksa başarısız mı olduğuna karar vermenize yardımcı olur.
Veri Bilimi Neden Önemlidir?
İnternet kullanıcıları her gün yaklaşık 2,5 kentilyon bayt veri üretir. 2020’de dünyadaki her insan günlük yaklaşık 146.880 GB veri üretiyordu ve 2025’te bunun 165 zettabayt olması bekleniyor. The Guardian’a göre, 2012’de tüm verilerin yalnızca yaklaşık yüzde 0,5’i analiz edildi. Bu, veri biliminde çok büyük miktarda iş olduğu anlamına geliyor.
Bu noktada basit veri analizi, verileri tek bir kaynaktan veya sınırlı miktarda veriden yorumlayabilir. Bununla birlikte, veri bilimi araçları, büyük verileri ve birden çok kaynaktan gelen verileri anlamlı bir şekilde anlamak için kritik öneme sahiptir.
Veri Biliminin Avantajları Nelerdir?
Veri analitiği teknolojisini kullanmanın önemli avantajları aşağıdaki şekildedir:
- Doğru araçlar, teknolojiler, algoritmalar ile verileri kullanabilir ve farklı bir iş avantajına dönüştürebilirsiniz.
- Veri bilimi, gelişmiş makine öğrenimi algoritmalarını kullanarak dolandırıcılığı tespit etmenize yardımcı olabilir.
- Önemli maddi kayıpları önlemenize yardımcı olur.
- Makinelerde zeka yeteneği oluşturmaya izin verir.
- Müşteri marka sadakatini ölçmek için duyarlılık analizi yapabilirsiniz.
- Daha iyi ve daha hızlı kararlar almanızı sağlar.
- İşinizi geliştirmek için doğru ürünü doğru müşteriye önermenize yardımcı olur.
Veri Bilimi Uygulamaları
Veri biliminin bazı uygulamaları aşağıdaki şekildedir:
1. İnternet araması
Google arama, belirli bir sonucu saniyenin çok kısa bir bölümünde aramak için veri bilimi teknolojisini kullanır.
2. Öneri sistemleri
Facebook’ta “önerilen arkadaşlar” veya YouTube’da önerilen videolar”, her şey data science yardımıyla yapılır.
3. Görüntü ve konuşma tanıma
Veri bilimi tekniğinde çalışan Siri, Google Asistan ve Alexa gibi sistemler konuşmanızı tanır. Facebook ise, data science yardımıyla bir fotoğraf yüklediğinizde arkadaşınızı tanır.
4. Oyun
EA Sports, Sony ve Nintendo veri bilimi teknolojisini kullanır. Bu, oyun deneyiminizi geliştirmenize yardımcı olur. Oyunlar artık makine öğrenimi teknikleri kullanılarak geliştirilir ve daha üst seviyelere geçtiğinizde kendilerini güncelleyebilir.
5. Çevrimiçi fiyat karşılaştırması
PriceRunner, Junglee, Shopzilla, veri bilimi mekanizması üzerinde çalışır. Burada API’ler kullanılarak ilgili web sitelerinden veriler getirilir.
Veri Bilimi Teknolojisinin Zorlukları
Veri bilimi teknolojisini kullanmanın zorlukları aşağıdaki şekildedir:
- Doğru analiz için çok çeşitli bilgi ve veriler gereklidir.
- Yeterli veri bilimi yetenek havuzu mevcut değildir.
- Yönetim, bir veri bilimi ekibi için finansal destek sağlamaz.
- Verilere zor erişim sağlanır.
- İş karar vericileri verileri etkin bir şekilde kullanmaz.
- Veri bilimini başkalarına açıklamak zordur.
- Gizlilik sorunları vardır.
- Önemli alan uzmanı eksikliği mevcuttur.
- Bir işletme çok küçükse, veri bilimi ekibine sahip olamaz.
Veri Bilimi vs Veri Analitiği
Veri analitiği yakından ilişkili olmakla birlikte, bir işletmenin verilerinin neye benzediğini anlamak için kullanılan veri biliminin bir bileşenidir. Veri bilimi, sorunları çözmek için analitik çıktıları alır. Sorunları açıklamak ve çözmek için analizi bir adım daha ileri götürür. Veri analitiği, gerçekliğin mevcut durumunu tanımlarken, veri bilimi bu verileri geleceği tahmin etmek veya anlamak için kullanır.
Özetle, bir veri bilimcisi, verilere baktıkça ileriye bakma veya tahminde bulunma olasılığı artar. Veri analisti ve veri arasındaki ilişki geriye dönüktür. Bir veri analistinin, daha önce içgörüler için işlenmiş olan mevcut veri kümelerini araştırmak için belirli sorulara odaklanması daha olasıdır.
Büyük Veri vs Veri Bilimi
Veriler, çevrimiçi satın almalar, multimedya formları, araçlar, finansal günlükler, sensörler, metin dosyaları vb. çeşitli kaynaklardan gelir. Bu veriler yapılandırılmamış, yarı yapılandırılmış veya yapılandırılmış olabilir.
Yapılandırılmamış veriler; bloglardan, dijital ses/video beslemelerinden, dijital görüntülerden, e-posta’lardan, mobil cihazlardan, sensörlerden, sosyal ağlardan ve tweetlerden, web sayfalarından ve çevrimiçi kaynaklardan gelen verileri içerir. Yarı yapılandırılmış veriler, sistem günlük dosyalarından, XML dosyalarından ve metin dosyalarından gelen verileri içerir. Halihazırda bir şekilde işlenmiş olan yapılandırılmış veriler, OLTP, RDBMS (veri tabanları), işlem verileri ve diğer biçimleri içerir.
Bunların hepsi “büyük veri”dir ve onu iyi kullanmak 21. yüzyılın en önemli konularından biridir. Basit iş zekası araçları ve hatta veri analizi araçları ile farklı kaynaklardan gelen muazzam miktarda veriyi işlemek kesinlikle mümkün değildir. Bunun yerine veri bilimi, işletmelere verileri analiz etmek, temizlemek, işlemek ve verilerden anlamlı içgörüler çıkarmak için gelişmiş, karmaşık algoritmalar ve diğer araçlar sunar.
Veri bilimi tek bir araç, beceri veya yöntem değildir. Bunun yerine, büyük verileri işlemek için uygulamalı istatistiksel ve matematiksel teori ve bilgisayar araçlarını kullanan bilimsel bir yaklaşımdır.
Veri biliminin temelleri, veri temizleme, akıllı veri yakalama teknikleri ve veri madenciliği ve programlamanın disiplinler arası güçlü yönlerini birleştirir. Sonuç, veri bilimcinin akıllı analiz için büyük verileri yakalama, sürdürme ve hazırlama becerisidir.
Bu, bazen iki rol karıştırılsa da, veri bilimcinin çalışmasını veri mühendisinden ayıran bir noktadır. Veri mühendisi, veri bilimcisinin birlikte çalışması ve onlardan içgörüler alması için veri kümeleri hazırlar, ancak akıllı analiz işi “veri bilimi mühendisleri”ne değil, veri bilimcilerine düşer.
Büyük veri, veri bilimi alanında kullanılan hammaddedir. Hızı, çeşitliliği ve hacmi (3V’ler) ile karakterize edilen büyük veri, verileri analiz etme tekniklerini sağlayan veri biliminin ham maddesidir.
Veri Madenciliği vs Veri Bilimi
Veri madenciliği, hem işletme hem de veri biliminde kullanılan bir tekniktir, veri bilimi ise gerçek bir bilimsel çalışma veya disiplin alanıdır. Veri madenciliğinin amacı, verileri belirli bir iş amacı için daha kullanışlı hale getirmektir. Buna karşılık veri bilimi, genellikle iş bağlamında veri odaklı ürün ve sonuçlar yaratmayı amaçlar.
Veri madenciliği, büyük miktarda ham, işlenmemiş veriyi keşfetmek veri biliminin sınırları içinde olduğundan, çoğunlukla yapılandırılmış verilerle ilgilenir. Bununla birlikte, veri madenciliği, veri bilimcilerinin yapabileceklerinin bir parçasıdır ve bilimin bir parçası olan bir beceridir.
Veri Bilimi vs Yapay Zeka
Yapay zeka veya AI ifadesi sadece bilgisayarlarda simüle edilmiş insan beyni işlevi anlamına gelir. Bu tür bir beyin işlevine işaret eden özellikler arasında öğrenme, mantıksal akıl yürütme ve kendi kendini düzeltme yer alır. Başka bir deyişle, bir makine öğrenebildiğinde, öğrendiği gibi kendini düzeltebildiğinde ve kendi başına akıl yürütüp çıkarımlar yapabildiğinde, bu bir yapay zekadır.
Yapay zeka ya geneldir ya da dardır. Genel AI, filmlerde sıklıkla gördüğümüz akıllı bilgisayar türlerini ifade eder. Neredeyse insanlar gibi, hepsi de muhakeme ve düşünce gerektiren çok çeşitli aktivitelerin üstesinden gelebilir.
Bununla birlikte, dar AI, aynı tür düşünme becerilerini kullanmayı, ancak çok spesifik görevlerde kullanılmayı içerir. Örneğin, IBM’in Watson’ı, belirli türdeki tıbbi kayıtları teşhis amaçlı olarak veya doğru koşullar altında insanlardan daha iyi şekilde yorumlayabilen bir yapay zekadır.
Bilim adamları ve mühendisler, yapay sinir ağları oluşturarak yapay zeka elde etmek için çalışırlar. Ancak makinelere insan beyni gibi düşünmeyi öğretmek, çok özel bir amaç için bile olsa, olağanüstü miktarda veri gerektirir.
Veri Bilimi vs Makine Öğrenimi
Veri bilimi, istatistiklerin doğal bir uzantısıdır. Yeni teknolojilerin yardımıyla büyük miktarda veriyi işlemek için bilgisayar bilimi ile birlikte gelişmiştir.
Buna karşılık, makine öğrenimi veri biliminin bir parçasıdır, ancak daha çok bir süreçtir. Makine öğrenimi, bilgisayarların her bilgi parçası için öğrenmesini ve bunu zaman içinde daha etkili bir şekilde yapmasını sağlar.
Makine öğreniminde bilgisayarlar kendilerini eğitmek için algoritmalar kullanır, ancak bu algoritmalar bazı kaynak verilere dayanır. Makine bu verileri bir eğitim seti olarak kullanır, böylece algoritmasını geliştirebilir, ince ayar yapabilir ve test edebilir ve ilerledikçe optimize edebilir.
Ancak, insan girdisi gerektiren diğer teknikler de bugün anladığımız şekliyle veri biliminin bir parçasıdır. Örneğin, bir makine, bir sınıflandırma algoritmasını optimize etmek için denetimsiz kümeleme kullanarak veri yapılarını algılamak üzere başka bir makineyi eğitebilir. Ancak süreci tamamen bitirmek için, bir insan, en azından tam olarak eğitilene kadar bilgisayarın tanımladığı yapıları sınıflandırmalıdır.
Veri biliminin kapsamı, herhangi bir mekanik süreç, bilgisayar veya makine tarafından üretilmeyen verileri kapsayan makine öğreniminin çok ötesine geçer. Örneğin, veri bilimi aynı zamanda anket verilerini, klinik deneylerden elde edilen verileri veya gerçekten var olan diğer her türlü veriyi tam spektrumu içerir.
Veri bilimi, sadece makineleri eğitmek için değil, verilerin dağıtılmasını da içerir. İstatistiksel veri konularıyla sınırlı olmaktan uzak, veri bilimi alanı kesinlikle makine öğrenimini ve veriye dayalı kararları otomatikleştirmeyi içerir. Bununla birlikte, dağıtılmış mimari ile birlikte veri entegrasyonu, veri mühendisliği ve veri görselleştirmeyi ve gösterge tablolarının ve diğer iş zekası araçlarının oluşturulmasını da kapsar. Aslında, üretim modunda herhangi bir veri dağıtımı da veri bilimi kapsamındadır.
Dolayısıyla, bir veri bilimcisinin verilerden elde ettiği içgörüleri oluşturduğu yerde, bir makine, veri bilimci tarafından zaten algılanan içgörülere dayalı olarak öğrenir. Bir makine mevcut algoritmik yapı üzerine kendi içgörülerini oluşturabilse de, başlangıç noktası bir tür yapılandırılmış veriye dayanır.
Kısacası, bir veri bilimcisinin birçok veri bilimi tekniğini kullanan makine öğrenimini anlaması gerekir. Ancak bir veri bilimcisi için veri, mekanik bir süreçten veya makineden gelen verileri içerebilir ya da içermeyebilir.
Veri Bilimi vs Derin Öğrenme
Derin öğrenme, insan beyninin verileri işlerken nasıl çalıştığını simüle eden ve karar verirken kullanmak için kalıplar oluşturan bir AI işlevidir. Derin öğrenme, yapılandırılmamış veya etiketlenmemiş verileri insan yardımı olmadan yönetebilen derin sinir ağlarına odaklanan bir tür makine öğrenimidir. Buna derin sinirsel öğrenme de denir.
Derin öğrenme, makine öğrenimi sürecine dahil olmak için hiyerarşik yapay sinir ağlarını kullanır. Bu yapay sinir ağları, insan beynine çok benzeyen karmaşık nöron düğümleri ağları gibidir. Geleneksel veri analizi programları verilere doğrusal bir şekilde yaklaşsa da, derin öğrenme sisteminin işlev hiyerarşisi, sorunlara doğrusal olmayan bir yaklaşım sağlar.
Büyük veri temel olarak yapılandırılmamıştır, bu nedenle derin öğrenme, veri bilimi araştırmasının önemli bir alt kümesidir.
Veri Bilimi vs İstatistik
Veri bilimi zorlukları, büyük miktarda verinin toplanmasını, işlenmesini, yönetimini, analizini ve görselleştirilmesini gerektirir ve veri bilimcileri, bu hedeflere ulaşmak için istatistikler de dahil olmak üzere çeşitli alanlardan araçlar kullanır.
Veri bilimi ve büyük veri arasında yakın bir bağlantı vardır, çoğu büyük veri yapılandırılmamış biçimlerde bulunur ve sayısal olmayan bazı veriler içerir. Bu nedenle, bir veri bilimcisi olarak verileri işleme görevi, faydalı içgörüler elde etmeyi içerir.
Bu istatistiksel görevler, dört veri alanında özel tasarım ve uygulama gerektirir: Edinme, mimari, analiz ve arşivleme.
İstatistik, sayısal ve kategorik verilerin incelenmesiyle başa çıkar ve veri bilimi de dahil olmak üzere çok sayıda başka dikeyde kullanım gören uygulamalı bir alandır.
Örneğin, istatistiksel teori ve yöntemler, veri bilimcilerinin daha güçlü yollarla veri toplamasına, bunları belirli kullanımlar için analiz etmesine, yorumlamasına ve belirli sorunları çözmek için sonuçlar çıkarmasına olanak tanır. Veri bilimcileri, sonuçlarının geçerli ve tutarlı sonuçlar olmasını sağlamak için araştırma tasarlarken ve yürütürken sıklıkla istatistiksel protokoller kullanır.
İstatistiksel yöntemler aynı zamanda veri bilimcilerinin verileri kapsamlı bir şekilde keşfedip tanımlayabilmelerini sağlarken aynı zamanda onları özetlemelerini de sağlar. Son olarak, istatistiksel protokoller, doğru tahmin ve anlayışlı çıkarımlar için gereklidir.
Bulutistan hizmetlerinin detaylarına ulaşmak için tıklayınız.
İşletmeler için Veri Bilimi
Veri bilimi bir iş ortamında uygulandığında veri bilimi ve analitik bir araya gelir. Veri bilimi, işletmelerin mevcut verilere dayalı olarak müşterilerin belirli ihtiyaçlarını daha iyi anlamasına yardımcı olur. Örneğin, müşteri yaşı, satın alma geçmişi, geçmiş tarama geçmişi, gelir ve diğer demografik bilgilerle bir veri bilimcisi, arama ve ürün önerisi için modelleri daha etkili bir şekilde eğitebilir.
