"Big Data" Diye Bişey

Geçtiğimiz hafta SAP'de dakikalarca bekleyip ancak bir aylık datasını çekebildiğim, sonrasında aylıkları birleştirip yıllık data'ya ulaşmaya çalıştığımda Excel sheet'inin yetmediğini görüp, veriyi iyi ikiye böldüğüm, bunları yaparken içerisinde herhangi bir formül olmasa da çalışma dosyasının 200 mb'ları aştığı ve server'da çalışmanın da etkisiyle son derece yavaşlayan bir hesaplama tablosu ile adeta boğuştum. Ve üzerinde çalıştığım dosya ise sadece ama sadece "120-Alıcılar" hesabına bağlı cari hesap dökümüydü.

Günümüzde ilerleyen teknoloji ile birlikte veriyi detaylandırma imkanına sahip oldukça bu veri de giderek büyüyor. Bunu analiz etmek, sınıflandırmak ve üzerinde çalışmak ise malesef aynı derecede zorlaşıyor. Bu zorluğu yaşarken aklıma geçtiğimiz günlerde "Veri Analisti" mesleğinin geleceğin mesleklerinden biri olacağına yönelik bir liste okuduğum geldi. Listenin ilgili bölümünde açıklama şu şekildeydi:

"Günümüzde oldukça önemli olan veri analistleri özellikle büyük veri konusunda yaptıkları çalışmalar ve gelişen teknolojilerle önem kazanmaya devam ediyorlar. Gelecekte internet of things (nesnelerin interneti), big data (büyük veri) gibi teknolojilerin bu uzmanlara duyulan ihtiyacı artırmasına kesin gözüyle bakılıyor."

Açıkçası bu haftaki tecrübemden sonra bu tahmine %100 katılıyorum. Big Data önümüzdeki yıllarda çok ama çok daha önemli hale gelecek. Ben şuraya yazayım da ileride "ben demiştim" derim.

Başlıktaki "big data"yı biraz açmam gerekirse;

"Big Data” yani Türkçesi “Büyük Veri” (Dev Veri de deniliyor), tanımı sadece “diskte çok fazla yer kaplayan veri” anlamına değil, aynı zamanda geleneksel yöntem ve araçlarla işlenemeyen veri anlamına da geliyor.Teknolojinin ilerlemesi, internetin gelişmesi ve sosyal medya devrimi sayesinde bilginin gücünün öne çıkması iş yapma şeklimizi kökten değiştirdi. Firmalar bir adım öne geçebilmek için fark yaratmak zorundalar. Bu yüzden artık en ufak bir bilginin bile ne kadar önemli olduğu anlaşılmış durumda."


PS. Şimdiden seneye aynı veriyi nasıl çekip düzenleyeceğim diye düşünmeye başladım bile...

Yazı yayımlandıktan sonra ek:

Yukarıdaki içeriği Linkedin hesabımda yayımladıktan sonra Sabancı Üniversitesi MBA programından arkadaşım Ergin Selim Gönen (https://www.linkedin.com/in/esgnn/) içerikle ilgili bir mesaj gönderdi. Kendisinin iznini alarak ilgili bölümünü paylaşıyorum:

Büyük veri ile ilgili yazını okudum, daha büyük dosyalarla çalışabilmek icin python programlama dilini öğrenmeni tavsiye etmek istedim.

Öğrenmesi hem kolay, hem de bir çok farkli iş için de kullanılabiliyor.

Veri analistligi ile iligili konu da ise yorumum şu, bugün şu anda Excel kullanmayı bilmeyen bir insanın bizim çalıştığımız alanlarda istihdam edilmesi nasil imkansızsa, bundan 3-5 yil sonra programlama dillerini bilmeyen insanların da istihdam edilmesi (giriş seviyesinde) o kadar zorlaşmaya başlayacak. O büyüklükte veri hacimlerini analiz edebiliyor olmak diğer işlere de (bizim yaptığımız) taşınacak, veri analistliği kavramı bugün tanımladığımızdan çok farklı bir noktada olacaktır.