Büyük Veri

Neden tek makine yetmez.

• 5V: hacim, hız, çeşitlilik, doğruluk, değer
• Dikey ve yatay ölçekleme
• Linux ve komut satırı
• Dağıtık sistem temelleri
• Veri formatları: CSV, JSON, Avro, Parquet, ORC

Büyük verinin ilk nesli.

• HDFS mimarisi
• MapReduce programlama modeli
• YARN kaynak yönetimi
• Hive ile SQL-on-Hadoop
• Ekosistem: HBase, Sqoop, Oozie

Bellek içi dağıtık işleme.

• RDD, DataFrame, Dataset
• Dönüşüm ve eylemler, tembel değerlendirme
• Spark SQL
• Bölümleme ve shuffle optimizasyonu
• MLlib ile dağıtık makine öğrenmesi
• Spark UI ile performans analizi

PROJEMilyonlarca satırlık açık veri setini PySpark ile işleyip özet tablo üreten iş.

Her veri ilişkisel değildir.

• Anahtar-değer, belge, sütun ailesi, graf veritabanları
• Cassandra ve HBase
• MongoDB
• Elasticsearch
• CAP teoremi ve tutarlılık modelleri

Veri geldikçe işlemek.

• Kafka: topic, partition, consumer group
• Kafka Connect ve Schema Registry
• Spark Structured Streaming
• Apache Flink
• Pencereleme ve olay zamanı

PROJEGerçek zamanlı olay akışını Kafka'dan okuyup panoya yansıtan hat.

Modern büyük veri platformu.

• Veri gölü, ambar, lakehouse
• Delta Lake / Iceberg / Hudi
• Trino / Presto ile sorgulama
• AWS EMR, Google Dataproc, Azure Synapse
• Databricks ve Snowflake
• Maliyet ve performans ayarı

Büyük veriden değer.

• Büyük ölçekte makine öğrenmesi
• Veri kataloğu ve lineage
• Veri güvenliği, maskeleme ve KVKK/GDPR
• Veri mesh yaklaşımı