Bir iş için toplamda 50 milyon adet - her biri 1kb bile olmayan key-value benzeri toplamda 50gb yakın datayı Aws athena ve s3 kullanarak sorgulamak istiyorum. Fakat sorgu-tarama fiyatlandırması konusunda biraz kafam karıştı. Aşağıda aws örnek olarak bir fiyatlandırma vermiş.
Taranan veri başına TB için 5,00 USD
Fiyatlandırma örneği
3 eşit boyutlu sütuna sahip bir tablonun Amazon S3’te toplam 3 TB boyutunda sıkıştırılmamış bir metin dosyası olarak depolandığını düşünelim. Metin biçimindeki dosyalar ayrılamadığından tablonun tek bir sütunundan veri almak için sorgu çalıştırılması durumunda Amazon Athena’nın dosyanın tamamını taraması gerekir. Bu sorgunun maliyeti: 15 USD. (Taranan 3 TB için fiyat, 3 * 5 USD/TB = 15 USD)
Yani elimde 50GB veri olduğuna göre içerisinde sadece 10.000 key veri (toplamda 30mb) okumak/almak veya güncellemek istediğimde benden sorguladığım 10.000 key-value (30mb) ücreti mi alacak? yoksa toplamda tablo boyutum 50gb olduğu için 50GB mı alacak?
@ozgurozturknet
Yanıtlarsanız çok sevinirim.
Teşekkür ederim.
50gb alacak. Ortada bir index yok dolayısıyla Athena tum veriye bakıp sizin istediğinizi bulacak. Bu nedenle tüm veriniz ne kadar büyüklükte ise o kadar para ödeyeceksiniz
Anladım, bu benim için bayağı maliyetli bir mimari olur. Aws redshift’te de TB başı 5$ gibi bir ücret vardı sanırım orada aynı mantıkta ücretlendirme yapıyor.
Ayrıca sizin önerebileceğiniz bir ürün veya aws dışında bir tavsiyeniz olur mu hocam?
her 10 saniye’de 200-500 arası bir read/update işlemi olacak. Bunun için daha önce Redis kullanırım diye düşünmüştüm ama 50GB+ lı bir cluster kurmak en az athena kadar maliyetli olur. Bunların dışında Google bigquery, google sheet excel vs. baktımıştım.
