Çalışma Grubu Sunumu - TBD Kamu-BİB Kamu Bilişim Platformu-18

Transkript

TÜRKİYE BİLİŞİM DERNEĞİ
Kamu-BİB
Kamu Bilişim Platformu - 18
2023 ve Ötesi
Büyük Veri Uygulamaları
19-22 Mayıs 2016 Belek, Antalya
Yayına katkı verenler
•
•
•
•
•
•
•
•
•
•
•
•
•
Prof. Dr. Erdoğan Doğdu (Bşk.)TOBB Üniv.
Yrd. Doç. Dr. Ziya Karakaya (Bşk. Yrd) Atılım Üniv
A. Esad Berktaş
Sağlık Bakanlığı
Ayşe Gül İbrişim
TSE
Barış Tamer AkyılmazİŞKUR
İrem Soya
İŞKUR
Lütfi Özbilen
Fokus Akademi
Özlem Gürel
Refia Karaca
İDE Danışmanlık
Semih ÇELİK
Adalet Bakanlığı
Serhan Kars
Başbakanlık
Umut Elmas
Veysel Uğur Kızmaz
İŞKUR
2
İçindekiler
•
•
•
•
•
Giriş
Kamuda Büyük Veri
Türkiye’de Kamuda Büyük Veri
Dünya’da Kamuda Büyük Veri
Kamu için öneriler
3
Big data
•
•
•
•
Volume (Hacim)
Variety (Çeşitlilik)
Velocity (Hız)
Diğer V’ler
– Veracity (Doğruluk)
– Validity (Geçerlilik)
– Volatility (Oynaklık)
4
Büyük veri kaynakları
• İnsanlar
– Sosyal medya, web, bloglar, …
• Sensörler / araçlar
– Akıllı telefon (GPS), üretim makinaları/robotlar,
akıllı sayaçlar (elektrik), arabalar (200+ sensör),
…
• Internet of Things (IoT) (30+ milyar by 2020)
• Web of Things
5
N-grams
25 million books scanned (2015).
How many more?
130 million books
6
#Web pages in billions…
7
Sosyal ağlar
>500M tweets/day
8
Processes 20 PB a day (2008)
Crawls 20B web pages a day (2012)
Search index is 100+ PB (5/2014)
Bigtable serves 2+ EB, 600M QPS (5/2014)
400B pages,
10+ PB
(2/2014)
19 Hadoop clusters: 600 PB,
40k servers (9/2015)
150 PB on 50k+ servers
running 15k apps (6/2011)
Hadoop: 10K nodes, 150K
cores, 150 PB (4/2014)
300 PB data in Hive +
600 TB/day (4/2014)
LHC: ~15 PB a year
S3: 2T objects, 1.1M
request/second (4/2013)
LSST: 6-10 PB a year
(~2020)
640K ought to be
enough for anybody.
SKA: 0.3 – 1.5 EB
per year (~2020)
How much data?
Source: http://lintool.github.io/UMD-courses/bigdata-2015-Spring
9
Zettabyte
10
Neden büyük veri? Bilim
Mühendislik
Ticaret
Toplum
Source: Wikipedia (Everest)
11
Bilim
Veri-yoğun araştırma (e-bilim)
12
Maximilien Brice, © CERN
Mühendislik
Verinin etkin kullanımı
Arama, öneri, tahmin, …
13
Source: Wikipedia (Three Gorges Dam)
Müşterileri tanımak
Veri→ Bilgi→ Rekabet avantajı
Ticaret
14
Source: Wikiedia (Shinjuku, Tokyo)
Toplum
Bireyi/toplumu okumak
Hesaplamalı sosyal bilim
15
Source: Guardian
Veri mühendisliği / Veri bilimi
• Veri elde etme (data acquisition)
– Akan veri (streaming data) veya durağan veri (offline)
• Veri işleme (data processing)
– Yapısız veriden yapısal veriye dönüşüm, ETL
– Öznitelik çıkarımı
• Veri saklanması (data storage, database, data
warehouse)
• Veri analitiği (Data analysis, analytics)
• Raporlama ve görselleştirme
16
Data  Information  Knowledge
17
Data Analytics / Data Science
•
•
•
•
•
•
•
Data  Information  Knowledge
Örüntü bulma (finding patterns)
Sınıflandırma (classification)
Tahmin (predicting)
Veri madenciliği (data mining)
İş zekası (business intelligence)
Büyük veri analizi
– Bilinen yöntemleri dağıtık veri üzerinde paralel
işleme
18
“Büyük Veri”den önce
• Veritabanları kullanarak iş zekası
uygulamaları
DB
Datawarehouse
More DB
Reports
19
Büyük veri teknolojisi
• Facebook, Twitter, LinkedIn, eBay, Amazon
– Eski teknolojileri kullanma şansı yok
– Çok fazla paralel işleme
20
Büyük fikirler
• Yatay ölçekleme yap, dikey değil
– Scale “out”, not “up”
• Her an birşey bozulabilir
– Assume failures common
• Veri işlemeyi verinin olduğu yerde yap
– Move processing to data
• Veriyi sırayla işle
– Process data sequentially (no random access)
• Sistem detaylarını sakla
– Hide system-level details
• Farkettirmeden ölçekleme
•
– Seamless scalability
Kaynak: Jimmy Lin, “Data-Intensive Text Processing with MapReduce”, 2013
21
The datacenter is the computer!
Source: Google
22
Source: Google
23
Source: Google
24
Recent guesstimates have placed Google's server count
at more than 1 million. But new data on Google's energy
use suggests that the company is probably running about
900,000 servers. Google never says how many servers
are running in its data centers. Aug 1, 2011
Source: Google
Google has been estimated to have
more than 1 million computers
25
Source: Google
26
Source: Google
27
Source: Facebook
28
History
29
MapReduce
• Jeffrey Dean and Sanjay Ghemawat (Google).
MapReduce: simplified data processing on
large clusters. OSDI'04: Sixth Symposium on
Operating System Design and
Implementation, San Francisco, CA,
December, 2004.
30
Divide and Conquer
“Work”
Partition
w1
w2
w3
worker
worker
worker
r1
r2
r3
“ Result”
Combine
Source: http://lintool.github.io/UMD-courses/bigdata-2015-Spring
31
32
Kamuda büyük veri kullanımı
• Kullanım alanları
–
–
–
–
–
–
Sağlık
Eğitim
Enerji
Bütçe ve harcamalar
Güvenlik
Yerel yönetimler, şehircilik
• Amaç
– Etkin işleyen kurumlar ve devlet
– Kaynakların verimli kullanımı
– Toplumun refahı
33
Büyük veri problemleri
• Veri güvenliği
• Veri mahremiyeti ve gizlilik
34
Açık veri (open data)
•
•
•
•
data.gov (ABD)
data.gov.uk (İngiltere)
...
Amaç
– Şeffaflık ve demokrasinin gelişmesi
– Ekonomik fırsat ve eşitlik oluşturması
– Refaha katkı
• data.gov.tr?
35
Diğer ilişkili konular
•
•
•
•
Sosyal medya
IoT
Endüstri 4.0
Akıllı şehirler
36
Türkiye’de Kamuda Büyük Veri
• Kalkınma Bakanlığı 2014-2018 Onuncu
Kalkınma Planı 412. madde:
– Açık kaynak kodlu yazılımlar, büyük veri, bulut
bilişim, yeşil bilişim, mobil platform, nesnelerin
interneti gibi ürün, hizmet ve yönelimler
değerlendirilerek kamu için uygun olabilecek
çözümler hayata geçirilecektir.
37
TÜBİTAK BİLGEM B3LAB
•
•
•
•
2013
TÜBİTAK BİLGEM Bilişim Teknolojileri Enst.
Kalkınma Bakanlığı
Bulut Bilişim ve Büyük Veri Araştırma
Laboratuvarı (B3LAB)
• Bulut Bilişim ve Büyük Veri konularında
altyapıların kurulacağı bir araştırma
laboratuvarı oluşturulmak
38
Bilgi Toplumu Stratejisi 2014-2018
• Kalkınma Bakanlığı
• 2014-2018 Bilgi Toplumu Stratejisi ve Eylem
Planı
• 50. Eylem: “Kamuda Büyük Veri Pilot
Uygulaması Gerçekleştirilmesi”
• SGK, Sağlık Bakanlığı, TÜBİTAK
39
TR Kamuda Büyük Veri
• Kamuda Büyük Veri İçerikli Projeler
– SGK, Sağlık Bakanlığı, MEB, ...
• Kamuda Büyük Veri Uygulamaları
– KAYSİS, Enerji Tahmin, …
• Mevzuat ve Strateji
• Anket
– Kamu Kurumlarında Büyük Veri Kullanımı ve
Büyük Veri Algısı
– ~31 katılımcı
40
TR Kamu’da Büyük Veri İçerikli Projeler
• Örnekler
– SGK
– MEB
– Sağlık Bakanlığı
41
SGK
• e-Bildirge
– Sigorta prim tahsili, işyeri tescil kayıtları
• MEDULA
– Sağlık hizmetleri ödemeleri
• Veri Ambarı Projesi
– 150 TB
– ~500 uygulama verisi
– 500+ raporlama şablonu, binlerce farklı rapor
42
MEB
• MEBSİS
• e-Okul
– Öğrenci kayıtları, milyonlarca öğrenci
• FATİH
– Eğitimde teknoloji
• e-YAYGIN
– Yaygın eğitim kurumları faaliyetleri
43
• e-Nabız
– Kişisel sağlık bilgi kayıtları
• UBYS (Sağlık.Net)
– Tüm sağlık kurum ve hizmetleri ile kayıtları
– 3.5 milyon kullanıcı
• MHRS (Merkezi Hekim Randevu Sistemi)
• Aşı Takip Sistemi
44
TR Kamuda Büyük Veri Uygulamaları
• KAYSİS
– Kamu Bilgi Yönetim Sistemi
– T.C. Başbakanlık İdareyi Geliştirme Başkanlığı
– Kamu kurumları teşkilat yapıları, hizmetleri,
belgeleri, bilgileri, mevzuatları, …
– Ulusal Veri Santrali
45
TR Kamuda Büyük Veri Uygulamaları
• Enerji Tahmin Projesi
– Türkiye Rüzgar ve Dalga Atlası
– Türkiye Ulusal Yenilenebilir Enerji Eylem Planı
• T.C. Enerji ve Tabii Kaynaklar Bakanlığı Yenilenebilir
Enerji Genel Müdürlüğü
46
TR Kamuda planlanan uygulamalar
• Çalışma ve Sosyal Güv. Bakanlığı, İŞKUR
– İş Veri Bankası
– Sosyal Medya ile İş Öneri, Profil Yapılandırma
• Sağlık Bakanlığı
– Kronik Hasta Yönetim Sistemi
– RoboDoktor
– Sporcu Sağlığı Bilgi Sistemi
• Adalet Bakanlığı
– Adli Veri Bankası
– Suç Takip Sistemi
47
TR Kamuda planlanan uygulamalar
• İçişleri Bakanlığı
– Aranan-Şüpheli Araç ve Kişi Tespit Sistemi
• Gıda Tarım ve Hayvancılık Bakanlığı
– Yetiştiricilik ve Ürün Denetim Sistemi
48
Mevzuat ve Strateji
• 5651 sayılı İnternet ortamında yapılan
yayınların düzenlenmesi ve bu yayınlar
yoluyla işlenen suçlarla mücadele edilmesi
hakkında kanun
• Kişisel verilerin korunması kanunu (2016)
• Kişisel Verilerin Otomatik İşleme Tabi
Tutulması Karşısında Bireylerin Korunması
Sözleşmesi
49
Anket
• Kamu Kurumlarında Büyük Veri Kullanımı ve
Büyük Veri Algısı
• Katılımcı: 31
50
2. Verilerinizi nerede tutuyorsunuz?
51
3. Kurum olarak “büyük veri” konusuna
ilginiz var mı?
52
4. Kurum olarak “büyük veri” stratejiniz
var mı?
53
5. Kurumunuzdaki verinin büyüklüğü
nedir?
54
6. Kurumunuzda yapısal ve yapısal
olmayan veri büyüklüğü oranları nedir?
55
7. Kurumunuzda veri işlemede
uygulanan yaklaşım
56
8. Büyük ölçekli veri işlemede hangi
yöntemleri kullanıyorsunuz?
57
9. Büyük veri konusunda kurumunuzda
hangi yatırımlar yapıldı?
58
10. Büyük veri yatırımlarınızın yaklaşık
değeri nedir?
59
11. Büyük veri projeniz var mı?
60
12. Büyük veri projeniz yoksa, kurumun
gelecek planları nelerdir?
61
13. Büyük veri projelerinde çalışan
sayınız kaçtır?
62
14. Hangi teknolojileri kullanıyorsunuz
ya da inceliyorsunuz?
63
15. Kurumunuzda “Büyük Veri Analitiği”
konusunda yetkin çalışan sayısı
64
Dünyada Kamuda Büyük Veri
• ABD
– data.gov (2009)
– Big Data Research and Development Initiative
(2012), Obama yönetimi girişimi
– The Cancer Genome Atlas (TCGA)
• NCI, NIH, Amazon S3
– The 3000 Rice Genome Project (Amazon S3)
• 3024 pirinç türüne ait genome verisi
– Landsat 8 (AWS)
• US Geological Survey, NASA
65
Dünyada Kamuda Büyük Veri
• AB
– Digital Agenda for EU (2010)
• 2012: IoT, M2M, kamu verilerinin ekonomik potansiyeli
– data.gov.uk
66
Kamu İçin Büyük Veri Önerileri
• Ulusal öncelikler
•
•
•
•
•
–
–
–
–
Savunma ve güvenlik
Ekomomi, Üretim, Büyüme, ve İstihdam
Eğitim ve Sağlık
Şeffaflık / Açık veri
Analitik kurumu
Gerçek-zamanlı analiz
Küresel işbirliği
Özel sektör işbirliği
Yetişmiş insan gücüne yatırım
– Üniversitelerle işbirliği
67
Anket 2
Kamuda Büyük Veri Anketi
http://bit.ly/27HpUeL
68
TÜRKİYE BİLİŞİM DERNEĞİ
Türkiye Bilişim Derneği
www.kamu-bib.org.tr
www.tbd.org.tr
Teşekkür ederiz
Kamuda Büyük Veri Anketi
http://bit.ly/27HpUeL

Çalışma Grubu Sunumu - TBD Kamu-BİB Kamu Bilişim Platformu-18

Transkript

Benzer belgeler

genel müdür yardımcıları assıstant dırectors general