Technologies of Big Data Analytics in Distributed Computing Systems

Authors

  • Л. М. Олещенко Національний технічний університет України «КПІ імені Ігоря Сікорського»

DOI:

https://doi.org/10.18372/2073-4751.4.12821

Keywords:

Big Data, програмне забезпечення, розподілені обчислення, ІоT, Pandas, Python, статистична обробка даних, бази даних, ЦОД, Kafka, Cassandra, MapReduce, Hadoop, Spark

Abstract

The existing technologies and software tools of Big Data analysts are analyzed, their advantages anddisadvantages are highlighted. Infrastructure and statistical methods of Big Data analysis areconsidered. The distributed processing technologies are analyzed and the Big Data identification andstorage problems are highlighted. Based on the analysis, the main problems of Big Data analysts areidentified, which in the future need to be solved

Author Biography

Л. М. Олещенко, Національний технічний університет України «КПІ імені Ігоря Сікорського»

к.т.н.

References

BIG DATA: Інноваційні можливості підвищення прибутковості агробізнесу // [Електронний ресурс] – Режим доступу: http://www.agrobusiness.com.ua/ideii-i-trendy/8383-bigdata-innovatsiini-ozhlyvostipidvyschennia-prybutkovostiagrobiznesu.

html

Web Scraping Tools to Extract Online Data // [Електронний ресурс] – Режим доступу:https://www.hongkiat.com/blog/webscraping-

tools/

David Haertzen. ETL Tools // The Analytical Puzzle: Profitable Data Warehousing, Business Intelligence and Analytics. – Technics Publications, 2012. –

p.

ETL or ELT and the Use Case // [Електронний ресурс] – Режим доступу: https://www.linkedin.com/pulse/etl-elt-usecase-mich-talebzadeh-ph-d-/

What Is Apache Hadoop? // [Електронний ресурс] – Режим доступу: http://hadoop.apache.org/

Apache Kafka. А distributed streaming platform // [Електронний ресурс] – Режим доступу: https://kafka.apache.org/

Apache Cassandra // [Електронний ресурс] – Режим доступу: http://cassandra.apache.org/

Apache Spark. А fast and general engine for large-scale data processing // [Електронний ресурс] – Режим доступу: https://spark.apache.org/

Downloads

Issue

Vol. 4 No. 60 (2017)

Section

Статті

License

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.

  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.

  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).