Технології Big Data аналітики в розподілених системах обчислень

Автор(и)

  • Л. М. Олещенко Національний технічний університет України «КПІ імені Ігоря Сікорського»

DOI:

https://doi.org/10.18372/2073-4751.4.12821

Ключові слова:

Big Data, програмне забезпечення, розподілені обчислення, ІоT, Pandas, Python, статистична обробка даних, бази даних, ЦОД, Kafka, Cassandra, MapReduce, Hadoop, Spark

Анотація

Проаналізовані існуючі технології та програмні засоби Big Data аналітики, виділено їхпереваги та недоліки. Розглянуто інфраструктуру та статистичні методи аналізу Big Data.Проаналізовані технології розподіленої обробки, проблеми іденфікації та зберігання Big Data. На основі проведеного аналізу виділено основні проблеми Big Data аналітики, які у подальшому потребують вирішення

Біографія автора

Л. М. Олещенко, Національний технічний університет України «КПІ імені Ігоря Сікорського»

к.т.н.

Посилання

BIG DATA: Інноваційні можливості підвищення прибутковості агробізнесу // [Електронний ресурс] – Режим доступу: http://www.agrobusiness.com.ua/ideii-i-trendy/8383-bigdata-innovatsiini-ozhlyvostipidvyschennia-prybutkovostiagrobiznesu.

html

Web Scraping Tools to Extract Online Data // [Електронний ресурс] – Режим доступу:https://www.hongkiat.com/blog/webscraping-

tools/

David Haertzen. ETL Tools // The Analytical Puzzle: Profitable Data Warehousing, Business Intelligence and Analytics. – Technics Publications, 2012. –

p.

ETL or ELT and the Use Case // [Електронний ресурс] – Режим доступу: https://www.linkedin.com/pulse/etl-elt-usecase-mich-talebzadeh-ph-d-/

What Is Apache Hadoop? // [Електронний ресурс] – Режим доступу: http://hadoop.apache.org/

Apache Kafka. А distributed streaming platform // [Електронний ресурс] – Режим доступу: https://kafka.apache.org/

Apache Cassandra // [Електронний ресурс] – Режим доступу: http://cassandra.apache.org/

Apache Spark. А fast and general engine for large-scale data processing // [Електронний ресурс] – Режим доступу: https://spark.apache.org/

##submission.downloads##

Номер

Том 4 № 60 (2017)

Розділ

Статті

Ліцензія

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.

  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.

  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).