Data Science

Data Science, Big Data, Data Analytics 大比拼 (二): 究竟有咩用?

Less than a minute to read

上回解釋左究竟數據科學, 大數據, 數據分析係咩東東。今次就講下佢地實質作用。

#數據科學

由於我地冇可能會預測到未來會發生咩事,所以我地需要數據嚟預測未來嘅趨勢。數據科學其實係結合咗統計學、數據分析同埋機器學習嘅方法,利用數據對實際現象進行理解同分析; 根據過去嘅模式預測未來,數據科學家檢查來自多個無關聯嘅數據庫,利用提煉出嚟嘅Data,再加上機器學習模型(Machine learning),程式設計嘅技術例如SAS, R, Python 嚟建立出一個預測模型(Predict Model),搵到可用於業務嘅連接。數據科學通過嘗試搵到新嘅模式同視角,深入了解未知世界。

#大數據

大數據意指資料嘅規模巨大,以致無法透過傳統嘅方式係一定時間內進行儲存、運算與分析。大數據嘅特性歸類為「3V」,包括資料量(Volume)、資料類型(Variety)與資料傳輸速度(Velocity)。大數據一般狹義係資料量係100TB到PB之間。大數據技術嘅作用就係利用Java, Scala, Mongo DB 黎構建大規模數據處系統黎儲存多元、種類繁多嘅數據,更快更有效率咁開發演算法同進行分析。大數據需要全新嘅處理方式,以新型嘅儲存運算方法分析數據同埋產出溝通圖表,並將該分析結果視為一種戰略資產。

#數據分析

數據分析嘅功用就係幫我地處理同匯總數據,洞悉先見。由於傳統嘅統計分析,難以應付海量嘅數據同種類,只有透過機器學習,以電腦演算法進行分析,先至能夠更快同更有效率地達成比以往更深入嘅分析 !

例如美國有啲銀行已經開始可以結合辨識人臉技術同國家安全部資料,嚟決定借貸者嘅信用等級。數據分析將會全面影響每個人與每個企業幫助決策同創造新商機。


Sign up for our Newsletter

Join our newsletter and get resources, curated content, and design inspiration delivered straight to your inbox.

Related Posts

Data Science

ChatGpt 都識揼Code?IT人難逃被AI人工智能取代的命運?

IT 人會不會被AI人工智能取代?近年來,隨著人工智能技術的不斷發展,許多人擔心自己的工作可能會被AI取代。目前,許多AI技術已經能夠完成軟件開發的某些部分,因此有人認為,軟件工程師的工作可能會被AI取代,飯碗也可能不保。 AI 人工智能會取代IT人的想法,可能源自於大家對軟件工程師工作及AI的理解不夠充足。 AI技術的發展引發了對於軟件工程師職業前景的擔憂。然而,軟件工程師的工作並非像一些人想象的那樣容易被AI取代。讓我們嘗試解釋為何AI無法取代軟件工程師吧(至少不能大規模地取代)。 要了解AI 人工智能能否取代IT人,首先我地要知道AI 是如何學習的。AI學習是透過大量相似開源數據學習相對重覆的事物,請留意重點,是「大量」,「相似」,「開源」數據。例如認人,搜尋法律案件,分析病人身體數據,等能力。但如果一個只被訓練認人的AI,見到一張猩猩的圖片,它未必即時辨認到這張圖片中的不是人類。又或者一個被訓練分析香港法律的AI,突然香港有需要增加一條法例,AI並不能夠根據一條新的法例提供準確意見。 以上東西都可以有大量數據的原因,是因為人像相在網絡上可以輕易找到的。法律判刑及理據大部份都是公開的,而判刑準則大都依照以往例子。病人數據當然並非完全公開,病人個人資料是絕對保密,但除去個人資料後的血液數據或X光片等不同資料,則有醫學及研究作用,而醫生分析病情都是根據某病人的數據或檢查結果,比對以往類似病歷的病人,而得出某一病人是健康或生病以至於哪一種病的理據。以上的例子都是AI人工智能能代替人類工作的最佳例子,透過「大量」,「相似」的「開源 」或「開放」數據,而「得出結論或結果」的工作。 再以作曲為例子,AI人工智能可以透過大量例如廣東歌,再透過告訴它哪一首歌最大熱,它便可以透過以前流行大熱的歌中找一些相似的「Pattern」,例如這些歌大部份幾分幾秒會去到副歌,副歌多長,通常每段配搭多少個音節,或者靠寫該AI 的人告訴它,還有甚麼因素及Pattern能影響一首歌會否大熱,它再嘗試根據這些條件或Pattern寫一首歌。但它寫不到新的風格,或者它隨機寫到新的風格之後,它無法估計這首歌有否大熱的機會,最終仍是需要人類作最終決定。...

Data Science

「有圖有真相」烏克蘭被投降?

有圖有片有真相這個說法在現今世代已經不再成立。隨著AI 急速發展、deepfake 技術盛行,連烏克蘭總統都遭殃,於俄烏戰爭初期受虛假散佈的 deepfake 影片誤傳投降消息。到底 deepfake 是何方神聖?它是怎樣操作的?Deepfake 與 machine learning有何關聯? Deepfake 是甚麼?...

1 min read

Don't forget to join our upcoming free IT CAREER TALK on Eventbrite

X
Facebook
YouTube
LinkedIn
Instagram