主頁 高登熱話 吃喝玩樂 科技消費 名人專訪 短片
現有會員可[按此]登入。未成為會員可[按此]註冊。
[公司模式 - 關]  [懷舊模式 - 開
[Youtube 預覽 - 關]  [大字型]  [小字型]

您現在聚腳在 硬件台內。

【再負荊請罪】全新高登官方app HKG正式上架 會員永久免廣告
是咁的,2016年年尾,我因為忽略會員對手機程式o既需求,做o左一個不明智o既決定,加上一直未有好好回應會員平日訴求,最終令唔少會員不滿。事件並唔單單影響我,亦影響一直以來熱愛高登o既每一名網民,為此再向各位表示衷心歉意。:-(

或者有巴打會講,寫好隻app自然會有人回家。我唔否認自己曾經都抱過呢種僥倖心態,但沉思過後,我明白其實只係寫好一隻app並不足夠,要為高登會員做o既事情實在太多,包括提升網速同改善伺服器穩定、維護自由o既討論空間、鼓勵會員參與創作及討論等。因為,高登最珍貴o既係每一位會員,所以落足心力滿足會員訴求係高登o既首要任務。 ......
精選文章
DeerGamer
New App Android IOS
跳至第

發起人
amazon果啲咁大data center,點backup
46 個回應
同埋世界各地有數據中心,相當於在全球唔同地點裝超大型的hard drive, 數據睇安排係同時backup定不同地區backup當地用戶數據,不同企業做法有別


試過cloud d野爛左救唔返啦
(唔係amazon)

amz有分hot同s3

s3會用tape

之前做過換data center帶真係煩到傻的嗎9 明明D機可以入晒一星期七日但D向左走向右走Hi客都係要人豪逐日 有時D機有問題成日BACKUP唔到又唔整又唔換新xx(

amz/google/銀行
如果玩tape,會用auto loader
唔洗人手換

換帶都唔算最煩 最向左走向右走煩係堆JOB會成向左走向右走日FAIL 特別係政府個D 機又舊帶又殘xx( xx(

tape 係易死
你當買完求心理上安心吧


試過cloud d野爛左救唔返啦
(唔係amazon)

amz有分hot同s3

s3會用tape

之前做過換data center帶真係煩到傻的嗎9 明明D機可以入晒一星期七日但D向左走向右走Hi客都係要人豪逐日 有時D機有問題成日BACKUP唔到又唔整又唔換新xx(

amz/google/銀行
如果玩tape,會用auto loader
唔洗人手換

換帶都唔算最煩 最向左走向右走煩係堆JOB會成向左走向右走日FAIL 特別係政府個D 機又舊帶又殘xx( xx(

[sosad] 我做過外判project聽support call,日日都有關backup既call,乜向左走向右走msg, error code都有.我當時都懷疑過究竟有冇成功過


data太多
少咗啲唔見咗都唔會發覺


data太多
少咗啲唔見咗都唔會發覺

如果你用windows
copy 大量data
真係會唔見左小量file

個bug 20年都冇fix[sosad]


你理解有少少錯。第一,點解要備份,係因為一個硬碟有機會壞。而家商用硬碟每年平均壞率係2% (Annualized Failed Rate)。即係你有一百隻新舊不一硬碟,每年壞兩隻左右。當然,一部機可以用幾個硬碟黎令數據更持久。例如raid, check sum, error-correcting code. e.g. Reed-Solomon codes https://en.wikipedia.org/wiki/Reed%E2%80%93Solomon_error_correction

第二,當你上傳一個檔案既時候,s3已經自動複製左去幾個硬碟度。當然,佢唔係直接原始複製,因為咁樣成本好大。我無睇過s3 paper講佢地點分布。最簡單理解,單機會用到以上技巧。而唔同機既分佈, 應該係會用到矩陣(Matrix)。如果將一個file當成bit matrix, 咁就可以用到各樣既matrix decomposition分散到唔同機到. (Ref: https://en.wikipedia.org/wiki/Matrix_decomposition)。

綜合一同二,s3話自己有 99.999999999% durability of objects over a given year. 計下數, 你就咁用三個不相連硬碟裝,都可以有99.9992% = (1 - 2% * 2% * 2%) durability. 爭6個9[sosad]. 係咁既情況下, 你就咁上傳去s3, 已經等於你做好多個backup咁持久. 就算上面提到, s3有glacier會用tape, 同埋有intelligent tier黎去搬去cold store. 我諗呢啲都係幫s3慳硬碟既, 再回饋返俾用戶, 多於s3用佢黎backup. 始終disk同tape first byte latency都差幾級.

有興趣可以再睇下google既做法: google sre book ch 26 data integrity:
https://landing.google.com/sre/sre-book/chapters/data-integrity/


同埋世界各地有數據中心,相當於在全球唔同地點裝超大型的hard drive, 數據睇安排係同時backup定不同地區backup當地用戶數據,不同企業做法有別


當你有s3咁大, 實有堆人睇住容量同增長率, 定期加機加碟, 確保佢未來幾個月唔會爆.


同埋世界各地有數據中心,相當於在全球唔同地點裝超大型的hard drive, 數據睇安排係同時backup定不同地區backup當地用戶數據,不同企業做法有別


當你有s3咁大, 實有堆人睇住容量同增長率, 定期加機加碟, 確保佢未來幾個月唔會爆.

理想上,cloud back 可以去硏究個file sha/md5
唔洗keep重復file

不過,而家人人加密左先up上cloud,功能廢左


同埋世界各地有數據中心,相當於在全球唔同地點裝超大型的hard drive, 數據睇安排係同時backup定不同地區backup當地用戶數據,不同企業做法有別


當你有s3咁大, 實有堆人睇住容量同增長率, 定期加機加碟, 確保佢未來幾個月唔會爆.

理想上,cloud back 可以去硏究個file sha/md5
唔洗keep重復file

不過,而家人人加密左先up上cloud,功能廢左

s3有encryption in-transit既, 唔洗自己加密, 做到好transparent.


同埋世界各地有數據中心,相當於在全球唔同地點裝超大型的hard drive, 數據睇安排係同時backup定不同地區backup當地用戶數據,不同企業做法有別


當你有s3咁大, 實有堆人睇住容量同增長率, 定期加機加碟, 確保佢未來幾個月唔會爆.

理想上,cloud back 可以去硏究個file sha/md5
唔洗keep重復file

不過,而家人人加密左先up上cloud,功能廢左

s3有encryption in-transit既, 唔洗自己加密, 做到好transparent.

少年,你太年輕:o)
如果係work,
nas冇左生存空間

btw,如果冇非法DL/Bt

hdd需求唔會禁大


availability zone D data center 互抄

除非一野死晒 原因應該係打緊世界大戰


同埋世界各地有數據中心,相當於在全球唔同地點裝超大型的hard drive, 數據睇安排係同時backup定不同地區backup當地用戶數據,不同企業做法有別


當你有s3咁大, 實有堆人睇住容量同增長率, 定期加機加碟, 確保佢未來幾個月唔會爆.

理想上,cloud back 可以去硏究個file sha/md5
唔洗keep重復file

不過,而家人人加密左先up上cloud,功能廢左

s3有encryption in-transit既, 唔洗自己加密, 做到好transparent.

in-transit有乜用,end to end 先穩陣


電子野點都會壞,佢地應該係print出黎做記錄


就係用HDD,十萬隻唔夠就裝夠一百萬隻,
佢仲有架Snowmobile做on site data transfer,
一架可以裝到100 PB

https://image.cnbcfm.com/api/v1/image/106027651-1563487579148awsthumbnailoption4.jpg

呢架就係大型external hdd:O #adore# #adore# #adore#


反而想知youtube(google)係點運作[sosad]
無限大?


反而想知youtube(google)係點運作[sosad]
無限大?

https://www.hkgolden.com/ArticleBase/big/13963/65639.jpg
https://s314.siliconimg.com/kb/content_images/2015/08/20/868369/1440034590_868.jpg


有人話美國d科技巨人
為左DR,
係外太空有mirror site
老實講
我信


有人話美國d科技巨人
為左DR,
係外太空有mirror site
老實講
我信

m$有玩過海中server

為咗唔洗搞散熱

但只係test


反而想知youtube(google)係點運作[sosad]
無限大?

其實都係sequential I/O. Client side既codec個啲應該有現成paper. 反而預測熱門影片, 然後replicate / heat management就特別啲#hehe#


插外置HDD抄#yupsk#
amazon外置HDD成日做特價就係有時買多左

難分真與假[sosad]sg

[sosad] [sosad] [sosad]


[sosad] [sosad] [sosad] [sosad]


反而想知youtube(google)係點運作[sosad]
無限大?

其實都係sequential I/O. Client side既codec個啲應該有現成paper. 反而預測熱門影片, 然後replicate / heat management就特別啲#hehe#

老細話要整個睇片網
https://forum.hkgolden.com/thread/6390069/page/1


[sosad] [sosad]


跳至第



  快速回覆 - 輸入以下項目

本討論區現只接受會員張貼文章,本站會員請先登入。非會員人仕,您可以按此加入為新會員,費用全免,並可享用其他會員服務。


上次光臨時間: 4/6/2020 3:21
今天貼文總數: 573 | 累積文章數目: 6,688,695

聯絡我們 | 服務條款 | 私隱政策 | 廣告查詢 | 職位空缺
Copyright © 2020 HKGolden.com. All Rights Reserved.