תגלית נחמדה - data deduplication in Copy, the cloud storage

[mokalan]

קצת רקע
data deduplication זה מנגנון שמאפשר לשירותי ענן לחסוך עלויות של איחסון וגם של תעבורת רשת.
דוגמה: משתמש ראשון מעלה את הפרק האחרון של Game of Thrones לענן, זה לוקח לו הרבה זמן, אבל בסוף הכל בסדר והשרת מסמן שהקובץ נמצא בחשבון שלו. אם יש לו מחשב נוסף על אותו חשבון, אז באותו הרגע המחשב השני מתחיל להוריד את הקובץ. המשתמש השני (אין לו שום קשר לראשון - חוץ מזה ששניהם משתמשים באותו שירות ענן) מוריד את הקובץ בטורנט ומעלה אותו לשירות ענן. הקליינט של המשתמש השני לא באמת מתחיל להעלות את הקובץ, הוא מריץ עליו פונקציית hash ושולח את התוצאה לשרת, אם השרת מזהה שהקובץ כבר קיים, אז הקליינט לא מעלה שום דבר ומיד מסמן שהקובץ נמצא בחשבון של המשתמש. אם למשתמש השני יש מחשב נוסף על אותו חשבון, באותו הרגע בדיוק הקובץ יתחיל לרדת במחשב הנוסף.

אם חושבים קצת על המנגון אפשר להבין שכל מה שצריך בשביל להוריד קבצים שכבר נמצאים בענן, זה תוצאת הhash של הקבצים. העניין הוא שהקליינט ממש לא תומך בזה. יותר מזה, המנגנון מוסתר ממש טוב, כדי שיוזרים לא יעשו את זה.

אם זה היה קל ופשוט, יכולנו לפתוח פורום הורדות שהיה מכיל תוצאות hash של כל מיני קבצים. משתמש אחד היה מוריד סרט בטורנט, הוא היה מחשב את התוצאה של הפונקציה בעזרת המידע הממשי שהוא הוריד, ואז הוא היה כותב פוסט עם המספר בשביל שכולם יורידו את הקובץ עם שירות הענן.

מסתבר שכל זה כבר נעשה מול דרופבוקס, וזאת הסיבה שדרופבוקס כיבו את הglobal deduplication. הם השאירו גרסה פרטית של המנגון, למנוע כפילויות בין קבצים של משתמש בודד.

חשוב לציין שמניעה של global deduplication מיוזרים לא אומרת שהשירות לא עושה את זה בצורה מוסתרת בשביל לחסוך מקום.

ועכשיו, לתגלית הנחמדה. מסתבר שבשירות הענן Copy הglobal data deduplication חי וקיים.

תנסו את זה, תעלו לחשבון שלכם סרט מהוצאה רשמית (משהו נפוץ, כמו פרק אחרון של משהו שכולם רואים) ותראו שהוא לא באמת מעלה שום דבר לענן. רק לוקח לו קצת זמן לסרוק את הקובץ בשביל החישוב של הhash.

גם בלי לעשות את הקומבינה שמוזכרת למעלה (פורום של hashים), הפונקציונליות הזאת נחמדה מאוד. אפשר להעביר קבצים מאוד גדולים לחברים (כל עוד מישהו העלה אותם כבר), בלי להעלות שום דבר. שהרי ידוע שמהירות ההעלאה שלנו בארץ על הפנים.

למי שעדיין אין Copy, מוזמנים ללחוץ על הלינק שלי
https://copy.com?r=3U83nI

[vivi]

יפה מאוד ומעניין מאוד. בעצם אתה אומר שכשמישהו מעלה קובץ נפוץ אז התוכנה של COPY סורקת את הכוננים שלה ובמידה והקובץ קיים אז זה יחסוך את כל זמן העלאה?

[mokalan]

כן, הם לא ממש סורקים שום דבר. כל המידע מאונדקס, הם רק צריכים לבדוק בdatabase שלהם. זה לא לוקח זמן.

תנסה את זה, זה ממש נחמד. גם בלי להתקין שני קליינטים. אתה יכול לראות שהוא יתן לך להוריד את הקובץ בממשק web.

[deleteduser1]

זה בהחלט נחמד. אני מצאתי את עצמי מעלה את כל ספרית הMP3 שלי לשירות. איזה 11 ג'יגה. ולא הבנתי איך יכול להיות שפתאום הקצב הוא כזה מהיר.

[Mad-Dog]

חייב חשבון?
כי נכנסתי לאתר COPY, וגם שם יש אפשרות ל UPLOAD
ניסיתי לזרוק כל מיני דברים פופולארים, ואני רואה שהוא מתחיל UPLOAD סטנדרטי במהירות רגילה,

[Mad-Dog]

עוד ניסוי
העלתי שיר,
ואחרי זה התנתקתי
וניסיתי להעלות אותו שוב
ושוב
זה העלה רגיל

[mokalan]

חייב חשבון?
כי נכנסתי לאתר COPY, וגם שם יש אפשרות ל UPLOAD
ניסיתי לזרוק כל מיני דברים פופולארים, ואני רואה שהוא מתחיל UPLOAD סטנדרטי במהירות רגילה,

...

אתה חייב להשתמש בקליינט שמותקן על המחשב, רק ככה יש לו גישה לכל הקובץ. כשאתה משתמש באתר, אין לך ברירה אלא להעלות את כל הקובץ, בשביל לחשב את הhash.

[Mad-Dog]

הבנתי, ננסה

[eg99]

נרשמתי, ושמתי בתיקית COPY במחשב שלי תיקיה עם קבצים.
כמו בדרופבוקס.
גם אחרי כמה שעות אני לא רואה כלום דרך הדפדפן באתר.
גם לא את שם התיקיה שפתחתי.
יש רעיונות למה?

[shimi810]

לינוקס?

זה קורה גם לי, על לינוקס (כשהרצתי במסוף הייתה איזו שגיאה על חבילה חסרה, אני לא בטוח אם זה הגורם).
לא רואה גם את מדריך ה־PDF (זה יותר פרסומת, אין שם הרבה מידע) שנמצא באתר ולא מסתנכרן לתיקייה במחשב.

[eg99]

אצלי WIN7 אבל אותו מצב.
לא רואה את המדריך במחשב.