פרויקט TheMovieDB בעברית - מאגר הסרטים העולמי

תוכנות ניהול מדיה: KODI, תוספים, XBMC, Media Portal, PLEX וכו'
tomer953 פותח השרשור
סמל אישי של משתמש
חבר מכור קשה
חבר מכור קשה
תגובות: 5304
הצטרף: מרץ 2010
שם מלא: tomer953

שליחה

שלום לכולם,

(i) הקדמה
~~~~~~~~~~~~~~~~~
כמשתמשי קודי, יש לחלקנו ספריות סרטים, אשר אנו מעוניינים להציג עבורם 'מידע' (תקציר\פוסטר\דירוג\במאי וכו')
הכלי אשר יודע להתחבר אל אתר אינטרנט ולמשוך ממנו מידע נקרא 'סקרפר' - וכיום רובכם משתמשים ב'סקרפר' של אתר 'סרטים'.
השרשור נועד על-מנת שנוכל להשתמש באלטרנטיבה טובה יותר בשם TheMovieDB, ומיד אסביר מדוע.

(i) האפשרויות השונות
~~~~~~~~~~~~~~~~~
מאגרי הסרטים בעולם הם רבים, אך לנו כישראלים יש בערך 3 מוכרים\רלוונטים:

1. IMDB - Internet Movie Database
http://www.imdb.com/
האתר הכי מוכר ופופולרי בעולם, מכיל את המאגר הנרחב ביותר של סרטים - תומך בשפה אחת בלבד - אנגלית
לכן IMDB יוצא מהמשוואה שלנו.
API: קיים

2. אתר TheMovieDB
https://www.themoviedb.org/
האתר הבא הוא אתר שנוצר בסגנון WIKI, מה שאומר שכל אחד יכול לערוך ולתרום את חלקו, הוא מאפשר 'ריבוי שפות', ולכן על כל 'רשומה' של סרט, ניתן להוסיף 'שכפול' בשפה אחרת, ובכך ליצור מאגר תכנים אדיר התומך בריבוי שפות.
האתר תומך בכל מה שקודי צריכה, מכיל פוסטרים, פאנארט, טריילרים, תקצירים וכו'.
API: קיים

3. אתר Sratim.co.il
https://www.sratim.co.il/
האתר הישראלי, מכיל את המגוון בגדול ביותר של סרטים עם מידע בעברית, כלומר כל כותרת שקיימת לסרט בעברית, תהיה כאן - או שלא תהיה בשום מקום אחר, מעין 'מונופול' של המידע.
API: לא קיים.

מבין שלושת האתרים, האתר שבו אנו צריכים להשקיע את מירב המאמצים הוא מספר 2, TheMovieDB - שכן הוא תומך בקודי בצורה מלאה,
ומנגנון ה-API שלו עובד באופן מהיר וחלק עם קודי.
מה זה API ? מבלי להרחיב במונחים טכניים, אלו הן ערכות מוכנות של ספריות קוד ופונקציות, המאפשרות למתכנתים לתקשר עם השרת באופן יעיל ומהיר, לדוגמה, כדי למשוך את המידע על סרט מאתר עם API, עליי לציין לשרת את שם הסרט והשנה, והוא יחזיר לי באופן מהיר ומדויק את כל הפרטים הרלוונטים - בצורה מסודרת.
אתר בלי API, לא מספק שום כלי לכך, ועל המפתח לשלוח קריאות מרובות לשרת, על-מנת שהשרת יחזיר לו את 'דף התוצאות' המלא, ומשם להתחיל לסנן את כל המידע (עבודה מייגעת, שלעיתים הולכת לפח בעקבות שינוי הכי קטן של האתר בעיצוב שלו).
שימוש באתר עם API לעומת שימוש באתר ללא API יכול להסתכם בשעות של ביצועים, לדוגמה סריקה של 500 סרטים ב- Themoviedb תיקח דקות אחדות (כשנייה לסרט), בעוד סריקה של מאגר זהה באתר סרטים, תיקח שעות שלמות.

יתרון נוסף לאתר TheMovieDB על פני שאר האתרים, הוא התמיכה הטבעית שלו ב'מארזים', כלומר אם יש לכם בספרייה "ספיידרמן 1\2\3"
אז האתר הזה יידע להכניס לכם את זה כבר לתוך מארז אוטומטית בקודי! מי שמנהל ספריות גדולות, יודע כמה העבודה הנ"ל יכולה להיות מייגעת באופן ידני.

(i) הבעיה
~~~~~~~~~~~~~~~~~
אתר TheMovieDB מכיל כמעט את כל הסרטים בעולם, אך הוא מכיל אותם בשפה האנגלית. כדי לקבל את החוויה בצורה המלאה, יש ליצור 'תרגום' לרשומות האלו גם לשפה העברית.
ישנם 2 מקרים אפשריים:
1. הסרט קיים באנגלית, אך ללא תרגום המידע לעברית (כמעט הרוב המוחלט של המצבים)
2. אין לסרט רשומה בכלל, כנראה סרט ישראלי או סרט נדיר, ויש לפתוח לו ראשית רשומה באנגלית, ולאחר מכן רשומה בעברית

(i) הפיתרון
~~~~~~~~~~~~~~~~~
השלמת החוסרים על-ידי מתנדבים בפרויקט.
באמצעות השלמת החוסרים, נוכל אנו המשתמשים להינות מאתר חינמי ומהיר, מתקדם ברמה עולמית, ותומך בקודי בצורה מלאה כולל המון פי'צרים והגדרות.

שלבי הפיתרון:
1. איסוף המידע הרלוונטי - אילו סרטים חסרים?
2. חלוקת הרשימה של כל החוסרים למתנדבים שונים
3. כל מתנדב ישלים את החלק שלו ברשימה

כמובן שככל שיהיו יותר מתנדבים, כך כל מתנדב יצטרך להשלים פחות סרטים.
חשוב לציין כי תהליך של 'תרגום סרט', הוא פשוט ולוקח פחות מדקה, אני מאמין שבקרוב ייצא סרטון הדרכה קצר ביוטיוב\מדריך פשוט, כיצד בשניות ניתן לקחת סרט קיים, ולהכניס לו את הכותרת\תקציר בעברית.


אם זה משהו שמעניין אתכם, אפשר להתחיל בחלק הראשון:
:arrow: שלב ראשון: איסוף המידע החסר - עריכה: השלב הסתיים

:arrow: שלב שני: חלוקה למתנדבים - אנחנו כרגע עובדים על דרך נכונה לחלק לכם המתנדבים כדי שתוכלו לעדכן, בהערכה גסה יש כ-5000 חוסרים, כך שאם יהיו כ-50 מתנדבים, כל אחד יצטרך לעדכן 100 רשומות (עניין של שעה-שעה וחצי עבודה). וסגרנו את הסיפור.

:arrow:שלב שלישי: עדכון הנתונים בקליק. --> עריכה: השלב הסתיים

בעקבות השרשור הזה - נבנה ע"י CaTz ו- TheWiz תוסף לכרום שעושה את הכל מאחורי הקלעים, כל שעלינו לעשות זה להתקין את התוסף, ולעשות SAVE למידע. ממש ככה - על כל קליק שלכם - יתווסף עוד סרט למאגר.

אז איך עושים את זה? נחלק את התהליך ל-3 שלבים:
1. הרשמה לאתר https://www.themoviedb.org/account/signup והגדרת החשבון שלכם בעברית. לאחר ההרשמה יש להתחבר לחשבון שלכם ובהגדרות יש לבחור את השפת משתמש כ- Hebrew.
2. מורידים את התוסף לכרום מכאן: http://www.upf.co.il/file/577784115.html
התוסף יורד כקובץ .crx - כדי להתקין אותו, עליכם להיכנס בכרום לדף ההרחבות (דרך מסך ההגדרות) (Extensions באנגלית) - ופשוט לגרור את הקובץ שהורדתם לדף הזה - זה יותקן אוטומטית. מי שמסתבך הנה מדריך איך מתקינים הרחבה:
http://www.yac.mx/iw/pc-tech-tips/inter ... hrome.html

3. הקסם מתחיל - עכשיו כנסו לאתר themoviedb ותרעננו את האתר, תשימו לב שהאתר לוקח אתכם ישירות לדף של סרט - אוטומטית הוא פותח את הסרט לעריכה - ואוטומטית הוא מכניס את התקציר והכותרת של הסרט! כל מה שעליכם לעשות זה ללחוץ על 2 הכפתורים שלמטה, SAVE, ולאחר הלחיצה על SAVE ללחוץ על MARK AS DONE וזהו! לאחר הלחיצה - הדף יתרענן עם סרט חדש... ושוב ללחוץ SAVE וכו' וכו'... ככל שתעשו יותר סרטים - ככה מהר יותר נסיים עם זה...

כאן יש מעין וידאו קצר שמדגים את התהליך שאתם אמורים לראות אם התוסף הותקן בהצלחה:
http://screencast.com/t/CBjLijfB26

תודות מיוחדות ל- CaTz ו TheWiz.


עריכה:
(l) (l) (l) (l)
תודה ענקית לכולם - הצלחנו לעדכן 12,000 רשומות כולל תקצירים וכותרות בשעות ספורות! מדהים כמה הקהילה נרתמת למען מטרה משותפת וחשובה.
תודה, תודה, תודה! הרווחנו אחלה סקרפר.
נערך לאחרונה על ידי tomer953 ב 27/01/2016 13:52, נערך 3 פעמים בסך הכל.

tomer953 פותח השרשור
סמל אישי של משתמש
חבר מכור קשה
חבר מכור קשה
תגובות: 5304
הצטרף: מרץ 2010
שם מלא: tomer953

שליחה

@b2k \ @TheWiz
בזמנו אני זוכר שהקיר סרטים יכל לייצר תיקיות עם שמות של סרטים מ-IMDB... כמות של 5000-10000 תיקיות,
מה שיכול לקצר משמעותית את התהליך של מציאת החסרים, במקום שמשתמשים שונים יביאו לי מה חסר אצלם, אפשר לייצר פיקטיבית ספרייה עם 10K סרטים מ-IMDB, ולראות את החוסרים כאשר נסרוק אותה...

MeniBI
חבר פעיל במיוחד
חבר פעיל במיוחד
תגובות: 663
הצטרף: יולי 2007

שליחה

תומר תודה,
יש גם את זה http://kodi.wiki/view/Add-on:Universal_Movie_Scraper
שווה לבחון ולהעיף מבט, מצא לי בימים האחרונים הרבה סרטים והוריד מידע ופוסטרים בעברית

blknom1
חבר ותיק
חבר ותיק
תגובות: 1322
הצטרף: נובמבר 2009
מיקום: מודיעין

שליחה

תומר, כל הכבוד על היוזמה. יישר כוח!

tomer953 פותח השרשור
סמל אישי של משתמש
חבר מכור קשה
חבר מכור קשה
תגובות: 5304
הצטרף: מרץ 2010
שם מלא: tomer953

שליחה

MeniBI כתב:תומר תודה,
יש גם את זה http://kodi.wiki/view/Add-on:Universal_Movie_Scraper
שווה לבחון ולהעיף מבט, מצא לי בימים האחרונים הרבה סרטים והוריד מידע ופוסטרים בעברית
...
·

זה לא "גם", אלא פשוט "עוד סקרפר" שלוקח מ- TMDB.
הוא לוקח מ- TMDB \ IMDB לפי ההגדרות שלך... אם אצלך הוא הביא בעברית, אז זה מתוך TMDB..
שזה בדיוק הפרויקט כאן...

snowgoose
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
תגובות: 713
הצטרף: ינואר 2007

שליחה

סתם שאלה מתוך סקרנות, האם יש ל TheMovieDB API שמאפשר הוספת סרט ?
בחיפוש קצר בתיעוד ה API לא הצלחתי למצוא..

כי אם כן, אפשר לפשט את התהליך ממש..
Natural Born Gamer

tomer953 פותח השרשור
סמל אישי של משתמש
חבר מכור קשה
חבר מכור קשה
תגובות: 5304
הצטרף: מרץ 2010
שם מלא: tomer953

שליחה

snowgoose כתב:סתם שאלה מתוך סקרנות, האם יש ל TheMovieDB API שמאפשר הוספת סרט ?
בחיפוש קצר בתיעוד ה API לא הצלחתי למצוא..

כי אם כן, אפשר לפשט את התהליך ממש..
...
·

כנראה שלא...
אבל אם יש לך ידע תכנותי להכין כל מיני כלי עזר שישפטו את התהליך אני אשמח.
(למשל תוסף לכרום שיודע לקבל ID של סרט ולהביא את הפרטים מתוך אתר X כדי שנוכל להדביק אותם באתר Z)

yuvalg72
חבר שרק התחיל
חבר שרק התחיל
תגובות: 49
הצטרף: דצמבר 2012

שליחה

תרומתי הצנועה לפרויקט:

http://pastebin.com/pvqtebKf

TheWiz
חבר מביא חבר
חבר מביא חבר
תגובות: 3253
הצטרף: אפריל 2005

שליחה

תומר,

אני יחסוך לך הרבה עבודה. לי יש 15,000 כותרים בעברית מלאים. תן לי ממשק כל שהוא ואני יעדכן הכל בלחיצת כפתור. חבל על העבודה 8)

abeksis
סמל אישי של משתמש
חבר ותיק
חבר ותיק
תגובות: 1433
הצטרף: מאי 2014
שם מלא: אבי אבקסיס

שליחה

כל הכבוד תומר על היוזמה.

במידה ותרצה עזרה בכל הקשור לנושא אתה יודע איפה למצוא אותי. :-)

TheWiz
חבר מביא חבר
חבר מביא חבר
תגובות: 3253
הצטרף: אפריל 2005

שליחה

העלתי הודעה שם, נראה אם יצרו לי קיצור דרך.

https://www.themoviedb.org/talk/56a639d ... 389000bfc5

אם כן, כל מה שנשאר זה רק לעדכן סרטים חדשים שם ואנחנו מסודרים 8)

תומרנעמן
חבר פעיל מאוד
חבר פעיל מאוד
תגובות: 202
הצטרף: דצמבר 2015

שליחה

תודה לtomer953 ו thewiz שתורמים רבות לקהילת הקודי בישראל.

itrigalo
סמל אישי של משתמש
חבר פעיל מאוד
חבר פעיל מאוד
תגובות: 328
הצטרף: דצמבר 2006

שליחה

@tomer953 איזו יוזמה!! סחטיין ותודה רבה! (Y)

כ"כ חיכיתי שמישהו (עם ידע) ירים את הכפפה הזו כבר...
כל הכבוד לך וכמובן גם ל @TheWiz וכל שת"פ כזה או אחר שיבוא בהמשך.

פשוט כיף לראות כזה דיון!
:D
אלופים!!

TheWiz
חבר מביא חבר
חבר מביא חבר
תגובות: 3253
הצטרף: אפריל 2005

שליחה

האמת תומר דחף מס' פעמים בכיוון, אבל היה נח לנו לא לשנות סדרי בראשית,
אבל לאחר הפוסט של אתר סרטים אז בהחלט נתן לנו Boost מטורף :lol:

אין כמו איום על חיי הקהילה החופשית בשביל להוציא את המיטב שבנו להילחם על החופש :D

danielk
חבר פעיל במיוחד
חבר פעיל במיוחד
תגובות: 572
הצטרף: נובמבר 2008
מיקום: ירושלים

שליחה

אני אשתף את הצד שלי בנושא בימים הקרובים.

tomer953 פותח השרשור
סמל אישי של משתמש
חבר מכור קשה
חבר מכור קשה
תגובות: 5304
הצטרף: מרץ 2010
שם מלא: tomer953

שליחה

מעולה TheWiz, בעזרתך אני מאמין שהפרויקט יתקדם משמעותית מהר יותר.

בעיקרון צריך לקחת את הרשימת סרטים שלך, ולראות אילו מהם לא נמצאים ב- THEMOVIEDB כעת.
אפשר ליצור תיקיות עם השם של הסרטים האלו, ולשלוח את הסקרפר לסרוק אותם... כעבור כמה שעות כל אותם סרטים שלא קיבלו מידע - אלו הם הסרטים שעלינו לעדכן... זה שלב ראשון.. חייב לסנן את המידע שיש לעדכן.

לאחר שתהיה לנו רשימה של בדיוק אילו רשומות יש לעדכן.. תתחיל כל עבודת הסקריפטינג של ליצור את המינימום עבודה\זמן נדרש כדי להכניס אותם ל THEMOVIEDB, גם אם זה ידרוש קצת העתק הדבק, או אפילו תוסף לכרום שיודע לקבל "קלט" מסוים ולשלוח את השדות המתאימים באתר של THEMOVIEDB כדי ליצור רשומות זריז...
כמובן שהתרחיש הורוד ביותר שהם יפתחו את ה API שלהם לכתיבה לצורך עדכון ה-DB שלהם.

b2k
סמל אישי של משתמש
חבר מביא חבר
חבר מביא חבר
תגובות: 4709
הצטרף: יולי 2008

שליחה

עובד עכשיו על קובץ מסודר שיכיל את כל הסרטים שבאתר sratim.co.il.
ישותף ב google sheet.
רק להעתיק את התוכן מהקובץ לאתר themoviedb.com

יכיל מעל 20000 סרטים.

עריכה:
התחלתי להכין את המאגר ... אבל הכניסו חסימה של captcha ככה שיש לי רק את 5000 הראשונים.

thewiz מספק את הדאטאבייס שלו ככה שהקהילה תעבוד לפי הדאטאבייס שלו.
נערך לאחרונה על ידי b2k ב 26/01/2016 13:36, נערך 2 פעמים בסך הכל.

tomer953 פותח השרשור
סמל אישי של משתמש
חבר מכור קשה
חבר מכור קשה
תגובות: 5304
הצטרף: מרץ 2010
שם מלא: tomer953

שליחה

אם יש לך דרך חכמה לסנן את זה, אז זה יעזור... מה שכבר קיים ב- themoviedb עם כותרת בעברית אז לא צריך..

TheWiz
חבר מביא חבר
חבר מביא חבר
תגובות: 3253
הצטרף: אפריל 2005

שליחה

בקיצור אין להם כלי כזה.

אני יכול ליצור כלי שידחוף להם את המידע אבל זה יקח לי יום עבודה כמו כלום וסביר להניח שהם יחסמו את השרתים שלי בסופו של דבר.

tomer953 פותח השרשור
סמל אישי של משתמש
חבר מכור קשה
חבר מכור קשה
תגובות: 5304
הצטרף: מרץ 2010
שם מלא: tomer953

שליחה

TheWiz כתב:בקיצור אין להם כלי כזה.

אני יכול ליצור כלי שידחוף להם את המידע אבל זה יקח לי יום עבודה כמו כלום וסביר להניח שהם יחסמו את השרתים שלי בסופו של דבר.
...
·

כן הם ענו בפורום שם שאין להם כלי כתיבה ל- API.

מה שכן, השאלה אם ניתן לייצר איזשהו TOOL או אפילו תוסף לכרום, או איזה windows form כזה, שיודע לקחת את המידע שאתה\b2k תביא, ולהמיר אותו לצורה נכונה לפרסום ל- themoviedb

בסופו של דבר, אין לי בעיה להביא לפה 20-100 מתנדבים שיתחילו לעשות העתק-הדבק, רק צריך לעשות את ההכנה המקדימה של "הנה התוכן-הנה הכתובות שאתם צריכים לעדכן-בהצלחה"

חזור אל “תוכנה - KODI”