פרויקט TheMovieDB בעברית - מאגר הסרטים העולמי

b2k · שליחה 31/01/2016 14:12

THE WIZ

בדקתי 15767 סרטים שיש להם מידע בעברית באתר sratim מול אתר themoviedb אחרי שהסתיימו כל העידכונים ביום שישי.

בבדיקה נמצא כי ל 4611 סרטים אין מידע בעברית באתר themoviedb
הרשימה ללינקים באתר סרטים נמצאת פה:

http://pastebin.com/W54H5eGY

בנוסף ייתכן ו 174 הסרטים הבאים, גם אין מידע (אין להם קוד imdb באתר סרטים)
http://pastebin.com/ZgwJTKyK

אם אתר סרטים חוסם לך את כמות הסרטים למשיכה בגלל ה captcha וההגבלות,
אני יכול לספק לך את כל דפי ה html של הלינקים האלה, ומשם תמשוך את המידע בתוך פחות מכמה דקות.
אם אתה רוצה אני אעלה את זה.

תמשוך את המידע בעברית לחסרים, ותן לגולשים להשלים את הדאטאבייס באתר themoviedb.

(הלינקים ברשימה הקודמת נמצאים גם ברשימה הזאת)

falukky · שליחה 31/01/2016 17:50

אני מוכן להציע את עזרתי בנושא, אני עובד עם Selenium שזה כלי אוטומטי שמזהה אובייקטים של HTML ויכול לבצע קליקים, הכנסת טקסט וכדומה באופן אוטומטי ז"א אני יכול לקרוא נתונים מסויימים (פרטי סרט במקרה הרלונטי), ללכת לאתר מסויים ולהכניס\לשמור את הנתונים ממש כאילו מישהו יושב על הדפדפן ומבצע את זה ידנית.

CaTz · שליחה 31/01/2016 19:50

@b2k
·

נכנסתי ל-כ8 רשומות מהרשימה שלך, ואחד מהשתיים מתקיים עבור כל אלו,
או שאין להם תקציר, או שאין רשומה באנגלית לסרט באתר TheMovieDB.

אם רוצים, אפשר להריץ פעם נוספת עבור כל אותם ה-4K שחסרים בשביל לפחות למלא את השם.
זה לא בעיה גדולה, רק להוסיף אותם למאגר של TheWiz, ולסמן שלא עודכנו עדיין...מפה התוסף ימשיך

b2k · שליחה 31/01/2016 21:09

CaTz

בדיוק בשביל זה אני עושה את הבדיקות ומספק את הלינקים שצריך למשוך ולעדכן.
מפה thewiz ייקח את המידע והגולשים יעדכנו עם התוסף.

בסוף סרטים שלא נוצרו בכלל באתר themoviedb, נצטרך להגדיר אותם ידנית, ולשים את התרגום העברי.

כשנסיים עם אתר סרטים - אני יבדוק את אתר subcenter ו טורק מול אתר TheMovieDB ונשלים גם משם את כל החוסרים אם יהיו.

בסופו של דבר אתר themoviedb - יהיה האתר המעודכן ביותר לתוכן סרטים בעברית.

TheWiz · שליחה 31/01/2016 22:21

חברים אוכל להתפנות לכך רק בסוף החודש.
יש צורך לבנות כלים חדשים בשביל זה וזה ידרוש מס' שעות עבודה שכרגע לא אוכל לפנות.

b2k · שליחה 31/01/2016 23:52

TheWiz כתב:חברים אוכל להתפנות לכך רק בסוף החודש.
יש צורך לבנות כלים חדשים בשביל זה וזה ידרוש מס' שעות עבודה שכרגע לא אוכל לפנות.
...

·

אני אכניס את כל הסרטים לדאטאבייס שלך,
ככה שאין צורך לכתוב כלים נוספים.
עם הפקודה:

קוד: בחירת הכל

http&#58;//api.thewiz.info/index.php?imdb=&#91;imdb-code&#93;

אתה תצטרך לתקן שם שהוא ייקח את המידע בעברית (השם) גם אם אין תקציר בעברית.
ולסרוק שוב את הרשומות שהוא לא הכניס מידע בעברית (יש לך את המנגנון הזה).

כרגע מה שמתקבל אם אין תקציר, לדוגמא,
והמידע באנגלית.

tt0079168|21376 - A Force of One (1979-06-01): Checking...No Hebrew Plot Sratim. Exit.

b2k · שליחה 01/02/2016 13:19

thewiz
הוספתי לך את כל הסרטים החסרים לדטאבייס.
יש לך שם מעל 4000 סרטים.
תריץ את הלופ של משיכת המידע בעברית. (אחרי שתתקן לא להתעלם מסרטים שאין להם תקציר).

==========
לכל מי שרוצה לעזור:

את הרשימה הבאה צריך ליצור באתר themoviedb ידנית, מדובר ב 575 סרטים.
כיוון שהדאטאבייס של thewiz לא מקבל אותם, כי הם לא מוגדרים באתר themoviedb
מי שיוצר את הסרטים, חשוב לשים גם את קוד ה imdb של הסרט באתר themovieddb.

לרשימה
http://pastebin.com/wN5CHhEw

froger · שליחה 01/02/2016 15:22

חבל ליצר ידינית, סקריפט פשוט אמור לאפשר את זה.
IMDB ID כבר נתון בURL, צריך לחלץ את שם הסרט והתקציר מאתר סרטים ולייצר רשומה חדש בTMDB.

jagheadg · שליחה 01/02/2016 15:41

למה זה מופיע ברשימה והוא כן מופיע ב TMDB?
https://www.sratim.co.il/browse.php?cs= ... =tt0685628
https://www.themoviedb.org/movie/329303 ... anguage=en

כנ"ל
https://www.sratim.co.il/browse.php?cs= ... =tt2112213
https://www.themoviedb.org/movie/48015-13hrs

אני לא אומר שכל הרשימה לא טובה, רק צריך לוודא.

BlackMass · שליחה 01/02/2016 17:01

שאלה שאלתית אין אפשרות לתכנות בוט אוטמטי שיעתיק את כל המאגר של אתר סרטים ויעביר אותו למאגר המידע של themoviedb באופן אוטומטי ?
את שלב האימות הרובוטי המפעיל יעבור ואז יתין לבוט לעבוד . להכין אחד כזה נראה לי יקח הרבה פחות זמן מאשר להתחיל להכניס אלפי סרטים באופן ידנית,
אני הוספתי סרטים רבים לאתר סרטים אבל ל themoviedb עדין לא כנראה שאני יפסיק עם אתר סרטים כי הם הפסיקו לתמוך בקהילה קודי.

b2k · שליחה 01/02/2016 21:38

jagheadg כתב:למה זה מופיע ברשימה והוא כן מופיע ב TMDB?
https://www.sratim.co.il/browse.php?cs= ... =tt0685628
https://www.themoviedb.org/movie/329303 ... anguage=en

כנ"ל
https://www.sratim.co.il/browse.php?cs= ... =tt2112213
https://www.themoviedb.org/movie/48015-13hrs

אני לא אומר שכל הרשימה לא טובה, רק צריך לוודא.
...

·

כי זה מה שנתן לי תשובה האתר של thewiz שהוא לא מצליח ליצור אותו אצלו, וגם ייתכן שחלק כבר נעשו ע"י הגולשים.
בנוסף הרשומות נבדקות מול קוד ה imdb שלהן, וסרטים שאין להם באתר TMDB קוד imdb - יחזירו תשובה כלא קיימים.

כל הרשומות נבדקו שוב מול אתר themoviedb ונשארו 474 שלא קיימים בדאטאבייס.
כולן החזירו תשובה
{"movie_results":,"person_results":,"tv_results":,"tv_episode_results":,"tv_season_results":}

בזמנכם הפנוי, תעדכנו
אם ראיתם סרט שכבר קיים והגדירו אותו, תמשיכו הלאה.

http://pastebin.com/wN5CHhEw

b2k · שליחה 01/02/2016 21:46

BlackMass כתב:שאלה שאלתית אין אפשרות לתכנות בוט אוטמטי שיעתיק את כל המאגר של אתר סרטים ויעביר אותו למאגר המידע של themoviedb באופן אוטומטי ?
את שלב האימות הרובוטי המפעיל יעבור ואז יתין לבוט לעבוד . להכין אחד כזה נראה לי יקח הרבה פחות זמן מאשר להתחיל להכניס אלפי סרטים באופן ידנית,
אני הוספתי סרטים רבים לאתר סרטים אבל ל themoviedb עדין לא כנראה שאני יפסיק עם אתר סרטים כי הם הפסיקו לתמוך בקהילה קודי.
...

·

הבוט כבר קיים ויש גם הרחבה לכרום.
עובד מול הדאטאבייס של thewiz

ככה הכנסנו בשבוע שעבר 15000 סרטים.

עכשיו אנחנו עובדים על החוסרים.

AsafLironMaoz · שליחה 01/02/2016 21:48

לא הבנתי משהו ..
מאיפה זה עושה את התרגום?
האם לסדרות זה תקף?

AsafLironMaoz · שליחה 02/02/2016 20:25

התןסף לכרום הושבת ע"י גוגל.

CaTz · שליחה 02/02/2016 21:13

@AsafLironMaoz
·

מה הכוונה הושבת? זה לא נמצא בכלל בחנות שלהם.

AsafLironMaoz · שליחה 02/02/2016 21:36

בכרום עצמו גוגל השביתו לי את התוסף בגלל שהוא לא מהחנות

yuvalg72 · שליחה 03/02/2016 0:13

התוסף עובד מעולה, רק שאין סרטים להכניס...
קרא את המדריך בתחילת הדיון כיצד להתקין את התוסף.

***

דרך אגב, בנושא אחר (האתר TVDB) - אם אני רוצה להוסיף תרגומים לשמות הפרקים של סדרות מסוימות שמשום מה הן ננעלו... כיצד אני יכול לפתוח אותן?

דוגמה לסדרה נעולה:
http://thetvdb.com/?tab=episode&seriesi ... 7068&lid=7

שליחה 03/02/2016 8:56

אגב בתוסף איך מחפשים כותרים בעיברית? אני מנסה לרשום בעברית בחיפוש להפוך את האותיות לתרגם את שם הסרט.
בחלק מהסרטים זה פשוט לגברש את השם אבל צריך לנחש איך רשמו את זה.. יש עוד דרכים?

yuvalg72 · שליחה 03/02/2016 22:18

לא הבנתי את שאלתך.

שליחה 04/02/2016 7:50

yuvalg72 כתב:לא הבנתי את שאלתך.
...

איך למצוא כותרים בעברית שקיים המידע עליהם באתר. כמו למשל מבצע יהונתן. ניסתי לחפש מבצע יהונתן לא מצא גם לא ןתנוהי עצבמ