מי אמר שאי אפשר להביא מידע + כתוביות בעברית באופן אוטומטי?

Shed · שליחה 17/01/2009 18:48

לאחר מספר ימים של עבודה (וכמה שורות קוד בפרל) הגעתי לאוטומציה מלאה של הבאת מידע, בעברית על תכנים שהגיעו מהרשת.
התהליך:
1. זיהוי IMDB ID (ל-iMDB יש אופצייה fuzzy search, אשר יודעת להבין ש-spiderman.1080p,RIP מתייחס ל-spiderman). בצורה כזו אפשר למצוא את כותר הסרט בצורה מושלמת.
2. חיפוש פוסטר במספר אתרים, המחזיקים פוסטרים ברזולוציה גבוהה. דוגמא לאתר כזה: www.impawards.com
3. משיכת מידע על הקובץ בעברית - במאי, תקציר, שחקנים וכו'.
4. משיכת כתוביות מ-opensubtitles.

אחד הדברים שהינחו אותי בלוגיקה שתיארתי כאן היא חיסכון בעבודה מול שרתים של אתרים ישראלים, על מנת לא להעמיס עליהם רוחב פס. לכן, אני מעדיף לקחת את הפוסטר מאתר בחו"ל, וכך גם את הכתוביות. למעשה מהאתרים הישראלים אני לוקח רק את המידע הטקטואלי בעברית. בנוסף, הכנסתי מנגנון מניעת abuse, אשר לא נותן למשוך מידע ליותר מ-10 קבצים בשעה.
בצורה כזו, גם אם אני מחבר עכשיו דיסק של טרה מלא בתכנים, לא תהיה "הפצצה" של אתרים ישראלים. המידע יגיע טיפין טיפים, 10 סרטים בשעה, באופן אוטומטי.

הנה צילום מסך של התוצר:

ofdi · שליחה 17/01/2009 18:54

ואיך הצלחת להביא את המידע בעברית...
את הפוסטר והתרגום אני מביא ידנית אז מה שמעניין אותי זה המידע בעברית.

בכל אופן, אחלה יוזמה...

nokobik · שליחה 17/01/2009 18:56

עבודה יפה.
אבל החסרון ב-OpenSubtitles שאין שם יותר מידי כתוביות בעברית.

Shayosef · שליחה 17/01/2009 19:02

ממש טיזינג

Shed · שליחה 17/01/2009 19:10

אני לא עובד עם VMC, אני עובד עם mythtv, וגם סקרתי אותה כאן בעבר. ל-mythtv יש יתרונות רבים על פני תוכנות אחרות, ואחד היתרונות האלה זה האפשרות לממשק לתוך התוכנה כל מיני תהליכים אוטומטיים שיקרו כאוות נפשך (בניגוד לתוכנות צד שלישי שצריכות לבנות מידע, ולרוץ "מחוץ" לתוכנה הראשית).

לגבי opensubtitles - אני לא רואה שם חסרון בכתוביות בעברית, להיפך. בנוסף, כמו שכתבתי, אני לא מתכוון להעמיס על שרתים של אתרים ישראלים הורדה של קבצי כתוביות בלי תיאום מסודר עם בעלי האתר.

SHIRS · שליחה 17/01/2009 19:15

ולא בא לך ששנסה אותה ונגיד איך היא? חחח נשמע מעולה והכל אבל למה לא פרסמת קישור להורדה? תודה

שליחה 17/01/2009 19:20

כל הכבוד!

אגב, סקריפטים של PERL אפשר להריץ גם על Windows...

Shed · שליחה 17/01/2009 19:47

pixies כתב:כל הכבוד!
אגב, סקריפטים של PERL אפשר להריץ גם על Windows...
...

כן, אבל ה-interface (אם קיים כזה בכלל -VMC) שונה לחלוטין. אוסף הפרלים שלי מוציא פלט אשר mythvideo יודע לקרוא (לפי ה-API של mythtvideo) ואז מכניס את כל הפרטים ל-database.
לא נראה לי שזה יהיה שימושי למי שלא משתמש ב-mythtv.

דרך אגב, במהלך העבודה נתקלתי בבאג ב-perl, בספריית LWP כאשר ספריית HTTP::request היא בגרסא 3.4 וצפונה. ביצעתי איזה שהוא תיקון לבאג הזה, ואני לא בטוח שזה בכלל ניתן לביצוע תחת חלונות.

Itay_Pollak · שליחה 18/01/2009 13:34

מצוין!
שווה לשקול להכניס את מה ש JPOST הכניס ל MOVIEJUKEBOX למזרימדיות - אם לך יש כתוביות ובOPEN אין - אז התוכנה מעלה את הכתוביות לאתר... - ככה יש שיתוף על כתוביות

שליחה 18/01/2009 14:23

shed,

איך עושים FUZZY SEARCH ב-IMDB?

וגם, איך ה-INTERFACE מול OPENSUBTITLES/.ORG?

Shed · שליחה 18/01/2009 15:28

oferlaor כתב:shed,

איך עושים FUZZY SEARCH ב-IMDB?

וגם, איך ה-INTERFACE מול OPENSUBTITLES/.ORG?
...

1. אפשר להעביר ל-imdb פרמטר type=fuzy בשורת ה-URL, בנוסף לפרמטרים אחרים שעוברים שם (למשל שם הסרט אותו אתה מחפש). בנוסף, גיליתי ש-IMDB לא מתמודד כל כך טוב עם כל הערות ב[] וכו' אז אני דואג להעיף אותן לפני.

2. ה-interface מול opensubtitles (ולמעשה מול כל האתרים מולם אני עובד) הוא HTTP. אני שולח בקשות HTTP (בין אם זה GET או POST), מקבל תשובה ומפענח אותה בדיוק כמו כל בראוזר רגיל.
אחת הסיבות המרכזיות לבחירה בפרל (למרות שעד היום לא ממש התנסיתי בכתיבת פרל) היתה צורת העבודה הזו בשילוב היכולות המדהימות של פרל בעבודה על סטרינגים מכל הסוגים והמינים.

שליחה 18/01/2009 15:52

נשמע מצויין.
האם משתמשי mythtv (כמוני) יכולים לקבל קישור לסקריפט הזה?
אני אודה לך מאוד, אני מחפש דבר כזה כבר הרבה זמן.
אגב, איך הוא מסתדר עם סדרות (כולל פרקים ומידע על כל פרק)?

שליחה 18/01/2009 17:16

shed,

אתה יכול לתת לי דוגמא? אני לא רואה הבדל בין שימוש עם FUZZY ובלי.

Shed · שליחה 18/01/2009 17:38

tur כתב:נשמע מצויין.
האם משתמשי mythtv (כמוני) יכולים לקבל קישור לסקריפט הזה?
אני אודה לך מאוד, אני מחפש דבר כזה כבר הרבה זמן.
אגב, איך הוא מסתדר עם סדרות (כולל פרקים ומידע על כל פרק)?
...

הסקריפט יעלה למאגר של mythtv לאחר עוד סדרת בדיקות וקצת ליטושים (בדיוק כמו שעשיתי עם התיקון ל-OSD בעברית שלי). כאשר אני ארגיש שהוא מספיק בשל ומדובג, נמצא איזו דרך מהירה להפיץ אותו.

לא בדקתי בכלל את נושא הסדרות והפרקים (אני לא מוריד תכנים ו/או סדרות בכלל כך שאין לי חומר לבדוק עליו). כרגע החיפוש הוא על סרטים בלבד, ולא על סדרות בדיוק מהסיבה הזו.
יכול להיות שבעתיד אני אביא דיסק עם כמה עונות של כמה סדרות, ואשפץ את הסקריפטים בהתאם.

שליחה 18/01/2009 17:55

כשאתה מעלה את זה למאגר, האם אני יכול להשתמש בזה בצורה פשוטה או שעלי להוריד ולקמפל (אני בעיקר מתכוון ל OSD, אני מניח שאין מה לקמפל סקריפט של פרל)?

shmil_y · שליחה 18/01/2009 18:03

נשמע מצויין, אני בטוח שניתן יהיה לשכלל את הסקריפט בפרל כך שיזרוק את המידע לתוך XML כך שיוצג בלי בעיה ב-VMC ע"י אחד הפלאגינים כמו media browser.

Shed · שליחה 18/01/2009 19:03

אין מה לקמפל. אתה רק תצטרך לשנות כמה הגדרות קטנות ב-myth כדי שישתמשו בסקריפט הזה ולא בדיפולטיבי. זה הכל

kokoman3 · שליחה 18/01/2009 22:31

אם תוכל אז בבקשה תודיע גם כאן בפורום על הפרסום של הסקריפט,
אני פשוט לא עוקב אחרי הפורום של MYTH

Shed · שליחה 19/01/2009 8:47

oferlaor כתב:shed,

אתה יכול לתת לי דוגמא? אני לא רואה הבדל בין שימוש עם FUZZY ובלי.
...

אני ראיתי הבדלים עם שמות קבצים של מרטין (איזה משהו של wall-e), אני לא זוכר את הפורמט או שם הקובץ המדוייק.

בכל מקרה - ההבדל קיים, כנראה שבחלק מהמקרים הוא פחות משמעותי.

מי אמר שאי אפשר להביא מידע + כתוביות בעברית באופן אוטומטי?

באיזה תוכנה את עובד ... VMC ???