חילוץ כתוביות מקובץ MKV

[Amir64]

אולי זה לא המקום ועדיף לפצל (משאיר את זה למנהלים).

אני באמת לא מבין למה צריך כאן OCR...
השימוש ב- OCR מתאים לשליפה של כיתוב מתמונה.
MKV זו אריזה שמאפשרת לסנכרן קבצי כתוביות בלי הצורך לצרוב אל התמונה עצמה, כך שבתכל'ס לא צריך OCR, אלא כלי שיודע לקרוא את התוכן שיש באריזה.

אין כלים מבוססים ffmpeg?
שנים שאני מעדיף אותו, כי שולף את קובץ הכתוביות בדיוק כמו שהוא מהאריזה (כמעט כל אריזה), בלי שגיאות שמכניס כלי שלא מתאים למשימה.

...

אם הכתוביות בפורמט SRT, אז אפשר פשוט להוציא אותן.
אבל אם הכתוביות שמורות כתמונות בקונטיינר PGS (Presentation Graphic Stream),
שנמצא בתוך ה- MKV, מה אתה יכול לעשות עם ffmpeg?
למשל שורת התרגום הזו... זו תמונה.

image.png

אם אתה רוצה להפוך את התרגום לפורמט srt, כלומר לטקסט, אתה צריך תוכנת OCR שיודעת לחלץ את הטקסט מהתמונות, מכירה עברית, ותוכנה כמו subtitle edit שיודעת לייצר קובץ srt מאותן כתוביות.

לא כל כך נפוץ שיש ב- MKV כתוביות בקבצים שאינם srt, אבל בהחלט יש.
למשל הסרט הזה:

image.png

אפשר לראות שיש 2 כתוביות בפורמט SRT, מסומנות באדום, ורשימה של כתוביות נוספות שמסומנות בכחול - אלו כתוביות בקבצי תמונה .
כדי להוציא את הכתוביות בעברית, למשל וליצור srt, חייב להשתמש בתוכנת OCR, ולייצר לבד קובץ srt.

[ufffnick]

הבנתי.
חייב להודות שמעולם לא נתקלתי בפורמט כזה...
מאז ומעולם פגשתי רק קבצי טקסט.

אגב, אפשר בקלות לאמן מודל AI קטן שיודע לזהות אותיות ומילים בתמונות (כמו google lens), משמעותית יותר מדוייק.
לא יודע כמה מורכבת תהיה האינטגרציה.

[Amir64]

הבנתי.
חייב להודות שמעולם לא נתקלתי בפורמט כזה...
מאז ומעולם פגשתי רק קבצי טקסט.

אגב, אפשר בקלות לאמן מודל AI קטן שיודע לזהות אותיות ומילים בתמונות (כמו google lens), משמעותית יותר מדוייק.
לא יודע כמה מורכבת תהיה האינטגרציה.

...

אולי נתקלת ולא שמת לב.
הרוב מנגנים את הסרט, כמו שהוא, ובוחרים בכתוביות שרוצים לראות, אם הן קיימות בתוך ה- mkv, ואם לא, אז מורידים srt בשיטה האהובה עליהם.
לא מעניין הפורמט בו הן שמורות בתוך ה- mkv.
אבל אם רוצים לחלץ כתוביות, כמו שרוצה פותח השרשור, מהסיבות שלו, אז פתאום מגלים שהן לא שמורות כ- srt, ואז צריך לעבוד קצת.

בוודאי שאפשר לאמן מודל AI, אבל צריך פרוייקט גדול עם המון טקסט, כדי ללמוד את כל הדקויות של השפה.
וכשזה בעברית זה יותר קשה.
ברור שבעתיד הכל יהיה פשוט יותר.
אנחנו עדיין לא שם.

[ufffnick]

לא כל כך כמו שזה נדמה.
אימנתי מודל לכתב יד מאוד ספציפי עם אחוזי זיהוי מאוד גבוהים.
הבעיה היא כשמנסים לעשות מודל גנרי, שתופס כמה פונטים שונים או כתבי יד שונים דפקטים בתמונה וכו'.
כשהפונט קבוע, לא צריך הרבה דאטה והמודל ממש קטן (ומהיר).

[Amir64]

אבל הפונט לא קבוע, וראיתי שיש הרבה טעויות באותיות כמו זיהוי שגוי של:
"ב" ו- "כ"
"ד" ו- "ר"
"ח" ו- "ת"
"ך" ו- "ן"

ועדיין, לפני מודל שיעשה OCR, צריך לחלץ את כל התמונות של כל המשפטים, להוציא את ה- timestamps של כל כתובית כדי להכניס את הנתונים ל- srt.
זה לא סתם OCR וסיימנו.

[ufffnick]

תבדיל בין טעויות של הקלדת הכתובויות לבין התרגום מתמונה לאותיות.
הפונט מאוד קובע והביצועים משתנים בהתאם לפונט.
בסוף זה מנגנון של image processing שמנסה לנחש מה הצורה שיש בתמונה ולאיזו אות זה הכי דומה.
CNN פשוט עם 3-4 שכבות יכול להגיע לביצועים משמעותית יותר טובים, אבל בסוף בפיתוח זה עניין של עלות תועלת.
לעברית מספר המפתחים לנושא מעטים מאוד וביקוש מצומצם, ולכן ה- OCR של עברית לא מושקע כמו של האותיות הלטיניות - שם באמת שאין סיבה ללכת לכיוון של AI (מלבד אולי פונטים מאוד מיוחדים).
כמו שציינתי, אם הצלחתי להביא מודל לפענח את כתב היד שלי בהסתברות שדומה ל-tesseract באנגלית, זה אומר שזה לא שאלה של מה עדיף אלא שאלה של מה התועלת.
היתרון של tesseract הוא מהירות העבודה, כי כשמריצים על אותו מעבד AI או tesseract, השני תמיד ינצח.
אלא אם מריצים כל אחד מהם על חומרה מותאמת, ואז ה-AI מהווה תחרות אמיתית.

לגבי השורה האחרונה - כפי שציינתי זו כבר אינטגרציה אל צורך מסויים.
לא מסובך כל כך כמו שזה נשמע, פשוט עבודה.

[kingikra]

ניסית עם MKVToolNix? אמור להיות פשוט יותר

אני מבין שכבר הצלחת אבל אולי תצטרך בעתיד שוב

[zaviv]

הצלחתי בעזרת התוכנות שציינתי למעלה
תודה לעוזרים