Як програмне забезпечення для розпізнавання контенту вирішує проблему виявлення порушень авторських прав
Ви стоїте в черзі за напоями та закусками. Саундтрек наростає, і одна з композицій звучить настільки потужно, що ви зупиняєтесь та прислухаєтеся. Вона вам подобається. Але ви не знаєте ані назви пісні, ані імені виконавця.
Тому ви дістаєте телефон. Набираєте номер. Прикладаєте телефон до динаміка. За кілька секунд надходить текстове повідомлення: назва пісні, ім’я виконавця, посилання для покупки. Готово.
Не магія. Це програмне забезпечення для розпізнавання контенту.
Такі програми не просто ідентифікують пісні, які грають у кінотеатрах. Вони стають основним засобом захисту від порушень авторських прав. Для незалежних артистів та великих корпорацій це справжній порятунок. Веб зробив легким доступ до контенту без оплати. Піри (P2P-мережі). Сервіс обміну файлами. YouTube. Найбільші гравці.
Донедавна компанії не мали вибору, окрім як покладатися на людей виявлення порушень. Це було ручне полювання. Співробітникам доводилося переглядати платформи у пошуках пропрієтарних відеоматеріалів. Вони мали оформляти звіти. Це було втомлює. Неефективно. Повільно.
Наприклад, YouTube часто покладається на користувачів, які повідомляють про недоречний матеріал. Але порушення авторських прав не завжди є недоречними з моральної точки зору. Вони просто незаконні. І не кожний користувач розуміє різницю.
Тому більшість компаній були змушені покладатися на співробітників, які виявляли фрагменти відео та оформляли документацію. Цей процес незабаром застаріє.
Зміст
Розробка програмного забезпечення
Перехід від ручного виявлення до автоматичного розпізнавання змінює все. Замість того, щоб очікувати скарги від користувача, програмне забезпечення може в реальному часі сканувати мільйони завантажених файлів. Воно порівнює аудіо- та відеовідбитки з базою даних відомих творів.
То це працює. І чому це важливо?
Компанії впроваджують інструменти, які сканують аудіо- та відеозаписи величезними базами даних, щоб виявляти матеріали, захищені авторським правом. Це дешевий і ефективний спосіб контролю за інтернетом, набагато дієвіший, ніж сподіватися, що хтось із друзів дізнається про пісню, що грає в кав’ярні.
Створення такого програмного забезпечення – завдання непросте. Файли представлені у десятках форматів. Файл WAV та його аналог у форматі MP3 повністю різняться лише на рівні коду. Навіть у рамках одного формату бітрейт може змінюватись. Два MP3 файли однієї і тієї ж композиції можуть не збігатися через відмінності в стисненні. Записи з телефону додають шуму та проблеми з якістю.
Пірати також змінюють вихідний матеріал. Вони знімають фільми у кінотеатрах за допомогою ручних камер. Деякі проектори записують зображення цифровим способом із проекційної будки. Інші обрізають або редагують відео. Просте порівняння коду тут не працює. Ідентифікатори повинні враховувати ці спотворення.
Програмне забезпечення для розпізнавання контенту — Аудіо
Розпізнавання аудіо вимагає іншого підходу, ніж просте порівняння вихідного коду. Мета полягає в розпізнаванні вмісту, а не обгортки файлу.
Алгоритми шукають унікальні патерни у звукових хвилях. Ці патерни зберігаються навіть під час конвертації або стиснення файлу. Система створює “відбиток” композиції. Цей відбиток ігнорує шум фону. Він стійкий до поганої якості запису. Він працює навіть за незначних змін темпу.
Цей метод вирішує проблему форматів. Не має значення, чи є вхідний файл MP3, AAC чи низькоякісним записом із телефону. Основна мелодія і ритм залишаються виявленими.
Процес включає вилучення ключових спектральних характеристик. Це характерні піки та спади у частотному спектрі аудіо. Програмне забезпечення порівнює ці характеристики із відомою бібліотекою. Збіг викликає попередження. Це дозволяє платформам автоматично блокувати або монетизувати контент.
Точність – головна проблема. Помилкові спрацьовування витрачають ресурси. Помилкові перепустки дозволяють піратству залишатися непоміченим. Найкращі системи балансують між чутливістю та точністю. Вони навчаються на основі зворотного зв’язку від користувачів. Це покращує виявлення з часом.
Оскільки розпізнавання відео слідує за аналогічною логікою, ставки зростають. Відео містить візуальні дані. Це додає складнощів. Але для аудіо фокус спрямований на збереження душі пісні. Саме це робить її відомою.
Створення бази даних контенту починається з простої передумови: вам потрібно щось для порівняння. Для звукозаписної компанії цим “чимось” є весь каталог попередніх записів. Програмне забезпечення не просто зчитує метадані. Воно «слухає». Воно аналізує саму звукову хвилю, щоб створити унікальний цифровий тег, відомий як відбиток або сигнатура.
Цей процес ігнорує формат кодування файлу. Він розглядає чистий звук. Деякі інструменти фокусуються на темпі та ритмічних патернах. Інші вимірюють амплітуду та частоту. Зазвичай програмне забезпечення захоплює кілька секунд семплів із запису, щоб побудувати профіль. Деякі конкуренти аналізують цілі фрагменти максимальної точності. Один конкретний продукт шукає “орієнтири” – характерні акустичні моменти – а потім вивчає звук навколо них. Ціль проста. Якщо орієнтири чіткі, сканування має бути легким.
Математика за музикою
Ці програми покладаються на алгоритми, щоб виконати основну роботу. Більшість використовує алгоритм швидкого перетворення Фур’є (БПФ). Це математичний метод, що розкладає складні сигнали. Він відстежує зміни всередині даних. Будь то зсув темпу, зміна кількості ударів за хвилину або коливання амплітуди, БПФ відображає це. Результат перетворюється на цифровий відбиток.
Після заповнення бази даних компанія може використовувати її двох основних цілей: допомоги клієнтам у пошуку пісень чи пошуку порушень авторських прав. Метод залишається незмінним. Програмне забезпечення бере невідомий аудіофрагмент. Воно аналізує його так само, як записи в каталозі. Воно генерує хеш — короткий код, який базується виключно на змісті аудіо. Потім він зіставляє цей новий відбиток зі збереженими. Наступний крок – визначення логіки зіставлення.
Фільтрування для людського вуха
Щоб переконатися, що програмне забезпечення працює незалежно від формату файлу, програмісти фільтрують вхідні дані. Вони фокусуються лише на звуках у межах діапазону людського слуху. Це відбиває принцип роботи стиснення MP3. MP3-файли малі, тому що вони відкидають частоти, які люди все одно не чують. Програмне забезпечення для розпізнавання контенту робить те саме. Воно ігнорує повний спектр оригінального запису. Якби воно цього не робило, воно могло б не співпадати з MP3-версіями того ж треку нижчої якості. Система повинна говорити тією ж акустичною мовою, що й стиснуті файли, якими фактично володіють користувачі.
Звукові фрагменти рідко надходять у ідеальному стані. Ви можете подавати усічений цикл, кавер-версію або уривок, який переходить в мелодію іншої пісні. Тут вступають у дію алгоритми. Їхнє завдання – взяти вхідний аудіовідбиток і знайти збіг у базі даних. Вони шукають не лише точні копії. Вони шукають збігу у межах певного діапазону ймовірності.
Уявіть криміналістику старого зразка. До появи складного програмного забезпечення експерти вручну зіставляли підозрюваних із місцями злочинів. Вони шукали “точки подібності”. Раніше фахівець повинен був знайти як мінімум 16 точок, що збігаються, щоб вважати це збігом. Сучасне програмне забезпечення робить щось подібне, але замість підрахунку точок воно обчислює ймовірність.
Не існує єдиного стандарту того, скільки перекриттів вважається збігом. Більшість платформ розпізнавання контенту дозволяють настроювати чутливість. Бажаєте отримувати лише незаперечні збіги? Встановіть поріг на рівні 95% або вище. Якщо алгоритм не впевнений, він не просто гадатиме. Він надішле повідомлення про помилку користувачеві. Ви також можете знизити цей поріг, якщо вам потрібно виявляти близькі збіги, хоча це пов’язано з вищим ризиком помилкових спрацьовувань.
Як тільки програмне забезпечення зазначає збіг, починається справжня робота. У справу вступає додаток-партнер. Вона може отримати назву пісні для програми з виявлення музики. Або воно може повідомити адміністратора веб-сайту. Музичні компанії використовують цю технологію для сканування мереж обміну файлами. Вони відстежують веб-сайти потокової передачі аудіо для захисту авторських прав. Весь аналіз займає секунди.
Програмне забезпечення для розпізнавання контенту – Відео
Відео додає рівень складності, якого немає в аудіо.
Як розпізнавання відеоконтенту бореться з піратством на YouTube
Відбитки відео – це не новина. Розпізнавання аудіо вже багато років непомітно відстежує музику та рекламні ролики. Воно працює шляхом перетворення звукових хвиль у цифровий відбиток. Потім система сканує базу даних, щоб знайти збіг.
З відео справа складніша. Ставки вищі, а перешкоди – фізичними.
Time Warner та Disney протестували нові інструменти ідентифікації відео Google на YouTube. Ціль була простою: виявляти завантаження захищених авторським правом фільмів і телешоу до того, як вони поширяться. Але відеодані поводяться не так, як аудіодані. Вони хаотичні, змінюються та часто обрізаються.
Проблема коротких фрагментів
Більшість відео на YouTube в період тестування обмежувалися 10 хвилин або 100 мегабайтами. Це обмеження створює величезну прогалину. Один фрагмент може бути будь-якими 10 хвилинами із двогодинного фільму.
Програмне забезпечення має розпізнавати цей крихітний фрагмент у межах всього твору. Google не розкрив точний алгоритм. Імовірний метод полягає в поділі оригінального захищеного твору на фрагменти, що перекриваються. Кожен фрагмент отримує свій відбиток.
Під час завантаження системи перевіряють ці фрагменти проти бібліотеки. Це завдання пошуку голки у стозі сіна. Голка мала. Сніп величезний. І вона постійно зростає.
Монтаж та обхід захисту
Завантажувачі не пасивні. Вони намагаються зламати систему.
Прості зміни можуть засліпити базові інструменти розпізнавання. Зміна насиченості кольору? Це збиває з пантелику зіставлення на основі кольору. Обрізання кадру? Вона видаляє контекст.
Потім є пірати. Деякі записують фільми безпосередньо із екрана кінотеатру. Інші використовують ручні камери під незручними кутами. Зображення трясеться. Воно нахилено. Воно спотворене.
Стандартне зіставлення дозволів тут не працює. Не можна покладатися на ідеальний збіг пікселів. Відео на YouTube нічим не схоже на майстер-файл у базі даних студії.
Аналіз руху як рішення
Розробники звернулися до руху. Замість того, щоб просто дивитися на статичні кадри, вони аналізують, як переміщуються пікселі.
Програмне забезпечення відстежує зміни у характеристиках руху. Навіть якщо кольори неправильні або кадр обрізаний, базовий рух об’єктів залишається схожим. Машина, що їде вулицею, рухається однаково, незалежно від трясіння камери або корекції кольору.
Цей підхід є багатообіцяючим. Це не срібна куля. Запис з рук вносить хаотичний рух, який все ще може спантеличувати алгоритми. Іноді діапазон ймовірності збігу має бути широким. Широкі збіги означають більше помилкових спрацьовувань.
Людський фактор залишається
Приріст ефективності значить повної автоматизації.
Кіностудіям, можливо, все ще знадобляться реальні люди для перевірки помічених фрагментів. Програмне забезпечення наголошує на потенційному піратстві. Людина підтверджує його.
Це гібридна модель. Комп’ютер виконує важку роботу. Він сканує мільйони завантажень за секунду. Він звужує коло пошуку. Люди потім перевіряють збіги. Цей процес швидше, ніж ручний огляд. Це не миттєво. Це просто розумніше.
Підтримка бази даних нескінченна
Навіть якщо технологія працює ідеально, логістика жорстока.
Ідентифікація відео знаходиться на стадії тестування. Деякі компанії показують демонстрації. Інші постачають інструменти. Але робота ніколи не закінчується.
Нові фільми виходять щодня. Епізоди телешоу виходять в ефір щотижня. Студії мають постійно оновлювати свої відбитки. База даних відомого контенту зростає необмежено.
Виявлення піратства – це не разове виправлення. Це цикл обслуговування. Він потребує постійного догляду. Об’єм відеоконтенту – це справжній ворог. Технології допомагають керувати ним. Вони не усувають потреби в цьому.
Часті питання
Що таке розпізнавання відеоконтенту?
Це програмне забезпечення, яке створює цифровий відбиток із кадрів відео. Воно порівнює цей відбиток із базою даних для ідентифікації захищеного авторським правом матеріалу. Воно справляється з такими проблемами, як обрізання, зміна кольору та трясіння камери.
Як працює відеовідбиток на основі руху?
Він аналізує рух пікселів та об’єктів усередині відеокліпу. Це допомагає ідентифікувати контент, навіть якщо візуальна якість змінена або запис зроблено з рук.
Хто розробляє програмне забезпечення для ідентифікації відео?
Google співпрацював з Time Warner та Disney для тестування. Такі компанії, як Audible Magic, MotionDSP та Relatable, також надають аналогічні інструменти розпізнавання контенту.
