Apple і її майбутнє в світі мобільної фотографії. Частина друга

У попередній статті ми пробіглися по технології глибинного сканування сцени, портретним функцій моделі iPhone 7 Plus, а також портретному освітлення, притаманного камері iPhone 8 Plus і прийдешнього iPhone X. В цій частині ми кинемо погляд на більш ексклюзивну технологію TrueDepth, яка буде реалізована тільки в iPhone X, а також на інші особливості, у тому числі технологію машинного навчання, яка буде застосовуватися на всіх пристроях, що використовують операційну систему iOS 11.

TrueDepth виводить селфи на новий рівень

На що проходила цього літа WWDC’17 Apple представила новий пакет інструментів розробника Depth API під iOS 11 для використання та обробки різних верств даних зображення, отриманого за допомогою подвійної камери iPhone 7 Plus. Компанія також натякнула на розробку альтернативної технології, яка зможе ще більш точно створювати глибинну карту зображень, порівняно з тим, що пропонує подвійна камера iPhone 7 Plus.

Одним з перших додатків, де було вирішено застосувати нову технологію TrueDepth, стало портретне освітлення, але на цей раз для фронтальної камери, щоб фотографії себе коханої виходили ще соковитіше завдяки імітації ефекту студійного освітлення, до цього доступного тільки для подвійний тильної камери iPhone 7 Plus. Правда в той час, як подвійна камера веде розрахунок карти глибин шляхом сканування різниць між двома просторовими точками на двох отриманих зображення з двох камер, TrueDepth для фронтальної камери використовує матрицю з відбитого невидимого світу, що в теорії дозволяє створювати ще більш подібну карту глибин і, відповідно, більш детальний знімок.

Анимодзи і TrueDepth

Крім обробки даних просторової глибини знімка аналогічно подвійним камерах моделей iPhone 7 Plus і iPhone 8 Plus, для роботи портретного режиму і портретного освітлення сенсори TrueDepth на iPhone X можуть аналізувати рух більш 50 лицьових м’язів і на базі цих даних створювати анімований аватар користувача у вигляді голови якої-небудь істоти. Apple назвала ці аватари анимодзи (animoji). В якості основи компанія вибрала 12 найпопулярніших звичайних емодзі і перетворила їх у справжні 3D-маски, які можна використовувати, наприклад, при спілкуванні в iMessage.
Крім того, з випуском iOS 11 технологія TrueDepth стала відкритою для сторонніх розробників і дозволяє створювати власні ефекти. Творці додатків і ігор можуть створювати свої власні аватари і синхронізувати їх з мімікою обличчя користувача.

До розчарування користувачів системи Android, адаптувати ці анімовані аватари на цій системі буде дещо складніше, так як стандартні емодзі від Google, Samsung та інших виробників, м’яко сказати, не зовсім для цього підходять. Не даремно адже навіть Google вирішила відмовитися від своїх дивних emoji в останній ітерації Android 8 «Oreo» і зробити вибір на користь iOS’про-подібних. Правда для того, щоб «фішка пішла в маси», буде потрібно певну кількість часу.

У Android просто немає можливостей швидко впровадити ті функції, які може запровадити і вже впровадила Apple. Занадто багато особливостей як апаратної, так і програмної середовищі і занадто багато виробників, що створюють ці особливості. Навіть виробляються по специфікації Google смартфони Pixel відстають у цьому плані від Apple на кілька порядків.

У тому ж останньому Pixel 2 постаралися «скопіювати» портретний режим, поданий Apple ще в минулому році, і Live Photos, яким вже два роки. Зрозуміло, ні про яке аналогу того ж портретного освітлення тут мови не йде, не кажучи вже про анимодзи або реальному прорахунку глибини сцени на зображенні, які необхідні для підтримки даних функцій.

TrueDepth і Face ID

Завдяки TrueDepth Apple вирішила ввести нову функцію аутентифікації Face ID, зробивши її альтернативою Touch ID. Що цікаво, критики і скептики вже почали скаржитися на «криву» роботу Face ID, ще, власне, навіть не випробувавши. Однак правда така, що нова система пропонує ще більш надійний спосіб оцінки біометричних даних користувача, порівняно з крихітним сенсором Touch ID.

Face ID не просто «використовує ваше обличчя для авторизації». Система набагато складніше, ніж може здатися на перший погляд. Ви як і раніше можете використовувати звичайний пароль безпеки для входу в систему і змінювати його при бажанні. Але зловмисники навряд чи зможуть отримати тривимірне зображення вашого особи для авторизації. На демонстраційному стенді iPhone X спроба розблокувати телефон навіть зареєстрованим користувачем не вдалася через те, що в кадрі, крім іншого, перебувала особа сторонньої людини.

«Тут важливий аспект дистанції. Розблокувати телефон, коли його тримає хтось ще, практично неможливо», — прокоментував людина, що демонструє пристрій і в ту ж секунду без праці його разблокировавший на звичайній відстані зігнутої руки. А як відзначають журналісти західного AppleInsider, процес розблокування за допомогою Face ID довелося навіть знімати в слоу-мо, так як система працює настільки швидко, що руках авторизованого користувача вона спрацювала фактично миттєво.

Face ID (Touch ID) просто пропонує більш простий і в той же час надійний спосіб пропустити захоплююче заняття з ручного введення пароля для розблокування пристрою, ускладнюючи при цьому завдання щодо його злому. Крім того, у випадку втрати пристрою, у користувача буде можливість віддалено вимкнути цю систему. Таким чином, у того, хто вирішить зламати біометричну систему на вкраденому телефону, залишиться для цього дуже мало часу і можливостей, щоб це зробити.

Система біометричної ідентифікації може бути відключена у всій системі iOS. Але важливо відзначити, що, незважаючи на первісні вигуки аналітиків та експертів про те, що введена ще з часів iPhone 5s біометрична система ідентифікації підвищить рівень уразливості особистих даних користувачів, статистика показала швидше серйозний спад у крадіжках пристроїв, які використовують такі системи, але в той же час підвищила увагу і стурбованість правоохоронних служб, яким тепер отримати доступ до особистих даних, що їх цікавлять осіб стало набагато складніше-через підвищення ефективності захисту.

Незважаючи на гадану складність системи, правильна її реалізація на iOS показала, що вона дійсно може бути ефективною. Чого не скажеш про Android, де головні ліцензіати в особі Samsung і HTC, першими представили подібні системи, першими ж з ними і облажались, а потім швидким темпом перейшовши на незручну систему особового розпізнавання, знову прорахувалися, оскільки її ефективність і надійність опинилися під великим питанням.

Використовуючи унікальну, спеціально розроблену і оптимізовану технологію камери TrueDepth на iPhone X, Apple отримала більш ефективний інструмент, що знижує ризик помилкових спрацьовувань і істотно знижує можливість обходу системи при біометричної ідентифікації. Звичайно ж, вартість подібної системи сенсорів, швидше за все, захистить більшість Android-виробників від її використання. Зовсім недавно, наприклад, Google зазначила, що, за її очікуванням, 1/3 від всіх проданих Android-смартфонів будуть представляти собою пристрої ціною до 100 доларів.

Незважаючи на серйозні відмінності в ціновому вазі, Apple очікує, що її смартфон вартістю від 1000 доларів і вище куплять більше третини її майбутніх клієнтів (а можливо, і половина). І є ціла низка причин, за якими користувачі захочуть придбати такий пристрій, але найважливіше, що всі вони отримають доступ до технології TrueDepth, а це означає, що у сторонніх розробників розв’яжуться руки при вигляді цієї величезної бази користувачів у кілька десятків мільйонів потенційних клієнтів.

На додаток до складнощів адаптації повноцінно функціонуючих апаратних сенсорних 3D-коштів у своїх смартфонах, Android-ліцензіати зіткнулися з ще однією проблемою, яку Apple, в свою чергу, вже давно вирішила, – відсутністю повноцінної екосистеми і реально якісних засобів для демонстрації.

Як повідомляли нещодавні звіти, китайські виробники зіткнулися із складністю адаптації 3D-сенсорів, побудованих компаніями Qualcomm/Himax. Також зазначалося, що «виробникам смартфонів буде потрібно більше часу для створення потрібної екосистеми у вигляді прошивки, програмного забезпечення і додатків, необхідних для ефективної продуктивності сенсорних 3D-модулів, призначених для підтримки таких функцій, як сканування відбитків пальців або сенсорного управління», роблячи з цього висновок, що «такі труднощі стають основним бар’єром перед інтеграцією 3D-сенсорних технологій в смартфони».

Android і відсутність глибини

Спроби сторонніх виробників заповнити ринок сенсорами 3D-камер для мобільних пристроїв нічим масовим так і не обернулися. Google працювала з технологіями компанії PrimeSense протягом кількох років у рамках свого проекту Tango, але сама поки так і не змогла переконати чутливих до ціноутворення Android-ліцензіатів адаптувати необхідні для роботи цієї системи технології.

Як тільки Apple продемонструвала інструмент для розробки доповненої реальності (АR) ARKit, Google тут-таки перейменувала частину платформи Tango в «ARCore», мабуть, таким чином намагаючись повернути інтерес до своєї технології за рахунок шуму навколо конкурента. Але знову ж таки відсутність встановленої бази Android-пристроїв з підтримкою функцій доповненої реальності і ще менший запас можливості роботи з глибинним аналізом даних, зібраних чи то подвійною камерою або будь-яким типом сенсора глибини, в результаті не дозволили прийти до чогось конкретного.

Крім того, децентралізована природа самої системи Android не лише призводить до таких проблем, як фрагментація і відсутність оптимізації, але також і задає курс на виробництво наддешевих пристроїв, а не продуктивного обладнання і спеціалізованих камер, необхідних для обробки складних AR-даних, зібраних на базі камер з технологією глибинного аналізу сцени. А замість того, щоб почати виробляти дійсно потужне залізо, Google довгі роки просувала ідею, що Android, Chrome і Pixel – це продукти, які можуть зайняти нижній ціновий сегмент і демонструвати свою ефективність за рахунок підключення до потужних хмарних сервісів. Але це, у свою чергу, породило серед народу припущення, що єдине, що реально потрібно компанії, так це дані про її користувачів, у той час як питання можливості запропонувати найкращі варіанти реалізації просунутих технологій своїм клієнтам для неї другорядне.

Продуктивність процесора Apple A11 Bionic на тлі конкурентів процесорів

Як відзначають аналітики, Apple продовжує нарощувати свій відрив у підвищенні потужності пристроїв, а це, в свою чергу, призводить до того, що iOS-пристрої стають все більш і більш здатними до ефективної роботи без необхідності наявності високошвидкісного з’єднання з хмарними сервісами. Наприклад, та ж функція біометричної аутентифікації працює повністю в локальному режимі, що корінним чином знижує ризик перехоплення даних сторонніми особами.

Новий рівень глибини: Vision і CoreML

Наявність величезної обчислювальної потужності укупі з можливістю розпізнавати об’єкти, стан, рух і навіть особи конкретних людей на фото робить можливим для Apple використання так званого комп’ютерного зору на своїх пристроях технології, яка вже використовувалася при обробці статичних фотографій, а тепер стала доступною і для використання в режимі безпосередньої зйомки.

Зрозуміло, Depth стала не єдиною технологією, що призначається для обробки зображення на iOS. На додаток до нових функцій, що вимагає наявності двох камер, а також нової технології TrueDepth для iPhone X, вихід iOS 11 сопроводился випуском цього алгоритму машинного навчання, який буде використовуватися камерами пристроїв на базі iOS 11.

Новий фреймворк Vision для iOS 11 забезпечує високопродуктивний аналіз зображень і, використовуючи технологію комп’ютерного зору, розпізнає в кадрі особи, їх особливості, а також спрощує побудова сцени на створюваних фото і відео. В основі Vision лежить фреймворк CoreML, який використовує технологію машинного навчання. Результати роботи цього фреймворку можна оцінити до цього хоча б у тій же Siri або клавіатурі QuickType. Технічні особливості кожного ми вдаватися не будемо, але перелічимо деякі можливості, які можна реалізувати завдяки їх спільного використання в створюваних додатках:

  • розпізнавання зображень у реальному часі;
  • предиктивный введення тексту;
  • розпізнавання образів;
  • аналіз тональності;
  • розпізнавання рукописного тексту;
  • ранжування пошуку;
  • стилізація зображень;
  • розпізнавання осіб;
  • ідентифікація голосу;
  • визначення музики;
  • реферування тексту;
  • і не тільки.

Цього літа Apple зазначала, що CoreML вже працює в шість разів швидше, ніж існуючі аналоги на Android. При цьому мова йшла про роботу на iPhone 7. Всі функції нового фреймворку Apple пообіцяла надати стороннім розробникам, які бажають вдосконалити свої додатки.

Добавить комментарий