Black Box Model

Яка модель відеореєстратора?

Чорний ящик ШІ - це будь-яка система ШІ, вхідні дані та дії якої приховані від користувача або інших зацікавлених сторін. Чорний ящик - це дійсно непроникний механізм.

Моделювання машинного навчання зазвичай здійснюється за допомогою розробки "чорного ящика": Алгоритм отримує на вході мільйони точок інформації і співвідносить певні властивості даних для отримання результату. Цей процес, по суті, є самокерованим і, як правило, складним для розуміння аналітиків даних, програмістів та споживачів.

• Модель чорної скриньки приймає вхідні дані та видає вихідні, але її внутрішня робота залишається невідомою.
• Чорні скриньки стають все більш поширеними для прийняття рішень на фінансових ринках.

Фінансові експерти, менеджери хедж-фондів і трейдери можуть використовувати програмне забезпечення на основі моделі "чорної скриньки" для перетворення даних у змістовний інвестиційний план.

Досягнення в області обчислювальної потужності, штучного інтелекту та машинного навчання призводять до поширення моделей "чорних скриньок" у різних галузях, додаючи їм ще більшої загадковості.

Потенційні споживачі в різних професіях з обережністю ставляться до моделей машинного навчання з чорним ящиком.

Недоліки

Коли процеси систем, що використовуються для критично важливих операцій і процедур всередині компанії, важко контролювати або зрозуміти, несправності можуть залишатися невиявленими, поки вони не призведуть до достатньо серйозних проблем, які вимагатимуть розслідування, а завдана шкода може виявитися дорогою або навіть проблематичною для виправлення.

Упередженість ШІ може бути вбудована в систему як дзеркало свідомих чи несвідомих упереджень творців, або ж вона може просочуватися через непомічені недоліки. У будь-якому випадку, результати роботи упередженого алгоритму будуть спотворені, іноді в небажаний для тих, на кого він впливає, спосіб. Упередженість алгоритму може виникнути, коли факти про набір даних не виявляються. В одному випадку ШІ, який використовувався в додатку для набору персоналу, покладався на минулі дані для створення відбору ІТ-фахівців. Однак, оскільки більшість ІТ-працівників історично були чоловіками, алгоритм надавав перевагу чоловічим заявкам.

Якщо така ситуація виникає в результаті застосування ШІ "чорного ящика", вона може тривати досить довго, щоб бізнес зазнав репутаційної шкоди і, можливо, судового позову за дискримінацію. Аналогічні труднощі можуть виникнути з упередженим ставленням до інших груп з тими ж наслідками. Щоб уникнути такої шкоди, розробники ШІ повинні вбудовувати прозорість у свої алгоритми, а установи повинні брати на себе зобов'язання щодо відповідальності за їхній вплив.

Моделі White Box та Black Box

Алгоритм можна охарактеризувати як чорний ящик. Система, що складається з внутрішніх компонентів, які можна перевірити, є полярною протилежністю чорному ящику. Таку систему зазвичай називають білою скринькою, але вона також відома як прозора скринька або скляна скринька.

Модель "чорної скриньки" у штучному інтелекті використовує алгоритм ML для створення прогнозів, але обґрунтування цих прогнозів залишається невідомим і не відстежується.

Модель білої скриньки прагне інтегрувати обмеження, які покращують прозорість процесу машинного навчання.

Прозорість, або "зрозумілість", може бути юридичною та етичною метою в банківській, страховій та медичній сферах, а також в інших галузях.

Прикінцеві нотатки

• Моделі "чорних скриньок" швидко використовуються для розробки програмного забезпечення не тільки для інвестиційних додатків, але й для використання в охороні здоров'я, фінансах, машинобудуванні та інших галузях.
• Модель системи "чорних скриньок" розвивається паралельно з можливостями ML, і обидві вони стають все більш складними у своїй роботі.
• Вони, по суті, стають все більш непрозорими. Тобто ми покладаємося на їхні висновки, не розуміючи, як вони генеруються.