TikTok’un gizli deneyi ortaya çıktı! 15 milyon kullanıcı etkilendi
TikTok’un kullanıcıları zararlı içeriklerden korumak için geliştirdiği yeni sistemi herkese uygulamadığı ortaya çıktı. Şirketin, güvenlik değişikliğinin kullanıcı davranışına etkisini ölçmek için ABD’de yaklaşık 15 milyon kişiyi eski algoritmada bıraktığı belirlendi. Bu grupta yer alan 16 yaşındaki Chase Nasca’nın hesabına da intihar ve kendine zarar verme içeriklerinin yoğun şekilde önerildiği, gencin kısa süre sonra yaşamına son verdiği ortaya çıktı.
TikTok'un kullanıcıların zararlı içerik döngülerine girmesini önlemek amacıyla algoritmasında yaptığı güvenlik değişikliğini tüm kullanıcılara uygulamadığı ortaya çıktı. Bloomberg Businessweek'in ulaştığı şirket içi gizli belgeye göre TikTok, değişikliğin günlük aktif kullanıcı sayısı ve temel göstergeler üzerindeki etkisini ölçebilmek için ABD'deki kullanıcıların yüzde 10'unu kontrol grubunda tuttu. O dönem yaklaşık 15 milyon kişiye karşılık gelen bu grubun içinde, Şubat 2022'de hayatına son veren 16 yaşındaki Chase Nasca da yer aldı.
TikTok’ta güvenlik skandalı! 15 milyon kullanıcı koruma dışında (Fotoğraflar AA'dan alınmıştır.)
15 MİLYON KULLANICI ESKİ SİSTEMDE KALDI
TikTok, 2021 yılında kullanıcıların zararlı olabilecek içeriklere tekrar tekrar maruz kalmasını engellemek amacıyla algoritmasında değişikliğe gitmeye başladı.
Şirket Aralık 2021'de, aşırı diyet ve yalnızlık gibi konuların art arda gösterilmesinin sorun oluşturabileceğini belirterek bu tür tekrarlayan içerik kalıplarını kesintiye uğratacak yöntemleri test ettiğini açıklamıştı.
2022'nin başında yeni güvenlik önlemleri ABD'deki kullanıcıların yüzde 90'ı için devreye alındı.
Ancak şirket içi belgeye göre kullanıcıların yüzde 10'u kontrol grubunda bırakıldı. Bu oran o tarihte yaklaşık 15 milyon kullanıcıya karşılık geliyordu.

GÜNLÜK AKTİF KULLANICI VE TEMEL METRİKLERİ ÖLÇTÜLER
Belgede TikTok'un söz konusu uygulamayı bir "internal backtest" kapsamında gerçekleştirdiği belirtildi.
A/B testi olarak da bilinen yöntemde iki farklı kullanıcı grubu oluşturularak yapılan değişikliğin sonuçları karşılaştırıldı.
Raporda karar süreciyle ilgili şu ifadeye yer verildi:
"Kullanıcı etkisine ilişkin karar, güvenlik ile günlük aktif kullanıcı ve temel metrikler üzerindeki etkinin ölçülebilmesi arasında hassas bir dengeydi."
Günlük aktif kullanıcı anlamına gelen DAU'nun sosyal medya şirketlerinin performansını değerlendirmede kullanılan önemli göstergelerden biri olduğu belirtildi.
Chase Nasca (Fotoğraf, Bloomberg'den alınmıştır.)
16 YAŞINDAKİ CHASE KONTROL GRUBUNA SEÇİLDİ
Şirket içi rapora göre 16 yaşındaki Chase Nasca'nın hesabı 25 Ocak 2022'de rastgele şekilde söz konusu deneye dahil edildi.
Chase'in hesabı kontrol grubunda olduğu için TikTok'un filtre balonlarını önlemeye yönelik güvenlik stratejileri bu hesapta uygulanmadı.
Raporda konuya ilişkin, "TikTok'un filtre balonu önleme stratejileri bu kullanıcı üzerinde tasarım gereği devreye girmedi." değerlendirmesi yer aldı.
Chase yaklaşık bir ay sonra, Şubat 2022'de New York'un Bayport bölgesinde bir trenin önüne çıkarak yaşamına son verdi.

HESABI "FİLTRE BALONUNA" GİRDİ
TikTok'un güvenlik ve algoritma ekipleri, Bloomberg Businessweek'in Mart 2023'te şirkete ulaşmasının ardından Chase'in izleme geçmişini incelemeye aldı.
Hazırlanan 14 sayfalık şirket içi raporda Chase'in hesabının bir "filtre balonuna" girdiği belirtildi.
Raporda, "16 yaşındaki kullanıcı Chase Nasca'nın hesabı, özellikle intiharından önceki dönemde intihar, kendine zarar verme ve depresif konularla ilgili tekrarlayan miktarda içeriğin önerildiği bir filtre balonuna girdi." ifadelerine yer verildi.
Belgeye göre Chase'in yaptığı aramaların önemli bir bölümü spor ve komediyle ilgiliydi. Ancak yalnızlık ve umutsuzluk temalı şarkıları da aradığı, raporda bu aramaların algoritmanın benzer içerikleri önermesinde etkili olmuş olabileceğinin değerlendirildiği aktarıldı.

İKİ HAFTADA 7 BİN 563 VİDEO İNCELENDİ
TikTok, Chase'in ölümünden önceki iki haftada hesabına sunulan 7 bin 563 videoyu analiz etti.
İncelemede videoların yüzde 73'ünün intihar girişimlerinden kurtulanların anlatıları, ruhsal sorunlar, intihar farkındalığı, ilişki özlemi ve ayrılık üzüntüsü gibi ortak temalar taşıdığı ancak TikTok kurallarını ihlal etmediği tespit edildi.
Videoların yaklaşık yüzde 10'unun ise TikTok'un intiharı veya kendine zarar vermeyi teşvik eden ya da normalleştiren içeriklere yönelik kurallarını ihlal ettiği belirlendi.
Bu videolarda ağır depresyon, düşük özsaygı, yalnızlık, yorgunluk ve intihar düşünceleriyle ilgili mesaj ve görseller bulunduğu kaydedildi.

ÖLÜMÜNDEN BİR GÜN ÖNCE 5 SAATTEN FAZLA TIKTOK'TA KALDI
Şirket içi analiz Chase'in hayatının son dönemindeki TikTok kullanımına ilişkin ayrıntıları da ortaya koydu.
Belgeye göre Chase, ölümünden bir gün önce TikTok'ta beş saatten fazla zaman geçirdi ve intihar ile trenlere ilişkin içerikler aradı.
Öldüğü gün intihara gönderme yapan bazı videoları favorilerine ekledi.
Ölümünden saatler önce Manhattan Köprüsü'nden atlamadan önce sosyal medyada veda mesajı bırakan bir gençle ilgili videoyu izlediği ve tekrar izlediği belirtildi.
Chase'in TikTok'ta izlediği son videonun ise ağlayan bir kişiye ait olduğu kaydedildi.
TIKTOK'UN RAPORUNDA İKİ ÖNERİ
Şirket içi raporda gelecekte benzer olayların önüne geçilebilmesi için iki öneride bulunuldu.
Kontrol grubunun kullanıcıların yüzde 1'inden daha düşük bir seviyeye indirilmesi ve aynı kullanıcıların deneyde tutulduğu sürenin altı ay veya bir yıldan 7 güne düşürülmesi tavsiye edildi.
Ancak rapora eklenen bir güncellemede kontrol grubunun onda birine indirilmesi halinde dahi en az 1,8 milyon ABD'li kullanıcının söz konusu güvenlik önleminin dışında kalacağı belirtildi.
Belgede bu kullanıcıların "filtre balonlarına girme riski" taşıdığı ifade edildi.

RAPOR 10 FARKLI TIKTOK EKİBİYLE PAYLAŞILDI
Mart 2023'te hazırlanan 14 sayfalık rapor, "Bloomberg Businessweek, Youth Safety & Filter Bubbles: Escalation Summary" başlığını taşıyor.
"Privileged and confidential" yani "ayrıcalıklı ve gizli" olarak işaretlenen belgenin TikTok bünyesinde iletişim, hukuk, politika, güvenlik ve arama ekiplerinin de aralarında bulunduğu 10 farklı ekiple paylaşıldığı belirtildi.
Belge, sosyal medya şirketlerine karşı açılan davalar kapsamında yürütülen delil toplama sürecinde ortaya çıkarıldı ve halen mahkeme kararıyla mühür altında tutuluyor.
TIKTOK'TAN AÇIKLAMA
TikTok, yaptığı açıklamada özellikle genç kullanıcıların güvenliği ve esenliğine "derinden bağlı" olduğunu bildirdi.
Şirket, güven ve güvenlik alanına önemli yatırımlar yapmaya devam ettiğini; kuralları ihlal eden içerikleri proaktif şekilde kaldırmak için tespit sistemleri ve özel ekipler kullandığını belirtti.
TikTok ayrıca 2022'deki A/B testinin, güvenlik değişikliklerinin amaçlandığı şekilde çalışıp çalışmadığını değerlendirmek amacıyla gerçekleştirilen rutin bir test olduğunu savundu.
Şirket, o tarihten bu yana söz konusu testleri uygulama biçimini geliştirdiğini de bildirdi.