İki Türkçe cümle aynı şeyi mi söylüyor?
Bir transformer (MiniLM), sıfırdan eğitilmiş bir Siamese Bi-LSTM ve dört sözcüksel özniteliği LightGBM ile birleştiren hibrit bir model. Tamamen tarayıcınızda çalışır.
Model neden böyle karar verdi?
Her çubuk, özniteliğin kararı ne kadar ittiğini gösterir (log-odds). Mavi: aynı anlam yönüne, kırmızı: farklı anlam yönüne.
Model karşılaştırması
Ayrılmış test kümesi, 12.383 çift. Mavi noktalar ensemble modelleri. Ayrıntı için noktaların üzerine gelin.
Tabloyu göster
Kazanç gerçek mi?
Her modelin MiniLM'e göre F1 farkı ve %95 güven aralığı (anchor gruplarıyla küme bootstrap, 1000 tekrar). Aralık sıfırı içermiyorsa fark anlamlıdır.
Kaynağa göre
Asıl kazanç NLI verisinde; STS-B'de ensemble geride (yalnızca 225 çift).
Ablation
Bir öznitelik çıkarılınca test F1'deki değişim (puan, XGBoost).
Sızıntı düzeltmesi
İlk sürüm rastgele bölme kullanıyordu; test çiftlerinin %23'ü eğitimde de vardı. Aynı kod iki protokolle çalıştırıldı.
Üç açık veri kümesi
620.089 ham çift; tekrarlar ve çelişkili etiketler temizlenince 326.279 benzersiz çift. 62.000 çiftlik örneklem, anchor cümlesine göre gruplanarak %80/%20 bölündü.