Post-Evaluations-Daten für SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection

Post-Evaluations-Daten für SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection

Post-Evaluations-Daten für SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection

Typ

Datensatz

Autor

Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky und Nina Tahmasebi

Beschreibung

Diese Datensammlung enthält die Post-Evaluations-Daten für SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection:

  • die wahren binären Bedeutungswandelwerte der Zielworte für Subtask 1 und ihre wahren gradierten Bedeutungswandelwerte für Subtask 2 (test_data_truth/);
  • das scoring program, mit dem die Einreichungen gegen die Testdaten in der Evaluations- und Post-Evaluations-Phase bewertet wurden (scoring_program/);
  • die Ergebnisse der Evaluationsphase einschließlich
    • die eingereichten Dateien jedes Teams (results/submissions/),
    • eine Übersicht über alle Einreichungen geordnet nach Team (results/submissions_results.csv),
    • Analyseplots (plots/) der Ergebnisse:
      • Unter per_target/ finden Sie die Bedeutungswandelwerte und die normalisierten Vorhersagefehler der Zielwörter verglichen mit ihren Frequenz- und Polysemieeigenschaften,
      • Unter per_team/ finden Sie die Modellvorhersagen aus der besten Einreichung pro Team (pro Subtask) verglichen mit den Frequenz-/Polysemieeigenschaften sowie der Performanz (graue Linien geben die Korrelation mit der jeweiligen Variablen in den Golddaten an). Zudem finden Sie dort auch eine Visualisierung der Ähnlichkeit der Vorhersagen der Teams.

Einige Anmerkungen:

  • das Papier, auf das unten verwiesen wird, bleibt die einzige Quelle für die Rangliste der Teams,
  • einige Teams wurden disqualifiziert und werden daher aus den Analysen und Ranglisten im Papier entfernt,
  • einige Teams haben ihre Namen geändert, was zu einer Diskrepanz zwischen den Teamnamen unter results/ und den Teamnamen in der Veröffentlichung führt. Das Papier enthält einen Schlüssel, um alte Namen mit neuen Namen abzugleichen.

Weitere Informationen zu den bereitgestellten Daten entnehmen Sie bitte dem unten angegebenen Papier.

Referenz

Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky and Nina Tahmasebi. 2020. SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection. SemEval@COLING2020.

Sabine Schulte im Walde
Apl. Prof. Dr.

Sabine Schulte im Walde

Akademische Rätin

Zum Seitenanfang