diff --git a/Thermometer.csv b/Thermometer.csv index caf731a..8ce5373 100644 --- a/Thermometer.csv +++ b/Thermometer.csv @@ -67,3 +67,13 @@ Thermometer_ID,Stichwort,Effektstärke 7.08,Dauer der Sommerferien,-0.09 7.09,Sommerschulen,0.17 7.10,Schulkalender / Stundenplan,0.10 +7.11,Desegration,0.23 +7.12,Ethnische Vielfalt,0.09 +7.13,Wohnheimunterbringung,0.05 +7.14,Schulgröße,0.33 +7.15,Neuordnung des Schulbezirks,0.05 +7.16,Schulwahlfreiheit,0.27 +7.17,Fördermaßnahmen im Sekundarbereich I,0.18 +7.18,Schulleitung,0.37 +7.19,Schulklima,0.53 +7.20,Schuleffekte,0.48 diff --git a/export/cluster_profile.json b/export/cluster_profile.json index 67437df..3574e3d 100644 --- a/export/cluster_profile.json +++ b/export/cluster_profile.json @@ -30,10 +30,40 @@ "data": [ { "Cluster": 0, - "n": 21, - "Ø d": 0.654, + "n": 37, + "Ø d": 0.128, "Kapitelverteilung": { - "5": 21 + "5": 12, + "6": 9, + "7": 16 + }, + "Top_Terme": [ + "aktivierend", + "und", + "positiv" + ] + }, + { + "Cluster": 1, + "n": 7, + "Ø d": 0.921, + "Kapitelverteilung": { + "5": 7 + }, + "Top_Terme": [ + "erkenntnisstufen", + "feldunabhängigkeit", + "neugierde" + ] + }, + { + "Cluster": 2, + "n": 24, + "Ø d": 0.483, + "Kapitelverteilung": { + "5": 14, + "6": 6, + "7": 4 }, "Top_Terme": [ "und", @@ -41,43 +71,18 @@ "beharrlichkeit" ] }, - { - "Cluster": 1, - "n": 20, - "Ø d": 0.128, - "Kapitelverteilung": { - "6": 20 - }, - "Top_Terme": [ - "geschieden", - "kinderheime", - "stipendien" - ] - }, - { - "Cluster": 2, - "n": 17, - "Ø d": -0.049, - "Kapitelverteilung": { - "5": 17 - }, - "Top_Terme": [ - "aktivierend", - "negativ", - "kognitive" - ] - }, { "Cluster": 3, "n": 10, - "Ø d": 0.127, + "Ø d": -0.346, "Kapitelverteilung": { - "7": 10 + "5": 5, + "6": 5 }, "Top_Terme": [ - "konfessionsschulen", - "sommerschulen", - "monoedukation" + "negativ", + "aktivierend", + "schulwechsel" ] } ] diff --git a/export/clusterzuordnung.csv b/export/clusterzuordnung.csv index 14f5018..66f8afc 100644 --- a/export/clusterzuordnung.csv +++ b/export/clusterzuordnung.csv @@ -1,69 +1,79 @@ Thermometer_ID,Stichwort,Effektstärke,Kapitel,Kapitelname,Bin,Silhouette_point,Outlier_IQR,Text_Dimension,Cluster -5.01,Vorausgehende Fähigkeiten & Intelligenz,0.96,5,Lernende,hoch,0.6502913752913749,False,-0.08735409337133096,0 -5.02,Vorausgehendes Leistungsniveau,0.73,5,Lernende,hoch,0.7260754716981136,False,-0.07336449853523334,0 -5.03,Beziehung zwischen Schul- und Berufsleistungen,0.37,5,Lernende,gering,0.2835203366058893,False,-0.17512188415193075,0 -5.04,Beziehung zwischen Schul- und Universitätsleistungen,0.55,5,Lernende,mittel,0.680520117762513,False,-0.175121884151931,0 -5.05,Erkenntnisstufen,1.28,5,Lernende,hoch,0.5057964601769913,True,-0.05914975460796303,0 -5.06,Exekutive Funktionen,0.62,5,Lernende,mittel,0.7281195079086115,False,-0.05914975460796313,0 -5.07,Stärke des Arbeitsgedächtnisses,0.63,5,Lernende,mittel,0.7313852813852812,False,-0.07892435655637323,0 -5.08,Vorschulische nicht-kognitive Fähigkeiten,0.2,5,Lernende,gering,0.4001572327044027,False,-0.09398809922530565,2 -5.09,Gekreuzte Lateralität,-0.03,5,Lernende,negativ,0.6501826722338218,False,-0.07336449853523311,2 -5.1,Feldunabhängigkeit,0.94,5,Lernende,hoch,0.6583828775267535,False,-0.05914975460796317,0 -5.11,Beurteilung der eigenen Leistungsfähigkeit,0.96,5,Lernende,hoch,0.6502913752913749,False,-0.08382750975171666,0 -5.12,Kreativität und Lernleistung in Beziehung setzen,0.4,5,Lernende,mittel,0.3880890052355992,False,-0.14757153731358338,0 -5.13,Kritisches Denken,0.84,5,Lernende,hoch,0.6930555555555555,False,-0.07336449853523312,0 -5.14,Beharrlichkeit und Zuversicht (Mindset),0.19,5,Lernende,gering,0.42788461538461536,False,-0.33543250302056493,2 -5.15,Beharrlichkeit und Zuversicht (Achtsamkeit),0.26,5,Lernende,gering,0.16621376811594119,False,-0.33543250302056515,2 -5.16,Beharrlichkeit und Zuversicht (Durchhaltevermögen),0.35,5,Lernende,gering,0.200073637702503,False,-0.33543250302056504,0 -5.17,Beharrlichkeit und Zuversicht (Konzentration / Ausdauer und Engagement),0.41,5,Lernende,mittel,0.4177336747759273,False,-0.3218185254749976,0 -5.18,Beharrlichkeit und Zuversicht (Selbstwirksamkeitserwartung),0.64,5,Lernende,mittel,0.7331058020477826,False,-0.3354325030205649,0 -5.19,Beharrlichkeit und Zuversicht (Positives Selbstbild),0.51,5,Lernende,mittel,0.6344374342797038,False,-0.3021008406853567,0 -5.2,Beharrlichkeit und Zuversicht (Selbstkontrolle),0.66,5,Lernende,mittel,0.7335820895522391,False,-0.3354325030205649,0 -5.21,Schülerpersönlichkeit,0.18,5,Lernende,gering,0.45180722891566244,False,-0.07336449853523312,2 -5.22,Perfektionismus,-0.03,5,Lernende,negativ,0.6501826722338218,False,-0.07336449853523314,2 -5.23,Emotionen,0.61,5,Lernende,mittel,0.7232381801962534,False,-0.1013942427833901,0 -5.24,Emotionen (Emotionale Intelligenz),0.5,5,Lernende,mittel,0.6195931477516049,False,-0.1010290138898771,0 -5.25,Emotionen (Wohlbefinden),0.08,5,Lernende,gering,0.5842661691542289,False,-0.09745012386374446,2 -5.26,Positiv-aktivierend (Freude),0.5,5,Lernende,mittel,0.6195931477516049,False,0.7827951695376463,0 -5.27,Positiv-aktivierend (Hoffnung),0.2,5,Lernende,gering,0.4001572327044027,False,0.7827951695376463,2 -5.28,Positiv-aktivierend (Neugierde),0.74,5,Lernende,hoch,0.7238450074515644,False,0.5855547077500068,0 -5.29,Positiv-aktivierend (Glücklichsein),0.54,5,Lernende,mittel,0.6708582834331347,False,0.7827951695376463,0 -5.3,Positiv-aktivierend (Entspannung),0.16,5,Lernende,gering,0.48663294797687695,False,0.7827951695376463,2 -5.31,negativ-aktivierend (Angst),-0.4,5,Lernende,negativ,0.608739837398373,False,0.4425504899470148,2 -5.32,negativ-aktivierend (Depressionen),-0.3,5,Lernende,negativ,0.6266841317365268,False,0.4425504899470148,2 -5.33,negativ-aktivierend (Wut),-0.65,5,Lernende,negativ,0.510747535596933,True,0.44255048994701485,2 -5.34,negativ-aktivierend (Frustration),-0.04,5,Lernende,negativ,0.6507201646090555,False,0.6056986180050421,2 -5.35,negativ-aktivierend (Aggression und Gewalt),0.03,5,Lernende,gering,0.6225686498855841,False,0.30890529874855743,2 -5.36,negativ-aktivierend (Langeweile),-0.46,5,Lernende,negativ,0.5871794871794872,False,0.4425504899470148,2 -5.37,kognitive Dispositionen (Morgentypus vs. Abendtypus),0.18,5,Lernende,gering,0.45180722891566244,False,-0.09227886985139404,2 -5.38,kognitive Dispositionen (Prokrastination),-0.41,5,Lernende,negativ,0.6059563758389256,False,-0.08917102326885956,2 -6.01,Sozioökonomischer Status,0.56,6,Elternhaus und Familie,mittel,0.6827943498774371,False,-0.07336449853523314,1 -6.02,Bezug staatlicher Transferleistungen,-0.12,6,Elternhaus und Familie,negativ,0.772215227319828,False,-0.07336449853523314,1 -6.03,Erwerbstätigkeit der Mutter,0.05,6,Elternhaus und Familie,gering,0.8306537734304565,False,-0.08585665050056006,1 -6.04,Stipendien,0.03,6,Elternhaus und Familie,gering,0.82487518707422,False,-0.07336449853523311,1 -6.05,Einwanderungsstatus,0.05,6,Elternhaus und Familie,gering,0.8306537734304565,False,-0.07336449853523312,1 -6.06,Familienstruktur,0.14,6,Elternhaus und Familie,gering,0.8378335891817927,False,-0.059149754607963165,1 -6.07,Geschieden,-0.26,6,Elternhaus und Familie,negativ,0.7061030196788244,False,-0.08431062057732165,1 -6.08,nicht-geschieden vs. wiederverheiratet,0.24,6,Elternhaus und Familie,gering,0.8324161165454884,False,-0.09341002740120666,1 -6.09,Adoption,0.21,6,Elternhaus und Familie,gering,0.8381014976799916,False,-0.0733644985352332,1 -6.1,Kinderheime,0.33,6,Elternhaus und Familie,gering,0.8071221370551951,False,-0.07336449853523312,1 -6.11,Häusliches Anregungsniveau,0.4,6,Elternhaus und Familie,mittel,0.7824192735239991,False,-0.07336449853523314,1 -6.12,Elternunterstützung beim Lernen,0.41,6,Elternhaus und Familie,mittel,0.77761147335638,False,-0.07336449853523314,1 -6.13,Elterliche Autonomieunterstützung (Familienhilfe),0.06,6,Elternhaus und Familie,gering,0.8320762909326382,False,-0.07336449853523312,1 -6.14,Elternerwartungen,0.49,6,Elternhaus und Familie,mittel,0.7301343867848403,False,-0.07336449853523314,1 -6.15,Körperliche Züchtigung,-0.33,6,Elternhaus und Familie,negativ,0.668243380062615,False,-0.07336449853523312,1 -6.16,Väter,0.21,6,Elternhaus und Familie,gering,0.8381014976799916,False,-0.07336449853523312,1 -6.17,Schulwechsel,-0.38,6,Elternhaus und Familie,negativ,0.6384645645869302,False,-0.07336449853523312,1 -6.18,Fernsehen,-0.15,6,Elternhaus und Familie,negativ,0.7598477443369885,False,-0.059149754607963165,1 -6.19,Programme für Eltern,0.39,6,Elternhaus und Familie,gering,0.7865197915104075,False,-0.07336449853523314,1 -6.2,Hausbesuche durch Lehrpersonen,0.22,6,Elternhaus und Familie,gering,0.8366902739695423,False,-0.07336449853523314,1 -7.01,Finanzielle Ausstattung,0.19,7,Schule und Gesellschaft,gering,0.9251410228772312,False,-0.07336449853523312,3 -7.02,Accountability / Rechenschaftspflicht,0.27,7,Schule und Gesellschaft,gering,0.8900556973256574,False,-0.0733644985352329,3 -7.03,Leistungsbezogene Bezahlung,0.05,7,Schule und Gesellschaft,gering,0.9174717855887603,False,-0.07336449853523314,3 -7.04,Qualität des Schulgebäudes,0.24,7,Schule und Gesellschaft,gering,0.9083468761774898,False,-0.07892435655637318,3 -7.05,Vertragsschulen / Charter-Schulen,0.04,7,Schule und Gesellschaft,gering,0.9128781474571108,False,-0.07336449853523315,3 -7.06,Konfessionsschulen,0.23,7,Schule und Gesellschaft,gering,0.9129250266162217,False,-0.07336449853523314,3 -7.07,Monoedukation,0.07,7,Schule und Gesellschaft,gering,0.9235929535014257,False,-0.07336449853523312,3 -7.08,Dauer der Sommerferien,-0.09,7,Schule und Gesellschaft,negativ,0.8327092370446383,False,-0.08477035593782843,3 -7.09,Sommerschulen,0.17,7,Schule und Gesellschaft,gering,0.9281937118300768,False,-0.07336449853523315,3 -7.1,Schulkalender / Stundenplan,0.1,7,Schule und Gesellschaft,gering,0.9281794453692277,False,-0.07336449853523314,3 +5.01,Vorausgehende Fähigkeiten & Intelligenz,0.96,5,Lernende,hoch,0.6823734729493874,False,-0.08096089721466541,1 +5.02,Vorausgehendes Leistungsniveau,0.73,5,Lernende,hoch,0.09764309764310186,False,-0.06690384334788037,1 +5.03,Beziehung zwischen Schul- und Berufsleistungen,0.37,5,Lernende,gering,0.4793284161490682,False,-0.16752469249087093,2 +5.04,Beziehung zwischen Schul- und Universitätsleistungen,0.55,5,Lernende,mittel,0.7120401337792641,False,-0.16752469249087146,2 +5.05,Erkenntnisstufen,1.28,5,Lernende,hoch,0.4754440961337511,True,-0.054732267395592116,1 +5.06,Exekutive Funktionen,0.62,5,Lernende,mittel,0.5038120750051506,False,-0.054732267395592345,2 +5.07,Stärke des Arbeitsgedächtnisses,0.63,5,Lernende,mittel,0.4599317988064778,False,-0.07588868190734946,2 +5.08,Vorschulische nicht-kognitive Fähigkeiten,0.2,5,Lernende,gering,0.6627335299901671,False,-0.08422827613027246,0 +5.09,Gekreuzte Lateralität,-0.03,5,Lernende,negativ,0.4743319268635724,False,-0.06690384334787969,0 +5.1,Feldunabhängigkeit,0.94,5,Lernende,hoch,0.6757741347905253,False,-0.05473226739559237,1 +5.11,Beurteilung der eigenen Leistungsfähigkeit,0.96,5,Lernende,hoch,0.6823734729493874,False,-0.07570327260842737,1 +5.12,Kreativität und Lernleistung in Beziehung setzen,0.4,5,Lernende,mittel,0.6006217348128319,False,-0.1591048977238036,2 +5.13,Kritisches Denken,0.84,5,Lernende,hoch,0.5384615384615383,False,-0.06690384334787972,1 +5.14,Beharrlichkeit und Zuversicht (Mindset),0.19,5,Lernende,gering,0.6866096866096867,False,-0.3314224947892216,0 +5.15,Beharrlichkeit und Zuversicht (Achtsamkeit),0.26,5,Lernende,gering,0.38451935081148536,False,-0.385175633205326,0 +5.16,Beharrlichkeit und Zuversicht (Durchhaltevermögen),0.35,5,Lernende,gering,0.36200148101131857,False,-0.3314224947892214,2 +5.17,Beharrlichkeit und Zuversicht (Konzentration / Ausdauer und Engagement),0.41,5,Lernende,mittel,0.6271031151091123,False,-0.31723823624074776,2 +5.18,Beharrlichkeit und Zuversicht (Selbstwirksamkeitserwartung),0.64,5,Lernende,mittel,0.40984330169940336,False,-0.33142249478922153,2 +5.19,Beharrlichkeit und Zuversicht (Positives Selbstbild),0.51,5,Lernende,mittel,0.754258655679233,False,-0.29756562936567754,2 +5.2,Beharrlichkeit und Zuversicht (Selbstkontrolle),0.66,5,Lernende,mittel,0.2915181753385596,False,-0.3314224947892215,2 +5.21,Schülerpersönlichkeit,0.18,5,Lernende,gering,0.7052341597796145,False,-0.06690384334787969,0 +5.22,Perfektionismus,-0.03,5,Lernende,negativ,0.4743319268635724,False,-0.06690384334787969,0 +5.23,Emotionen,0.61,5,Lernende,mittel,0.5420821699242117,False,-0.09469066931400565,2 +5.24,Emotionen (Emotionale Intelligenz),0.5,5,Lernende,mittel,0.7523286287139656,False,-0.09749403000680268,2 +5.25,Emotionen (Wohlbefinden),0.08,5,Lernende,gering,0.7632850241545894,False,-0.09014704327625096,0 +5.26,Positiv-aktivierend (Freude),0.5,5,Lernende,mittel,0.7523286287139656,False,0.7596274860802354,2 +5.27,Positiv-aktivierend (Hoffnung),0.2,5,Lernende,gering,0.6627335299901671,False,0.7596274860802354,0 +5.28,Positiv-aktivierend (Neugierde),0.74,5,Lernende,hoch,0.1650485436893238,False,0.5687106778355705,1 +5.29,Positiv-aktivierend (Glücklichsein),0.54,5,Lernende,mittel,0.7309884383650871,False,0.7596274860802354,2 +5.3,Positiv-aktivierend (Entspannung),0.16,5,Lernende,gering,0.7269595176571921,False,0.7596274860802354,0 +5.31,negativ-aktivierend (Angst),-0.4,5,Lernende,negativ,0.7516072139728055,False,0.4899153315315725,3 +5.32,negativ-aktivierend (Depressionen),-0.3,5,Lernende,negativ,0.6883554432512108,False,0.4899153315315726,3 +5.33,negativ-aktivierend (Wut),-0.65,5,Lernende,negativ,0.5657478187012586,True,0.48991533153157263,3 +5.34,negativ-aktivierend (Frustration),-0.04,5,Lernende,negativ,0.4271968046477851,False,0.665618594201167,0 +5.35,negativ-aktivierend (Aggression und Gewalt),0.03,5,Lernende,gering,0.6867612293144207,False,0.3512922425196881,0 +5.36,negativ-aktivierend (Langeweile),-0.46,5,Lernende,negativ,0.7126947637292466,False,0.665618594201167,3 +5.37,kognitive Dispositionen (Morgentypus vs. Abendtypus),0.18,5,Lernende,gering,0.7052341597796145,False,-0.08265613474581207,0 +5.38,kognitive Dispositionen (Prokrastination),-0.41,5,Lernende,negativ,0.7479620323841432,False,-0.08006329810038103,3 +6.01,Sozioökonomischer Status,0.56,6,Elternhaus und Familie,mittel,0.6896373947413648,False,-0.06690384334787969,2 +6.02,Bezug staatlicher Transferleistungen,-0.12,6,Elternhaus und Familie,negativ,-0.013035159052858219,False,-0.06690384334787969,3 +6.03,Erwerbstätigkeit der Mutter,0.05,6,Elternhaus und Familie,gering,0.7362514029180696,False,-0.07741252027576469,0 +6.04,Stipendien,0.03,6,Elternhaus und Familie,gering,0.6867612293144207,False,-0.06690384334787969,0 +6.05,Einwanderungsstatus,0.05,6,Elternhaus und Familie,gering,0.7362514029180696,False,-0.06690384334787969,0 +6.06,Familienstruktur,0.14,6,Elternhaus und Familie,gering,0.7412814274128143,False,-0.05473226739559239,0 +6.07,Geschieden,-0.26,6,Elternhaus und Familie,negativ,0.6103755323267518,False,-0.07597551679303022,3 +6.08,nicht-geschieden vs. wiederverheiratet,0.24,6,Elternhaus und Familie,gering,0.506300114547537,False,-0.08358940952566345,0 +6.09,Adoption,0.21,6,Elternhaus und Familie,gering,0.6330275229357801,False,-0.06690384334787898,0 +6.1,Kinderheime,0.33,6,Elternhaus und Familie,gering,0.2128574750058127,False,-0.05473226739559239,2 +6.11,Häusliches Anregungsniveau,0.4,6,Elternhaus und Familie,mittel,0.6006217348128319,False,-0.06690384334787969,2 +6.12,Elternunterstützung beim Lernen,0.41,6,Elternhaus und Familie,mittel,0.6271031151091123,False,-0.06690384334787967,2 +6.13,Elterliche Autonomieunterstützung (Familienhilfe),0.06,6,Elternhaus und Familie,gering,0.7516420361247947,False,-0.06690384334787967,0 +6.14,Elternerwartungen,0.49,6,Elternhaus und Familie,mittel,0.7454899415963664,False,-0.06690384334787967,2 +6.15,Körperliche Züchtigung,-0.33,6,Elternhaus und Familie,negativ,0.7233372687918145,False,-0.05473226739559239,3 +6.16,Väter,0.21,6,Elternhaus und Familie,gering,0.6330275229357801,False,-0.06690384334787969,0 +6.17,Schulwechsel,-0.38,6,Elternhaus und Familie,negativ,0.7505765478091184,False,-0.06690384334787967,3 +6.18,Fernsehen,-0.15,6,Elternhaus und Familie,negativ,0.19217466493731084,False,-0.05473226739559239,3 +6.19,Programme für Eltern,0.39,6,Elternhaus und Familie,gering,0.5654863290004483,False,-0.06690384334787967,2 +6.2,Hausbesuche durch Lehrpersonen,0.22,6,Elternhaus und Familie,gering,0.5968253968253969,False,-0.06690384334787967,0 +7.01,Finanzielle Ausstattung,0.19,7,Schule und Gesellschaft,gering,0.6866096866096867,False,-0.06690384334787969,0 +7.02,Accountability / Rechenschaftspflicht,0.27,7,Schule und Gesellschaft,gering,0.3124183006535946,False,-0.06690384334787969,0 +7.03,Leistungsbezogene Bezahlung,0.05,7,Schule und Gesellschaft,gering,0.7362514029180696,False,-0.06690384334787969,0 +7.04,Qualität des Schulgebäudes,0.24,7,Schule und Gesellschaft,gering,0.506300114547537,False,-0.07588868190734947,0 +7.05,Vertragsschulen / Charter-Schulen,0.04,7,Schule und Gesellschaft,gering,0.71286701208981,False,-0.06690384334787967,0 +7.06,Konfessionsschulen,0.23,7,Schule und Gesellschaft,gering,0.5555555555555554,False,-0.05473226739559239,0 +7.07,Monoedukation,0.07,7,Schule und Gesellschaft,gering,0.762962962962963,False,-0.06690384334787967,0 +7.08,Dauer der Sommerferien,-0.09,7,Schule und Gesellschaft,negativ,0.12543402777777787,False,-0.07649636029329497,0 +7.09,Sommerschulen,0.17,7,Schule und Gesellschaft,gering,0.7173333333333332,False,-0.06690384334787969,0 +7.1,Schulkalender / Stundenplan,0.1,7,Schule und Gesellschaft,gering,0.7596223674655048,False,-0.06690384334787969,0 +7.11,Desegration,0.23,7,Schule und Gesellschaft,gering,0.5555555555555554,False,-0.06690384334787969,0 +7.12,Ethnische Vielfalt,0.09,7,Schule und Gesellschaft,gering,0.762208067940552,False,-0.06690384334787969,0 +7.13,Wohnheimunterbringung,0.05,7,Schule und Gesellschaft,gering,0.7362514029180696,False,-0.06690384334787969,0 +7.14,Schulgröße,0.33,7,Schule und Gesellschaft,gering,0.2128574750058127,False,-0.06690384334787969,2 +7.15,Neuordnung des Schulbezirks,0.05,7,Schule und Gesellschaft,gering,0.7362514029180696,False,-0.07588868190734946,0 +7.16,Schulwahlfreiheit,0.27,7,Schule und Gesellschaft,gering,0.3124183006535946,False,-0.06690384334787969,0 +7.17,Fördermaßnahmen im Sekundarbereich I,0.18,7,Schule und Gesellschaft,gering,0.7052341597796145,False,-0.06690384334787967,0 +7.18,Schulleitung,0.37,7,Schule und Gesellschaft,gering,0.4793284161490682,False,-0.06690384334787969,2 +7.19,Schulklima,0.53,7,Schule und Gesellschaft,mittel,0.7467470644239921,False,-0.06690384334787967,2 +7.2,Schuleffekte,0.48,7,Schule und Gesellschaft,mittel,0.7357936534418898,False,-0.06690384334787969,2 diff --git a/export/data_quality_report.json b/export/data_quality_report.json index 82a8e40..4314931 100644 --- a/export/data_quality_report.json +++ b/export/data_quality_report.json @@ -1,5 +1,5 @@ { - "n_rows": 68, + "n_rows": 78, "duplicate_ids": {}, "n_duplicates": 0, "invalid_kapitel_entries": [], diff --git a/export/deskriptiv.csv b/export/deskriptiv.csv index e3c776f..ee9afa0 100644 --- a/export/deskriptiv.csv +++ b/export/deskriptiv.csv @@ -1,5 +1,5 @@ ,n,mean,std,min,q1,median,q3,max,skew,kurtosis -Gesamt,68,0.2458823529411765,0.37290403428819446,-0.65,0.0475,0.21,0.5,1.28,0.12925197443518738,0.2800914374662091 +Gesamt,78,0.2474358974358975,0.352742266006083,-0.65,0.05,0.215,0.4875,1.28,0.12462357658528317,0.5621417918900056 Kapitel 5,38,0.3394736842105263,0.43649059535035,-0.65,0.1,0.385,0.6275,1.28,-0.29469572711835434,-0.11719052918009742 Kapitel 6,20,0.1275,0.27132957236929645,-0.38,-0.0075,0.175,0.34500000000000003,0.56,-0.3580457406718272,-0.6941765728667146 -Kapitel 7,10,0.127,0.11264990013311152,-0.09,0.05500000000000001,0.135,0.22,0.27,-0.5585413007473659,-0.22749527826960758 +Kapitel 7,20,0.1925,0.15606594422669035,-0.09,0.065,0.185,0.27,0.53,0.5084512016471165,0.08880591241093594 diff --git a/export/signifikanz_ranking.csv b/export/signifikanz_ranking.csv index 72e0ba3..6a463a4 100644 --- a/export/signifikanz_ranking.csv +++ b/export/signifikanz_ranking.csv @@ -1,69 +1,79 @@ Thermometer_ID,Stichwort,Effektstärke,Kapitel,Kapitelname,Bin,Silhouette_point,Outlier_IQR,Text_Dimension,abs_d,SignifikanzScore,Rank_abs,Rank_score,Impact_Label -5.05,Erkenntnisstufen,1.28,5,Lernende,hoch,0.5057964601769913,True,-0.05914975460796303,1.28,0.7782633229981433,1,1,hoch+ -5.01,Vorausgehende Fähigkeiten & Intelligenz,0.96,5,Lernende,hoch,0.6502913752913749,False,-0.08735409337133096,0.96,0.7005156686176717,2,2,hoch+ -5.11,Beurteilung der eigenen Leistungsfähigkeit,0.96,5,Lernende,hoch,0.6502913752913749,False,-0.08382750975171666,0.96,0.7005156686176717,2,2,hoch+ -5.1,Feldunabhängigkeit,0.94,5,Lernende,hoch,0.6583828775267535,False,-0.05914975460796317,0.94,0.6951632881526102,4,4,hoch+ -5.13,Kritisches Denken,0.84,5,Lernende,hoch,0.6930555555555555,False,-0.07336449853523312,0.84,0.6653646480780675,5,5,hoch+ -5.28,Positiv-aktivierend (Neugierde),0.74,5,Lernende,hoch,0.7238450074515644,False,0.5855547077500068,0.74,0.6335275154343559,6,6,hoch+ -5.02,Vorausgehendes Leistungsniveau,0.73,5,Lernende,hoch,0.7260754716981136,False,-0.07336449853523334,0.73,0.6298983936260716,7,7,hoch+ -5.2,Beharrlichkeit und Zuversicht (Selbstkontrolle),0.66,5,Lernende,mittel,0.7335820895522391,False,-0.3354325030205649,0.66,0.6002389791577778,8,8,mittel+ -5.18,Beharrlichkeit und Zuversicht (Selbstwirksamkeitserwartung),0.64,5,Lernende,mittel,0.7331058020477826,False,-0.3354325030205649,0.64,0.5903889528895614,10,9,mittel+ -5.07,Stärke des Arbeitsgedächtnisses,0.63,5,Lernende,mittel,0.7313852813852812,False,-0.07892435655637323,0.63,0.5846857686644674,11,10,mittel+ -5.06,Exekutive Funktionen,0.62,5,Lernende,mittel,0.7281195079086115,False,-0.05914975460796313,0.62,0.5781714067558055,12,11,mittel+ -5.23,Emotionen,0.61,5,Lernende,mittel,0.7232381801962534,False,-0.1013942427833901,0.61,0.570808962558881,13,12,mittel+ -6.01,Sozioökonomischer Status,0.56,6,Elternhaus und Familie,mittel,0.6827943498774371,False,-0.07336449853523314,0.56,0.5255780466260127,14,13,mittel+ -5.04,Beziehung zwischen Schul- und Universitätsleistungen,0.55,5,Lernende,mittel,0.680520117762513,False,-0.175121884151931,0.55,0.5195841925705693,15,14,mittel+ -6.14,Elternerwartungen,0.49,6,Elternhaus und Familie,mittel,0.7301343867848403,False,-0.07336449853523314,0.49,0.5168291137953939,20,15,mittel+ -5.29,Positiv-aktivierend (Glücklichsein),0.54,5,Lernende,mittel,0.6708582834331347,False,0.7827951695376463,0.54,0.5097122300292544,16,16,mittel+ -6.12,Elternunterstützung beim Lernen,0.41,6,Elternhaus und Familie,mittel,0.77761147335638,False,-0.07336449853523314,0.41,0.5033521249392942,22,17,mittel+ -6.11,Häusliches Anregungsniveau,0.4,6,Elternhaus und Familie,mittel,0.7824192735239991,False,-0.07336449853523314,0.4,0.5010759709839467,25,18,mittel+ -6.19,Programme für Eltern,0.39,6,Elternhaus und Familie,gering,0.7865197915104075,False,-0.07336449853523314,0.39,0.4984285305205778,28,19,gering+ -7.02,Accountability / Rechenschaftspflicht,0.27,7,Schule und Gesellschaft,gering,0.8900556973256574,False,-0.0733644985352329,0.27,0.49517951792876724,35,20,gering+ -7.04,Qualität des Schulgebäudes,0.24,7,Schule und Gesellschaft,gering,0.9083468761774898,False,-0.07892435655637318,0.24,0.4903814393455832,38,21,gering+ -7.06,Konfessionsschulen,0.23,7,Schule und Gesellschaft,gering,0.9129250266162217,False,-0.07336449853523314,0.23,0.4879847311783926,40,22,gering+ -6.1,Kinderheime,0.33,6,Elternhaus und Familie,gering,0.8071221370551951,False,-0.07336449853523312,0.33,0.4804436947330976,32,23,gering+ -5.33,negativ-aktivierend (Wut),-0.65,5,Lernende,negativ,0.510747535596933,True,0.44255048994701485,0.65,-0.47846238112862827,9,24,mittel− -5.19,Beharrlichkeit und Zuversicht (Positives Selbstbild),0.51,5,Lernende,mittel,0.6344374342797038,False,-0.3021008406853567,0.51,0.476193170818376,17,25,mittel+ -7.01,Finanzielle Ausstattung,0.19,7,Schule und Gesellschaft,gering,0.9251410228772312,False,-0.07336449853523312,0.19,0.4751974964285984,46,26,gering+ -7.09,Sommerschulen,0.17,7,Schule und Gesellschaft,gering,0.9281937118300768,False,-0.07336449853523315,0.17,0.46720000000000006,50,27,gering+ -5.24,Emotionen (Emotionale Intelligenz),0.5,5,Lernende,mittel,0.6195931477516049,False,-0.1010290138898771,0.5,0.4636006893230006,18,28,mittel+ -5.26,Positiv-aktivierend (Freude),0.5,5,Lernende,mittel,0.6195931477516049,False,0.7827951695376463,0.5,0.4636006893230006,18,28,mittel+ -6.08,nicht-geschieden vs. wiederverheiratet,0.24,6,Elternhaus und Familie,gering,0.8324161165454884,False,-0.09341002740120666,0.24,0.4505217237410541,38,30,gering+ -6.2,Hausbesuche durch Lehrpersonen,0.22,6,Elternhaus und Familie,gering,0.8366902739695423,False,-0.07336449853523314,0.22,0.44316543498795136,41,31,gering+ -6.09,Adoption,0.21,6,Elternhaus und Familie,gering,0.8381014976799916,False,-0.0733644985352332,0.21,0.4391062543347549,42,32,gering+ -6.16,Väter,0.21,6,Elternhaus und Familie,gering,0.8381014976799916,False,-0.07336449853523312,0.21,0.4391062543347549,42,32,gering+ -7.1,Schulkalender / Stundenplan,0.1,7,Schule und Gesellschaft,gering,0.9281794453692277,False,-0.07336449853523314,0.1,0.4335925108470548,55,34,gering+ -5.36,negativ-aktivierend (Langeweile),-0.46,5,Lernende,negativ,0.5871794871794872,False,0.4425504899470148,0.46,-0.42738519654552776,21,35,mittel− -7.07,Monoedukation,0.07,7,Schule und Gesellschaft,gering,0.9235929535014257,False,-0.07336449853523312,0.07,0.41678484019606843,58,36,gering+ -6.17,Schulwechsel,-0.38,6,Elternhaus und Familie,negativ,0.6384645645869302,False,-0.07336449853523312,0.38,-0.4159072056249074,29,37,gering− -5.38,kognitive Dispositionen (Prokrastination),-0.41,5,Lernende,negativ,0.6059563758389256,False,-0.08917102326885956,0.41,-0.4132420904516396,22,38,mittel− -5.31,negativ-aktivierend (Angst),-0.4,5,Lernende,negativ,0.608739837398373,False,0.4425504899470148,0.4,-0.4099032635874468,25,39,mittel− -6.15,Körperliche Züchtigung,-0.33,6,Elternhaus und Familie,negativ,0.668243380062615,False,-0.07336449853523312,0.33,-0.40753954121134467,32,40,gering− -6.06,Familienstruktur,0.14,6,Elternhaus und Familie,gering,0.8378335891817927,False,-0.059149754607963165,0.14,0.4053656162508216,53,41,gering+ -7.03,Leistungsbezogene Bezahlung,0.05,7,Schule und Gesellschaft,gering,0.9174717855887603,False,-0.07336449853523314,0.05,0.40397154411752395,60,42,gering+ -7.05,Vertragsschulen / Charter-Schulen,0.04,7,Schule und Gesellschaft,gering,0.9128781474571108,False,-0.07336449853523315,0.04,0.396760122048193,63,43,gering+ -6.07,Geschieden,-0.26,6,Elternhaus und Familie,negativ,0.7061030196788244,False,-0.08431062057732165,0.26,-0.3938138908860457,36,44,gering− -7.08,Dauer der Sommerferien,-0.09,7,Schule und Gesellschaft,negativ,0.8327092370446383,False,-0.08477035593782843,0.09,-0.37867559681950863,56,45,gering− -5.32,negativ-aktivierend (Depressionen),-0.3,5,Lernende,negativ,0.6266841317365268,False,0.4425504899470148,0.3,-0.3713230886031487,34,46,gering− -6.18,Fernsehen,-0.15,6,Elternhaus und Familie,negativ,0.7598477443369885,False,-0.059149754607963165,0.15,-0.3692270873626853,52,47,gering− -6.13,Elterliche Autonomieunterstützung (Familienhilfe),0.06,6,Elternhaus und Familie,gering,0.8320762909326382,False,-0.07336449853523312,0.06,0.3639433328972249,59,48,gering+ -6.02,Bezug staatlicher Transferleistungen,-0.12,6,Elternhaus und Familie,negativ,0.772215227319828,False,-0.07336449853523314,0.12,-0.3613193752948617,54,49,gering− -6.05,Einwanderungsstatus,0.05,6,Elternhaus und Familie,gering,0.8306537734304565,False,-0.07336449853523312,0.05,0.35839658489477866,60,50,gering+ -6.03,Erwerbstätigkeit der Mutter,0.05,6,Elternhaus und Familie,gering,0.8306537734304565,False,-0.08585665050056006,0.05,0.35839658489477866,60,50,gering+ -6.04,Stipendien,0.03,6,Elternhaus und Familie,gering,0.82487518707422,False,-0.07336449853523311,0.03,0.3457631263876847,65,52,gering+ -5.17,Beharrlichkeit und Zuversicht (Konzentration / Ausdauer und Engagement),0.41,5,Lernende,mittel,0.4177336747759273,False,-0.3218185254749976,0.41,0.31443492230202125,22,53,mittel+ -5.12,Kreativität und Lernleistung in Beziehung setzen,0.4,5,Lernende,mittel,0.3880890052355992,False,-0.14757153731358338,0.4,0.2940730063829064,25,54,mittel+ -5.34,negativ-aktivierend (Frustration),-0.04,5,Lernende,negativ,0.6507201646090555,False,0.6056986180050421,0.04,-0.25914076079822995,63,55,gering− -5.22,Perfektionismus,-0.03,5,Lernende,negativ,0.6501826722338218,False,-0.07336449853523314,0.03,-0.2540586051432589,65,56,gering− -5.09,Gekreuzte Lateralität,-0.03,5,Lernende,negativ,0.6501826722338218,False,-0.07336449853523311,0.03,-0.2540586051432589,65,56,gering− -5.25,Emotionen (Wohlbefinden),0.08,5,Lernende,gering,0.5842661691542289,False,-0.09745012386374446,0.08,0.24345585549171578,57,58,gering+ -5.35,negativ-aktivierend (Aggression und Gewalt),0.03,5,Lernende,gering,0.6225686498855841,False,0.30890529874855743,0.03,0.23956267381276325,65,59,gering+ -5.3,Positiv-aktivierend (Entspannung),0.16,5,Lernende,gering,0.48663294797687695,False,0.7827951695376463,0.16,0.23060347176021956,51,60,gering+ -5.03,Beziehung zwischen Schul- und Berufsleistungen,0.37,5,Lernende,gering,0.2835203366058893,False,-0.17512188415193075,0.37,0.2247798719940885,30,61,gering+ -5.21,Schülerpersönlichkeit,0.18,5,Lernende,gering,0.45180722891566244,False,-0.07336449853523312,0.18,0.22192177322024864,48,62,gering+ -5.37,kognitive Dispositionen (Morgentypus vs. Abendtypus),0.18,5,Lernende,gering,0.45180722891566244,False,-0.09227886985139404,0.18,0.22192177322024864,48,62,gering+ -5.14,Beharrlichkeit und Zuversicht (Mindset),0.19,5,Lernende,gering,0.42788461538461536,False,-0.33543250302056493,0.19,0.21416364030433988,46,64,gering+ -5.08,Vorschulische nicht-kognitive Fähigkeiten,0.2,5,Lernende,gering,0.4001572327044027,False,-0.09398809922530565,0.2,0.20440820067160598,44,65,gering+ -5.27,Positiv-aktivierend (Hoffnung),0.2,5,Lernende,gering,0.4001572327044027,False,0.7827951695376463,0.2,0.20440820067160598,44,65,gering+ -5.16,Beharrlichkeit und Zuversicht (Durchhaltevermögen),0.35,5,Lernende,gering,0.200073637702503,False,-0.33543250302056504,0.35,0.17137467759664005,31,67,gering+ -5.15,Beharrlichkeit und Zuversicht (Achtsamkeit),0.26,5,Lernende,gering,0.16621376811594119,False,-0.33543250302056515,0.26,0.1104,36,68,gering+ +5.05,Erkenntnisstufen,1.28,5,Lernende,hoch,0.4754440961337511,True,-0.054732267395592116,1.28,0.8491567794928772,1,1,hoch+ +5.01,Vorausgehende Fähigkeiten & Intelligenz,0.96,5,Lernende,hoch,0.6823734729493874,False,-0.08096089721466541,0.96,0.8039982503810714,2,2,hoch+ +5.11,Beurteilung der eigenen Leistungsfähigkeit,0.96,5,Lernende,hoch,0.6823734729493874,False,-0.07570327260842737,0.96,0.8039982503810714,2,2,hoch+ +5.1,Feldunabhängigkeit,0.94,5,Lernende,hoch,0.6757741347905253,False,-0.05473226739559237,0.94,0.7909398630421234,4,4,hoch+ +5.13,Kritisches Denken,0.84,5,Lernende,hoch,0.5384615384615383,False,-0.06690384334787972,0.84,0.6709811100292111,5,5,hoch+ +7.19,Schulklima,0.53,7,Schule und Gesellschaft,mittel,0.7467470644239921,False,-0.06690384334787967,0.53,0.6313332717361173,17,6,mittel+ +5.29,Positiv-aktivierend (Glücklichsein),0.54,5,Lernende,mittel,0.7309884383650871,False,0.7596274860802354,0.54,0.6278749537761342,16,7,mittel+ +5.19,Beharrlichkeit und Zuversicht (Positives Selbstbild),0.51,5,Lernende,mittel,0.754258655679233,False,-0.29756562936567754,0.51,0.6256697258875981,18,8,mittel+ +5.04,Beziehung zwischen Schul- und Universitätsleistungen,0.55,5,Lernende,mittel,0.7120401337792641,False,-0.16752469249087146,0.55,0.6227450827653359,15,9,mittel+ +5.26,Positiv-aktivierend (Freude),0.5,5,Lernende,mittel,0.7523286287139656,False,0.7596274860802354,0.5,0.6198582940349135,19,10,mittel+ +5.24,Emotionen (Emotionale Intelligenz),0.5,5,Lernende,mittel,0.7523286287139656,False,-0.09749403000680268,0.5,0.6198582940349135,19,10,mittel+ +6.01,Sozioökonomischer Status,0.56,6,Elternhaus und Familie,mittel,0.6896373947413648,False,-0.06690384334787969,0.56,0.6158049131935759,14,12,mittel+ +6.14,Elternerwartungen,0.49,6,Elternhaus und Familie,mittel,0.7454899415963664,False,-0.06690384334787967,0.49,0.6114744757226528,21,13,mittel+ +7.2,Schuleffekte,0.48,7,Schule und Gesellschaft,mittel,0.7357936534418898,False,-0.06690384334787969,0.48,0.6015931297784081,22,14,mittel+ +5.33,negativ-aktivierend (Wut),-0.65,5,Lernende,negativ,0.5657478187012586,True,0.48991533153157263,0.65,-0.5940805024586342,9,15,mittel− +5.36,negativ-aktivierend (Langeweile),-0.46,5,Lernende,negativ,0.7126947637292466,False,0.665618594201167,0.46,-0.579888142004947,23,16,mittel− +5.38,kognitive Dispositionen (Prokrastination),-0.41,5,Lernende,negativ,0.7479620323841432,False,-0.08006329810038103,0.41,-0.5743699764646016,24,17,mittel− +5.31,negativ-aktivierend (Angst),-0.4,5,Lernende,negativ,0.7516072139728055,False,0.4899153315315725,0.4,-0.571480236183217,27,18,mittel− +5.23,Emotionen,0.61,5,Lernende,mittel,0.5420821699242117,False,-0.09469066931400565,0.61,0.5624785042387641,13,19,mittel+ +6.17,Schulwechsel,-0.38,6,Elternhaus und Familie,negativ,0.7505765478091184,False,-0.06690384334787967,0.38,-0.5613401149278164,31,20,gering− +5.06,Exekutive Funktionen,0.62,5,Lernende,mittel,0.5038120750051506,False,-0.054732267395592345,0.62,0.547223036774851,12,21,mittel+ +5.07,Stärke des Arbeitsgedächtnisses,0.63,5,Lernende,mittel,0.4599317988064778,False,-0.07588868190734946,0.63,0.5290275502606099,11,22,mittel+ +6.15,Körperliche Züchtigung,-0.33,6,Elternhaus und Familie,negativ,0.7233372687918145,False,-0.05473226739559239,0.33,-0.5230653535187484,35,23,gering− +5.17,Beharrlichkeit und Zuversicht (Konzentration / Ausdauer und Engagement),0.41,5,Lernende,mittel,0.6271031151091123,False,-0.31723823624074776,0.41,0.511033784373636,24,24,mittel+ +6.12,Elternunterstützung beim Lernen,0.41,6,Elternhaus und Familie,mittel,0.6271031151091123,False,-0.06690384334787967,0.41,0.511033784373636,24,24,mittel+ +5.18,Beharrlichkeit und Zuversicht (Selbstwirksamkeitserwartung),0.64,5,Lernende,mittel,0.40984330169940336,False,-0.33142249478922153,0.64,0.5075786416500672,10,26,mittel+ +5.12,Kreativität und Lernleistung in Beziehung setzen,0.4,5,Lernende,mittel,0.6006217348128319,False,-0.1591048977238036,0.4,0.492356200269003,27,27,mittel+ +6.11,Häusliches Anregungsniveau,0.4,6,Elternhaus und Familie,mittel,0.6006217348128319,False,-0.06690384334787969,0.4,0.492356200269003,27,27,mittel+ +5.32,negativ-aktivierend (Depressionen),-0.3,5,Lernende,negativ,0.6883554432512108,False,0.4899153315315726,0.3,-0.49033310570379907,38,29,gering− +6.19,Programme für Eltern,0.39,6,Elternhaus und Familie,gering,0.5654863290004483,False,-0.06690384334787967,0.39,0.4691434686154248,30,30,gering+ +5.2,Beharrlichkeit und Zuversicht (Selbstkontrolle),0.66,5,Lernende,mittel,0.2915181753385596,False,-0.3314224947892215,0.66,0.4551702842913464,8,31,mittel+ +5.3,Positiv-aktivierend (Entspannung),0.16,5,Lernende,gering,0.7269595176571921,False,0.7596274860802354,0.16,0.4433635953292121,58,32,gering+ +7.09,Sommerschulen,0.17,7,Schule und Gesellschaft,gering,0.7173333333333332,False,-0.06690384334787969,0.17,0.44311898734177213,57,33,gering+ +5.21,Schülerpersönlichkeit,0.18,5,Lernende,gering,0.7052341597796145,False,-0.06690384334787969,0.18,0.441578407783241,54,34,gering+ +5.37,kognitive Dispositionen (Morgentypus vs. Abendtypus),0.18,5,Lernende,gering,0.7052341597796145,False,-0.08265613474581207,0.18,0.441578407783241,54,34,gering+ +7.17,Fördermaßnahmen im Sekundarbereich I,0.18,7,Schule und Gesellschaft,gering,0.7052341597796145,False,-0.06690384334787967,0.18,0.441578407783241,54,34,gering+ +6.06,Familienstruktur,0.14,6,Elternhaus und Familie,gering,0.7412814274128143,False,-0.05473226739559239,0.14,0.44126900120114576,60,37,gering+ +5.14,Beharrlichkeit und Zuversicht (Mindset),0.19,5,Lernende,gering,0.6866096866096867,False,-0.3314224947892216,0.19,0.43661824083089906,52,38,gering+ +7.01,Finanzielle Ausstattung,0.19,7,Schule und Gesellschaft,gering,0.6866096866096867,False,-0.06690384334787969,0.19,0.43661824083089906,52,38,gering+ +7.1,Schulkalender / Stundenplan,0.1,7,Schule und Gesellschaft,gering,0.7596223674655048,False,-0.06690384334787969,0.1,0.43168058244394814,62,40,gering+ +6.07,Geschieden,-0.26,6,Elternhaus und Familie,negativ,0.6103755323267518,False,-0.07597551679303022,0.26,-0.4302676840294623,41,41,gering− +5.27,Positiv-aktivierend (Hoffnung),0.2,5,Lernende,gering,0.6627335299901671,False,0.7596274860802354,0.2,0.4289059258429483,50,42,gering+ +5.08,Vorschulische nicht-kognitive Fähigkeiten,0.2,5,Lernende,gering,0.6627335299901671,False,-0.08422827613027246,0.2,0.4289059258429483,50,42,gering+ +7.12,Ethnische Vielfalt,0.09,7,Schule und Gesellschaft,gering,0.762208067940552,False,-0.06690384334787969,0.09,0.4282356204144158,63,44,gering+ +5.28,Positiv-aktivierend (Neugierde),0.74,5,Lernende,hoch,0.1650485436893238,False,0.5687106778355705,0.74,0.4272937937814937,6,45,hoch+ +5.25,Emotionen (Wohlbefinden),0.08,5,Lernende,gering,0.7632850241545894,False,-0.09014704327625096,0.08,0.42400000000000004,65,46,gering+ +7.07,Monoedukation,0.07,7,Schule und Gesellschaft,gering,0.762962962962963,False,-0.06690384334787967,0.07,0.419031223628692,66,47,gering+ +6.16,Väter,0.21,6,Elternhaus und Familie,gering,0.6330275229357801,False,-0.06690384334787969,0.21,0.4181384740448265,48,48,gering+ +6.09,Adoption,0.21,6,Elternhaus und Familie,gering,0.6330275229357801,False,-0.06690384334787898,0.21,0.4181384740448265,48,48,gering+ +7.18,Schulleitung,0.37,7,Schule und Gesellschaft,gering,0.4793284161490682,False,-0.06690384334787969,0.37,0.4143923598553344,32,50,gering+ +5.03,Beziehung zwischen Schul- und Berufsleistungen,0.37,5,Lernende,gering,0.4793284161490682,False,-0.16752469249087093,0.37,0.4143923598553344,32,50,gering+ +6.13,Elterliche Autonomieunterstützung (Familienhilfe),0.06,6,Elternhaus und Familie,gering,0.7516420361247947,False,-0.06690384334787967,0.06,0.4082984847540064,67,52,gering+ +6.2,Hausbesuche durch Lehrpersonen,0.22,6,Elternhaus und Familie,gering,0.5968253968253969,False,-0.06690384334787967,0.22,0.4039667269439422,47,53,gering+ +7.03,Leistungsbezogene Bezahlung,0.05,7,Schule und Gesellschaft,gering,0.7362514029180696,False,-0.06690384334787969,0.05,0.39543301368111494,68,54,gering+ +7.15,Neuordnung des Schulbezirks,0.05,7,Schule und Gesellschaft,gering,0.7362514029180696,False,-0.07588868190734946,0.05,0.39543301368111494,68,54,gering+ +6.05,Einwanderungsstatus,0.05,6,Elternhaus und Familie,gering,0.7362514029180696,False,-0.06690384334787969,0.05,0.39543301368111494,68,54,gering+ +7.13,Wohnheimunterbringung,0.05,7,Schule und Gesellschaft,gering,0.7362514029180696,False,-0.06690384334787969,0.05,0.39543301368111494,68,54,gering+ +6.03,Erwerbstätigkeit der Mutter,0.05,6,Elternhaus und Familie,gering,0.7362514029180696,False,-0.07741252027576469,0.05,0.39543301368111494,68,54,gering+ +5.02,Vorausgehendes Leistungsniveau,0.73,5,Lernende,hoch,0.09764309764310186,False,-0.06690384334788037,0.73,0.3871699271192964,7,59,hoch+ +7.06,Konfessionsschulen,0.23,7,Schule und Gesellschaft,gering,0.5555555555555554,False,-0.05473226739559239,0.23,0.387139240506329,45,60,gering+ +7.11,Desegration,0.23,7,Schule und Gesellschaft,gering,0.5555555555555554,False,-0.06690384334787969,0.23,0.387139240506329,45,60,gering+ +7.05,Vertragsschulen / Charter-Schulen,0.04,7,Schule und Gesellschaft,gering,0.71286701208981,False,-0.06690384334787967,0.04,0.37837840886731816,73,62,gering+ +7.04,Qualität des Schulgebäudes,0.24,7,Schule und Gesellschaft,gering,0.506300114547537,False,-0.07588868190734947,0.24,0.3661268954717472,43,63,gering+ +6.08,nicht-geschieden vs. wiederverheiratet,0.24,6,Elternhaus und Familie,gering,0.506300114547537,False,-0.08358940952566345,0.24,0.3661268954717472,43,63,gering+ +5.35,negativ-aktivierend (Aggression und Gewalt),0.03,5,Lernende,gering,0.6867612293144207,False,0.3512922425196881,0.03,0.3598976568812281,75,65,gering+ +6.04,Stipendien,0.03,6,Elternhaus und Familie,gering,0.6867612293144207,False,-0.06690384334787969,0.03,0.3598976568812281,75,65,gering+ +5.16,Beharrlichkeit und Zuversicht (Durchhaltevermögen),0.35,5,Lernende,gering,0.36200148101131857,False,-0.3314224947892214,0.35,0.3433071052388429,34,67,gering+ +5.15,Beharrlichkeit und Zuversicht (Achtsamkeit),0.26,5,Lernende,gering,0.38451935081148536,False,-0.385175633205326,0.26,0.3119076091594366,41,68,gering+ +7.16,Schulwahlfreiheit,0.27,7,Schule und Gesellschaft,gering,0.3124183006535946,False,-0.06690384334787969,0.27,0.2789230081906179,39,69,gering+ +7.02,Accountability / Rechenschaftspflicht,0.27,7,Schule und Gesellschaft,gering,0.3124183006535946,False,-0.06690384334787969,0.27,0.2789230081906179,39,69,gering+ +7.14,Schulgröße,0.33,7,Schule und Gesellschaft,gering,0.2128574750058127,False,-0.06690384334787969,0.33,0.25554809449671706,35,71,gering+ +6.1,Kinderheime,0.33,6,Elternhaus und Familie,gering,0.2128574750058127,False,-0.05473226739559239,0.33,0.25554809449671706,35,71,gering+ +5.22,Perfektionismus,-0.03,5,Lernende,negativ,0.4743319268635724,False,-0.06690384334787969,0.03,-0.2485739464829354,75,73,gering− +5.09,Gekreuzte Lateralität,-0.03,5,Lernende,negativ,0.4743319268635724,False,-0.06690384334787969,0.03,-0.2485739464829354,75,73,gering− +5.34,negativ-aktivierend (Frustration),-0.04,5,Lernende,negativ,0.4271968046477851,False,0.665618594201167,0.04,-0.22867275585339622,73,75,gering− +6.18,Fernsehen,-0.15,6,Elternhaus und Familie,negativ,0.19217466493731084,False,-0.05473226739559239,0.15,-0.15830925478993252,59,76,gering− +7.08,Dauer der Sommerferien,-0.09,7,Schule und Gesellschaft,negativ,0.12543402777777787,False,-0.07649636029329497,0.09,-0.09453378164556966,63,77,gering− +6.02,Bezug staatlicher Transferleistungen,-0.12,6,Elternhaus und Familie,negativ,-0.013035159052858219,False,-0.06690384334787969,0.12,-0.043199999999999995,61,78,gering− diff --git a/export/tests_summary.json b/export/tests_summary.json index fab7a99..8dd808d 100644 --- a/export/tests_summary.json +++ b/export/tests_summary.json @@ -1,13 +1,13 @@ { - "silhouette_global": 0.6815565731142729, - "levene_W": 6.124238885035784, - "levene_p": 0.0036581487538003225, - "kruskal_H": 6.095304064204115, - "kruskal_p": 0.04747025227129131, - "kruskal_eps2": 0.06112394125677784, - "spearman_rho_text_d": -0.27386411336988703, - "spearman_p_text_d": 0.023829588725956963, - "chi2": 16.792602473926756, - "chi2_p": 0.010076456895569883, + "silhouette_global": 0.5859691845119998, + "levene_W": 8.053380864529343, + "levene_p": 0.0006786556735287001, + "kruskal_H": 5.717436337170795, + "kruskal_p": 0.05734221623047485, + "kruskal_eps2": 0.048278393989231096, + "spearman_rho_text_d": -0.23679802495635682, + "spearman_p_text_d": 0.03685509517309772, + "chi2": 21.11754385964912, + "chi2_p": 0.0017474931607551554, "chi2_df": 6 } \ No newline at end of file diff --git a/export/werte_all.json b/export/werte_all.json index 0f2ab87..c524f8f 100644 --- a/export/werte_all.json +++ b/export/werte_all.json @@ -12,9 +12,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "hoch", - "Text_Dimension": -0.08735409337133096, + "Text_Dimension": -0.08096089721466541, "Outlier_IQR": false, - "Silhouette_point": 0.6502913752913749 + "Silhouette_point": 0.6823734729493874 }, { "Thermometer_ID": "5.02", @@ -23,9 +23,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "hoch", - "Text_Dimension": -0.07336449853523334, + "Text_Dimension": -0.06690384334788037, "Outlier_IQR": false, - "Silhouette_point": 0.7260754716981136 + "Silhouette_point": 0.09764309764310186 }, { "Thermometer_ID": "5.03", @@ -34,9 +34,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.17512188415193075, + "Text_Dimension": -0.16752469249087093, "Outlier_IQR": false, - "Silhouette_point": 0.2835203366058893 + "Silhouette_point": 0.4793284161490682 }, { "Thermometer_ID": "5.04", @@ -45,9 +45,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.175121884151931, + "Text_Dimension": -0.16752469249087146, "Outlier_IQR": false, - "Silhouette_point": 0.680520117762513 + "Silhouette_point": 0.7120401337792641 }, { "Thermometer_ID": "5.05", @@ -56,9 +56,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "hoch", - "Text_Dimension": -0.05914975460796303, + "Text_Dimension": -0.054732267395592116, "Outlier_IQR": true, - "Silhouette_point": 0.5057964601769913 + "Silhouette_point": 0.4754440961337511 }, { "Thermometer_ID": "5.06", @@ -67,9 +67,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.05914975460796313, + "Text_Dimension": -0.054732267395592345, "Outlier_IQR": false, - "Silhouette_point": 0.7281195079086115 + "Silhouette_point": 0.5038120750051506 }, { "Thermometer_ID": "5.07", @@ -78,9 +78,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.07892435655637323, + "Text_Dimension": -0.07588868190734946, "Outlier_IQR": false, - "Silhouette_point": 0.7313852813852812 + "Silhouette_point": 0.4599317988064778 }, { "Thermometer_ID": "5.08", @@ -89,9 +89,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.09398809922530565, + "Text_Dimension": -0.08422827613027246, "Outlier_IQR": false, - "Silhouette_point": 0.4001572327044027 + "Silhouette_point": 0.6627335299901671 }, { "Thermometer_ID": "5.09", @@ -100,9 +100,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": -0.07336449853523311, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.6501826722338218 + "Silhouette_point": 0.4743319268635724 }, { "Thermometer_ID": "5.1", @@ -111,9 +111,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "hoch", - "Text_Dimension": -0.05914975460796317, + "Text_Dimension": -0.05473226739559237, "Outlier_IQR": false, - "Silhouette_point": 0.6583828775267535 + "Silhouette_point": 0.6757741347905253 }, { "Thermometer_ID": "5.11", @@ -122,9 +122,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "hoch", - "Text_Dimension": -0.08382750975171666, + "Text_Dimension": -0.07570327260842737, "Outlier_IQR": false, - "Silhouette_point": 0.6502913752913749 + "Silhouette_point": 0.6823734729493874 }, { "Thermometer_ID": "5.12", @@ -133,9 +133,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.14757153731358338, + "Text_Dimension": -0.1591048977238036, "Outlier_IQR": false, - "Silhouette_point": 0.3880890052355992 + "Silhouette_point": 0.6006217348128319 }, { "Thermometer_ID": "5.13", @@ -144,9 +144,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "hoch", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787972, "Outlier_IQR": false, - "Silhouette_point": 0.6930555555555555 + "Silhouette_point": 0.5384615384615383 }, { "Thermometer_ID": "5.14", @@ -155,9 +155,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.33543250302056493, + "Text_Dimension": -0.3314224947892216, "Outlier_IQR": false, - "Silhouette_point": 0.42788461538461536 + "Silhouette_point": 0.6866096866096867 }, { "Thermometer_ID": "5.15", @@ -166,9 +166,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.33543250302056515, + "Text_Dimension": -0.385175633205326, "Outlier_IQR": false, - "Silhouette_point": 0.16621376811594119 + "Silhouette_point": 0.38451935081148536 }, { "Thermometer_ID": "5.16", @@ -177,9 +177,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.33543250302056504, + "Text_Dimension": -0.3314224947892214, "Outlier_IQR": false, - "Silhouette_point": 0.200073637702503 + "Silhouette_point": 0.36200148101131857 }, { "Thermometer_ID": "5.17", @@ -188,9 +188,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.3218185254749976, + "Text_Dimension": -0.31723823624074776, "Outlier_IQR": false, - "Silhouette_point": 0.4177336747759273 + "Silhouette_point": 0.6271031151091123 }, { "Thermometer_ID": "5.18", @@ -199,9 +199,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.3354325030205649, + "Text_Dimension": -0.33142249478922153, "Outlier_IQR": false, - "Silhouette_point": 0.7331058020477826 + "Silhouette_point": 0.40984330169940336 }, { "Thermometer_ID": "5.19", @@ -210,9 +210,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.3021008406853567, + "Text_Dimension": -0.29756562936567754, "Outlier_IQR": false, - "Silhouette_point": 0.6344374342797038 + "Silhouette_point": 0.754258655679233 }, { "Thermometer_ID": "5.2", @@ -221,9 +221,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.3354325030205649, + "Text_Dimension": -0.3314224947892215, "Outlier_IQR": false, - "Silhouette_point": 0.7335820895522391 + "Silhouette_point": 0.2915181753385596 }, { "Thermometer_ID": "5.21", @@ -232,9 +232,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.45180722891566244 + "Silhouette_point": 0.7052341597796145 }, { "Thermometer_ID": "5.22", @@ -243,9 +243,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.6501826722338218 + "Silhouette_point": 0.4743319268635724 }, { "Thermometer_ID": "5.23", @@ -254,9 +254,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.1013942427833901, + "Text_Dimension": -0.09469066931400565, "Outlier_IQR": false, - "Silhouette_point": 0.7232381801962534 + "Silhouette_point": 0.5420821699242117 }, { "Thermometer_ID": "5.24", @@ -265,9 +265,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": -0.1010290138898771, + "Text_Dimension": -0.09749403000680268, "Outlier_IQR": false, - "Silhouette_point": 0.6195931477516049 + "Silhouette_point": 0.7523286287139656 }, { "Thermometer_ID": "5.25", @@ -276,9 +276,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.09745012386374446, + "Text_Dimension": -0.09014704327625096, "Outlier_IQR": false, - "Silhouette_point": 0.5842661691542289 + "Silhouette_point": 0.7632850241545894 }, { "Thermometer_ID": "5.26", @@ -287,9 +287,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": 0.7827951695376463, + "Text_Dimension": 0.7596274860802354, "Outlier_IQR": false, - "Silhouette_point": 0.6195931477516049 + "Silhouette_point": 0.7523286287139656 }, { "Thermometer_ID": "5.27", @@ -298,9 +298,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": 0.7827951695376463, + "Text_Dimension": 0.7596274860802354, "Outlier_IQR": false, - "Silhouette_point": 0.4001572327044027 + "Silhouette_point": 0.6627335299901671 }, { "Thermometer_ID": "5.28", @@ -309,9 +309,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "hoch", - "Text_Dimension": 0.5855547077500068, + "Text_Dimension": 0.5687106778355705, "Outlier_IQR": false, - "Silhouette_point": 0.7238450074515644 + "Silhouette_point": 0.1650485436893238 }, { "Thermometer_ID": "5.29", @@ -320,9 +320,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "mittel", - "Text_Dimension": 0.7827951695376463, + "Text_Dimension": 0.7596274860802354, "Outlier_IQR": false, - "Silhouette_point": 0.6708582834331347 + "Silhouette_point": 0.7309884383650871 }, { "Thermometer_ID": "5.3", @@ -331,9 +331,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": 0.7827951695376463, + "Text_Dimension": 0.7596274860802354, "Outlier_IQR": false, - "Silhouette_point": 0.48663294797687695 + "Silhouette_point": 0.7269595176571921 }, { "Thermometer_ID": "5.31", @@ -342,9 +342,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": 0.4425504899470148, + "Text_Dimension": 0.4899153315315725, "Outlier_IQR": false, - "Silhouette_point": 0.608739837398373 + "Silhouette_point": 0.7516072139728055 }, { "Thermometer_ID": "5.32", @@ -353,9 +353,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": 0.4425504899470148, + "Text_Dimension": 0.4899153315315726, "Outlier_IQR": false, - "Silhouette_point": 0.6266841317365268 + "Silhouette_point": 0.6883554432512108 }, { "Thermometer_ID": "5.33", @@ -364,9 +364,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": 0.44255048994701485, + "Text_Dimension": 0.48991533153157263, "Outlier_IQR": true, - "Silhouette_point": 0.510747535596933 + "Silhouette_point": 0.5657478187012586 }, { "Thermometer_ID": "5.34", @@ -375,9 +375,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": 0.6056986180050421, + "Text_Dimension": 0.665618594201167, "Outlier_IQR": false, - "Silhouette_point": 0.6507201646090555 + "Silhouette_point": 0.4271968046477851 }, { "Thermometer_ID": "5.35", @@ -386,9 +386,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": 0.30890529874855743, + "Text_Dimension": 0.3512922425196881, "Outlier_IQR": false, - "Silhouette_point": 0.6225686498855841 + "Silhouette_point": 0.6867612293144207 }, { "Thermometer_ID": "5.36", @@ -397,9 +397,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": 0.4425504899470148, + "Text_Dimension": 0.665618594201167, "Outlier_IQR": false, - "Silhouette_point": 0.5871794871794872 + "Silhouette_point": 0.7126947637292466 }, { "Thermometer_ID": "5.37", @@ -408,9 +408,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "gering", - "Text_Dimension": -0.09227886985139404, + "Text_Dimension": -0.08265613474581207, "Outlier_IQR": false, - "Silhouette_point": 0.45180722891566244 + "Silhouette_point": 0.7052341597796145 }, { "Thermometer_ID": "5.38", @@ -419,9 +419,9 @@ "Kapitel": 5, "Kapitelname": "Lernende", "Bin": "negativ", - "Text_Dimension": -0.08917102326885956, + "Text_Dimension": -0.08006329810038103, "Outlier_IQR": false, - "Silhouette_point": 0.6059563758389256 + "Silhouette_point": 0.7479620323841432 }, { "Thermometer_ID": "6.01", @@ -430,9 +430,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "mittel", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.6827943498774371 + "Silhouette_point": 0.6896373947413648 }, { "Thermometer_ID": "6.02", @@ -441,9 +441,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "negativ", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.772215227319828 + "Silhouette_point": -0.013035159052858219 }, { "Thermometer_ID": "6.03", @@ -452,9 +452,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.08585665050056006, + "Text_Dimension": -0.07741252027576469, "Outlier_IQR": false, - "Silhouette_point": 0.8306537734304565 + "Silhouette_point": 0.7362514029180696 }, { "Thermometer_ID": "6.04", @@ -463,9 +463,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.07336449853523311, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.82487518707422 + "Silhouette_point": 0.6867612293144207 }, { "Thermometer_ID": "6.05", @@ -474,9 +474,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.8306537734304565 + "Silhouette_point": 0.7362514029180696 }, { "Thermometer_ID": "6.06", @@ -485,9 +485,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.059149754607963165, + "Text_Dimension": -0.05473226739559239, "Outlier_IQR": false, - "Silhouette_point": 0.8378335891817927 + "Silhouette_point": 0.7412814274128143 }, { "Thermometer_ID": "6.07", @@ -496,9 +496,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "negativ", - "Text_Dimension": -0.08431062057732165, + "Text_Dimension": -0.07597551679303022, "Outlier_IQR": false, - "Silhouette_point": 0.7061030196788244 + "Silhouette_point": 0.6103755323267518 }, { "Thermometer_ID": "6.08", @@ -507,9 +507,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.09341002740120666, + "Text_Dimension": -0.08358940952566345, "Outlier_IQR": false, - "Silhouette_point": 0.8324161165454884 + "Silhouette_point": 0.506300114547537 }, { "Thermometer_ID": "6.09", @@ -518,9 +518,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.0733644985352332, + "Text_Dimension": -0.06690384334787898, "Outlier_IQR": false, - "Silhouette_point": 0.8381014976799916 + "Silhouette_point": 0.6330275229357801 }, { "Thermometer_ID": "6.1", @@ -529,9 +529,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.05473226739559239, "Outlier_IQR": false, - "Silhouette_point": 0.8071221370551951 + "Silhouette_point": 0.2128574750058127 }, { "Thermometer_ID": "6.11", @@ -540,9 +540,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "mittel", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.7824192735239991 + "Silhouette_point": 0.6006217348128319 }, { "Thermometer_ID": "6.12", @@ -551,9 +551,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "mittel", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.77761147335638 + "Silhouette_point": 0.6271031151091123 }, { "Thermometer_ID": "6.13", @@ -562,9 +562,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.8320762909326382 + "Silhouette_point": 0.7516420361247947 }, { "Thermometer_ID": "6.14", @@ -573,9 +573,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "mittel", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.7301343867848403 + "Silhouette_point": 0.7454899415963664 }, { "Thermometer_ID": "6.15", @@ -584,9 +584,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "negativ", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.05473226739559239, "Outlier_IQR": false, - "Silhouette_point": 0.668243380062615 + "Silhouette_point": 0.7233372687918145 }, { "Thermometer_ID": "6.16", @@ -595,9 +595,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.8381014976799916 + "Silhouette_point": 0.6330275229357801 }, { "Thermometer_ID": "6.17", @@ -606,9 +606,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "negativ", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.6384645645869302 + "Silhouette_point": 0.7505765478091184 }, { "Thermometer_ID": "6.18", @@ -617,9 +617,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "negativ", - "Text_Dimension": -0.059149754607963165, + "Text_Dimension": -0.05473226739559239, "Outlier_IQR": false, - "Silhouette_point": 0.7598477443369885 + "Silhouette_point": 0.19217466493731084 }, { "Thermometer_ID": "6.19", @@ -628,9 +628,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.7865197915104075 + "Silhouette_point": 0.5654863290004483 }, { "Thermometer_ID": "6.2", @@ -639,9 +639,9 @@ "Kapitel": 6, "Kapitelname": "Elternhaus und Familie", "Bin": "gering", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.8366902739695423 + "Silhouette_point": 0.5968253968253969 }, { "Thermometer_ID": "7.01", @@ -650,9 +650,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.9251410228772312 + "Silhouette_point": 0.6866096866096867 }, { "Thermometer_ID": "7.02", @@ -661,9 +661,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.0733644985352329, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.8900556973256574 + "Silhouette_point": 0.3124183006535946 }, { "Thermometer_ID": "7.03", @@ -672,9 +672,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.9174717855887603 + "Silhouette_point": 0.7362514029180696 }, { "Thermometer_ID": "7.04", @@ -683,9 +683,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07892435655637318, + "Text_Dimension": -0.07588868190734947, "Outlier_IQR": false, - "Silhouette_point": 0.9083468761774898 + "Silhouette_point": 0.506300114547537 }, { "Thermometer_ID": "7.05", @@ -694,9 +694,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07336449853523315, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.9128781474571108 + "Silhouette_point": 0.71286701208981 }, { "Thermometer_ID": "7.06", @@ -705,9 +705,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.05473226739559239, "Outlier_IQR": false, - "Silhouette_point": 0.9129250266162217 + "Silhouette_point": 0.5555555555555554 }, { "Thermometer_ID": "7.07", @@ -716,9 +716,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07336449853523312, + "Text_Dimension": -0.06690384334787967, "Outlier_IQR": false, - "Silhouette_point": 0.9235929535014257 + "Silhouette_point": 0.762962962962963 }, { "Thermometer_ID": "7.08", @@ -727,9 +727,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "negativ", - "Text_Dimension": -0.08477035593782843, + "Text_Dimension": -0.07649636029329497, "Outlier_IQR": false, - "Silhouette_point": 0.8327092370446383 + "Silhouette_point": 0.12543402777777787 }, { "Thermometer_ID": "7.09", @@ -738,9 +738,9 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07336449853523315, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.9281937118300768 + "Silhouette_point": 0.7173333333333332 }, { "Thermometer_ID": "7.1", @@ -749,24 +749,134 @@ "Kapitel": 7, "Kapitelname": "Schule und Gesellschaft", "Bin": "gering", - "Text_Dimension": -0.07336449853523314, + "Text_Dimension": -0.06690384334787969, "Outlier_IQR": false, - "Silhouette_point": 0.9281794453692277 + "Silhouette_point": 0.7596223674655048 + }, + { + "Thermometer_ID": "7.11", + "Stichwort": "Desegration", + "Effektstärke": 0.23, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.06690384334787969, + "Outlier_IQR": false, + "Silhouette_point": 0.5555555555555554 + }, + { + "Thermometer_ID": "7.12", + "Stichwort": "Ethnische Vielfalt", + "Effektstärke": 0.09, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.06690384334787969, + "Outlier_IQR": false, + "Silhouette_point": 0.762208067940552 + }, + { + "Thermometer_ID": "7.13", + "Stichwort": "Wohnheimunterbringung", + "Effektstärke": 0.05, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.06690384334787969, + "Outlier_IQR": false, + "Silhouette_point": 0.7362514029180696 + }, + { + "Thermometer_ID": "7.14", + "Stichwort": "Schulgröße", + "Effektstärke": 0.33, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.06690384334787969, + "Outlier_IQR": false, + "Silhouette_point": 0.2128574750058127 + }, + { + "Thermometer_ID": "7.15", + "Stichwort": "Neuordnung des Schulbezirks", + "Effektstärke": 0.05, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.07588868190734946, + "Outlier_IQR": false, + "Silhouette_point": 0.7362514029180696 + }, + { + "Thermometer_ID": "7.16", + "Stichwort": "Schulwahlfreiheit", + "Effektstärke": 0.27, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.06690384334787969, + "Outlier_IQR": false, + "Silhouette_point": 0.3124183006535946 + }, + { + "Thermometer_ID": "7.17", + "Stichwort": "Fördermaßnahmen im Sekundarbereich I", + "Effektstärke": 0.18, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.06690384334787967, + "Outlier_IQR": false, + "Silhouette_point": 0.7052341597796145 + }, + { + "Thermometer_ID": "7.18", + "Stichwort": "Schulleitung", + "Effektstärke": 0.37, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "gering", + "Text_Dimension": -0.06690384334787969, + "Outlier_IQR": false, + "Silhouette_point": 0.4793284161490682 + }, + { + "Thermometer_ID": "7.19", + "Stichwort": "Schulklima", + "Effektstärke": 0.53, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "mittel", + "Text_Dimension": -0.06690384334787967, + "Outlier_IQR": false, + "Silhouette_point": 0.7467470644239921 + }, + { + "Thermometer_ID": "7.2", + "Stichwort": "Schuleffekte", + "Effektstärke": 0.48, + "Kapitel": 7, + "Kapitelname": "Schule und Gesellschaft", + "Bin": "mittel", + "Text_Dimension": -0.06690384334787969, + "Outlier_IQR": false, + "Silhouette_point": 0.7357936534418898 } ], "deskriptiv": [ { "Gruppe": "Gesamt", - "n": 68, - "mean": 0.2458823529411765, - "std": 0.37290403428819446, + "n": 78, + "mean": 0.2474358974358975, + "std": 0.352742266006083, "min": -0.65, - "q1": 0.0475, - "median": 0.21, - "q3": 0.5, + "q1": 0.05, + "median": 0.215, + "q3": 0.4875, "max": 1.28, - "skew": 0.12925197443518738, - "kurtosis": 0.2800914374662091 + "skew": 0.12462357658528317, + "kurtosis": 0.5621417918900056 }, { "Gruppe": "Kapitel 5", @@ -796,60 +906,90 @@ }, { "Gruppe": "Kapitel 7", - "n": 10, - "mean": 0.127, - "std": 0.11264990013311152, + "n": 20, + "mean": 0.1925, + "std": 0.15606594422669035, "min": -0.09, - "q1": 0.05500000000000001, - "median": 0.135, - "q3": 0.22, - "max": 0.27, - "skew": -0.5585413007473659, - "kurtosis": -0.22749527826960758 + "q1": 0.065, + "median": 0.185, + "q3": 0.27, + "max": 0.53, + "skew": 0.5084512016471165, + "kurtosis": 0.08880591241093594 } ], "cluster": { - "silhouette_global": 0.6815565731142729, + "silhouette_global": 0.5859691845119998, "centers_full": [ [ - 0.6542857142857142, - 1.0, - 1.1102230246251565e-16, - 5.551115123125783e-17 - ], - [ - 0.1275, - 1.1102230246251565e-16, - 0.9999999999999998, - 2.7755575615628914e-17 - ], - [ - -0.04941176470588232, - 1.0000000000000002, - 5.551115123125783e-17, - 2.7755575615628914e-17 - ], - [ - 0.127, - 1.1102230246251565e-16, + 0.12783783783783784, 0.0, - 0.9999999999999999 + 0.0, + 0.0 + ], + [ + 0.9214285714285714, + 0.0, + 0.0, + 0.0 + ], + [ + 0.48250000000000004, + 0.0, + 0.0, + 0.0 + ], + [ + -0.346, + 0.0, + 0.0, + 0.0 ] ], "centers_effekt_only": [ - 0.6542857142857142, - 0.1275, - -0.04941176470588232, - 0.127 + 0.12783783783783784, + 0.9214285714285714, + 0.48250000000000004, + -0.346 ] }, "profiles": [ { "Cluster": 0, - "n": 21, - "Ø d": 0.654, + "n": 37, + "Ø d": 0.128, "Kapitelverteilung": { - "5": 21 + "5": 12, + "6": 9, + "7": 16 + }, + "Top_Terme": [ + "aktivierend", + "und", + "positiv" + ] + }, + { + "Cluster": 1, + "n": 7, + "Ø d": 0.921, + "Kapitelverteilung": { + "5": 7 + }, + "Top_Terme": [ + "erkenntnisstufen", + "feldunabhängigkeit", + "neugierde" + ] + }, + { + "Cluster": 2, + "n": 24, + "Ø d": 0.483, + "Kapitelverteilung": { + "5": 14, + "6": 6, + "7": 4 }, "Top_Terme": [ "und", @@ -857,61 +997,36 @@ "beharrlichkeit" ] }, - { - "Cluster": 1, - "n": 20, - "Ø d": 0.128, - "Kapitelverteilung": { - "6": 20 - }, - "Top_Terme": [ - "geschieden", - "kinderheime", - "stipendien" - ] - }, - { - "Cluster": 2, - "n": 17, - "Ø d": -0.049, - "Kapitelverteilung": { - "5": 17 - }, - "Top_Terme": [ - "aktivierend", - "negativ", - "kognitive" - ] - }, { "Cluster": 3, "n": 10, - "Ø d": 0.127, + "Ø d": -0.346, "Kapitelverteilung": { - "7": 10 + "5": 5, + "6": 5 }, "Top_Terme": [ - "konfessionsschulen", - "sommerschulen", - "monoedukation" + "negativ", + "aktivierend", + "schulwechsel" ] } ], "tests_summary": { - "silhouette_global": 0.6815565731142729, - "levene_W": 6.124238885035784, - "levene_p": 0.0036581487538003225, - "kruskal_H": 6.095304064204115, - "kruskal_p": 0.04747025227129131, - "kruskal_eps2": 0.06112394125677784, - "spearman_rho_text_d": -0.27386411336988703, - "spearman_p_text_d": 0.023829588725956963, - "chi2": 16.792602473926756, - "chi2_p": 0.010076456895569883, + "silhouette_global": 0.5859691845119998, + "levene_W": 8.053380864529343, + "levene_p": 0.0006786556735287001, + "kruskal_H": 5.717436337170795, + "kruskal_p": 0.05734221623047485, + "kruskal_eps2": 0.048278393989231096, + "spearman_rho_text_d": -0.23679802495635682, + "spearman_p_text_d": 0.03685509517309772, + "chi2": 21.11754385964912, + "chi2_p": 0.0017474931607551554, "chi2_df": 6 }, "data_quality": { - "n_rows": 68, + "n_rows": 78, "duplicate_ids": {}, "n_duplicates": 0, "invalid_kapitel_entries": [], diff --git a/visible-learning.py b/visible-learning.py index 10e3bd6..dc8f3db 100644 --- a/visible-learning.py +++ b/visible-learning.py @@ -18,7 +18,6 @@ import json from sklearn.preprocessing import OneHotEncoder from sklearn.cluster import KMeans -from sklearn.metrics import silhouette_score from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import PCA from sklearn.metrics import silhouette_score, silhouette_samples @@ -101,6 +100,8 @@ def load_data(csv_path: str) -> pd.DataFrame: df["Effektstärke"].astype(str).str.replace(",", ".", regex=False).str.strip() ) df["Effektstärke"] = pd.to_numeric(df["Effektstärke"], errors="coerce") + # explizit ±inf auf NaN setzen, um sie zu entfernen + df["Effektstärke"] = df["Effektstärke"].replace([np.inf, -np.inf], np.nan) # Kapitel aus Thermometer_ID ableiten und Kapitelname mappen df["Kapitel"] = df["Thermometer_ID"].astype(str).str.split(".").str[0].astype(int) @@ -171,7 +172,7 @@ def add_manual_bins(df: pd.DataFrame) -> pd.DataFrame: # K-Means-Clustering (Effektstärke + Kapitel) # ----------------------------------------- -def encode_features(df: pd.DataFrame) -> tuple[np.ndarray, list[str]]: +def encode_features(df: pd.DataFrame, kapitel_weight: float = 1.0) -> tuple[np.ndarray, list[str]]: """One-Hot-Encoding des Kapitels + Effektstärke (metrisch).""" try: enc = OneHotEncoder(sparse_output=False, handle_unknown="ignore") # neuere sklearn-Versionen @@ -179,13 +180,14 @@ def encode_features(df: pd.DataFrame) -> tuple[np.ndarray, list[str]]: enc = OneHotEncoder(sparse=False, handle_unknown="ignore") # ältere sklearn-Versionen cat = df[["Kapitel"]].fillna(-1) cat_ohe = enc.fit_transform(cat) + cat_ohe = cat_ohe * float(kapitel_weight) eff = df[["Effektstärke"]].values X = np.hstack([eff, cat_ohe]) feature_names = ["Effektstärke"] + [f"kap::{c}" for c in enc.get_feature_names_out(["Kapitel"])] return X, feature_names -def encode_features_3d(df: pd.DataFrame) -> tuple[np.ndarray, list[str]]: +def encode_features_3d(df: pd.DataFrame, kapitel_weight: float = 1.0) -> tuple[np.ndarray, list[str]]: """Effektstärke + Kapitel + Textdimension (TF-IDF + PCA) für 3D-Clustering.""" # Kapitel try: @@ -194,6 +196,7 @@ def encode_features_3d(df: pd.DataFrame) -> tuple[np.ndarray, list[str]]: enc = OneHotEncoder(sparse=False, handle_unknown="ignore") cat = df[["Kapitel"]].fillna(-1) cat_ohe = enc.fit_transform(cat) + cat_ohe = cat_ohe * float(kapitel_weight) # Effektstärke eff = df[["Effektstärke"]].values @@ -201,6 +204,8 @@ def encode_features_3d(df: pd.DataFrame) -> tuple[np.ndarray, list[str]]: # Textdimension über TF-IDF + PCA vectorizer = TfidfVectorizer(max_features=100) X_text = vectorizer.fit_transform(df["Stichwort"].astype(str)) + # Sicherstellen, dass TF-IDF keine Inf/NaN enthält (sollte nicht vorkommen) + X_text = X_text.tocsr() pca = PCA(n_components=1, random_state=42) text_dim = pca.fit_transform(X_text.toarray()) @@ -212,9 +217,26 @@ def encode_features_3d(df: pd.DataFrame) -> tuple[np.ndarray, list[str]]: feature_names = ["Effektstärke"] + list(enc.get_feature_names_out(["Kapitel"])) + ["Text_Dimension"] return X, feature_names +# ----------------------------------------- +# Hilfsfunktion zur Sanitisierung von Feature-Matrizen +# ----------------------------------------- +def _sanitize_X(X: np.ndarray, clip: float | None = None) -> np.ndarray: + """Ersetzt NaN/Inf in Feature-Matrizen und optionales Clipping gegen numerische Ausreißer. + Gibt eine *neue* Matrix zurück. + """ + X = np.asarray(X, dtype=float).copy() + # NaN/Inf -> 0 + X[~np.isfinite(X)] = 0.0 + if clip is not None and clip > 0: + X = np.clip(X, -float(clip), float(clip)) + return X -def run_kmeans(df: pd.DataFrame, k: int = 4, random_state: int = 42): - X, feature_names = encode_features(df) + +def run_kmeans(df: pd.DataFrame, k: int = 4, random_state: int = 42, kapitel_weight: float = 1.0): + X, feature_names = encode_features(df, kapitel_weight=kapitel_weight) + X = _sanitize_X(X, clip=1e6) + if not np.isfinite(X).all(): + print("Warnung: Nicht-endliche Werte in X nach Sanitisierung – werden als 0 behandelt.") model = KMeans(n_clusters=k, n_init=20, random_state=random_state) labels = model.fit_predict(X) sil = silhouette_score(X, labels) if k > 1 and len(df) > k else np.nan @@ -362,14 +384,14 @@ def chi2_bins_kapitel(df: pd.DataFrame): print(f"Chi²={chi2[0]:.3f}, p={chi2[1]:.6f}, df={chi2[2]} (Unabhängigkeitstest)") return ct -def cluster_diagnostics(df: pd.DataFrame, k_min: int = 2, k_max: int = 8): - X, _ = encode_features(df) +def cluster_diagnostics(df: pd.DataFrame, k_min: int = 2, k_max: int = 8, kapitel_weight: float = 0.0): + X, _ = encode_features(df, kapitel_weight=kapitel_weight) inertias, sils, ks = [], [], [] - for k in range(k_min, k_max+1): + for k in range(k_min, k_max + 1): km = KMeans(n_clusters=k, n_init=20, random_state=42).fit(X) inertias.append(km.inertia_) ks.append(k) - sils.append(silhouette_score(X, km.labels_) if k>1 else np.nan) + sils.append(silhouette_score(X, km.labels_) if k > 1 else np.nan) colors = plotly_template.get_colors() fig = go.Figure() fig.add_trace(go.Scatter(x=ks, y=inertias, mode="lines+markers", @@ -423,6 +445,7 @@ def build_significance_view(df: pd.DataFrame) -> pd.DataFrame: - score_cluster = Silhouette_point (kleiner 0 -> auf 0 gesetzt), anschließend min-max-normalisiert - Gesamt-Score = 0.6*norm(|d|) + 0.4*norm(max(Silhouette_point, 0)) Vorzeichen des Scores folgt dem Vorzeichen von d, damit negative Effekte unten landen. + Hinweis: Clustering/Score in dieser Ansicht wird kapitelunabhängig berechnet, indem Kapitel-OHE mit Gewicht 0.0 skaliert wird. """ tmp = df.copy() # Basisgrößen @@ -505,9 +528,9 @@ def plot_significance_space(df_sig: pd.DataFrame): )) # Referenzlinien - fig.add_hline(y=0, line=dict(color=colors["border"], width=1)) + fig.add_hline(y=0, line=dict(color=colors.get("depthArea"), width=1)) for x0 in [0.0, 0.40, 0.70, -0.40, -0.70]: - fig.add_vline(x=x0, line=dict(color=colors["border"], width=1, dash="dot")) + fig.add_vline(x=x0, line=dict(color=colors.get("depthArea"), width=1, dash="dot")) fig.update_layout(plotly_template.get_standard_layout( "Signifikanz-geführter Raum: Effektstärke × Score (kapitelunabhängig)", @@ -543,7 +566,7 @@ def plot_heatmap_kapitel_vs_d(df: pd.DataFrame, kapitel: int | None = None, bins scale.append([float(t), f"rgb({r},{g},{b})"]) return scale - colorscale = _two_color_scale(colors["depthArea"], colors["brightArea"]) if "depthArea" in colors else "Viridis" + colorscale = _two_color_scale(colors.get("depthArea", "#444"), colors.get("brightArea", "#fff")) if "depthArea" in colors and "brightArea" in colors else colors.get("continuous", "Viridis") # Histogram2d fig = go.Figure(data=go.Histogram2d( @@ -684,51 +707,111 @@ def plot_bins(df: pd.DataFrame, kapitel: int | None = None): export_figure(fig, "vl-bins", export_fig_visual, export_fig_png) -def plot_scatter(df: pd.DataFrame, cluster_labels: np.ndarray, model: KMeans, sil: float, title_suffix: str, kapitel: int | None = None): +def plot_scatter(df: pd.DataFrame, cluster_labels: np.ndarray, model: KMeans, sil: float, title_suffix: str, kapitel: int | None = None, top_n: int = 5): + """ + Kapitelunabhängiger 2D-Scatter: + - x: künstlicher Index, aber so angeordnet, dass Punkte je Cluster zusammenstehen + - y: Effektstärke (Cohen d) + - Farben: Cluster + Zusätzlich: + • horizontale Linien bei den Cluster-Mitteln (Ø d) + • Labels für die Top-N nach |d| + """ styles = plotly_template.get_plot_styles() + colors = plotly_template.get_colors() kapitel_label = f"Kapitel {kapitel}" if kapitel else "Gesamt" + tmp = df.copy() tmp["Cluster"] = cluster_labels.astype(int) - # Plot-X: Kapitel als ganze Zahlen; kleine Jitter-Verschiebung, damit Punkte nicht exakt übereinander liegen - rng = np.random.default_rng(42) - tmp["_kapitel_x"] = tmp["Kapitel"].astype(int) + (rng.random(len(tmp)) - 0.5) * 0.12 - # Clusterstärken (Mittelwert der Effektstärke im jeweiligen Clusterzentrum) cluster_strengths = {i: float(model.cluster_centers_[i][0]) for i in range(len(model.cluster_centers_))} tmp["Clusterstärke"] = tmp["Cluster"].map(cluster_strengths) + # Cluster-Reihenfolge: absteigend nach Ø d + clusters_sorted = sorted(tmp["Cluster"].unique(), key=lambda c: cluster_strengths[c], reverse=True) + + # Gewünschte Markerpalette (robust mit Fallbacks) + def _get_marker(*candidates): + for key in candidates: + if key in styles: + return styles[key] + return styles.get("marker_accent", {}) + + palette_markers = [ + _get_marker("marker_positiveHighlight", "marker_brightArea", "marker_accent"), + _get_marker("marker_primaryLine", "marker_brightArea", "marker_accent"), + _get_marker("marker_secondaryLine", "marker_accent", "marker_brightArea"), + _get_marker("marker_negativeHighlight", "marker_accent", "marker_brightArea"), + ] + + # x-Positionen so vergeben, dass Cluster-Blöcke entstehen + tmp = tmp.reset_index(drop=True) + tmp["_x"] = np.nan + x_cursor = 0 + block_bounds = {} # für Centroid-Linien (x-Min/x-Max je Cluster) + + for c in clusters_sorted: + sub_idx = tmp.index[tmp["Cluster"] == c].tolist() + n = len(sub_idx) + xs = np.arange(x_cursor, x_cursor + n) + tmp.loc[sub_idx, "_x"] = xs + block_bounds[c] = (xs.min(), xs.max()) + x_cursor += n + 2 # +2 als optischer Abstand zwischen Blöcken + hovertemplate = ( "Thermometer: %{customdata[2]}
" "Stichwort: %{text}
" "Effektstärke: %{y:.2f}
" "Kapitel: %{customdata[0]}
" - "Clusterstärke: %{customdata[1]:.3f}" + "Clusterstärke: %{customdata[1]:.2f}" ) fig = go.Figure() - clusters = sorted(tmp["Cluster"].unique()) - palette_keys = ["positiveHighlight", "negativeHighlight", "accent", "brightArea"] - for idx, cluster in enumerate(clusters): - cluster_df = tmp[tmp["Cluster"] == cluster] - color_key = palette_keys[idx % len(palette_keys)] + # Punkte je Cluster zeichnen + for idx, c in enumerate(clusters_sorted): + cdf = tmp[tmp["Cluster"] == c] fig.add_trace(go.Scatter( - x=cluster_df["_kapitel_x"], - y=cluster_df["Effektstärke"], + x=cdf["_x"], + y=cdf["Effektstärke"], mode="markers", - marker={**styles[f"marker_{color_key}"], "size": 10}, - name=f"Cluster: {cluster_strengths[cluster]:.2f}", - text=cluster_df["Stichwort"], - customdata=np.stack([cluster_df["Kapitelname"], cluster_df["Clusterstärke"], cluster_df["Thermometer_ID"]], axis=-1), + marker={**palette_markers[idx % len(palette_markers)], "size": 10}, + name=f"Cluster: {cluster_strengths[c]:.2f}", + text=cdf["Stichwort"], + customdata=np.stack([cdf["Kapitelname"], cdf["Clusterstärke"], cdf["Thermometer_ID"]], axis=-1), hovertemplate=hovertemplate )) + # Centroid-Linien (horizontale Ø d pro Cluster) + for c in clusters_sorted: + x0, x1 = block_bounds[c] + yd = cluster_strengths[c] + centroid_color = colors.get("depthArea", "#444") + line_style = dict(styles.get("linie_secondaryLine", {"width": 2})) + line_style["color"] = centroid_color + fig.add_trace(go.Scatter( + x=[x0, x1], + y=[yd, yd], + mode="lines", + line=line_style, + name=None, + showlegend=False, + hovertemplate=f"Cluster-Mittel: {yd:.2f}" + )) + + # Vertikale Trennlinien zwischen Cluster-Blöcken (zur Orientierung) + # (nur als dezente Linien, keine Legende) + block_edges = sorted({bounds[1] + 1 for bounds in block_bounds.values()}) + for edge in block_edges[:-1]: # letzte Kante führt bereits zum Abstand + fig.add_vline(x=edge - 1, line=dict(color=colors.get("depthArea"), width=1, dash="dot")) + fig.update_layout(plotly_template.get_standard_layout( - f"Effektstärke × Cluster ({title_suffix}) ({kapitel_label}) – Silhouette: {sil:.3f}", "Kapitel", "Cohen d" + f"Effektstärke × Cluster ({title_suffix}) ({kapitel_label}) – Silhouette: {sil:.3f}", + "Thermometer (gruppiert nach Cluster)", "Cohen d" )) - # Ganze Zahlen auf der x‑Achse (Kapitel) - fig.update_layout(xaxis=dict(tickmode="linear", dtick=1)) + fig.update_xaxes(showticklabels=False) + fig.show() export_figure(fig, f"vl-scatter-{title_suffix}", export_fig_visual, export_fig_png) @@ -757,12 +840,13 @@ def plot_scatter_3d(df: pd.DataFrame, cluster_labels: np.ndarray, sil: float, ti for idx, cluster in enumerate(clusters): cluster_df = tmp[tmp["Cluster"] == cluster] color_key = palette_keys[idx % len(palette_keys)] + marker_style = styles.get(f"marker_{color_key}", {}) fig.add_trace(go.Scatter3d( x=cluster_df["Effektstärke"], y=cluster_df["Kapitel"], z=cluster_df["Text_Dimension"], mode="markers", - marker={**styles[f"marker_{color_key}"], "size": 6}, + marker={**marker_style, "size": 6}, name=f"Cluster {cluster} (Ø d = {cluster_strengths[cluster]:.2f})", text=cluster_df["Stichwort"], customdata=np.stack([cluster_df["Kapitelname"], cluster_df["Cluster"]], axis=-1), @@ -807,10 +891,12 @@ def analyse(csv_path: str = "Thermometer.csv", k: int = 4, kapitel: int | None = df = add_manual_bins(df) # K-Means - labels, sil, model = run_kmeans(df, k=k) + # Kapitelgewicht = 0.0 => Kapitel-OHE trägt nicht zur Distanz bei (kapitelübergreifendes Clustering) + labels, sil, model = run_kmeans(df, k=k, kapitel_weight=0.0) # Silhouette je Punkt anhängen try: - X_for_sil, _ = encode_features(df) + X_for_sil, _ = encode_features(df, kapitel_weight=0.0) + X_for_sil = _sanitize_X(X_for_sil, clip=1e6) if k > 1 and len(df) > k: df["Silhouette_point"] = silhouette_samples(X_for_sil, labels) else: @@ -852,7 +938,7 @@ def analyse(csv_path: str = "Thermometer.csv", k: int = 4, kapitel: int | None = text_vs_effect(df) if kapitel is None: chi2_bins_kapitel(df) - cluster_diagnostics(df) + cluster_diagnostics(df, kapitel_weight=0.0) profiles_df = cluster_profiles(df, labels) try: export_json(json.loads(profiles_df.to_json(orient="table")), "cluster_profile.json") @@ -966,7 +1052,8 @@ def analyse(csv_path: str = "Thermometer.csv", k: int = 4, kapitel: int | None = plot_scatter(df, labels, model, sil, title_suffix=f"k{k}", kapitel=kapitel) # 3D-Clustering - X3d, _ = encode_features_3d(df) + X3d, _ = encode_features_3d(df, kapitel_weight=0.0) + X3d = _sanitize_X(X3d, clip=1e6) model3d = KMeans(n_clusters=k, n_init=20, random_state=42) labels3d = model3d.fit_predict(X3d) sil3d = silhouette_score(X3d, labels3d) if k > 1 and len(df) > k else np.nan