Merkmalskreuzungen werden durch Kreuzen (Kartesianisches Produkt) von zwei oder mehr kategorischen oder gebucketten Merkmalen des Datasets erstellt. Ähnlich wie bei polynomialen Transformationen können mithilfe von Funktionskreuzungen Nichtlinearitäten in linearen Modellen berücksichtigt werden. Außerdem werden damit Interaktionen zwischen Features codiert.
Betrachten Sie beispielsweise ein Blatt-Dataset mit den folgenden kategorischen Merkmalen:
edgesmit den Wertensmooth,toothedundlobedarrangementmit den Wertenoppositeundalternate
Angenommen, die obige Reihenfolge ist die Reihenfolge der Feature-Spalten in einer One-Hot-Darstellung. Ein Blatt mit smooth Kanten und opposite Anordnung wird dann als {(1, 0, 0), (1, 0)} dargestellt.
Das Feature-Cross oder kartesische Produkt dieser beiden Funktionen würde so aussehen:
{Smooth_Opposite, Smooth_Alternate, Toothed_Opposite, Toothed_Alternate,
Lobed_Opposite, Lobed_Alternate}
wobei der Wert jedes Terms das Produkt der Basisfeaturewerte ist, z. B.:
Smooth_Opposite = edges[0] * arrangement[0]Smooth_Alternate = edges[0] * arrangement[1]Toothed_Opposite = edges[1] * arrangement[0]Toothed_Alternate = edges[1] * arrangement[1]Lobed_Opposite = edges[2] * arrangement[0]Lobed_Alternate = edges[2] * arrangement[1]
Wenn ein Blatt beispielsweise eine lobed-Kante und eine alternate-Anordnung hat, hat der Feature-Kreuzvektor den Wert 1 für Lobed_Alternate und den Wert 0 für alle anderen Begriffe:
{0, 0, 0, 0, 0, 1}
Dieser Datensatz könnte verwendet werden, um Blätter nach Baumart zu klassifizieren, da diese Merkmale innerhalb einer Art nicht variieren.
Wann sind Feature-Überschneidungen sinnvoll?
Fachwissen kann eine nützliche Kombination von Features vorschlagen, die kombiniert werden sollten. Ohne dieses Fachwissen kann es schwierig sein, effektive Feature-Kreuzungen oder Polynomtransformationen manuell zu bestimmen. Es ist oft möglich, aber rechenintensiv, neuronale Netze zu verwenden, um während des Trainings automatisch nützliche Kombinationen von Funktionen zu finden und anzuwenden.
Achtung: Wenn Sie zwei spärliche Elemente überschneiden, entsteht ein noch spärlicheres neues Element als die beiden ursprünglichen Elemente. Wenn Feature A beispielsweise ein spärliches Feature mit 100 Elementen und Feature B ein spärliches Feature mit 200 Elementen ist, ergibt die Feature-Kreuzung von A und B ein spärliches Feature mit 20.000 Elementen.