Diese Redewendung verstehe ich nicht, deshalb suche ich sie in einem Onlinelexikon.

Redewendung is a feminine noun in German: die Redewendung.

In the sentence, diese Redewendung is the subject, so it is in the nominative case.
Nominative singular forms of dies- (“this”) are:

• dieser – masculine
• diese – feminine
• dieses – neuter

Because Redewendung is feminine and nominative, you need diese Redewendung.

Nicht usually comes:

• before the part of the sentence that is being negated, or
• near the end of the clause if you’re negating the whole statement.

In Diese Redewendung verstehe ich nicht, you’re negating the entire idea “I understand this expression.” There is no second verb or separate phrase after it, so nicht naturally goes towards the end.

Compare:

• Ich verstehe diese Redewendung nicht.
• Diese Redewendung verstehe ich nicht.

Both are correct and mean the same; the difference is emphasis and word order, not the position of nicht relative to the verb phrase.