Ich möchte ein Buch ausleihen.

When you use a modal verb like möchte, the main action verb stays in its full infinitive form at the end of the clause. You only split the prefix in a normal conjugated verb without a modal:
• Conjugated: Ich leihe ein Buch aus.
• With modal: Ich möchte ein Buch ausleihen.

After modal verbs (möchten, können, müssen, etc.) you use the bare infinitive—no zu. You’d only add zu with other infinitive constructions:
• Ich versuche, ein Buch auszuleihen.

• leihen – can mean either “to lend” or “to borrow” and can be ambiguous.
• ausleihen – specifically “to borrow” (you take something).
• verleihen – “to lend” (you give something temporarily).
Example:
– Ich leihe mir ein Buch aus. (I borrow a book.)
– Ich verleihe dir mein Buch. (I lend you my book.)

möchte is the subjunctive form of mögen and sounds more polite or softer (“I would like”).
Ich will ein Buch ausleihen. is stronger (“I want to borrow a book”) and can sound demanding.

Adding the dative pronoun mir (“to myself”) clarifies who is borrowing. It isn’t strictly required if it’s already clear, but it’s common:
• Ohne Pronomen: Ich möchte ein Buch ausleihen.
• Mit Pronomen: Ich möchte mir ein Buch ausleihen.
Here ein Buch stays in the accusative; mir marks the borrower in the dative.

You specify the source with a prepositional phrase. Two common versions:
• Ich möchte mir ein Buch aus der Bibliothek ausleihen.
• Ich möchte mir in der Bibliothek ein Buch ausleihen.
Both are correct—aus der Bibliothek emphasizes “from the library,” in der Bibliothek focuses on “at the library.”