在借钱时，应当保留以下凭证来确保借贷关系的合法性和可证明性：

具备法律效力的借条或借款合同：

这是证明借贷关系存在的基本凭证，应当明确借款金额、利率、还款期限等关键信息，并由双方签字或盖章确认。

转账记录和银行流水：

通过银行转账等方式进行借款时，一定要保留相关的转账记录和银行流水，以证明借款的实际交付情况。

收据：

借款人出具的收据，表明收到借款的金额，可与借款合同等其他证据相互印证。

第三人见证：

如果有其他人见证借款事实，必要时可以作为证人，提供证言。

通话记录和聊天记录：

借款过程中的沟通记录，尤其是关于借款金额、还款安排等事宜的记录，可以作为证据使用。

其他相关证据：

包括短信、邮件、录音、录像等，能够证明借款意愿、金额、还款安排等内容。

抵押物品的相关凭证：

如果涉及抵押借款，应当有抵押物的相关凭证，如房产证、车辆登记证、保险单等，以及抵押人和抵押权人的身份证明、抵押合同等。

这些凭证能够从不同角度证明借贷关系的存在和履行情况，有助于在发生纠纷时维护出借人的合法权益。建议在借钱给他人时，尽量采取书面形式，并妥善保管所有相关证据。