N-04D 相手方の解決方法

質問者が納得IPが伏せられているため確かではありませんが、メール送信に使われたIPが、許容されたメールの送り手ではないと判断されています。 この判断が正しいのかどうかは、あなたが送信者IPを精査してお確かめいただくよりありません。 メールヘッダを添付してYahooメールサポートに問い合わせてはいかがでしょうか？ もちろんその場合に伏せ字ではいけません。