言いたいシチュエーション:
会話している時
By the way

いくつかの言い方を使いこなそう!

Come to think of it,

「そのことで少しおもったんだけど」というニュアンスです。「think of ~」は「~を少し思う」という英語です。

Speaking of which,

「そのことを話していると」となります。「which」はそれまでに話している内容の代名詞だと考えて下さい。または、「Speaking of it」でも同様です。または、旅行のことを話している時などは、「Speaking of your trip, ....」となります。

「ウィッキーさん」さんが考えた「By the way」は、「ところで」というニュアンスで話題が変わる時には使えますが、同じ話題の流れで「あー、そういえば」の場合は、今回紹介した表現がベターです。