OpenCVには、歴史的経緯により
という２つの画像フォーマットが存在します。Matが主流になるらしいですが、互換性の問題からIplImageが根強く使われています。
いずれにおいても、扱う画像に合わせて適切なパラメータ(BitDepth,Channel）を設定する必要がありますので、下記にその例を書きます。
グレースケール画像
カラー画像
（bgr32bit)
grayImg = new IplImage(640,480, BitDepth.U8, 1);
colorImage = new IplImage(640,480, BitDepth.U8, 3);