開発用のツールQuartz Debugを使う事でiMacを疑似Retina Displayにすることができたので、テストしたところPrickies! Xで発生している問題を再現することができました。
印刷を行う時にテキスト等の画像をビットマップデータに変換して点の情報にし、それをプリンターが理解できる画像フォーマットに変換しているのですが、例えば元の画像サイズが320×128だった時、320×128のNSImageを作成しています。これがRetina環境の場合、ビットマップデータとして640×256の物が作成されていました。
原因は分かったのですがNSImageのscale factorの設定方法がまだ見つからないため、対応には少し時間がかかりそうです。