2022/09/04
以前のブログでSONYの
SPRESENSE HDRカメラボードのカメラ画像をSDカードに保存する話をしました。このカメラ画像をLCDに映したいのですが、推奨の「
LCD+2SW kit for SPRESENSE」を追加で購入するのも癪ですね。カメラボードを購入以来、その後メインボード、拡張ボードを買い足して、さらにLCD基板を購入しなくてはならないなんて、SONY商法？(個人の意見です・・)に振り回されたくないので。
そこで、手持ちの
M5Stack Core2のLCDを使えないかなと思い、前段階で実験したのが今回のお話です。
今回は、まず第一段階として、単純にM5Stack Core2のSDカードに保存されている画像をLCD(320×240)に表示させました。プログラムは以下のような単純なものです。
#include <M5Core2.h>
void setup() {
M5.begin();
M5.Lcd.clear();
M5.Lcd.drawJpgFile(SD, "/LePenseur.jpg");
}
void loop() {
// put your main code here, to run repeatedly:
}
結果はこんな感じです。問題なく実行できました。
次に、第二段階として、カメラの画像をM5Stack Core2のLCDに表示させました。カメラは一足飛びにSONYカメラではなく、3年ほど前に購入して使用していなかった？「
Grove-シリアルカメラキット」を使いました。
サンプルプログラムと
ブログ記事を参考に、以下のコードを実行させました。
#include <M5Core2.h>
#define PIC_MAX_SIZE 10000
#define PIC_PKT_LEN 128 //data length of each read, dont set this too big because ram is limited
#define PIC_FMT_VGA 7
#define PIC_FMT_CIF 5
#define PIC_FMT_OCIF 3
#define CAM_ADDR 0
#define PIC_FMT PIC_FMT_CIF
File myFile;
HardwareSerial CAM_SERIAL(1);
const byte cameraAddr = (CAM_ADDR << 5); // addr
unsigned long picTotalLen = 0; // picture length
int picNameNum = 0;
void setup() {
M5.begin();
CAM_SERIAL.begin(9600, SERIAL_8N1, 33, 32); // GROVE端子の場合
initialize();
preCapture();
}
void loop() {
Capture();
GetData();
}
void clearRxBuf()
{
while (CAM_SERIAL.available())
{
CAM_SERIAL.read();
}
}
void sendCmd(char cmd[], int cmd_len)
{
for (char i = 0; i < cmd_len; i++) CAM_SERIAL.write(cmd[i]);
}
int readBytes(char *dest, int len, unsigned int timeout)
{
int read_len = 0;
unsigned long t = millis();
while (read_len < len)
{
while (CAM_SERIAL.available()<1)
{
if ((millis() - t) > timeout)
{
return read_len;
}
}
*(dest+read_len) = CAM_SERIAL.read();
// Serial.write(*(dest+read_len));
read_len++;
}
return read_len;
}
void initialize()
{
char cmd[] = {0xaa,0x0d|cameraAddr,0x00,0x00,0x00,0x00} ;
unsigned char resp[6];
Serial.print("initializing camera...");
while (1)
{
sendCmd(cmd,6);
if (readBytes((char *)resp, 6,1000) != 6)
{
Serial.print(".");
continue;
}
if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x0d && resp[4] == 0 && resp[5] == 0)
{
if (readBytes((char *)resp, 6, 500) != 6) continue;
if (resp[0] == 0xaa && resp[1] == (0x0d | cameraAddr) && resp[2] == 0 && resp[3] == 0 && resp[4] == 0 && resp[5] == 0) break;
}
}
cmd[1] = 0x0e | cameraAddr;
cmd[2] = 0x0d;
sendCmd(cmd, 6);
//Serial.println("\nCamera initialization done.");
}
void preCapture()
{
char cmd[] = { 0xaa, 0x01 | cameraAddr, 0x00, 0x07, 0x00, PIC_FMT };
unsigned char resp[6];
while (1)
{
clearRxBuf();
sendCmd(cmd, 6);
if (readBytes((char *)resp, 6, 100) != 6) continue;
if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x01 && resp[4] == 0 && resp[5] == 0) break;
}
}
void Capture()
{
char cmd[] = { 0xaa, 0x06 | cameraAddr, 0x08, PIC_PKT_LEN & 0xff, (PIC_PKT_LEN>>8) & 0xff ,0};
unsigned char resp[6];
while (1)
{
clearRxBuf();
sendCmd(cmd, 6);
if (readBytes((char *)resp, 6, 100) != 6) continue;
if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x06 && resp[4] == 0 && resp[5] == 0) break;
}
cmd[1] = 0x05 | cameraAddr;
cmd[2] = 0;
cmd[3] = 0;
cmd[4] = 0;
cmd[5] = 0;
while (1)
{
clearRxBuf();
sendCmd(cmd, 6);
if (readBytes((char *)resp, 6, 100) != 6) continue;
if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x05 && resp[4] == 0 && resp[5] == 0) break;
}
cmd[1] = 0x04 | cameraAddr;
cmd[2] = 0x1;
while (1)
{
clearRxBuf();
sendCmd(cmd, 6);
if (readBytes((char *)resp, 6, 100) != 6) continue;
if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x04 && resp[4] == 0 && resp[5] == 0)
{
if (readBytes((char *)resp, 6, 1000) != 6)
{
continue;
}
if (resp[0] == 0xaa && resp[1] == (0x0a | cameraAddr) && resp[2] == 0x01)
{
picTotalLen = (resp[3]) | (resp[4] << 8) | (resp[5] << 16);
Serial.print("picTotalLen:");
Serial.println(picTotalLen);
break;
}
}
}
}
void GetData()
{
unsigned int pktCnt = (picTotalLen) / (PIC_PKT_LEN - 6);
if ((picTotalLen % (PIC_PKT_LEN-6)) != 0) pktCnt += 1;
char cmd[] = { 0xaa, 0x0e | cameraAddr, 0x00, 0x00, 0x00, 0x00 };
unsigned char pkt[PIC_PKT_LEN];
char picName[] = "/pic00.jpg";
picName[4] = picNameNum/10 + '0';
picName[5] = picNameNum%10 + '0';
if(SD.exists(picName)){
SD.remove(picName);
}
myFile = SD.open(picName, FILE_WRITE);
if(!myFile){
Serial.println("myFile open fail...");
}
else{
Serial.setTimeout(1000);
for (unsigned int i = 0; i < pktCnt; i++)
{
cmd[4] = i & 0xff;
cmd[5] = (i >> 8) & 0xff;
int retry_cnt = 0;
retry:
delay(10);
clearRxBuf();
sendCmd(cmd, 6);
uint16_t cnt = readBytes((char *)pkt, PIC_PKT_LEN, 200);
unsigned char sum = 0;
for (int y = 0; y < cnt - 2; y++)
{
sum += pkt[y];
}
if (sum != pkt[cnt-2])
{
if (++retry_cnt < 100) goto retry;
else break;
}
myFile.write((const uint8_t *)&pkt[4], cnt-6);
}
cmd[4] = 0xf0;
cmd[5] = 0xf0;
sendCmd(cmd, 6);
}
myFile.close();
Serial.println(picName);
M5.Lcd.clear();
M5.Lcd.drawJpgFile(SD, picName);
picNameNum++;
}
実験風景はこんな感じです。
結果画像は以下の通り。レンズのネジ部を回しつつ、ピントの合う所まで調整しました。
次のステップは本題のSONYカメラの映像をM5Stack Core2のLCDに取り込みたいと思います。頑張ろっと。
OSはすでにLinuxがインストールされています。
中身は本体とUSBケーブルと本体を三脚に固定する治具の三点セットです。
この他に何も情報がなかったので、ネットでセットアップ方法の書かれたページを見つけて、作業を進めました。Mac上の作業環境を構築しました。
ダウンロードしたpkgファイルが開かずにインストールできなかったですが、同添付のpdfファイル(SR9900_mac_os_11_install_guide.pdf)に解決方法があり、SIP(System Integrity Protection：システム整合性保護)を無効にする必要がありました。MaxOS El Capitanから追加された機能ですね。怪しいドライバやソフトのインストールからPCを保護する機能ですね。M5Stackは中華製なのでセキュリティは大丈夫かなと一瞬躊躇いましたが、自己責任？で先に進みました。
カメラアイコンを押すと、「GALLERY」に画像が保存されました。
「Code Detector」を押すとQRコードを認識しました。
また、「Object Recognition」を押すと、AIで物体認識をしてくれます。犬は認識OKです。
次の画像を確認しましたが、象を馬と誤認識しました。デフォルトで入っているAIエンジンが貧弱なのでしょう。yoloを組み込めるようですが、これは次回以降に確認したいと思います。
多機能そうなので、何かとしばらく遊べそうです。
