Основы Android NDK: работа с OpenAL и форматами WAV, OGG

Для порта игры пришлось работать с OpenAL. Можно конечно было выкинуть весь C++ код и переписать всю работу со звуков на Java, но это не интересно. Решил поделиться опытом и показать как на Android работать с OpenAL и форматами WAV, OGG.

Подготовка

В первую нужно собрать OpenAL. Для работы с WAV этого достаточно, но мы же ещё хотим и с OGG поработать. Для OGG нужен декодер Tremor.

Собрать библиотеки

Сам OpenAL скачать можно отсюда. По сути, вам необходимо просто папку в проект добавить и в .mk файле прописать всё для сборки. Не помню уже, в репозитарии есть ли .mk файл или нет. В любом случае, внизу статьи сможете скачать мой проект готовый.

Android.mk для OpenAL

LOCAL_PATH := $(call my-dir)

include $(CLEAR_VARS)

LOCAL_MODULE     := openal
LOCAL_ARM_MODE   := arm
#LOCAL_PATH       := $(ROOT_PATH)
LOCAL_C_INCLUDES := $(LOCAL_PATH)/include $(LOCAL_PATH)/OpenAL32/Include
LOCAL_SRC_FILES  := \
	OpenAL32/alAuxEffectSlot.c \
                    OpenAL32/alBuffer.c        \
                    OpenAL32/alDatabuffer.c    \
                    OpenAL32/alEffect.c        \
                    OpenAL32/alError.c         \
                    OpenAL32/alExtension.c     \
                    OpenAL32/alFilter.c        \
                    OpenAL32/alListener.c      \
                    OpenAL32/alSource.c        \
                    OpenAL32/alState.c         \
                    OpenAL32/alThunk.c         \
                    Alc/ALc.c                  \
                    Alc/alcConfig.c            \
                    Alc/alcEcho.c              \
                    Alc/alcModulator.c         \
                    Alc/alcReverb.c            \
                    Alc/alcRing.c              \
                    Alc/alcThread.c            \
                    Alc/ALu.c                  \
                    Alc/android.c              \
                    Alc/bs2b.c                 \
                    Alc/null.c                 \

LOCAL_CFLAGS     := -DAL_BUILD_LIBRARY -DAL_ALEXT_PROTOTYPES
LOCAL_LDLIBS     := -llog -Wl,-s

include $(BUILD_STATIC_LIBRARY)

У Tremor есть всё, что необходимо. Просто добавьте всю папку в проект и сможете работать с .Ogg. Остаётся только подключить библиотеки в Android.mk основного проекта, добавив пару строчек в него:

#пути к хэдерам
LOCAL_C_INCLUDES :=  $(LOCAL_PATH)/../openal/ $(LOCAL_PATH)/../openal/include/AL $(LOCAL_PATH)/utils $(LOCAL_PATH)/../tremolo
#подключение самих библиотек, собственно
LOCAL_STATIC_LIBRARIES :=  openal tremolo

А так же включить библиотеки все в Application.mk:

APP_MODULES      := openal tremolo AndroidNDK

Структура WAV

Немного теории не повредит. Waveform Audio File Format (WAVE, WAV) — формат хранения оцифрованных аудио данных. Данный формат поддерживает данные различной битности, с различной частотой выборки и числом каналов. Суть его в том, что данные не закодированы, оттого и огромный размер таких файлов.

Долго расписывать теорию преобразований звуковых сигналов не будет, кому надо, сам найдёт. Структуру файла можно разделить на две части: хэдер и сами данные. Для описания хэдера и считывания удобно создать свою структуру:

typedef struct {
  char  riff[4];				// 'RIFF'
  unsigned int riffSize;		// Размер чанка ‘RIFF’
  char  wave[4];				// 'WAVE'
  char  fmt[4];					// 'fmt '
  unsigned int fmtSize;			// размер fmt-чанка
  unsigned short format; 	    // Формат звуковых данных
  unsigned short channels;      // Количество каналов
  unsigned int samplesPerSec;	// Частота дискретизации аудио сигнала
  unsigned int bytesPerSec;     // Количество байт передаваемых в секунду
  unsigned short blockAlign;    // Выравнивание данных в чанке данных
  unsigned short bitsPerSample; // Количество бит на одну выборку сигнала
  char  data[4];				// 'data'
  unsigned int dataSize;		// размер блока с самими данными
}BasicWAVEHeader;

Чтение WAV

Собственно, наша задача — считать хэдеры и данные, а потом на основе них заполнить OpenAL структуры. Метод для чтения WAV:

void OALWav::load(AAssetManager *mgr, const char* filename){
	this->filename = filename;
	this->data = 0;
	// читаем файл
	this->data = this->readWAVFull(mgr, &header);
	// узнаём формат из хэдера
	getFormat();
	// создаём буфер из данных
	createBufferFromWave(data);
	source = 0;
	// создание сорса из буфера для последующего проигрывания
	alGenSources(1, &source);
	alSourcei(source, AL_BUFFER, buffer);
}

Само чтение ничего экстраординарного вроде не представляет.

Чтение WAV

char* OALWav::readWAVFull(AAssetManager *mgr, BasicWAVEHeader* header){
	char* buffer = 0;

	AAssetFile f = AAssetFile(mgr, filename);

	if (f.null()) {
		LOGE("no file %s in readWAV",filename);
		return 0;
	}


	int res = f.read(header,sizeof(BasicWAVEHeader),1);
	//LOGI("read %i bytes from %s", res,filename );
	if(res){
		//LOGI("AAsset_read %s,",filename);
		if (!(
			// Заголовки должны быть валидны.
			// Проблема в том, что не всегда так.
			// Многие конвертеры недобросовестные пихают в эти заголовки свои логотипы =/
			memcmp("RIFF",header->riff,4) ||
			memcmp("WAVE",header->wave,4) ||
			memcmp("fmt ",header->fmt,4)  ||
			memcmp("data",header->data,4)
		)){
			//LOGI("data riff = %s", header->riff);
			//LOGI("data size = %u", header->dataSize);
			buffer = (char*)malloc(header->dataSize);
			if (buffer){
				if(f.read(buffer,header->dataSize,1)){
					f.close();
					return buffer;
				}
				free(buffer);
			}
		}
	}
	f.close();
	return 0;
}

Ошибки в заголовках

Стоит сказать об WAV кое-что. Бывает такое, что файл на PC вроде прослушивается отлично, но в при работе в OpenAL с ним возникают ошибки. Это из-за косяков в заголовках файла. Я встречал много конвертеров, которые в хэдеры писал какую-то чушь (свой логотип как пример), как правило в dataSize.

Непосредственно сами данные аудио хранятся после хэдера и их размер в dataSize. Если с этим полем что-то не так, а вы будете читать данные в соответствии с этими данными, то будут ошибки. Можно правда посчитать размер в лоб. Размер данных = размер файла — размер хэдера. Так что, думаю, плееры берут размер данных вычитая, а не из хэдера.

Ogg

В чём особенность Ogg по сравнению с WAV? Это сжатый формат. Ogg является всего лишь контейнером. Музыка или видео сжимаются кодеками, а результат обработки хранится в подобных контейнерах. Контейнеры Ogg могут хранить потоки, закодированные несколькими кодеками. Так что, перед там как записать данные в буфер OpenAL, нам необходимо данные декодировать. Загвоздка в том, что по умолчанию Vorbis (а мы будем использовать именно этот кодек) читает из FILE, так что нам необходимо переопределить все callback методы по работе с данными.

Определение callbacks

unsigned int suiCurrPos = 0;
unsigned int suiSize = 0;
unsigned int Min( unsigned int agr1,  unsigned int agr2){
	return (agr1 <agr2) ?agr1 : agr2;
}
static size_t  read_func(void* ptr, size_t size, size_t nmemb, void* datasource)
{
    unsigned int uiBytes = Min(suiSize - suiCurrPos, (unsigned int)nmemb * (unsigned int)size);
    memcpy(ptr, (unsigned char*)datasource + suiCurrPos, uiBytes);
    suiCurrPos += uiBytes;

    return uiBytes;
}

static int seek_func(void* datasource, ogg_int64_t offset, int whence)
{
    if (whence == SEEK_SET)
        suiCurrPos = (unsigned int)offset;
    else if (whence == SEEK_CUR)
        suiCurrPos = suiCurrPos + (unsigned int)offset;
    else if (whence == SEEK_END)
        suiCurrPos = suiSize;

    return 0;
}

static int close_func(void* datasource)
{
    return 0;
}

static long tell_func(void* datasource)
{
    return (long)suiCurrPos;
}

Теперь необходимо прочитать:

Само чтение Ogg файла

void OALOgg::getInfo(unsigned int uiOggSize, char* pvOggBuffer){
    // Заменяем колбэки
        ov_callbacks callbacks;
        callbacks.read_func = &read_func;
        callbacks.seek_func = &seek_func;
        callbacks.close_func = &close_func;
        callbacks.tell_func = &tell_func;


        suiCurrPos = 0;
        suiSize = uiOggSize;
        int iRet = ov_open_callbacks(pvOggBuffer, &vf, NULL, 0, callbacks);

        // Заголовки
        vi = ov_info(&vf, -1);

        uiPCMSamples = (unsigned int)ov_pcm_total(&vf, -1);
}
void * OALOgg::ConvertOggToPCM(unsigned int uiOggSize, char* pvOggBuffer)
{
    if(suiSize == 0){
        getInfo( uiOggSize, pvOggBuffer);
        current_section = 0;
        iRead = 0;
        uiCurrPos = 0;
    }

    void* pvPCMBuffer = malloc(uiPCMSamples * vi->channels * sizeof(short));

    // Декодим
    do
    {
        iRead = ov_read(&vf, (char*)pvPCMBuffer + uiCurrPos, 4096, ¤t_section);
        uiCurrPos += (unsigned int)iRead;
    }
    while (iRead != 0);

    return pvPCMBuffer;
}

void OALOgg::load(AAssetManager *mgr, const char* filename){
    this->filename = filename;
    char* buf = 0;
    AAssetFile f = AAssetFile(mgr, filename);
    if (f.null()) {
        LOGE("no file %s in readOgg",filename);
        return ;
    }

    buf = 0;
    buf = (char*)malloc(f.size());
    if (buf){
        if(f.read(buf,f.size(),1)){
        }
        else {
            free(buf);
            f.close();
            return;
        }
    }

    char * data = (char *)ConvertOggToPCM(f.size(),buf);
    f.close();

     if (vi->channels == 1)
        format = AL_FORMAT_MONO16;
      else
        format = AL_FORMAT_STEREO16;

    alGenBuffers(1,&buffer);
    alBufferData(buffer,format,data,uiPCMSamples * vi->channels * sizeof(short),vi->rate);

    source = 0;
    alGenSources(1, &source);
    alSourcei(source, AL_BUFFER, buffer);
}

При запуске приложения вызываем C++ метод loadAudio, который вызывает load у NativeCallListener, который и грузит звуки:

void NativeCallListener:: load(){
    oalContext = new OALContext();
        //sound = new OALOgg();
    sound = new OALWav();

    char *  fileName = new char[64];
    strcpy(fileName, "audio/industrial_suspense1.wav");
    //strcpy(fileName, "audio/Katatonia - Deadhouse_(piano version).ogg");
    sound->load(mgr,fileName);
}

Есть тут нюанс — аудио грузится целиком. Поэтому для звуков такое решение отличное, но для музыки нет. Представьте, сколько будет памяти потреблять распакованная .ogg песня. Поэтому, будет отлично, если кто-то на основе этого решения напишет проигрывание аудио со стримингом, а не полной загрузкой в буфер.

Теперь вы можете работать с OpenAL под Android. Код решил заливать на гитхаб. Так что исходники этого и предыдущих уроков можете скачать отсюда.