MIDI Tokenization与音乐语言模型
核心挑战:如何将连续的音乐表达转化为Transformer可处理的离散token?MusicLM采用SoundStream音频编码器,MusicGen使用EnCodec神经音频编码器实现高效音乐表征。
从MusicLM到Suno的演进
- MusicLM(Google 2023):文本条件生成,24kHz
- Suno(2024):端到端歌词+旋律,秒级生成
- Udio:高保真,支持渐进式生成
AiDA:人机协作即兴
MIT开发的AiDA框架实现钢琴与人实时即兴:基于Transformer预测模型,分析演奏和声走向并生成对位旋律。
算力民主化与音乐未来
GPU成本从数万美元降至数百美元,音乐制作进入算力民主化时代。AI不取代创作者,而是成为新型的乐器。

发表评论 取消回复