Tecnologia Musical – gestos musicais em timbres instrumentais
O projeto fundou o núcleo dentro do escopo de Análise/Síntese.
Trata-se de um sistema para análise de gestos musicais em timbres instrumentais, empregando-se ferramentas de análise wavelet em multiresolução. A pesquisa tinha como foco a concepção de sistemas de síntese musical mais expressivos.

O projeto começa em 1997 com a pesquisa e desenvolvimentos de browsers multimídia e serviços digitais interativos via redes de serviços digitais, tendo a NEC do Brasil como parceira.
Em 1998 estabeleceu-se um ciclo de pesquisa e desenvolvimentos focados na família de padrões de codificação multimídia MPEG, trabalhando inicialmente com codecs MPEG-1 e MPEG-2 (sistemas para codificação e decodificação audiovisual em tempo real).

Projetos orientados a pesquisa em computação e produção musical entre 1998 e 2002 foram hospedados junto ao núcleo, explorando técnicas, equipamentos e programas de síntese tão diversos como CSound, MAX/MSP, editores e sequenciadores (MIDI) convencionais, entre outros.

Foram, então, integrados a uma infraestrutura computacional heterogênea (PCs, MACs, SGIs) e a uma plataforma de edição audivisual, com placas gráficas para computação gráfica/vídeo, interligada a uma plataforma Digital Betacam e VCRs analógicos.

Para suporte à pesquisa e produção em áudio e música, o núcleo possui uma mesa Mackie de 24 canais (24-4-2), um DAT Tascam DA-30 mkII, um tape-deck duplo Tascam 202 mkIII, processadores de som/efeitos (Alesis Midiverb), monitores de referência RCF, amplificadores.

ONCOPEDIATRIA.ORG – enlace multimídia
O Núcleo de Engenharia de Mídias atuou no estabelecimento de um enlace multimídia para o projeto Oncopediatria.org.

Desde 1999 o grupo vem introduzindo propostas inovadoras para o mercado de “consumer electronics” na concepção de arquiteturas inéditas para “set top boxes” digitais, e a prototipação e implementação de uma família evolutiva de plataformas de acesso multimídia, prevendo desde a recepção e exibição de TV convencional até a integração com redes digitais de dados e sistemas de exibição em alta resolução (convergência e inclusão digital).

Desde 2002 o grupo vem se dedicando fortemente ao desenvolvimento de “set top boxes” orientados à convergência da televisão (analógica/digital) com serviços digitais interativos, com a capacidade para integrar aplicativos audiovisuais, programas interativos e acesso a redes de dados (como a Internet), contando com o suporte de tradicionais agências de fomento à pesquisa e desenvolvimento, bem como a parceria de indústrias e empresas do setor produtivo brasileiro e internacional.

PESQUISA E DESENVOLVIMENTO DE APLICAÇÕES MULTIMÍDIA EM REDES DE SERVIÇOS DIGITAIS
O projeto teve como foco a busca de soluções viáveis para implementação de futuros serviços de informação, educação e entretenimento em redes digitais bidirecionais.

Os objetivos específicos incluíam a implantação de um estúdio distribuído baseado numa rede experimental de alta velocidade (SDH em 310Mbps) operada entre o LSI-EPUSP e a NDB/CPDIA e o desenvolvimento de aplicações multimídia interativas. A infraestrutura de comunicações implementada permitia a interligação do estúdio de produção no LSI a infraestrutura completa de head-end para TV a Cabo na NDB/CPDIA. Duas aplicações interativas foram desenvolvidas a partir deste projeto: um browser para Áudio sob Demanda (AoD) e um browser para Vídeo sob Demanda (VoD).

Em 1999 realizaram-se experimentos de transmissão de vídeo digital MPEG-1 /2 e serviços interativos utilizando uma rede de alta velocidade (banda larga em 310Mbps), culminando em uma demonstração pública ao vivo (no programa Vitrine da TV Cultura) de serviços possíveis de se ofertar e acessar a partir de avançados “set top boxes”, os “home gateways” do futuro.

POLIMIDIA – vídeo sob demanda
POLIMÍDIA é um serviço de vídeo sob demanda (VoD) concebido para disponibilizar o acervo digitalizado das videotecas da Escola Politécnica.

Concebido para rodar em PCs providos de equipamentos multimídia domésticos, conectados a uma rede de servidores de vídeo e dados, o serviço roda em browsers convencionais de Internet.

Para saber mais sobre o projeto, clique aqui.

FAMÍLIA DE PLATAFORMAS MULTIMÍDIA DIGITAIS RECONFIGURÁVEIS
Consciente da crescente obsolescência dos equipamentos multimídia devido ao rápido desenvolvimento de novas tecnologias de codificação multimídia em curtos ciclos de tempo, desde 2000 o Núcleo de Engenharia de Mídias tem uma orientação estratégica voltada para sistemas reconfiguráveis (hardware/software co-design).

A linha de pesquisa se baseia na proposição de uma arquitetura reconfigurável para a construção de plataformas de acesso, processamento e exibição multimídia, com capacidade de reconfiguração e atualização automáticas.

Uma família de plataformas, com complexidade crescente, está em desenvolvimento para fins de validação e disponibilização desta tecnologia.

Em 2001 produziu-se o primeiro protótipo de uma plataforma multimídia reconfigurável, orientado para testes dos diversos módulos componentes de um sistema global. Em 2002 foi desenvolvida a segunda geração de plataformas multimídia, orientada à integração dos componentes básicos para processamento e exibição audiovisual, e permitindo avançar na validação da arquitetura reconfigurável proposta. Em 2003, a terceira geração de plataformas implementa diversas portas de entrada e saída, conecta-se a outros dispositivos microprocessados, e prevê saídas de áudio e vídeo (TV), além de suportar jogos e outros aplicativos interativos.

Objetivos específicos do projeto incluem a construção de placas protótipos de um set-top box digital, microprocessado, com capacidade de conectividade a redes de TV e interfaceamento com diversos equipamentos audiovisuais (entre TV’s, videocassetes, aparelhos de som, computadores, redes telefônicas e sem-fio, etc.) e com capacidade de suportar os padrões de codificação/decodificação de mídia digital (como os padrões MPEG para áudio e vídeo).

DESENVOLVIMENTO DE PLATAFORMAS DE ACESSO A TV DIGITAL
Com parceria industrial, o Projeto de Desenvolvimento de Plataformas de Acesso para TV Interativa de Baixo Custo. Em parceria industrial.

Desde 1999 o grupo vem introduzindo propostas inovadoras para o mercado de “consumer electronics” na concepção de arquiteturas inéditas para “set top boxes” digitais, e a prototipação e implementação de uma família evolutiva de plataformas de acesso multimídia, prevendo desde a recepção e exibição de TV convencional até a integração com redes digitais de dados e sistemas de exibição em alta resolução (convergência e inclusão digital).

Desde 2002 o grupo vem se dedicando fortemente ao desenvolvimento de “set top boxes” orientados à convergência da televisão (analógica/digital) com serviços digitais interativos, com a capacidade para integrar aplicativos audiovisuais, programas interativos e acesso a redes de dados (como a Internet), contando com o suporte de tradicionais agências de fomento à pesquisa e desenvolvimento, bem como a parceria de indústrias e empresas do setor produtivo brasileiro e internacional.

ÁUDIO IMERSIVO PARA SISTEMAS DE REALIDADE VIRTUAL COMPLETOS
Projeto de pesquisa e implementação de um sistema flexível e escalável para a reprodução de áudio tridimensional na Caverna Digital da EP-USP. Objetivos incluem desde a implementação de sistemas decodificadores para os tradicionais formatos surround (como 5.1, 7.1, 10.2, DTS, Dolby Surround) até o desenvolvimento e disponibilização de formatos mais complexos para a geração e reprodução de áudio 3D, ainda restritos a ambientes de alta-fidelidade e ambientes de pesquisa, onde não somente a reverberância e envelopamento surround são importantes, mas principalmente a localização dos objetos sonoros distribuídos numa cena tridimensional, e a síntese do ambiente acústico.

Para saber mais sobre o projeto clique aqui.
Click here to see the english version.

MPEG Brasil
O grupo MPEG Brasil foi fundado em 2003, com fins à representação da comunidade técnico-científica brasileira, academia e indústria, junto ao grupo MPEG/ABNT/ISO, visando à participação ativa nos desenvolvimentos e deliberações do MPEG. Além disso, o grupo objetiva a pesquisa, consultoria e desenvolvimentos em MPEG-1, MPEG-2, MPEG-4, MPEG-7 e MPEG-21.

Para saber mais sobre o projeto clique aqui.