Bien su pregunta puede contar con muchas formas de hacerlo, le expongo algunas (ideas/enfoques):
1
basada en lo que usted comenta de system()
Tendria que saber que terminal tiene su OS por ejemplo si tiene LXTerminal, este permite que se cambien hasta donde yo se desde la ventana de la misma:
Edit > Preferences > Style > color
Ahora bien esto es solo supociciones pues en principio me parece algo engorroso siempre contando de la terminal/OS este diseñada para hacer algo similar (tengo grandes dudas de si se penso para hacer algo similar).
podria usar algo asi:
fijese que se le pasa a cmd
el comando "fiticio"
#include <string.h>
int main()
{
char cmd[50];
strcpy(cmd,"lxterminal -e \" parametros para cambiar el color \""); //supongamos que su programa compilado se llama a.out, y se lo pasamos.
system(cmd);
//..
pero de existir un comando para esto, lo anterior lo que haria seria abrir una nueva consola ect. se tendria que investigar si se le podria pasar el parametro a la terminal activa mediante system() de manera similar a la mencionada.
Mi conlusion sobre este enfoque a simple vista me parece que existen muchas variables para que no funcione.
en esta pregunta se trata un tema que quizas lo ayude.
2
Otro enfoque podria ser, el de que mediante su programa, este modifique los fiheros de configuracion o remplaze los que usa la terminal para el uso scheme ect.
.Xdefaults
! Xft settings ---------------------------------------------------------------
Xft.dpi: 96
Xft.antialias: true
Xft.rgba: rgb
Xft.hinting: true
Xft.hintstyle: hintslight
!! simple_rainbow
*background: #575757
*foreground: #dcdccc
!black
*color0: #666666
*color8: #888888
!red
*color1: #ff8278
*color9: #ff8278
!green
*color2: #bde077
*color10: #bde077
!yellow
*color3: #eadc84
*color11: #eadc84
!blue
*color4: #77bee0
*color12: #77bee0
!magenta
*color5: #dd91f3
*color13: #dd91f3
!cyan
*color6: #ffc178
*color14: #ffc178
!white
*color7: #dddddd
*color15: #cccccc
.bashrc
# Add nano as default editor
export EDITOR=nano
alias lss='ls -Fa --color=auto'
alias ls='ls --color=auto'
[ ! "$UID" = "0" ] && archbey2
PS1="\[\033[1;34m\][\$(date +%H%M)][\u@\h:\w]$\[\033[0m\] "
#Tried the above command to test
dependera del terminal, me parece mas sencillo este enfoque, y mas si sabe que colores quiere, "solo habria" que modifiarlos y cargarlos, no creo que con el uso de system() sea muy complicado, aun asi habria que investigar, porque quizas existe una forma mucho mas facil.
info: https://bbs.archlinux.org/viewtopic.php?id=51818&p=9
3
Esta se la dejo para el final, porque no se si en base a su pregunta este enfoque se podria usar, (aunque yo creo que este es el que usaria si quisiera que un cli tuviera un color personalizado ect.).
No se si conoces Ncurses, con esta libreria puedes cambiar el aspecto en el que se muestra su programa, quizas es lo que busca.
Aunque Ncurses va mucho mas alla de cambiar los colores, si lo que quiero es personalizar el programa usaria esta libreria.
info: http://tldp.org/HOWTO/NCURSES-Programming-HOWTO/color.html
P.D:
system() funciona para GNU/Linux pero es muy probable que los comandos no se le pasan no sean los mismo que usted vio para windows, ademas de tener en cuenta que es uno OS diferente, tambien tener en cuenta que terminales en GNU/Linux existen muchas con lo que posiblemente los comandos sean tambien diferentes "en el caso de poderse hacer como usted lo vio en windows".
UPDATE
Probando por curiosidad quizas esta sea la forma mas simple para lo que busca:
//..
char cmd[50];
strcpy(cmd,"echo -test \"\e[97m\e[41m\"");
system(cmd);
sleep(5);
int a = 0;
for (a = 0; a < 10000; a++){
printf("Hola Mundo");
sleep(5);
..//
Usando el enfoque ANSI:
https://es.wikipedia.org/wiki/C%C3%B3digo_escape_ANSI
Quizas esto no lo nesecita pero se lo dejo, es para cambiar en color de las letras textos, funciona en entornos tipo UNIX:
#include <stdio.h>
#define RED "\x1B[31m"
#define GRN "\x1B[32m"
#define YEL "\x1B[33m"
#define BLU "\x1B[34m"
#define MAG "\x1B[35m"
#define CYN "\x1B[36m"
#define WHT "\x1B[37m"
#define RESET "\x1B[0m"
int main()
{
printf(RED "red\n" RESET);
printf(GRN "green\n" RESET);
printf(YEL "yellow\n" RESET);
return 0;
}