Naturalness and quality comparison of TTS APIs for US English

Naturalness and quality comparison of multiple TTS models including Resemble AI, Google Cloud, AWS, Open AI HD, ElevenLabs, and Play AI

Overall

Models

By Tag

X-axis

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

Tags

Answers

5. Excellent

4. Good

3. Fair

2. Poor

1. Bad

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

444 (18.50%)

825 (34.38%)

663 (27.63%)

352 (14.67%)

116 (4.83%)

1378 (57.42%)

712 (29.67%)

256 (10.67%)

47 (1.96%)

7 (0.29%)

770 (32.08%)

935 (38.96%)

477 (19.88%)

177 (7.38%)

41 (1.71%)

672 (28.00%)

757 (31.54%)

608 (25.33%)

292 (12.17%)

71 (2.96%)

1088 (45.33%)

855 (35.63%)

324 (13.50%)

107 (4.46%)

26 (1.08%)

1463 (60.96%)

683 (28.46%)

208 (8.67%)

39 (1.63%)

7 (0.29%)

Tags

All tags

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

444 (18.50%)

1378 (57.42%)

770 (32.08%)

672 (28.00%)

1088 (45.33%)

1463 (60.96%)

Deep analysis

5. Excellent

4. Good

3. Fair

2. Poor

1. Bad

		Tags	Statistics
00:00 --:-- 3/101-m-n.mp3	Model 3	Man Narrative	3.73 0.49 0.23
00:00 --:-- 3/67-f-v.mp3	Model 3	Vivid Woman	4.33 0.34 0.16
00:00 --:-- 3/111-m-n.mp3	Model 3	Man Narrative	3.33 0.58 0.27
00:00 --:-- 3/77-f-v.mp3	Model 3	Vivid Woman	3.80 0.48 0.22
00:00 --:-- 3/8-m-v.mp3	Model 3	Man Vivid	4.07 0.44 0.21
00:00 --:-- 3/81-m-n.mp3	Model 3	Man Narrative	4.47 0.35 0.17
00:00 --:-- 3/91-m-n.mp3	Model 3	Man Narrative	3.47 0.35 0.17
00:00 --:-- 3/34-m-v.mp3	Model 3	Man Vivid	3.47 0.59 0.27

Overall

Models

By Tag

X-axis

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

Tags

Answers

5. Clear and easy to understand.

4. Minor background noise, but does not affect comprehension.

3. Some distortions or noise, occasionally affecting comprehension.

2. Significant distortions or noise, making comprehension difficult.

1. Unintelligible or unusable audio.

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

1636 (68.17%)

348 (14.50%)

332 (13.83%)

57 (2.38%)

27 (1.13%)

2079 (86.63%)

212 (8.83%)

90 (3.75%)

7 (0.29%)

12 (0.50%)

2007 (83.63%)

260 (10.83%)

104 (4.33%)

16 (0.67%)

13 (0.54%)

1431 (59.62%)

469 (19.54%)

358 (14.92%)

85 (3.54%)

57 (2.38%)

2029 (84.54%)

240 (10.00%)

89 (3.71%)

16 (0.67%)

26 (1.08%)

2206 (91.92%)

125 (5.21%)

49 (2.04%)

8 (0.33%)

12 (0.50%)

Tags

All tags

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

1636 (68.17%)

2079 (86.63%)

2007 (83.63%)

1431 (59.62%)

2029 (84.54%)

2206 (91.92%)

Deep analysis

5. Clear and easy to understand.

4. Minor background noise, but does not affect comprehension.

3. Some distortions or noise, occasionally affecting comprehension.

2. Significant distortions or noise, making comprehension difficult.

1. Unintelligible or unusable audio.

		Tags	Statistics
00:00 --:-- 3/101-m-n.mp3	Model 3	Man Narrative	4.67 0.45 0.21
00:00 --:-- 3/67-f-v.mp3	Model 3	Vivid Woman	4.67 0.34 0.16
00:00 --:-- 3/111-m-n.mp3	Model 3	Man Narrative	4.60 0.35 0.16
00:00 --:-- 3/77-f-v.mp3	Model 3	Vivid Woman	4.73 0.33 0.15
00:00 --:-- 3/8-m-v.mp3	Model 3	Man Vivid	4.80 0.31 0.14
00:00 --:-- 3/81-m-n.mp3	Model 3	Man Narrative	5.00 0.00 0.00
00:00 --:-- 3/91-m-n.mp3	Model 3	Man Narrative	4.00 0.59 0.28
00:00 --:-- 3/34-m-v.mp3	Model 3	Man Vivid	4.93 0.14 0.07

Annotations (beta)

Q162

Q163

Q164

Q167

Q173

Q174

Q177

Q179

Q180

Q183

Q184

Q185

Q188

Q190

Q192

Q193

Q194

Q196

Q202

Q203

Q206

Q209

Q211

Q212

Q214

Q216

Q217

Q220

Q226

Q227

Q228

Q238

Q240

Q241

Q243

Q244

Q247

Q248

Q249

Q252

Q254

Q255

Q256

Q260

Q270

Q274

Q275

Q276

Q278

Q279

Q280

Q281

Q285

Q288

Q289

Q290

Q291

Q292

Q298

Q302

Q307

Q308

Q310

Q312

Q313

Q316

Q317

Q320

Q482

Q483

Q484

Q494

Q497

Q499

Q502

Q504

Q514

Q526

Q529

Q530

Q531

Q534

Q537

Q546

Q547

Q561

Q562

Q563

Q564

Q567

Q569

Q577

Q578

Q579

Q590

Q593

Q594

Q595

Q601

Q611

Q612

Q618

Q622

Q625

Q627

Q628

Q630

Q10

Q16

Q17

Q18

Q19

Q34

Q36

Q42

Q49

Q51

Q52

Q54

Q55

Q57

Q64

Q67

Q68

Q72

Q77

Q81

Q83

Q84

Q86

Q88

Q89

Q94

Q98

Q100

Q112

Q113

Q115

Q116

Q120

Q121

Q123

Q124

Q131

Q136

Q141

Q142

Q144

Q145

Q147

Q150

Q151

Q152

Q153

Q642

Q643

Q648

Q654

Q657

Q659

Q660

Q662

Q665

Q668

Q671

Q672

Q673

Q674

Q676

Q682

Q685

Q686

Q690

Q691

Q692

Q694

Q696

Q697

Q698

Q699

Q700

Q701

Q704

Q705

Q706

Q707

Q721

Q723

Q724

Q726

Q727

Q728

Q729

Q730

Q732

Q734

Q736

Q738

Q739

Q740

Q741

Q746

Q752

Q753

Q754

Q755

Q756

Q758

Q759

Q761

Q762

Q764

Q765

Q769

Q770

Q771

Q772

Q784

Q785

Q787

Q788

Q793

Q796

Q800

Q814

Q816

Q817

Q818

Q820

Q823

Q824

Q825

Q835

Q842

Q849

Q851

Q852

Q854

Q856

Q857

Q860

Q862

Q863

Q864

Q866

Q867

Q868

Q879

Q880

Q881

Q882

Q888

Q889

Q898

Q899

Q901

Q906

Q913

Q914

Q915

Q920

Q921

Q924

Q925

Q944

Q959

Q322

Q337

Q338

Q339

Q344

Q353

Q356

Q369

Q370

Q371

Q376

Q386

Q388

Q394

Q398

Q401

Q402

Q403

Q408

Q413

Q430

Q433

Q434

Q435

Q438

Q440

Q441

Q458

Q465

Q466

Q467

Q468

Q470

Q472

Overall

Models

By Tag

X-axis

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

Tags

Answers

5. Excellent

4. Good

3. Fair

2. Poor

1. Bad

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

444 (18.50%)

825 (34.38%)

663 (27.63%)

352 (14.67%)

116 (4.83%)

1378 (57.42%)

712 (29.67%)

256 (10.67%)

47 (1.96%)

7 (0.29%)

770 (32.08%)

935 (38.96%)

477 (19.88%)

177 (7.38%)

41 (1.71%)

672 (28.00%)

757 (31.54%)

608 (25.33%)

292 (12.17%)

71 (2.96%)

1088 (45.33%)

855 (35.63%)

324 (13.50%)

107 (4.46%)

26 (1.08%)

1463 (60.96%)

683 (28.46%)

208 (8.67%)

39 (1.63%)

7 (0.29%)

Tags

All tags

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

444 (18.50%)

1378 (57.42%)

770 (32.08%)

672 (28.00%)

1088 (45.33%)

1463 (60.96%)

Deep analysis

5. Excellent

4. Good

3. Fair

2. Poor

1. Bad

		Tags	Statistics
00:00 --:-- 3/101-m-n.mp3	Model 3	Man Narrative	3.73 0.49 0.23
00:00 --:-- 3/67-f-v.mp3	Model 3	Vivid Woman	4.33 0.34 0.16
00:00 --:-- 3/111-m-n.mp3	Model 3	Man Narrative	3.33 0.58 0.27
00:00 --:-- 3/77-f-v.mp3	Model 3	Vivid Woman	3.80 0.48 0.22
00:00 --:-- 3/8-m-v.mp3	Model 3	Man Vivid	4.07 0.44 0.21
00:00 --:-- 3/81-m-n.mp3	Model 3	Man Narrative	4.47 0.35 0.17
00:00 --:-- 3/91-m-n.mp3	Model 3	Man Narrative	3.47 0.35 0.17
00:00 --:-- 3/34-m-v.mp3	Model 3	Man Vivid	3.47 0.59 0.27

Overall

Models

By Tag

X-axis

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

Tags

Answers

5. Clear and easy to understand.

4. Minor background noise, but does not affect comprehension.

3. Some distortions or noise, occasionally affecting comprehension.

2. Significant distortions or noise, making comprehension difficult.

1. Unintelligible or unusable audio.

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

1636 (68.17%)

348 (14.50%)

332 (13.83%)

57 (2.38%)

27 (1.13%)

2079 (86.63%)

212 (8.83%)

90 (3.75%)

7 (0.29%)

12 (0.50%)

2007 (83.63%)

260 (10.83%)

104 (4.33%)

16 (0.67%)

13 (0.54%)

1431 (59.62%)

469 (19.54%)

358 (14.92%)

85 (3.54%)

57 (2.38%)

2029 (84.54%)

240 (10.00%)

89 (3.71%)

16 (0.67%)

26 (1.08%)

2206 (91.92%)

125 (5.21%)

49 (2.04%)

8 (0.33%)

12 (0.50%)

Tags

All tags

Model 1

Model 2

Model 3

Model 4

Model 5

Model 6

1636 (68.17%)

2079 (86.63%)

2007 (83.63%)

1431 (59.62%)

2029 (84.54%)

2206 (91.92%)

Deep analysis

5. Clear and easy to understand.

4. Minor background noise, but does not affect comprehension.

3. Some distortions or noise, occasionally affecting comprehension.

2. Significant distortions or noise, making comprehension difficult.

1. Unintelligible or unusable audio.

		Tags	Statistics
00:00 --:-- 3/101-m-n.mp3	Model 3	Man Narrative	4.67 0.45 0.21
00:00 --:-- 3/67-f-v.mp3	Model 3	Vivid Woman	4.67 0.34 0.16
00:00 --:-- 3/111-m-n.mp3	Model 3	Man Narrative	4.60 0.35 0.16
00:00 --:-- 3/77-f-v.mp3	Model 3	Vivid Woman	4.73 0.33 0.15
00:00 --:-- 3/8-m-v.mp3	Model 3	Man Vivid	4.80 0.31 0.14
00:00 --:-- 3/81-m-n.mp3	Model 3	Man Narrative	5.00 0.00 0.00
00:00 --:-- 3/91-m-n.mp3	Model 3	Man Narrative	4.00 0.59 0.28
00:00 --:-- 3/34-m-v.mp3	Model 3	Man Vivid	4.93 0.14 0.07

Annotations (beta)

Q162

Q163

Q164

Q167

Q173

Q174

Q177

Q179

Q180

Q183

Q184

Q185

Q188

Q190

Q192

Q193

Q194

Q196

Q202

Q203

Q206

Q209

Q211

Q212

Q214

Q216

Q217

Q220

Q226

Q227

Q228

Q238

Q240

Q241

Q243

Q244

Q247

Q248

Q249

Q252

Q254

Q255

Q256

Q260

Q270

Q274

Q275

Q276

Q278

Q279

Q280

Q281

Q285

Q288

Q289

Q290

Q291

Q292

Q298

Q302

Q307

Q308

Q310

Q312

Q313

Q316

Q317

Q320

Q482

Q483

Q484

Q494

Q497

Q499

Q502

Q504

Q514

Q526

Q529

Q530

Q531

Q534

Q537

Q546

Q547

Q561

Q562

Q563

Q564

Q567

Q569

Q577

Q578

Q579

Q590

Q593

Q594

Q595

Q601

Q611

Q612

Q618

Q622

Q625

Q627

Q628

Q630

Q10

Q16

Q17

Q18

Q19

Q34

Q36

Q42

Q49

Q51

Q52

Q54

Q55

Q57

Q64

Q67

Q68

Q72

Q77

Q81

Q83

Q84

Q86

Q88

Q89

Q94

Q98

Q100

Q112

Q113

Q115

Q116

Q120

Q121

Q123

Q124

Q131

Q136

Q141

Q142

Q144

Q145

Q147

Q150

Q151

Q152

Q153

Q642

Q643

Q648

Q654

Q657

Q659

Q660

Q662

Q665

Q668

Q671

Q672

Q673

Q674

Q676

Q682

Q685

Q686

Q690

Q691

Q692

Q694

Q696

Q697

Q698

Q699

Q700

Q701

Q704

Q705

Q706

Q707

Q721

Q723

Q724

Q726

Q727

Q728

Q729

Q730

Q732

Q734

Q736

Q738

Q739

Q740

Q741

Q746

Q752

Q753

Q754

Q755

Q756

Q758

Q759

Q761

Q762

Q764

Q765

Q769

Q770

Q771

Q772

Q784

Q785

Q787

Q788

Q793

Q796

Q800

Q814

Q816

Q817

Q818

Q820

Q823

Q824

Q825

Q835

Q842

Q849

Q851

Q852

Q854

Q856

Q857

Q860

Q862

Q863

Q864

Q866

Q867

Q868

Q879

Q880

Q881

Q882

Q888

Q889

Q898

Q899

Q901

Q906

Q913

Q914

Q915

Q920

Q921

Q924

Q925

Q944

Q959

Q322

Q337

Q338

Q339

Q344

Q353

Q356

Q369

Q370

Q371

Q376

Q386

Q388

Q394

Q398

Q401

Q402

Q403

Q408

Q413

Q430

Q433

Q434

Q435

Q438

Q440

Q441

Q458

Q465

Q466

Q467

Q468

Q470

Q472